从碎片化到一体化：Rankify 如何重塑检索、重排与生成的全流程 原创

“在某个地方，有某种令人难以置信的事物等待着被知晓。”——卡尔·萨根

在信息爆炸的时代，如何从海量数据中快速、精准地获取所需信息，是困扰众多科研人员与行业从业者的难题。而今天，我们要介绍的 Rankify，正是这样一款在学术界和工业界都备受瞩目的 Python 工具包，它以全面、模块化和用户友好的方式，为检索、重排以及检索增强型生成（RAG）提供了一站式解决方案。

一、Rankify 的诞生背景

过去，检索领域经历了从纯基于词汇的搜索策略到基于密集嵌入的方法的演变。同时，重排模型的兴起帮助优化了初始搜索结果，使其更具相关性。而检索增强型生成则将这些技术与文本生成相结合，让语言模型能够通过即时查阅相关文档，以更高的事实准确性回答问题。

然而，在这些领域不断发展的同时，从业者们却常常需要拼凑多种工具，每种工具各司其职，处理特定的任务。Rankify 的出现，正是为了解决这种碎片化问题，它将整个流程——从检索初始结果、重排，到生成最终的、富有上下文信息的答案——整合在一起，提供了一个统一、模块化且稳健的解决方案。

二、深入理解 Rankify

（一）Rankify 的愿景

Rankify 的诞生源于将不同流程整合于一处的必要性。传统的信息检索（IR）工具包往往只专注于检索或重排中的某一项。有些框架虽然处理检索增强型生成，但在排名阶段缺乏更细致的粒度。Rankify 桥接了这些空白：

• 检索：它利用多种方法，从经典的稀疏检索（如 BM25）到先进的密集模型（如 DPR、ANCE、BGE、Contriever 和 ColBERT）。
• 重排：引入了从 MonoBERT 到 RankT5 等众多重排器，允许使用点式、成对或列表式算法进行灵活的第二阶段排名。
• RAG：促进生成基于检索文档的答案，从而增强事实可靠性。

（二）相较于传统方法的关键优势

• 模块化：通过单一接口，用户可以自由组合检索方法、重排模型和 RAG 方法。
• 预检索数据：Rankify 提供了预检索文档和大型语料库（如维基百科和 MS MARCO）的现成索引。
• 可扩展性：基于 Python 和 PyTorch 构建，Rankify 能够高效地处理大型数据集。
• 比较实验：由于整合了多样化的方法，研究人员可以系统地比较不同检索或重排策略的性能。

三、与“思维链”范式的差异

（一）什么是“思维链”

在大型语言模型研究中，“思维链”通常指一种推理框架，模型（或方法）在得出最终结论前公开地思考中间步骤。这种方法试图模仿人类的推理序列，确保每一步都透明。

（二）Rankify 如何超越“思维链”方法

尽管“思维链”推理富有洞察力，但它主要关注模型内部逻辑的展开，而不是确保外部相关上下文被正确检索、加权和利用。而 Rankify 则：

• 聚焦上下文：不是依赖内部“思维链”，Rankify 主动检索相关文档并系统地重排它们，确保语言模型的生成基于准确的外部数据。
• 稳健且模块化：“思维链”因深度集成于模型的隐藏层而难以评估或扩展。Rankify 使用成熟的外部检索器和重排器，便于定制和扩展。
• 更适合知识密集型任务：当事实正确性至关重要时，仅依赖模型内部的“思维链”可能会产生幻觉。Rankify 的流程确保相关来源始终处于前沿。

“信息是 21 世纪的石油，而分析是内燃机。”——彼得·松德加德

四、Rankify 的核心组件

（一）检索

Rankify 支持稀疏（BM25）和密集（DPR、ANCE、BGE、Contriever、ColBERT）检索器。

• 稀疏检索（BM25）：对于较短的查询以及精确关键词匹配足够的情况，它非常可靠。
• 密集检索（例如 DPR）：利用神经嵌入来捕捉语义相似性，在更微妙或模糊的查询中，通常优于稀疏方法。

（二）重排

在典型的 Rankify 工作流程中，第二阶段是重排。一旦检索到一组初始文档，这些文档将使用更复杂但更精确的模型重新排序：

• 点式（例如 MonoBERT、MonoT5）
• 成对式
• 列表式（例如 RankT5、RankGPT、LiT5）

当需要从大量初始检索文档中提取高精度结果时，这一步尤为关键。

（三）检索增强型生成（RAG）

Rankify 中的 RAG 将检索和生成的优势相结合：

• 检索器：检索与用户查询最相关的顶级文档。
• 生成器：然后将这些顶级文档作为输入，生成基于上下文的答案。

支持的方法包括零样本生成、解码器中的融合（FiD）方法、上下文学习（RALM）等。通过将语言模型锚定到真实的外部数据，显著降低了事实幻觉的风险。

五、安装与设置

（一）虚拟环境搭建

在安装 Rankify 之前，最佳实践是创建一个专用的 conda 环境，以避免依赖冲突：

conda create -n rankify pythnotallow=3.10
conda activate rankify

（二）PyTorch 安装

Rankify 与 PyTorch 2.5.1 无缝协作：

pip install torch==2.5.1 torchvisinotallow==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124

如果你有 GPU 并希望优化训练/检索性能，安装适用于 PyTorch 的 CUDA 版本（12.4 或 12.6）。

（三）Rankify 安装

• 基础安装：

pip install rankify

这为你提供了检索、重排和检索增强型生成的基础功能。

• 推荐安装：

pip install "rankify[all]"

此命令安装了完整的套件，涵盖高级检索器、重排器和生成器模块。

• 可选依赖项：如果你只想安装特定组件：

pip install "rankify[retriever]"

pip install "rankify[reranking]"

• 仅重排器：

• 仅检索器：
• 从 GitHub 安装（获取最新开发版本）：

git clone https://github.com/DataScienceUIBK/rankify.git
cd rankify
pip install -e .

对于完整功能：

pip install -e ".[all]"

（四）使用 ColBERT 检索器

如果你计划在 Rankify 中使用 ColBERT，需要进行额外设置：

1. 安装 GCC 和所需库：

conda install -c conda-forge gcc=9.4.0 gxx=9.4.0
conda install -c conda-forge libstdcxx-ng

1. 导出环境变量：

export LD_LIBRARY_PATH=$CONDA_PREFIX/lib:$LD_LIBRARY_PATH
export CC=gcc
export CXX=g++
export PATH=$CONDA_PREFIX/bin:$PATH

六、预检索数据集与操作

（一）预检索数据集

Rankify 提供了每个数据集 1000 份预检索文档，这对于那些希望快速上手而无需构建或维护索引的人来说是一个巨大的帮助。

（二）下载与处理 Rankify 中的数据集

用户可以通过单一脚本下载流行问答数据集的预检索文档。例如，下载 BM25 检索的自然问题数据集：

from rankify.dataset.dataset import Dataset
dataset = Dataset(retriever="bm25", dataset_name="nq-dev", n_docs=100)
documents = dataset.download(force_download=False)

你可以将 "bm25" 替换为 "dpr"、"ance"、"colbert"、"bge"、"contriever" 或 "mss"，以探索不同检索器对同一数据集的检索效果。

（三）运行检索

Rankify 为广泛的检索方法提供了一个简单统一的接口。以下是如何在维基百科上使用 BM25 检索文档的示例：

from rankify.dataset.dataset import Document, Question, Answer
from rankify.retrievers.retriever import Retriever
documents = [
    Document(questinotallow=Question("Who wrote Hamlet?"),
             answers=Answer(["Shakespeare"]), cnotallow=[])
]
bm25_retriever_wiki = Retriever(method="bm25", n_docs=5, index_type="wiki")
retrieved_docs = bm25_retriever_wiki.retrieve(documents)
for doc in retrieved_docs:
    print(doc)

（四）运行重排

一旦检索到顶级文档，将它们输入到重排器中以优化顺序。Rankify 支持 20 多种重排模型：

from rankify.dataset.dataset import Document, Question, Answer, Context
from rankify.models.reranking import Reranking
question = Question("When did Thomas Edison invent the light bulb?")
answers = Answer(["1879"])
contexts = [
    Context(text="Lightning strike at Seoul National University", id=1),
    Context(text="Thomas Edison invented the light bulb in 1879", id=2),
]
doc = Document(questinotallow=question, answers=answers, cnotallow=contexts)
reranker = Reranking(method="monot5", model_name="monot5-base-msmarco")
reranker.rank([doc])
print(doc.reorder_contexts)

重排后，​​doc.reorder_contexts​​ 将反映新的顺序，突出与用户查询最匹配的段落。

（五）使用生成器模块

Rankify 的生成器模块将检索增强型生成（RAG）整合到工作流程中。以下是一个检索一些上下文并使用生成模型生成最终答案的示例：

from rankify.dataset.dataset import Document, Question, Answer, Context
from rankify.generator.generator import Generator
question = Question("What is the capital of France?")
answers = Answer(["Paris"])
contexts = [
    Context(text="The capital of France is Paris.", id=1),
    Context(text="Berlin is the capital of Germany.", id=2),
]
doc = Document(questinotallow=question, answers=answers, cnotallow=contexts)
generator = Generator(method="in-context-ralm", model_name='meta-llama/Llama-3.1-8B')
output = generator.generate([doc])
print(output)

当希望语言模型不仅拥有问题本身，还能掌握相关上下文时，这种方法非常有价值。

七、评估指标

（一）衡量检索性能

Rankify 为检索提供了 top-k 准确度衡量指标：

from rankify.metrics.metrics import Metrics
m = Metrics(documents)
before_rank = m.calculate_retrieval_metrics(ks=[1,5,10,20,50,100], use_reordered=False)
print(before_rank)

对于每个 k（1、5、10、20、50、100），Rankify 检查正确答案是否出现在检索到的前 k 篇段落中。

（二）评估重排效果

在许多实验中，你可能想知道重排模型是否真正改善了结果。只需将 ​​use_reordered​​​ 设置为 ​​True​​ 即可查看差异：

after_rank = m.calculate_retrieval_metrics(ks=[1,5,10,20,50,100], use_reordered=True)
print(after_rank)

（三）评估检索增强型生成

Rankify 还计算最终生成答案的精确匹配（EM）、精确度、召回率和 F1 等指标。这些指标对于问答和基于知识的生成任务至关重要：

gen_metrics = m.calculate_generation_metrics(generated_answers)
print(gen_metrics)

八、用例与最佳实践

（一）问答系统

如果你正在构建 FAQ 或解答开放域问题（如医学、科学或企业知识库），Rankify 在提取正确文档、高精度重排以及可选地生成简洁准确的响应方面表现出色。

（二）基于知识的助手

许多聊天机器人失败是因为它们完全依赖大型语言模型而没有锚定参考。Rankify 通过将检索和重排的外部参考与生成能力相结合，降低了“幻觉”的风险。最终结果是一个更具基础且可靠的助手。

（三）学术研究与基准测试

研究人员可以利用 Rankify 的预检索数据集快速进行受控实验。他们可以插入新的检索或重排模型，并直接比较指标，无需每次都重新发明轮子。

“如果我们知道自己在做什么，那还叫研究吗？”——阿尔伯特·爱因斯坦

Rankify 体现了这种哲学：它使研究人员免于实施标准检索管道的繁琐任务，让他们专注于工作的创新性。

九、Rankify 为何脱颖而出

（一）统一框架

无需在六七种工具之间来回切换，你可以通过一个界面处理检索、重排和 RAG。这种一致性减少了开发时间并减少了集成错误。

（二）适应性与模块化

Rankify 采用即插即用的设计。添加一个新的检索器或重排器通常只需实现一个可以无缝插入现有管道的接口。这种模块化促进了创新，因为用户可以快速尝试新想法。

（三）社区与生态系统

作为一个开源项目，Rankify 从社区贡献和积极维护中受益。凭借详尽的文档和不断扩大的用户群体，它已准备好与自然语言处理领域的最新进展同步发展。

“聚集在一起是开始，保持在一起是进步，一起工作才是成功。”——亨利·福特

秉承福特的这番话语，Rankify 正是在这种团结协作的精神下蓬勃发展，它将信息检索社区汇聚于一个灵活且强大的框架之下。

十、结语

Rankify 是一个代表下一代工具包的典范，它统一了检索、重排和检索增强型生成的整个流程。它通过提供一个连贯、模块化的平台，解决了现代信息检索系统中的复杂性和碎片化问题。用户可以轻松地尝试从经典的 BM25 到先进的神经方法（如 DPR 和 ColBERT）等一系列检索器，进一步利用复杂的重排器（MonoT5、RankT5、LiT5、RankGPT 等）优化结果，并最终使用 RAG 生成与上下文相关答案。

与主要依赖内部、不透明机制的“思维链”范式不同，Rankify 将其答案牢固地建立在明确的外部上下文中。这一区别对于需要可验证准确性、事实正确性和稳健性能的任务至关重要。通过专注于相关数据的来源和组织方式，Rankify 避免了幻觉的陷阱，有效地弥合了理论人工智能能力和实际、现实可靠性之间的差距。

本文转载自公众号Halo咯咯    作者：基咯咯

原文链接：​​https://mp.weixin.qq.com/s/YO4KEM1mVdrBa8NdKee8EQ​​