返回
RAGCohere RerankBGE RerankerLLM 工程信息检索

我试了 Cohere 和 BGE 的 Reranker 来做金融 RAG,说说为什么 Cohere 留在了我的技术栈里

89% 有帮助11% 没帮助
0 评论

一句话总结: 在我做生产级金融研究助手的过程中,Cohere Rerank 3.5 是我探索过的 BGE 那套 reranking 方案之外更偏爱的相关性层。这是基于我用例的定性结论,不是说 Cohere 在每项 benchmark 上都碾压。当数据自主可控、自托管、或可预期的基础设施成本比托管便利更重要时,BGE 依然有很强的优势。

一个检索系统可以返回那些跟问题语义相近的文档,却照样把完全错误的证据喂给 LLM。

在金融研究里,这种差别是致命的。你问的是 FY25 第二季度的合并营业利润率,检索回来的却可能是关于独立利润率、别的季度、或者管理层泛泛的利润率点评,看着简直一模一样。

embedding 未必就失败了。文档是相关的,只是它没回答这个问题。

就是这一类问题,让我在 Multibagg AI 做 AI 金融研究助手 Ask Iris 时,开始认真对待 reranking。

这个更宽泛的系统跑在 10 万+ 文档、约 2000 万条记录之上,服务了 50 万+ 次用户查询。它把向量检索、元数据过滤和基于 LLM 的回答组合在一起。

看似合理的上下文和精确对焦的证据之间的区别,比 cosine 相似度再多一位小数重要得多。

我在生产检索栈里用了 Cohere reranking,包括通过 Pinecone 的 inference 集成跑 cohere-rerank-3.5,同时把 BGE 系列的 reranker 作为备选去试了。

在我试过的方案里,Cohere 给了我这套工作负载下最实用的相关性体验。

我没有保留一个受控的公开 head-to-head benchmark(nDCG、MRR、延迟这些数字),所以这里我不会凭空编一个。相反,这篇评测讲的是这些模型在数学上到底在做什么、真正的取舍在哪,以及生产事故教会了我什么。

1. 为什么向量库的 top 结果可能是错的

大多数检索增强生成(RAG)系统都是从 bi-encoder 起步的。query 和每个 passage 被分别嵌入到同一个向量空间里:

q=fθ(q),di=fθ(di)\mathbf{q}=f_{\theta}(q),\qquad \mathbf{d}_i=f_{\theta}(d_i)

常见的打分函数是 cosine 相似度:

sim⁡(q,di)=q⋅di∥q∥2∥di∥2\operatorname{sim}(q,d_i)=\frac{\mathbf{q}\cdot\mathbf{d}_i}{\lVert\mathbf{q}\rVert_2\lVert\mathbf{d}_i\rVert_2}

这种分离正是 dense 检索能扩展的原因。文档向量可以预先算好并建立索引,用于近似最近邻搜索。查询时只需要给 query 重新算一次 embedding。

但压缩是有代价的。

排序只能从两个固定大小的表示里去推断相关性。像合并 vs 独立、Q2 vs 全年、指引 vs 实际报告结果、母公司 vs 子公司这些具体区别,都可能被模糊掉。

解决办法不是用一个昂贵的模型跑遍整个语料库去替代检索,而是让检索先找出一个足够宽的候选集,然后再花更多算力,把这些候选对着原始问题逐一判断。

我偏爱的架构是:

  1. 用 dense 检索、BM25 或两者混合的方式广撒网地召回。保留一个候选池,比如 40 个 passage,把它当成可调的起点,而不是放之四海皆准的常数。
  2. 在排序之前,对严格的硬性约束先做过滤:公司、报告日期、文档类型或访问权限。
  3. 把每个存活下来的候选对着原始用户 query 重新排序。
  4. 只把最强、足够多样且来源清楚的证据喂给回答模型。
  5. 如果证据缺失或自相矛盾,就说出来。不要因为 reranker 给了个高分就硬造确定性。

对于混合检索,当词法分和向量分不在同一个量纲上时,我喜欢用倒数排名融合(RRF):

RRF⁡(d)=∑m∈R1k+rank⁡m(d)\operatorname{RRF}(d)=\sum_{m\in\mathcal{R}}\frac{1}{k+\operatorname{rank}_m(d)}

这里 R\mathcal{R} 是检索系统的集合,kk 是一个平滑常数,常取 60 左右,但应该按需调。

RRF 合并的是排名位置,不是原始分数。它不是 reranking 的替代品,只是拼出候选短名单的一个实用方法。

RRF 原始论文 至今仍值得一读。

2. 数学层面:reranker 到底在学什么

典型的 encoder 式 reranker 是一个 cross-encoder。

它不是把问题和 passage 分开嵌入,而是把它们放在一起处理:

hi=Transformer⁡ϕ([CLS],q,[SEP],di,[SEP])\mathbf{h}_i=\operatorname{Transformer}_{\phi}([\mathrm{CLS}],q,[\mathrm{SEP}],d_i,[\mathrm{SEP}])

si=w⊤hi,CLS+bs_i=\mathbf{w}^{\top}\mathbf{h}_{i,\mathrm{CLS}}+b

联合 attention 让 query 里的词能直接和文档里的词互动。

一个 passage 可以包含问题里的所有词,但只要它们之间的关系、限定词或时间上下文对不上,就照样拿低分。

BGE reranker 系列里就包含为这种 query-passage 打分模式打造的模型。

比如公开的 BAAI/bge-reranker-v2-m3 可以直接返回原始的相关性 logits;FlagEmbedding 的实现可以用 sigmoid 把它们映射一下:

pi=σ(si)=11+e−sip_i=\sigma(s_i)=\frac{1}{1+e^{-s_i}}

重点: 把 logit 过一遍 sigmoid,并不会自动让它变成校准过的概率。这个数字用来给文档排序没问题,但它的语义得单独验证。

排序模型可以用好几种目标来训练。下面这些是通用的 learning-to-rank 形式,不是要透露 Cohere 的专有训练配方。

逐点二元交叉熵

对每个 query-passage 对单独判断。

Lpoint=−∑i[yilog⁡σ(si)+(1−yi)log⁡(1−σ(si))]\mathcal{L}_{\mathrm{point}}=-\sum_i\big[y_i\log\sigma(s_i)+(1-y_i)\log(1-\sigma(s_i))\big]

成对 logistic 损失

让相关 passage d+d^+ 排在没那么相关的 passage d−d^- 前面。

Lpair=log⁡ ⁣(1+e−(s+−s−))\mathcal{L}_{\mathrm{pair}}=\log\!\left(1+e^{-(s^+-s^-)}\right)

列表式排序

在候选列表上优化一个分布或排序目标,而不是孤立地看一个个 pair。

一个示例性的 softmax 目标是:

Llist=−∑iPi∗log⁡esi/τ∑jesj/τ\mathcal{L}_{\mathrm{list}}=-\sum_i P_i^*\log\frac{e^{s_i/\tau}}{\sum_j e^{s_j/\tau}}

这里 Pi∗P_i^* 是目标相关性分布,τ\tau 是 temperature。

不同的实现用不同的 loss 和采样策略。

这种能力是有代价的。bi-encoder 拿 query 和已索引的向量打分很便宜。而 cross-encoder 通常每个候选 pair 都要做一次前向,所以计算量大约按候选数量 × 每个 pair 的推理成本增长。

这就是为什么给 40 个候选 rerank 和给 4 万个候选 rerank,是完全不同的两种系统设计。

第三种值得了解的方案是 late interaction(延迟交互),代表就是 ColBERT。

它预先算好文档 token 的上下文表示,然后用 token 级的 MaxSim 操作来给 query 打分:

S(q,d)=∑i∈qmax⁡j∈d⟨qi,dj⟩S(q,d)=\sum_{i\in q}\max_{j\in d}\langle \mathbf{q}_i,\mathbf{d}_j\rangle

它处在便宜的向量搜索和完整的 query-document 联合编码之间,是个很有意思的中间地带,但也带来自己那套索引和部署的复杂度。

ColBERT 论文。

3. 更好的排序长什么样(不靠编 benchmark 数字)

看这个手工构造的例子,灵感来自金融文档里常见的歧义,而不是从生产测试里抄的。

Query: 哪份文件报告了 FY25 第二季度的合并营业利润率?

候选片段类型人工相关性等级
A业绩点评,报告期不对1
B独立口径 Q2 说明,基准不对0
C合并口径 Q2 说明,直接命中答案3
D上年合并口径背景1
E泛泛的投资者演示0

假设 dense 检索给出的顺序是 A → B → C → D → E,而一个示例 reranker 给出的顺序是 C → A → B → D → E。

进入第二阶段的还是同样这五份文档,但承载答案的那个 passage 从第三位挪到了第一位。

这里一个有用的指标是归一化折损累计增益(nDCG):

DCG@K=∑i=1K2ri−1log⁡2(i+1)\mathrm{DCG}@K=\sum_{i=1}^K\frac{2^{r_i}-1}{\log_2(i+1)}

nDCG@K=DCG@KIDCG@K\mathrm{nDCG}@K=\frac{\mathrm{DCG}@K}{\mathrm{IDCG}@K}

套用上面的相关性等级,示例里的 nDCG@5 从 0.606 升到了 0.991。

这些是编造例子里算出来的数字,不是对 Cohere 或 BGE 的实测。

这个计算说明,为什么把正确的文档排到第一位,影响是超乎比例的。

真要选型时,我会报告 nDCG@5、MRR@10、reranking 前的 Recall@N,以及回答引用正确率。

MRR 关注的是第一个相关结果所在的位置:

MRR@K=1∣Q∣∑q∈Q1[rq≤K]rq\mathrm{MRR}@K=\frac{1}{|Q|}\sum_{q\in Q}\frac{\mathbb{1}[r_q\le K]}{r_q}

这里 rqr_q 是第一个相关结果的排名;当 KK 之内没有相关结果时,这一项为 0。

一个关键护栏:reranking 救不回根本不在候选池里的答案。

如果 recall@40 很差,光改进第二阶段也无济于事。

4. Cohere vs BGE:我的定性结论

答案不是简单一句"闭源碾压开源"。

对于我关心的那些金融查询,我觉得 Cohere 更靠谱,但部署层面的取舍是实打实存在的。

维度Cohere Rerank 3.5BGE 系列,如 bge-reranker-v2-m3
我这套工作负载里的相关性我更偏爱的选择(定性)有用的备选;我的测试没有公开的 head-to-head 分数
集成托管 API 或受支持的平台集成本地跑,或跑在自己的推理基础设施上
模型透明度权重和训练细节专有权重公开、推理可配置
运维模型部署的活儿少,但依赖服务商控制权更多,但容量、batching、升级、uptime 都得自己扛
成本与用量挂钩的 API/平台费用算力、内存、工程时间和基础设施利用率
最适合想快速优化相关性、快速上线的团队看重控制权、数据本地化、自定义微调、或持续高利用率的团队

BGE 不是一个固定死的模型。

FlagEmbedding 仓库 里描述了 bge-reranker-base、large、v2-m3 以及更新的变体。

要在相同的候选集上比较具体的 checkpoint。一个模型家族标签不等于一次可复现的实验。

为什么我更偏爱 Cohere?

我的实际评估,看的是选出来的证据有没有匹配金融查询的真实意图,而不只是文档看起来是否相关。

一个能分清正确财年、报告口径和指标的 reranker,比一个又返回一段漂亮但误导性摘录的更有价值。

在那个应用里,我更中意的就是 Cohere。

为什么我明天可能还是会选 BGE?

隐私限制、非常高的稳态查询量、成熟的 GPU 部署栈、领域专用微调、或者要求避免外部网络调用,这些都可能让决定翻盘。

最好的 reranker 是准确性-延迟-成本-可靠性综合权衡后的选择,不是排行榜上的奖杯。

5. 比排行榜更重要的那次生产故障

一次惨痛的教训来自集成环节,而不一定是神经网络模型本身。

在一个原本正常的 Pinecone inference 配置里,我们的 cohere-rerank-3.5 请求开始返回 403 / PERMISSION_DENIED,原因是项目已经不再被授权访问那个模型了。

就算 reranking 这个依赖挂了,检索还是得正常工作。

还有另一起 reranking 问题,涉及空文档输入和环境配置。

这两次故障都不能说明 Cohere 的神经相关性模型差。它们说明的是:相关性层终究还是个生产服务,有权限、输入、配额和失败模式这些现实问题。

我现在的防御性检查清单长这样:

  • 校验输入: 丢掉空文本,保留文档 ID,并记录候选被过滤的原因。
  • 让授权和模型访问可观测: 403 应该和超时、或输入格式错误区分开来分类。
  • 用有上限的超时和回退: 如果 reranker 不可用,就返回原始检索顺序,并在内部把响应标记为降级。
  • 保留出处: 在调用 reranker 之前,先把公司、财年、源文档、页码和 passage ID 都挂上。排序后用返回的索引把元数据还原回去。
  • 评估降级: 一个能跑的回退,不等于相关性等效的回退。要量化它对回答/引用的影响。

另一个隐蔽的坑,是把 rerank 分数当成通用的概率。

Cohere 的文档提醒过:排序分数是依赖 query 的,不同代模型的分数不应该随便跨无关查询去比较。

新发布的 Rerank 5 系列明确宣传了校准过的分数;别把这个保证回溯套到 v3.5 上。

Cohere 最佳实践。

6. 在你自己的文档上复现这个对比

一个最小的并排对比测试可以用 Python 写出来。

它比较的是同一批候选 passage,不会有检索差异来污染结果。

# pip install cohere FlagEmbedding
import os
import cohere
from FlagEmbedding import FlagReranker

query = "Which filing reports consolidated operating margin for Q2 FY25?"
docs = [
    "Management discussed margins across the full fiscal year.",
    "Standalone operating margin for the second quarter is reported here.",
    "Consolidated operating margin for Q2 FY25 is disclosed here.",
    "The prior-year consolidated statement provides comparison context.",
]

# Cohere v3.5 was the generation I used in production.
client = cohere.ClientV2(api_key=os.environ["COHERE_API_KEY"])
co = client.rerank(model="rerank-v3.5", query=query,
                   documents=docs, top_n=len(docs))
cohere_order = [item.index for item in co.results]

# Public checkpoint chosen as a reproducible BGE-family baseline.
bge = FlagReranker("BAAI/bge-reranker-v2-m3", use_fp16=False)
bge_scores = bge.compute_score([[query, text] for text in docs])
bge_order = sorted(range(len(docs)),
                   key=lambda i: float(bge_scores[i]), reverse=True)

print("Cohere order:", cohere_order)
print("BGE order:   ", bge_order)

这是一份可运行的对比配方,不是 benchmark 结果。

它需要一个 Cohere API key、跑 BGE 所需的本地模型依赖和硬件,以及一个真实的测试集。

要把它变成可发表的证据,就把语料库、候选池、模型版本、截断策略和相关性标签都固定下来。

至少跑几十个真正有代表性的查询,包括日期、实体或报告口径都搞错的困难负样本。

然后按每个查询报告胜负,而不是只给一个汇总平均分。

我建议的实验矩阵是固定第一阶段的 top 40,然后比较三种排序:原始向量/混合、Cohere、BGE。

测量 nDCG@5、MRR@10、rerank 延迟的 p50/p95、请求失败率、计费单元或 GPU 秒数,以及最终回答有没有引用到正确的 passage。

具体的 40 和 5 只是用来调的起点,不是什么所谓的最优值。

想要更严格的公开评估规范,可以从 BEIR 入手。它说明了为什么域外评估是必要的,以及为什么更强的排序往往伴随更高的算力成本。

7. 大多数 reranker 对比都忽略的成本账

「BGE 免费」和「Cohere 很贵」一样误导人。

BGE 的模型权重在适用许可下可能确实是免费可得的,但推理硬件、利用率、运维和工程时间可不是免费的。

Cohere 的定价还得理解搜索单元(search unit),而不只是模型名。

Cohere 定义一个 search unit 为一个 query 加最多 100 个计费文档。更长的文档会被拆成单独计数的 chunk;具体的计费和平台条款得去核对你的服务商。

Cohere 定价 FAQ。

举个例子,一份第三方列表在 2026 年 10 月给 Rerank 3.5 标的是每 1000 次搜索 $2。

这是一个时点参考价,不是保证的合同价。

Vercel 模型列表。

如果每个请求算一个计费 search unit,那账是这么算的:

CAPI=Qmonth×Uper query1000×P1000C_{\mathrm{API}}=\frac{Q_{\mathrm{month}}\times U_{\mathrm{per\ query}}}{1000}\times P_{1000}

按每天 1 万次用户搜索、30 天、每次搜索 1 个计费单元、每 1000 单元 $2 算:

CAPI=10,000×30×11000×$2=$600/monthC_{\mathrm{API}}=\frac{10{,}000\times30\times1}{1000}\times\$2=\boxed{\$600/\mathrm{month}}

这 $600 是举例,不是我真实的生产账单。

如果请求消耗超过一个计费单元、服务商定价不同、或有额外的搜索/检索成本,结果都会变。

自托管方案需要另算一笔账:

Cself=Caccelerator+Cserving+Cops+CreliabilityC_{\mathrm{self}}=C_{\mathrm{accelerator}}+C_{\mathrm{serving}}+C_{\mathrm{ops}}+C_{\mathrm{reliability}}

盈亏平衡点在于:在相同的相关性和延迟目标下,实测的、全成本口径的自托管单次成功 rerank 成本,能低于托管方案。

一块一天大部分时间闲置的 GPU,可能比 API 还不划算;而 batch 打得好、利用率拉满的部署,则可能改写这个等式。

8. 我还没测过的新选手:Cohere Rerank 5

2026 年 10 月 21 日,Cohere 发布了 Rerank 5 Pro 和 Rerank 5 Fast,主打 32k token 的上下文窗口、支持 100+ 种语言、校准过的分数,以及能返回文档内相关字符区间的 Context Focus。

Cohere 把 Pro 定位给复杂检索,把 Fast 定位给对吞吐敏感的工作负载。

这些是厂商宣传的产品能力,不是我对比出来的结论。

官方发布说明。

对金融 RAG 系统来说,Context Focus 尤其有意思:它承诺能把只含答案的摘录传给下游,而不是把整份文件都倒进生成器里。

但在依赖它之前,我会先验证选出来的这些区间有没有保留脚注、表头、单位和页面级的出处。

省 token 却丢掉会计上下文,是个糟糕的优化。

在把 v3.5 或自托管基线换成 v5 之前,我会把同一套带标签查询的评估重新跑一遍。

没有任何一次升级是免费的质量保证。

我的最终结论

让我印象深的: 在我为金融文档助手探索过的 reranking 方案里,Cohere Rerank 3.5 是实际相关性最对味的一个。它让我更容易把生成聚焦在正确的证据上,而不是相邻的文字上,还不用自己再养一套推理服务。

不足的地方: 托管的省心是有代价的,就是依赖服务商。我踩过权限故障和另一类输入/配置问题,这让回退设计和可观测性变得没得商量。BGE 的自托管故事依然很有吸引力。

值得吗? 值得,前提是你的团队看重相关性和迭代速度、也负担得起托管 API。 当部署控制权或实测的成本经济性更优先时,BGE 也值得。

更好的技术决策,是那个在你带标签的领域查询上胜出、满足 p95 延迟目标、并且在生产里能安全降级的方案。

更大的教训: 一个好的 RAG 系统,不是召回文本最多的那个,而是能把正确的证据按正确的顺序排好、并且在证据缺失时心里有数的那个。


参考与可复现说明

披露:这是一篇独立的工程评测,基于我的经验以及公开链接的技术文档。文中的 nDCG 数字示例和月度成本场景都明确是示例性的。没有复现任何专有的评测结果或客户私有文档。

评论0

登录后评论
  • 还没有评论。