我试了 Cohere 和 BGE 的 Reranker 来做金融 RAG,说说为什么 Cohere 留在了我的技术栈里
一句话总结: 在我做生产级金融研究助手的过程中,Cohere Rerank 3.5 是我探索过的 BGE 那套 reranking 方案之外更偏爱的相关性层。这是基于我用例的定性结论,不是说 Cohere 在每项 benchmark 上都碾压。当数据自主可控、自托管、或可预期的基础设施成本比托管便利更重要时,BGE 依然有很强的优势。
一个检索系统可以返回那些跟问题语义相近的文档,却照样把完全错误的证据喂给 LLM。
在金融研究里,这种差别是致命的。你问的是 FY25 第二季度的合并营业利润率,检索回来的却可能是关于独立利润率、别的季度、或者管理层泛泛的利润率点评,看着简直一模一样。
embedding 未必就失败了。文档是相关的,只是它没回答这个问题。
就是这一类问题,让我在 Multibagg AI 做 AI 金融研究助手 Ask Iris 时,开始认真对待 reranking。
这个更宽泛的系统跑在 10 万+ 文档、约 2000 万条记录之上,服务了 50 万+ 次用户查询。它把向量检索、元数据过滤和基于 LLM 的回答组合在一起。
看似合理的上下文和精确对焦的证据之间的区别,比 cosine 相似度再多一位小数重要得多。
我在生产检索栈里用了 Cohere reranking,包括通过 Pinecone 的 inference 集成跑 cohere-rerank-3.5,同时把 BGE 系列的 reranker 作为备选去试了。
在我试过的方案里,Cohere 给了我这套工作负载下最实用的相关性体验。
我没有保留一个受控的公开 head-to-head benchmark(nDCG、MRR、延迟这些数字),所以这里我不会凭空编一个。相反,这篇评测讲的是这些模型在数学上到底在做什么、真正的取舍在哪,以及生产事故教会了我什么。
1. 为什么向量库的 top 结果可能是错的
大多数检索增强生成(RAG)系统都是从 bi-encoder 起步的。query 和每个 passage 被分别嵌入到同一个向量空间里:
常见的打分函数是 cosine 相似度:
这种分离正是 dense 检索能扩展的原因。文档向量可以预先算好并建立索引,用于近似最近邻搜索。查询时只需要给 query 重新算一次 embedding。
但压缩是有代价的。
排序只能从两个固定大小的表示里去推断相关性。像合并 vs 独立、Q2 vs 全年、指引 vs 实际报告结果、母公司 vs 子公司这些具体区别,都可能被模糊掉。
解决办法不是用一个昂贵的模型跑遍整个语料库去替代检索,而是让检索先找出一个足够宽的候选集,然后再花更多算力,把这些候选对着原始问题逐一判断。
我偏爱的架构是:
- 用 dense 检索、BM25 或两者混合的方式广撒网地召回。保留一个候选池,比如 40 个 passage,把它当成可调的起点,而不是放之四海皆准的常数。
- 在排序之前,对严格的硬性约束先做过滤:公司、报告日期、文档类型或访问权限。
- 把每个存活下来的候选对着原始用户 query 重新排序。
- 只把最强、足够多样且来源清楚的证据喂给回答模型。
- 如果证据缺失或自相矛盾,就说出来。不要因为 reranker 给了个高分就硬造确定性。
对于混合检索,当词法分和向量分不在同一个量纲上时,我喜欢用倒数排名融合(RRF):
这里 是检索系统的集合, 是一个平滑常数,常取 60 左右,但应该按需调。
RRF 合并的是排名位置,不是原始分数。它不是 reranking 的替代品,只是拼出候选短名单的一个实用方法。
RRF 原始论文 至今仍值得一读。
2. 数学层面:reranker 到底在学什么
典型的 encoder 式 reranker 是一个 cross-encoder。
它不是把问题和 passage 分开嵌入,而是把它们放在一起处理:
联合 attention 让 query 里的词能直接和文档里的词互动。
一个 passage 可以包含问题里的所有词,但只要它们之间的关系、限定词或时间上下文对不上,就照样拿低分。
BGE reranker 系列里就包含为这种 query-passage 打分模式打造的模型。
比如公开的 BAAI/bge-reranker-v2-m3 可以直接返回原始的相关性 logits;FlagEmbedding 的实现可以用 sigmoid 把它们映射一下:
重点: 把 logit 过一遍 sigmoid,并不会自动让它变成校准过的概率。这个数字用来给文档排序没问题,但它的语义得单独验证。
排序模型可以用好几种目标来训练。下面这些是通用的 learning-to-rank 形式,不是要透露 Cohere 的专有训练配方。
逐点二元交叉熵
对每个 query-passage 对单独判断。
成对 logistic 损失
让相关 passage 排在没那么相关的 passage 前面。
列表式排序
在候选列表上优化一个分布或排序目标,而不是孤立地看一个个 pair。
一个示例性的 softmax 目标是:
这里 是目标相关性分布, 是 temperature。
不同的实现用不同的 loss 和采样策略。
这种能力是有代价的。bi-encoder 拿 query 和已索引的向量打分很便宜。而 cross-encoder 通常每个候选 pair 都要做一次前向,所以计算量大约按候选数量 × 每个 pair 的推理成本增长。
这就是为什么给 40 个候选 rerank 和给 4 万个候选 rerank,是完全不同的两种系统设计。
第三种值得了解的方案是 late interaction(延迟交互),代表就是 ColBERT。
它预先算好文档 token 的上下文表示,然后用 token 级的 MaxSim 操作来给 query 打分:
它处在便宜的向量搜索和完整的 query-document 联合编码之间,是个很有意思的中间地带,但也带来自己那套索引和部署的复杂度。
3. 更好的排序长什么样(不靠编 benchmark 数字)
看这个手工构造的例子,灵感来自金融文档里常见的歧义,而不是从生产测试里抄的。
Query: 哪份文件报告了 FY25 第二季度的合并营业利润率?
| 候选 | 片段类型 | 人工相关性等级 |
|---|---|---|
| A | 业绩点评,报告期不对 | 1 |
| B | 独立口径 Q2 说明,基准不对 | 0 |
| C | 合并口径 Q2 说明,直接命中答案 | 3 |
| D | 上年合并口径背景 | 1 |
| E | 泛泛的投资者演示 | 0 |
假设 dense 检索给出的顺序是 A → B → C → D → E,而一个示例 reranker 给出的顺序是 C → A → B → D → E。
进入第二阶段的还是同样这五份文档,但承载答案的那个 passage 从第三位挪到了第一位。
这里一个有用的指标是归一化折损累计增益(nDCG):
套用上面的相关性等级,示例里的 nDCG@5 从 0.606 升到了 0.991。
这些是编造例子里算出来的数字,不是对 Cohere 或 BGE 的实测。
这个计算说明,为什么把正确的文档排到第一位,影响是超乎比例的。
真要选型时,我会报告 nDCG@5、MRR@10、reranking 前的 Recall@N,以及回答引用正确率。
MRR 关注的是第一个相关结果所在的位置:
这里 是第一个相关结果的排名;当 之内没有相关结果时,这一项为 0。
一个关键护栏:reranking 救不回根本不在候选池里的答案。
如果 recall@40 很差,光改进第二阶段也无济于事。
4. Cohere vs BGE:我的定性结论
答案不是简单一句"闭源碾压开源"。
对于我关心的那些金融查询,我觉得 Cohere 更靠谱,但部署层面的取舍是实打实存在的。
| 维度 | Cohere Rerank 3.5 | BGE 系列,如 bge-reranker-v2-m3 |
|---|---|---|
| 我这套工作负载里的相关性 | 我更偏爱的选择(定性) | 有用的备选;我的测试没有公开的 head-to-head 分数 |
| 集成 | 托管 API 或受支持的平台集成 | 本地跑,或跑在自己的推理基础设施上 |
| 模型透明度 | 权重和训练细节专有 | 权重公开、推理可配置 |
| 运维 | 模型部署的活儿少,但依赖服务商 | 控制权更多,但容量、batching、升级、uptime 都得自己扛 |
| 成本 | 与用量挂钩的 API/平台费用 | 算力、内存、工程时间和基础设施利用率 |
| 最适合 | 想快速优化相关性、快速上线的团队 | 看重控制权、数据本地化、自定义微调、或持续高利用率的团队 |
BGE 不是一个固定死的模型。
FlagEmbedding 仓库 里描述了 bge-reranker-base、large、v2-m3 以及更新的变体。
要在相同的候选集上比较具体的 checkpoint。一个模型家族标签不等于一次可复现的实验。
为什么我更偏爱 Cohere?
我的实际评估,看的是选出来的证据有没有匹配金融查询的真实意图,而不只是文档看起来是否相关。
一个能分清正确财年、报告口径和指标的 reranker,比一个又返回一段漂亮但误导性摘录的更有价值。
在那个应用里,我更中意的就是 Cohere。
为什么我明天可能还是会选 BGE?
隐私限制、非常高的稳态查询量、成熟的 GPU 部署栈、领域专用微调、或者要求避免外部网络调用,这些都可能让决定翻盘。
最好的 reranker 是准确性-延迟-成本-可靠性综合权衡后的选择,不是排行榜上的奖杯。
5. 比排行榜更重要的那次生产故障
一次惨痛的教训来自集成环节,而不一定是神经网络模型本身。
在一个原本正常的 Pinecone inference 配置里,我们的 cohere-rerank-3.5 请求开始返回 403 / PERMISSION_DENIED,原因是项目已经不再被授权访问那个模型了。
就算 reranking 这个依赖挂了,检索还是得正常工作。
还有另一起 reranking 问题,涉及空文档输入和环境配置。
这两次故障都不能说明 Cohere 的神经相关性模型差。它们说明的是:相关性层终究还是个生产服务,有权限、输入、配额和失败模式这些现实问题。
我现在的防御性检查清单长这样:
- 校验输入: 丢掉空文本,保留文档 ID,并记录候选被过滤的原因。
- 让授权和模型访问可观测: 403 应该和超时、或输入格式错误区分开来分类。
- 用有上限的超时和回退: 如果 reranker 不可用,就返回原始检索顺序,并在内部把响应标记为降级。
- 保留出处: 在调用 reranker 之前,先把公司、财年、源文档、页码和 passage ID 都挂上。排序后用返回的索引把元数据还原回去。
- 评估降级: 一个能跑的回退,不等于相关性等效的回退。要量化它对回答/引用的影响。
另一个隐蔽的坑,是把 rerank 分数当成通用的概率。
Cohere 的文档提醒过:排序分数是依赖 query 的,不同代模型的分数不应该随便跨无关查询去比较。
新发布的 Rerank 5 系列明确宣传了校准过的分数;别把这个保证回溯套到 v3.5 上。
6. 在你自己的文档上复现这个对比
一个最小的并排对比测试可以用 Python 写出来。
它比较的是同一批候选 passage,不会有检索差异来污染结果。
# pip install cohere FlagEmbedding
import os
import cohere
from FlagEmbedding import FlagReranker
query = "Which filing reports consolidated operating margin for Q2 FY25?"
docs = [
"Management discussed margins across the full fiscal year.",
"Standalone operating margin for the second quarter is reported here.",
"Consolidated operating margin for Q2 FY25 is disclosed here.",
"The prior-year consolidated statement provides comparison context.",
]
# Cohere v3.5 was the generation I used in production.
client = cohere.ClientV2(api_key=os.environ["COHERE_API_KEY"])
co = client.rerank(model="rerank-v3.5", query=query,
documents=docs, top_n=len(docs))
cohere_order = [item.index for item in co.results]
# Public checkpoint chosen as a reproducible BGE-family baseline.
bge = FlagReranker("BAAI/bge-reranker-v2-m3", use_fp16=False)
bge_scores = bge.compute_score([[query, text] for text in docs])
bge_order = sorted(range(len(docs)),
key=lambda i: float(bge_scores[i]), reverse=True)
print("Cohere order:", cohere_order)
print("BGE order: ", bge_order)
这是一份可运行的对比配方,不是 benchmark 结果。
它需要一个 Cohere API key、跑 BGE 所需的本地模型依赖和硬件,以及一个真实的测试集。
要把它变成可发表的证据,就把语料库、候选池、模型版本、截断策略和相关性标签都固定下来。
至少跑几十个真正有代表性的查询,包括日期、实体或报告口径都搞错的困难负样本。
然后按每个查询报告胜负,而不是只给一个汇总平均分。
我建议的实验矩阵是固定第一阶段的 top 40,然后比较三种排序:原始向量/混合、Cohere、BGE。
测量 nDCG@5、MRR@10、rerank 延迟的 p50/p95、请求失败率、计费单元或 GPU 秒数,以及最终回答有没有引用到正确的 passage。
具体的 40 和 5 只是用来调的起点,不是什么所谓的最优值。
想要更严格的公开评估规范,可以从 BEIR 入手。它说明了为什么域外评估是必要的,以及为什么更强的排序往往伴随更高的算力成本。
7. 大多数 reranker 对比都忽略的成本账
「BGE 免费」和「Cohere 很贵」一样误导人。
BGE 的模型权重在适用许可下可能确实是免费可得的,但推理硬件、利用率、运维和工程时间可不是免费的。
Cohere 的定价还得理解搜索单元(search unit),而不只是模型名。
Cohere 定义一个 search unit 为一个 query 加最多 100 个计费文档。更长的文档会被拆成单独计数的 chunk;具体的计费和平台条款得去核对你的服务商。
举个例子,一份第三方列表在 2026 年 10 月给 Rerank 3.5 标的是每 1000 次搜索 $2。
这是一个时点参考价,不是保证的合同价。
如果每个请求算一个计费 search unit,那账是这么算的:
按每天 1 万次用户搜索、30 天、每次搜索 1 个计费单元、每 1000 单元 $2 算:
这 $600 是举例,不是我真实的生产账单。
如果请求消耗超过一个计费单元、服务商定价不同、或有额外的搜索/检索成本,结果都会变。
自托管方案需要另算一笔账:
盈亏平衡点在于:在相同的相关性和延迟目标下,实测的、全成本口径的自托管单次成功 rerank 成本,能低于托管方案。
一块一天大部分时间闲置的 GPU,可能比 API 还不划算;而 batch 打得好、利用率拉满的部署,则可能改写这个等式。
8. 我还没测过的新选手:Cohere Rerank 5
2026 年 10 月 21 日,Cohere 发布了 Rerank 5 Pro 和 Rerank 5 Fast,主打 32k token 的上下文窗口、支持 100+ 种语言、校准过的分数,以及能返回文档内相关字符区间的 Context Focus。
Cohere 把 Pro 定位给复杂检索,把 Fast 定位给对吞吐敏感的工作负载。
这些是厂商宣传的产品能力,不是我对比出来的结论。
对金融 RAG 系统来说,Context Focus 尤其有意思:它承诺能把只含答案的摘录传给下游,而不是把整份文件都倒进生成器里。
但在依赖它之前,我会先验证选出来的这些区间有没有保留脚注、表头、单位和页面级的出处。
省 token 却丢掉会计上下文,是个糟糕的优化。
在把 v3.5 或自托管基线换成 v5 之前,我会把同一套带标签查询的评估重新跑一遍。
没有任何一次升级是免费的质量保证。
我的最终结论
让我印象深的: 在我为金融文档助手探索过的 reranking 方案里,Cohere Rerank 3.5 是实际相关性最对味的一个。它让我更容易把生成聚焦在正确的证据上,而不是相邻的文字上,还不用自己再养一套推理服务。
不足的地方: 托管的省心是有代价的,就是依赖服务商。我踩过权限故障和另一类输入/配置问题,这让回退设计和可观测性变得没得商量。BGE 的自托管故事依然很有吸引力。
值得吗? 值得,前提是你的团队看重相关性和迭代速度、也负担得起托管 API。 当部署控制权或实测的成本经济性更优先时,BGE 也值得。
更好的技术决策,是那个在你带标签的领域查询上胜出、满足 p95 延迟目标、并且在生产里能安全降级的方案。
更大的教训: 一个好的 RAG 系统,不是召回文本最多的那个,而是能把正确的证据按正确的顺序排好、并且在证据缺失时心里有数的那个。
参考与可复现说明
- Cohere Rerank 文档与模型代际
- Cohere Rerank API v2
- Cohere reranking 最佳实践与计费行为
- Cohere Rerank 5 发布说明,2026 年 10 月 21 日
- BAAI FlagEmbedding reranker 模型与推理
- Passage Re-ranking with BERT, Nogueira & Cho
- ColBERT, Khattab & Zaharia
- BEIR benchmark, Thakur et al.
- Reciprocal Rank Fusion, Cormack et al.
- Cohere 定价 FAQ 与 Rerank 3.5 时点价格列表
披露:这是一篇独立的工程评测,基于我的经验以及公开链接的技术文档。文中的 nDCG 数字示例和月度成本场景都明确是示例性的。没有复现任何专有的评测结果或客户私有文档。