多模态 AI vs 专家混合:搭一条金融 RAG 管道,教会我的成本、延迟和准确率那些事
专家混合(MoE)特别有意思,因为稀疏的专家激活能降低推理算力。但多模态和 MoE 并不是二选一的对立选项——一个描述的是模型能理解哪些类型的数据,另一个描述的是计算是怎么组织的。
在这篇评测里,我会把我的一手生产经验,和一份来源外部、较新的三种 Qwen 架构的价格与延迟对比,分开来讲。
1. 我的真实用例:把金融文档变成结构化数据
我之前做过一个金融研究助手,背后是超过 10 万份文档和大约 2000 万条结构化记录。整个产品服务了 50 多万次用户查询。
我的一部分工作,就是把非结构化的金融文档转成机器可读的信息。
输入包括:
- IPO 红鲱鱼招股书(RHP)
- ETF factsheet,包含持仓和估值比率
- 公司财报文件和投资者演示材料
- 表格、图表和扫描版 PDF 内容
在文档抽取上,我用过 GPT-4o、Gemini、文档理解工具、OCR,以及基于 schema 的校验。
目标不是生成一篇看着像那么回事的摘要,而是足够准确地还原具体的金融数据,好让下游系统能直接用。
比如一份 ETF factsheet,它的 P/E 比率、P/B 比率、费率、持仓和报告日期,可能散布在好几个不同的视觉区块里。
一个模型如果找到了正确的数字、却把它们对应到错误的报告期,那就不够准确。
我实际测了什么
我的实际流程包括:抽取文档内容、映射成结构化字段、按既定 schema 校验结果,再提供给检索层和应用层使用。
一个代表性、简化版的抽取指令长这样:
Analyze the supplied ETF factsheet.
Extract:
- Fund name
- Reporting date
- P/E ratio
- P/B ratio
- Expense ratio
- Top holdings
Return structured JSON.
Use null for missing values.
Do not infer numbers absent from the source.
Preserve the reporting date and distinguish
reported values from derived values.
这是对这个任务重构出来的示例,不是我存档的生产 prompt 原文。
实际的文档管道用的是结构化抽取和校验,而不是直接信任模型不受约束的输出。
结果怎么样?
这条金融文档抽取流程,把人工分析从几小时压到了几分钟。
我还做了 prompt 设计、batching、缓存和架构层面的优化,把整个系统里 LLM 的 token 成本大概砍掉了 90%。
那 90% 的降幅是系统级工程的结果,不是单单换成 MoE 模型带来的,没有做过隔离实验的话,我不会把它归功于 MoE。
我最大的体会是:选型只是 AI 成本工程里的一个环节而已。
2. 大多数对比都忽略的架构差异
多模态模型能处理不止一种输入模态,比如文本、图像、音频或视频,具体看它的能力。
稀疏的专家混合模型,是用一个学出来的 router,针对每个 token 只激活选中的专家子网络,而不是把所有专家都算一遍。
看这三个模型:
| 模型 | 架构 | 能处理什么 |
|---|---|---|
| Qwen3-VL-8B-Instruct | 稠密多模态 | 文本、图像和受支持的视觉输入 |
| Qwen3-30B-A3B-Instruct-2507 | 文本向 MoE | 文本 |
| Qwen3.5-35B-A3B | 多模态 MoE | 文本、图像、视频 |
Qwen3-30B-A3B 总参数约 305 亿,但每个 token 只有约 33 亿参数是激活的。
Qwen3.5-35B-A3B 把原生视觉语言架构和稀疏专家路由结合在了一起。它的语言模型总参数约 350 亿,激活参数约 30 亿。
这里有个重要的区分:多模态处理和稀疏专家路由是可以共存于同一个模型里的。
MoE 也不意味着模型会自动知道哪个专家最擅长金融、编程或生物。路由的特化是在训练中学出来的,光看参数量是推断不出它的行为的。
3. 成本与延迟:公开服务商数据说明了什么
我在 2026 年 10 月 28 日查了 OpenRouter 上列出的价格和服务商性能。
这些是第三方服务商的统计,不是我自己的 API 请求测出来的延迟。
| 模型 / 服务商 | 输入 / 1M | 输出 / 1M | 列出的 p50 延迟 | 吞吐 |
|---|---|---|---|---|
| Qwen3-VL-8B / Parasail | $0.25 | $0.75 | 0.71s | 45 tok/s |
| Qwen3-30B-A3B / DekaLLM | $0.09 | $0.30 | 0.41s | 76 tok/s |
| Qwen3.5-35B-A3B / DeepInfra | $0.14 | $1.00 | 0.52s | 63 tok/s |
| Qwen3.5-35B-A3B / Darkbloom | $0.065 | $0.75 | 1.90s | 62 tok/s |
这些列出的延迟值来自 OpenRouter 的服务商遥测。别把它们当成用相同 prompt、网络条件和输出长度做出来的受控首 token 延迟(TTFT)benchmark。
我早先做金融文档抽取时,没有保留客户端侧的 TTFT 日志。
有两点很突出。
第一,纯文本的 MoE 模型 token 经济性很香,但它没法直接顶替能读图的模型,得先把文本抽出来。
第二,即使是两个服务商跑同一个多模态 MoE checkpoint,列出来的延迟和价格也可能差得挺明显。
这让选服务商变成了一个部署决策,而不只是基础设施上的小细节。
4. 1 万次金融抽取请求会花多少钱?
假设一个示例性工作负载:每次请求 2000 个计费输入 token、300 个输出 token。
套用上面选的服务商价格:
| 处理路线 | 1 万次请求的估算成本 |
|---|---|
| 稠密多模态模型 | $7.25 |
| 纯文本 MoE | $2.70 + OCR |
| 多模态 MoE,DeepInfra | $5.80 |
| 多模态 MoE,Darkbloom | $3.55 |
这些只是按 token 算的,不是我实验里的真实账单。
这个例子假设各模型的计费 token 数相同。实际上图像的 token 化因模型和服务商而异,而纯文本路线还需要文档预处理或 OCR。
这就是为什么纯文本 MoE 那个 $2.70 并不是完整的金融文档处理成本。
一个实用的生产公式是:
单次成功抽取的总成本 = 模型推理 + OCR/预处理 + 重试 + 校验 + 基础设施。
对于一条要处理几千份文档的管道来说,哪怕模型再便宜,只要抽取质量差、导致额外的重试或人工校正,最后也会变得很贵。
5. 回答质量:我最在意的指标
通用知识 benchmark 是很有用的参考,但它们不能直接衡量一个模型是否正确地抽取了金融数据。
我会从五个维度来评估这些架构:
- 字段准确率: 金融数值有没有被正确地抄下来?
- 来源保真: 每个抽取出来的值,是不是都对应所提供的文档?
- 期间准确率: 模型能不能区分独立口径和合并口径、季度数和年度数?
- Schema 有效性: 响应是否符合要求的 JSON 结构?
- 幻觉率: 模型会不会在缺值时瞎编,而不是返回 null?
在我早先的抽取工作里,结构化输出和下游校验是流程里必不可少的部分。光拿到一段看着像那么回事的文本,是远远不够的。
要做受控对比的话,我会把同一张文档图像给两个有视觉能力的 Qwen 模型,再把这张图经 OCR 后的输出给纯文本 MoE 模型。
然后把抽取出来的字段,跟人工核对过的 ground truth 去比。
这个对比我还没跑过,所以我没法诚实地报告一个 Qwen 对 Qwen 的字段准确率赢家。
这里还有个重要的公平性问题:OCR 的错误会变成纯文本模型的输入的一部分。一次糟糕的抽取,可能让一个本来很强的 MoE 模型显得不准。
因此,我会同时报告纯模型延迟和端到端管道延迟。
6. MoE 的隐性成本
稀疏 MoE 的主要优势,是每个 token 只有一部分可用专家参与计算。
然而,激活参数更少,并不意味着总内存需求也成比例地降低。
那些没被激活的专家权重,仍然需要存储或保持可访问。专家路由还会带来通信和部署上的考量,尤其是当专家分布在多个加速器上时。
所以,托管 API 的定价并不只由激活参数数量决定。
要自托管的话,我会先考察 GPU 显存需求、batching 效率、专家放置、利用率和尾延迟,再下结论说某个 MoE checkpoint 更便宜。
7. RaDeR 在这张图里处在什么位置
我还看了 RaDeR,这是 EMNLP 2025 上发表的、面向推理的稠密检索研究。
RaDeR 不是一个跟多模态或 MoE 竞争的生成模型。它解决的是推理密集查询的检索问题,并在 BRIGHT 之类的 benchmark 上报告了提升。
这让它可能和金融研究管道的检索层相关。
更强的检索器能改善哪些证据到达回答模型,但它替代不了视觉抽取或生成。
在一个完整的 RAG 系统里,检索质量、文档理解和答案生成,是三个可以各自优化的点。
8. 我的结论:到底该用哪个?
对于原始 PDF、截图和视觉复杂的金融文档: 我倾向于走多模态抽取路线。它能直接看原始视觉来源,而不是完全依赖 OCR。
对于干净、规范化的文本和结构化上下文: 一个价格有竞争力的纯文本 MoE 值得一试。每次请求都为视觉能力付费,可能没必要。
对于能同时处理两种模态和稀疏计算的统一模型: Qwen3.5-35B-A3B 是个特别有意思的候选。它的架构很有前景,但在用它替换掉一条久经考验的抽取管道之前,我会要求先做一次受控的准确率和端到端延迟测试。
我在生产里的真实体会是:把抽取、校验、检索和推理分开,可能比把所有东西都硬塞进一个大模型更有价值。
我自己工作里最有力的证据是:文档理解和架构优化显著减少了人工处理量,而 prompt、batching 和缓存方面的改进降低了整个系统的 token 成本。
MoE 值得吗? 可能值得,尤其是结构良好、量又大的文本工作负载。
多模态值得吗? 值得,前提是必须靠视觉信息才能答对。
多模态 MoE 是不是鱼与熊掌兼得? 架构上,它是个很有说服力的方向;但在运维上,答案取决于实测的准确率、实际账单、TTFT、重试率和端到端延迟。
我宁愿部署一个能正确抽取金融数值、并标明来源的模型,也不愿为了省几分钱去换一个看着像那么回事、实则答错的模型。