Docling 找到了 41 张图,却一张都没描述。为什么我最终用 Base64 + 视觉 LLM 换掉了我的 PDF 处理链路
我在给一个 AI 驱动的金融研究系统做文档摄取流水线时,碰到了一个有意思的问题。
一个 PDF 转换成功了。Markdown 文件也生成了。标题和段落都出现在该在的地方。
但输出却丢掉了一些最重要的金融信息。
图表、图形和图片密集的部分,要么缺失,要么变成了占位符。
我的一次 Docling 实验检测到了 41 张图片,却生成了 0 条有用的图片描述。
另一次实验花了 266.96 秒才处理完一个四页的 PDF 分块。
对一个生产环境的金融 RAG 系统来说,这些可不是小麻烦。
想象一个投资者问:
「这家公司过去五年的营收增长是多少?」
答案可能只存在于一张柱状图里。旁边那段文字可能讲的是商业策略,但根本没重复那些具体数字。
如果摄取流水线只存了周围的段落,检索系统就没法从它的文本索引里找回那些数字。
文档是被处理了,但信息丢了。
这个失败最终把我推过了三代文档提取架构:
- 基于 Docling 的解析: 传统的 OCR、版面识别、表格提取和文档理解。
- Docling + GPT-4o 混合方案: Docling 负责结构化提取,GPT-4o 负责解读提取出来的图片和图表。
- 直接 Base64 + 多模态 LLM: 把整页 PDF 渲染成图片,Base64 编码后直接发给视觉模型生成 Markdown,把 Docling 从提取链路里彻底拿掉。
对视觉复杂的金融文档来说,第三种架构成了我更偏好的方向。
而最有趣的部分,不是「换了个更大的模型,OCR 突然变强了」。
而是简化流水线之后,好几个故障点同时消失了。
1. 金融文档提取为什么这么难?
金融文档在同一页里混合了多种信息格式。
一份典型的年报或 factsheet 可能包含:
- 普通文字和标题。
- 带合并单元格的金融表格。
- 营收、利润率和利润的图表。
- 解释会计假设的脚注。
- 扫描图片。
- 多栏布局。
- 用千、lakh、crore 或百万表示的数字。
- 必须跟特定年份或业务板块对应起来的百分比。
看一张表:
| 财年 | 营收(₹ Cr) | EBITDA 利润率 |
|---|---|---|
| FY23 | 12,430 | 17.2% |
| FY24 | 14,850 | 18.1% |
| FY25 | 17,210 | 19.4% |
这些是示例数字,不是提取出来的真实公司数据。
一个好的文档解析器,得保住比原始字符串更多的东西。
它必须知道 17,210 对应的是 FY25 的营收,单位是 crore,而 19.4% 属于另一列。
当同一份数据以图表形式呈现时,问题更难。
传统的 OCR 引擎也许能识别坐标轴标签和数字,但重建不出每根柱子代表什么。
多模态模型能推理视觉关系,尽管它还是可能读错数字或幻觉出数值。
对金融 RAG 来说,我把文档提取质量分成三层:
文字保真度: 单词有没有提取对?
结构保真度: 表格、标题、单位、关系和阅读顺序有没有保住?
语义保真度: 图、插图或示意图想传达的东西,我们有没有真正抓到?
第三层正是很多 OCR 流水线会漏掉的。
而如果这些信息根本没进你的向量数据库,再好的 embedding 和 reranker 也找不回来。
2. 第一阶段:基于 Docling 的 PDF 处理
我最初用的是 Docling,一个跟 IBM Research 有关的开源文档转换框架。
Docling 提供传统的解析流水线和基于视觉语言模型(VLM)的流水线。这两者不该混为一谈。
标准流水线通常把 PDF 解析、版面理解、必要时 OCR、表格识别和文档重建组合在一起。
VLM 流水线则是用一个视觉语言模型来理解渲染出来的文档页面。
我的摄取系统处在一个更大的流水线里,涉及文档存储、基于队列的处理、Markdown 生成、分块、embedding 和检索。
基本流程是这样的:
Financial PDF
|
v
Azure Blob Storage
|
v
Queue / Ingestion Worker
|
v
Docling PDF Converter
|
+---- OCR / Layout Analysis
|
+---- Table Recognition
|
+---- Picture Extraction
|
v
Markdown Export
|
v
Chunking + Embeddings
|
v
Vector Database
|
v
Financial RAG Retrieval
Docling 吸引我的地方有好几点。
它提供结构化的文档表示,理解的不只是纯文本,还支持 Markdown 导出。对处理大量 PDF 来说,它也是个合理的起点。
对文字密集的文档,这套架构是说得通的。
但一旦打开图片理解,问题就一堆一堆地冒出来了。
问题 A:检测到图片 ≠ 理解图片
我遇到的最大的一个误解,就是以为检测到一张图片,意味着它的内容会出现在导出的 Markdown 里。
这其实是两码事。
Docling 可能检测到一张图,生成一个裁剪后的图片表示,但导出时还是只输出一个占位符,而不是有用的语义内容。
在我的实验里,有一次特别失败,检测到了 41 张图片,却一条描述都没生成。
下游的 Markdown 里可能只有:
<!-- image -->
对一个检索系统来说,这个占位符几乎没用。
它只告诉我「这里有张图」,却什么都没说这张图里是什么。
问题 B:图片标注和 Markdown 导出是两回事
就算生成了描述,也不总是够用。
图片标注可以存在于文档表示里,却不一定会正确出现在最终的 Markdown 输出里。
这个区别带来了不少围绕图片标注、导出选项和序列化的调试工作。
我还碰到过一个 API 兼容性问题:某个版本的 export_to_markdown() 会拒绝一个 image_ref_mode 参数。
一次涉及 chunk_1_9-20.pdf 的测试,转换花了 173.65 秒,然后才撞上这个导出错误。
这尤其让人肉疼,因为昂贵的文档转换已经跑完了,可预期的最终产物还是不存在。
有意思的是,这并不完全是个孤立问题。Docling 的公开 GitHub 讨论里,也记录了图片标注在 Markdown 导出里被丢掉、以及图片描述元数据行为不一致的问题。
问题 C:页面范围处理与图片增强
为了处理更大的文档,我试过把 PDF 拆成多个页面范围。
但页面范围处理和图片增强的某些组合会带来索引问题,包括一个涉及 conv_res.pages[page_ix] 的 IndexError。
一般的工程问题很直接:转换后子集里的页面索引,必须正确映射回它们的原始位置。
一旦这个假设被打破,提取出来的图片内容就可能丢失,或者处理直接失败。
问题 D:启动和模型加载的开销
还有一些跟提取准确度无关的运维问题。
在 Python 3.12 环境里,我遇到了 Docling 依赖链带来的启动慢和 import 被打断的问题。
追踪栈经过了 Pydantic、pandas、Transformers 和元数据扫描这些模块。
这意味着在真正有用的文档提取开始之前,又多了一笔开销。
在一个常驻 worker 里,重型的 import 也许能摊薄。
但在一个频繁重启的进程、或资源受限的虚拟机上,启动开销会变成实际端到端延迟里不可忽视的一部分。
第一个架构的教训很明确:
一个库能成功检测到文档元素,不代表下游输出能保住这些元素的意义。
3. 第二阶段:Docling + GPT-4o 混合方案
我的下一个方案是混合式的。
我不再指望 Docling 理解每一个视觉元素,而是把「文档解析」和「图片解读」分开。
Docling 继续负责结构化提取。
GPT-4o 负责视觉内容。
流水线大致长这样:
PDF
|
v
Docling Extraction
|
+---- Text + Tables ---------+
| |
+---- Extracted Images |
| |
v |
Base64 Encoding |
| |
v |
GPT-4o |
| |
v |
Image Descriptions |
| |
+-------------------+
|
v
Enriched Markdown
|
v
RAG Ingestion
Base64 在这一阶段就已经用上了。
重要的区别在于:Base64 编码的图片是用来增强 Docling 的提取,而不是取代 Docling 本身。
GPT-4o 在解释图表、解读示意图关系、识别以视觉方式呈现的数字信息这些任务上很有用。
这帮忙解决了最初的问题之一:文字表示不再需要完全忽略视觉元素了。
但这套架构仍然有一个严重的依赖。
GPT-4o 只能解读 Docling 成功识别并传给它的那些图片。
如果一张图没被提取出来、被裁错、或者丢掉了周围的标题和坐标轴上下文,视觉模型收到的就是文档的一个残缺视图。
这是一个重要的架构局限。
想象一张图,标题写着「Segment Revenue Growth」,而图例在裁剪范围之外。
一张孤立的图片裁剪,可能丢掉把柱子跟业务板块对应起来所需的信息。
一整页的图片则包含更多周围上下文。
混合架构还需要合并两套独立提取系统的输出。
这又引出它自己的问题:
- 每条图片描述应该插到哪里?
- 怎么保住页面和章节引用?
- 怎么避免重复 Docling 已经提取过的文字?
- 一个阶段成功、另一个阶段失败怎么办?
- 从不同表示里提取出的互相冲突的数字,怎么调和?
混合设计改善了视觉覆盖,但并没有消除原始解析流水线的复杂度。
最终,我开始怀疑:对我处理的这些文档,这份复杂度到底是不是必要的。
4. 第三阶段:彻底去掉 Docling,改用 Base64 + 多模态 LLM
下一步的演变更根本。
我不再用 Docling 解析 PDF、再挑几张图片发给视觉模型,而是转向把整页 PDF 渲染成图片,然后让一个多模态 LLM 直接把页面转成 Markdown。
核心架构变成了:
PDF
|
v
Render Each Page as Image
|
v
Base64 Encode Image
|
v
Multimodal LLM API
|
+---- Recognize Text
|
+---- Reconstruct Tables
|
+---- Interpret Charts
|
+---- Preserve Numbers
|
v
Page-Level Markdown
|
v
Validation + Page Metadata
|
v
Chunking + Embeddings
|
v
RAG Retrieval
这就把 Docling 从提取链路里拿掉了。
不再有一个独立的文档理解框架来决定「哪些图重要到值得发给另一个模型」。
多模态模型拿到的是页面本身。
为什么是 Base64?
严格来说,Base64 并不会提升 OCR 准确度。
它只是一种把二进制图片数据编码、好让它们能放进 API 请求里的方式,通常是作为一个 data URL。
真正的提升来自改变模型看到的东西。
与其给模型孤立的图片裁剪和单独提取出来的文字,不如给它一整页完整渲染出来的页面。
这保住了标题、表格、图形、脚注和邻近解释之间的视觉关系。
它也简化了提取架构。
PDF 渲染器仍然得正常工作,模型也仍然可能犯错。但一整类「版面转图片选择」和「输出合并」的问题消失了。
一个简化的实现
下面是一段示例 Python 实现,用了 PyMuPDF 和 OpenAI 的 Responses API。
它演示的是这个思路,不是我原始生产代码的逐字复制。
import base64
import fitz
from openai import OpenAI
client = OpenAI()
PROMPT = """
Convert this financial document page into
high-fidelity Markdown.
Requirements:
1. Preserve all visible text and headings.
2. Reconstruct tables with correct rows
and columns.
3. Preserve numbers, units, negatives,
percentages and financial years exactly.
4. Describe charts and their relationships.
5. Do not invent unreadable values.
6. Mark uncertain values as [UNCLEAR].
7. Keep footnotes and financial context.
8. Return Markdown only.
"""
def extract_page(page):
pixmap = page.get_pixmap(
matrix=fitz.Matrix(2, 2),
alpha=False
)
image_bytes = pixmap.tobytes("png")
encoded = base64.b64encode(
image_bytes
).decode("utf-8")
response = client.responses.create(
model="gpt-5.6-luna",
input=[{
"role": "user",
"content": [
{
"type": "input_image",
"image_url":
"data:image/png;base64,"
+ encoded,
"detail": "original"
},
{
"type": "input_text",
"text": PROMPT
}
]
}]
)
return response.output_text
def extract_pdf(path):
document = fitz.open(path)
extracted_pages = []
for page_no, page in enumerate(document):
markdown = extract_page(page)
extracted_pages.append({
"page": page_no + 1,
"markdown": markdown
})
return extracted_pages
在生产环境,这个基础实现还需要一些额外能力:异步处理、重试、并发限制、幂等的队列任务、错误分类、可观测性和成本监控。
最重要的是,它需要提取校验。
一个看起来干净的 Markdown 响应,并不能证明提取出来的金融数值是对的。
为什么提示词很关键
文档提取是一个相对受限的任务。
我不是在让模型写投资论点、做预测,或者创意性地总结一家公司。
我是想让它忠实地把文档转写成一种可用的表示。
这意味着提示词应该优先「保真」而不是「啰嗦」。
比如:
「不要计算缺失的合计。数字照原样保留。」
对摄取来说,这条指令比下面这条更有用:
「请给出一份有帮助且详细的金融分析。」
第二条提示词鼓励解读,第一条强调忠实提取。
我还倾向于把不确定的数值显式标出来,而不是让 LLM 偷偷编一个答案。
5. IBM Granite-Docling 的位置
IBM 的 Granite-Docling 值得单独讨论,因为很容易把 Docling 框架和某个具体的 Docling VLM 搞混。
Granite-Docling 是一个紧凑的文档理解视觉语言模型,有一个文档记载的 2.58 亿参数版本。
它能把文档页面图片转换成结构化表示,用的是 DocTags——一种为了保留文档布局和层级而设计的标记格式。
这确实有意思。
一个小而专的文档模型,相比通用 LLM 可以有显著优势。
它可能更容易自托管,任务更聚焦于文档转换,还能跟现有的文档处理基础设施集成。
不过,模型参数数量不等于生产推理成本。
你仍然要考虑模型启动、框架初始化、运行时依赖、吞吐量和可用硬件。
一个紧凑的文档 VLM,在本地处理或数据驻留很关键的环境里,可能是个强选项。
就我的情况而言,更重要的对比是「整条流水线的复杂度」,而不只是参数数量。
如果维持一个小本地模型的运行时需要常驻 GPU 基础设施,而文档量又低、让这套设施闲置,那它未必自动就更便宜。
我的结论: Granite-Docling 值得在自托管文档提取上考虑,尤其是在结构化输出和基础设施控制重要的时候。但它不能证明每条文档流水线都需要一个自托管 VLM。
6. Mistral OCR:通用视觉模型的一个认真替代
Mistral 的 Document AI OCR 服务是另一个有意思的替代。
跟通用多模态模型不同,它是专门围绕「提取文档信息」来打造的。
截至 2026 年 11 月,Mistral OCR 4.1 提供的功能包括:
- 结构化文档提取。
- 段落级 bounding box。
- 结构块标签。
- 不同粒度的置信度分数。
- 表格格式化和页面级输出。
- 基于 API 的处理工作流。
它公布的列表价是 OCR 5/1000 页。
这些是官方定价,不是我生产负载测出来的数字。
这个定价有吸引力,因为它是按页可预测的。
对摄取大量 PDF 的流水线来说,在解析之前就知道大致的成本,是很有价值的。
还有一个重要区别:用 Mistral 的托管 OCR 端点,跟自托管文档模型,是两回事。
托管 API 省去了我们团队维护推理硬件的工作。
Mistral 也描述过它 OCR 技术的自托管企业部署选项,但别把这跟「不受限的开源权重可用性」混为一谈。
切换之前我会测什么
对金融文档,我会专门拿 Mistral OCR 跟一个通用视觉模型比这些点:
- 表格单元格的精确重建。
- 负值和十进制小数点的识别。
- 金融单位的保留。
- 图表解读。
- 脚注关联。
- 内容缺失率。
一个文档专精的模型,转写保真度可能极好,但对金融图表的语义描述未必最好。
这是相关但不同的两个任务。
另外,提取出来的图片在 Markdown 输出里仍然可能只是作为引用或资产出现,而不是完整的语义解释。
所以输出格式和下游的图片处理,几乎跟模型底层的 OCR 质量一样重要。
我的结论: 当生产流水线需要结构化文本、bounding box 和可预测的按页定价时,Mistral OCR 是最值得评估的 API 优先替代之一。
7. DeepSeek-OCR:自托管的权衡
DeepSeek 用 DeepSeek-OCR 以及后来的 DeepSeek-OCR 2 走了另一条路。
原始模型通过光学压缩探索了高效的视觉-文本表示。
DeepSeek-OCR 2 引入了更专门的视觉处理架构,包括一个 vision encoder、混合注意力,以及一个 mixture-of-experts 语言模型组件。
这些在技术上都很吸引人。
但模型架构只是摄取系统的一部分。
DeepSeek-OCR 2 官方推理示例用的是 NVIDIA CUDA 环境,配上 PyTorch、FlashAttention、BF16 执行和模型专属依赖。
这意味着自托管不是「装个 OCR 包、调个函数」那么简单。
运维检查清单包括:
- 兼容的 GPU 基础设施。
- CUDA 和 PyTorch 版本。
- 注意力实现和依赖兼容性。
- 模型初始化和内存容量。
- 推理 worker 的生命周期。
- 队列并发。
- 批处理和吞吐量调优。
这里有个重要的成本区别。
模型权重能塞进内存,不等于整个推理服务能在负载下舒舒服服地跑。
内存占用还取决于激活缓冲区、输入分辨率、批处理、运行时实现和并发请求。
我踩过重文档处理依赖的坑,所以对模型加载和环境维护的开销特别敏感。
对一家创业公司来说,再多维护一个专用推理服务,可能变成跟「提升文档准确度」毫不相干的工程活。
这并不意味着 DeepSeek-OCR 是个糟糕的选择。
如果一个组织有 GPU、处理大量文档、又需要自托管推理,那这个权衡就变得有吸引力。
但对一个 API 优先、文档摄取只是更大 AI 产品一部分的应用来说,托管的视觉模型能大幅降低运维复杂度。
我的结论: DeepSeek-OCR 值得在自托管、高吞吐量提取上做基准,但部署成本应该把工程投入、热备容量和依赖维护也算进去,而不只是 GPU 推理时间。
8. Gemini 文档理解:连页面渲染也省了?
Google Gemini 提供了另一个架构选项。
与其我们自己把 PDF 页面渲染成图片,Gemini API 支持直接输入 PDF。
按 Google 的文档,它的文档理解能力包括解读文字、图片、示意图、图表和表格,支持最长 1000 页或 50 MB 的 PDF。
这就有了第四种可能的架构:
PDF
|
v
Gemini Files API / Inline PDF
|
v
Native PDF Understanding
|
v
Structured Extraction
|
v
Markdown / JSON
|
v
RAG Pipeline
这可以省掉维护我们自己「页面转图片」渲染阶段的需求。
这是个实打实的简化。
不过,输入处理更简单,并不自动等于金融提取更准。
长上下文处理会带来关于一致性、遗漏和校验的单独问题。
一个接收百页报告的模型也许有更多上下文,但摄取系统仍然需要判断:每一个重要的数值是不是真的都被保住了。
对归档类摄取,我更倾向于页面级或小批量的提取,并显式标注页面归属,哪怕用的模型能处理整个 PDF。
这样调试更容易。
如果某个值缺失,我能定位到原始页面,而不是去翻一个覆盖整份文档的巨大响应。
所以 Gemini 在「文档级理解」和「直接提取」上都值得关注,但我还是会在金融报告上验证它的页面级保真度。
9. 为什么更小的 GPT 模型变得有意思了
我最大的体会之一是:文档提取未必需要最强推理模型。
这个任务大部分是受限的转写和视觉解读。
这让更小的多模态模型变得很有吸引力。
OpenAI 的 GPT-5.6 系列现在包含 Terra 和 Luna,两个都支持图片输入。
Terra 定位为能力和成本之间的平衡。
Luna 面向对成本敏感、高吞吐量的负载。
这是官方公布的标准 API 定价:
| 模型 | 输入 / 1M tokens | 输出 / 1M tokens |
|---|---|---|
| GPT-5.6 Luna | $0.20 | $1.20 |
| GPT-5.6 Terra | $2.00 | $12.00 |
这些是评估这套架构时当前可选的模型,不是说我在早期 GPT-4o 和 Base64 迁移时用的就是这些 2026 年的确切版本。
每页大概意味着什么?
假设我们处理一个渲染成 1,024 × 1,024 图片的页面。
按 OpenAI 公布的这些模型的 patch 式图片计费方式,这大约对应 1,229 个图片输入 tokens。
再假设另有 250 个输入 tokens 用于指令,700 个输出 tokens 用于提取出来的 Markdown。
那就得到一个假设的成本计算:
| 模型 | 估算成本 / 页 | 每 1000 页 |
|---|---|---|
| GPT-5.6 Luna | $0.00114 | $1.14 |
| GPT-5.6 Terra | $0.01136 | $11.36 |
| Mistral OCR 4.1 | $0.00400 | $4.00 |
这是一个示例成本模型,不是实测基准。实际成本很大程度上取决于图片尺寸、token 消耗、输出啰嗦程度、缓存、模型设置和处理开销。
Mistral 那一行是它官方公布的按页 OCR 价,不是基于 token 的估算。
不过这个对比仍然有用。
取决于输出要求,一个更小的通用视觉模型在成本上可以跟专门的 OCR 服务打一打。
但成本不应该是选模型的唯一标准。
我宁愿为一个能更可靠地保住金融数值的提取模型多花点钱。
一个小数点提取错了,代价可能远高于整份文档的处理账单。
10. 数值精度才是真正的质量问题
PDF 提取模型出错有好几种方式。
最明显的失败,是什么文字都没提取出来。
更危险的失败,是提取出看起来可信、但数值错误的内容。
看这些示例:
| 原始 | 错误提取 | 失败类型 |
|---|---|---|
| 12.35% | 12.85% | 小数/数字替换 |
| (₹245 Cr) | ₹245 Cr | 负值丢失 |
| 1,24,560 | 12,456 | 数字缺失 |
| FY24 | FY25 | 期间错误 |
| ₹ million | ₹ crore | 单位不匹配 |
这些是「需要去测的」错误示例,不是我历史生产日志里声称的观察。
风险在于,一个 LLM 能产出极其干净的 Markdown,里面却藏着一个错误的数字。
如果这个值被下游 AI 系统嵌入、检索、引用,这个错误就会变得很难发现。
这就是为什么我要区分语义覆盖和数值保真。
直接的 Base64 方案解决的是「视觉上下文丢失」——这正是我们改架构的动机。
但任何关于「数值精度提升百分之多少」的说法,都需要一个受控基准。
评测应该把每条流水线跟人工核验过的 ground truth 做对比,用的指标比如:
- 数值的精确匹配准确率。
- 数字跟行列标签的正确关联。
- 单位、符号和百分比的保留。
- 表格单元格完整性。
- 图表信息覆盖。
- 缺失或幻觉内容。
- 端到端延迟和处理成本。
一个能认出每张图表、却抄错几个数字的模型,对金融 RAG 来说未必比一个更保守的解析器更好。
11. 我的实际实验到底证明了什么
这些是我从早期开发工作中能明确指出的具体观察。
| 实验 / 问题 | 观察到的结果 |
|---|---|
| Docling 图片描述运行 | 检测到 41 张图,0 条描述 |
| 四页 Docling 转换分块 | 266.96 秒 |
| 另一次 Docling 转换 | 173.65 秒后才撞上 Markdown 导出 API 错误 |
| Docling Markdown 输出 | 图片占位符和缺失描述 |
| 页面范围 + 图片处理 | 转换结果出现索引失败 |
| Docling 依赖初始化 | Python VM 上 import 慢 / 被打断 |
| 混合 Docling + GPT-4o | 在结构化解析之外引入了视觉解读 |
| 直接 Base64 + 多模态 LLM | 把 Docling 从提取链路移除,实现整页视觉解读 |
这些观察解释了架构上的决策。
它们并不构成最新版各 OCR 模型之间完整的正面准确度基准。
而我觉得这个区别很重要。
网上很多对比就是截几张图、看一眼生成的 Markdown,就宣布某个模型赢了。
对一个金融研究系统来说,这远远不够。
12. 我如果今天跑基准会怎么做
如果我要为这个问题重新评估最新模型,我会构建一个固定的金融 PDF 页面数据集。
评测集会包括原生数字报告、扫描对账单、多栏页面、带合并单元格的表格,以及图表密集的投资者演示材料。
每个模型都会收到等价的原内容,并记录下分辨率和提取提示词。
我会对比:
| 候选 | 主要评测目标 |
|---|---|
| Docling Standard | 文字和结构保真度 |
| Docling + GPT-4o | 视觉增强质量 |
| Granite-Docling | 自托管文档转换 |
| Mistral OCR 4.1 | 结构化 OCR 和数值保真度 |
| DeepSeek-OCR 2 | 自托管吞吐量和保真度 |
| Gemini PDF 理解 | 原生 PDF 解析和上下文保留 |
| GPT-5.6 Luna | 低成本多模态提取 |
| GPT-5.6 Terra | 准确度/成本权衡 |
对每个模型,我会把冷启动和预热处理时间分开记录。
对自托管模型,我还会额外记录峰值 GPU 内存、几个并发级别下的吞吐量,以及部署成本。
对 API 模型,我会跟踪 tokens、每页成本、限流和重试开销。
而对每一个模型,数值准确度都要对照同一套人工核验的数值来评估。
这会告诉我们比「谁的输出看起来最干净」有用得多的东西。
它会告诉我们:哪个系统值得我们信任到可以放到金融研究用户面前。
13. 我今天会部署什么
我不建议把每个文档处理系统都换成视觉 LLM。
那没必要。
对干净、原生数字的 PDF(文字和结构本来就能拿到),Docling 的标准流水线仍然是个合理的选择。
如果任务需要带结构化块、bounding box 和可预测按页定价的专用 OCR,那 Mistral OCR 很有吸引力。
对隐私敏感、又有合适基础设施的环境,Granite-Docling 和 DeepSeek-OCR 值得认真考虑。
当原生 PDF 理解和更广的文档上下文很重要时,Gemini 很有吸引力。
对那些促使我改架构的图片密集金融文档,我更喜欢直接多模态页面提取这种运维上的简单。
我会从一个更小的模型(比如 Luna)开始,验证它的提取质量,然后在有必要时,把难的页面升级到更强的模型(比如 Terra)。
不过,这个路由策略应该由实际错误率来驱动,而不是靠对模型规模的假设。
而且,不能只因为一个模型生成了漂亮的 Markdown 就信任它。
提取层需要校验、可追溯,以及标记含糊数值的能力。
最终结论:最好的流水线未必是最复杂的
我最初的流水线,想靠组合各种专门组件来解决文档摄取。
Docling 负责解析、OCR 和结构化提取。
然后 GPT-4o 帮忙找回被提取图片的意义。
最终,我转向了通过多模态 LLM 直接做 Base64 页面图片提取。
就我的场景而言,架构上的简化跟视觉覆盖的提升一样重要。
我去掉了一个「检测视觉元素」和「解读它们」之间的依赖。
我减少了所需的输出合并逻辑。
而且,我可以把 PDF 页面本身当作提取的第一手事实来源。
更广义的教训,不是「Docling 不好」或「通用 LLM 总是比专门 OCR 强」。
而是:文档提取应该用「下游应用实际能检索到并信任什么」来评估,而不是用「解析器有没有成功产出 Markdown」来评估。
对金融 RAG 来说,这最终意味着忠实地保住文字、关系、图表和数字。
缺一张图,可能让答案不完整。
错一个数,可能让答案变得危险。
而一次成功的 PDF 转换,也可能同时带来这两个问题。
值不值? 对我这种视觉复杂的金融文档负载,转向直接多模态提取是值得的架构改动。但我下一步优先要做的,不是换一个更强的模型,而是一层更严谨的、数值化的 ground-truth 评估。
那才是把一条「方便」的提取流水线,变成一套「可信」的金融数据摄取系统的关键。