字节跳动开源的Dolphin，是一个基于多模态大语言模型的高级文档图像解析工具。和传统OCR（仅识别文字）不同，它能够深度理解文档的版面，并将图文、表格、公式等复杂元素一并转化为结构化数据。
📄 核心原理：两阶段解析法
Dolphin采用“先分析，后解析”的两阶段策略处理文档：
- 第一阶段：布局分析- 模型像人一样“扫描”整个页面，按自然阅读顺序识别出所有元素（如标题、段落、表格、公式、图片）的位置和类型，生成一个“元素序列”。
- 第二阶段：并行解析- 以上一步识别的每个元素为“锚点”，同时调用不同的专业解析模块。例如，表格交给表格识别器，公式交给公式识别器，从而实现高效、精准的并行处理。
🛠️ 主要特性与应用
| 特性 | 说明 | 典型应用场景 |
|---|---|---|
| 多元素解析 | 不仅能识别文字，还能解析表格结构、数学公式（转为LaTeX）、代码块和图片标题。 | 学术论文数字化、技术手册解析、财务报表分析。 |
| 结构化输出 | 直接输出JSON和Markdown两种结构化格式，便于后续编程处理或直接生成文档。 | 构建文档数据库、自动化信息抽取、内容管理系统导入。 |
| 轻量与高效 | 模型参数量仅322M，在16GB显存的GPU上即可流畅运行，解析速度快。 | 本地化部署、对数据隐私敏感的场景、批量文档处理。 |
| 多页处理 | 支持对整个多页PDF文档进行连续解析。 | 处理长篇幅报告、书籍、合同等。 |
🚀 如何使用Dolphin
你可以通过在线体验、本地部署或API调用三种方式使用它。
1. 快速在线体验 (最简单)
字节跳动提供了官方演示网站，可以直接上传文件体验效果。
- Demo地址：
http://115.190.42.15:8888/dolphin/ - 操作：将PDF或图片文件拖入网页，即可获得解析后的Markdown和JSON结果。
2. 本地安装与部署 (适合开发者)
如果你想集成到自己的项目，可以进行本地部署。主要步骤如下：
- 克隆项目：
git clone https://github.com/bytedance/Dolphin.git - 安装依赖：进入项目目录，运行
pip install -r requirements.txt。 - 下载模型：从Hugging Face下载预训练模型，国内可使用镜像。例如：
git clone https://hf-mirror.com/ByteDance/Dolphin ./hf_model - 运行解析：使用提供的Demo脚本进行解析。例如：
python demo_page_hf.py --model_path ./hf_model --input_path /path/to/your/document.pdf --save_dir ./results
3. 集成API服务 (适合生产环境)
你可以基于FastAPI等框架，将Dolphin封装成一个HTTP接口，方便其他系统调用。这样，你的应用程序只需向这个API发送文档文件，就能收到结构化的解析结果。
⚠️ 注意事项与局限性
在实测中，Dolphin表现出巨大潜力，但也存在一些局限，你需要特别注意：
- 幻觉问题：在解析复杂表格或公式时，可能生成不存在或错误的文本和符号（如虚构的LaTeX命令）。
- 精度波动：对印刷体、简单布局的文档解析效果较好，但对排版复杂、手写体或低质量的文档，识别准确率会下降。
- 非传统OCR：它本质是一个文档理解模型。如果文档已是纯文本（如.txt文件），或你只需要最基础的文字提取功能，传统OCR工具可能更直接高效。
💎 总结与建议
总的来说，Dolphin非常适合需要深度理解文档内容与结构的自动化任务。如果你的需求是处理含有丰富格式的扫描件、PDF，并希望直接获得“可计算”的结构化数据，那么Dolphin是一个强大的选择。
