Deepseek发布最新OCR模型在实测中展现出惊人效率，仅用15秒便将百页PDF完整转换为Markdown格式 原创

Deepseek最新发布的OCR模型在实测中展现出惊人效率，仅用15秒便将百页PDF完整转换为Markdown格式，且Token消耗量仅为GPT-4V的十分之一。经过对源码的深入解析，我们归纳出其三大核心技术突破，这些创新共同将OCR性能提升至全新水平。

性能表现一览

• Token压缩效率：达到64:1（行业普遍水平为16:1）
• 处理速度：在A100上实现每秒2500 token
• 文档转换：100页PDF仅耗时15秒
• 识别精度：在OmniDocBench测试中获得91.0%准确率

横向对比显示： 相较GOT-OCR 2.0：Token使用量减少75%，处理速度提升35% 对比Qwen-VL：在表格识别准确率上领先5个百分点 与LLaVA-Next相比：支持更高分辨率输入（1280×1280）

创新一：双编码器级联架构

该模型突破性地采用SAM与CLIP双编码器串联设计： 图像输入 → SAM捕捉细节特征 → CLIP进行语义解析 → 特征融合输出

设计理念解析： SAM优势：精准提取边缘特征、文字轮廓及高分辨率细节 CLIP专长：深度语义理解与跨模态对齐 串联价值：CLIP可直接利用SAM提取的底层特征，避免重复计算 实际成效：文字边缘清晰度提升15%，小字体识别准确率提高8%

创新二：空间位置标记技术

独创性地在视觉标记序列中嵌入空间定位符号： 行尾标记：<|\n|> 标识每行结束 视图分隔符：<|view_separator|> 区分全局与局部视图

传统方法缺陷：[标记1, 标记2, 标记3...] 丢失空间信息 创新方案：[标记1, 标记2, <\n>, 标记3, 标记4, <\n>...] 完整保留二维布局 实际效果： 表格识别准确率提升5% 文档结构理解能力增强10% 定位任务精度提高15%

创新三：自适应分辨率处理机制

基于图像尺寸的智能分片策略： 常规图像（640×640）：单视图处理，生成273个标记 高清图像（3840×2160）：3×2分片+全局视图，共933个标记

压缩技术细节： 图像块尺寸：16×16像素 下采样比例：4倍 总体压缩比：64:1

同分辨率（1024P）输入对比： LLaVA-Next：1350个标记 Qwen-VL：5400个标记 DeepSeek-OCR：仅需273个标记

工程优化亮点

• 集成vLLM推理引擎：采用分页注意力与连续批处理技术
• 针对多模态项目的技术启示： 多编码器协同：充分发挥各组件独特优势 空间标记设计：赋予语言模型二维空间认知 动态分辨率适配：根据输入特征智能调整处理策略 位置编码插值：优雅应对不同分辨率输入

这些技术创新不仅展现了卓越的工程实现能力，更为多模态技术发展提供了重要参考方向。

本文转载自​​​​AI 博物院​​​​ 作者：longyunfeigu