OCR 精度再突破：YOLO 11 与 Ollama 的强强联合

引言

我们之前在不同文章中分别探讨了两个强大的框架：Ultralytics YOLO 11，一个高精度的对象检测模型，以及 Ollama，一个用于部署 LLM 模型的框架。但如果我们把这两者结合起来，打造一个超精准的 OCR 系统，会怎么样呢？今天我就要带你一步步实现这个目标！

核心思路是采用两阶段处理：首先用预训练的 Ultralytics YOLO 11 模型检测并定位文本区域（比如车牌），然后将这些区域裁剪出来，传递给 Ollama 的视觉语言模型进行精准的文本提取。这种方法能确保我们只从感兴趣的区域读取文本，大幅提升准确率，减少误报。

按回车或点击查看完整图片
两阶段 OCR 架构：Ultralytics YOLO 11 负责检测，Ollama 负责文本提取
两阶段 OCR 架构：Ultralytics YOLO 11 负责检测，Ollama 负责文本提取

设置开发环境

在开始实现 OCR 之前，我们先来配置开发环境，并克隆包含本教程所有必要代码的仓库。

步骤 1：创建虚拟环境

在 Python 项目中，强烈推荐使用虚拟环境。这样可以保持依赖的整洁，避免不同项目之间的冲突。你可以在这里找到关于如何设置虚拟环境的详细教程。

# 创建虚拟环境
mkvirtualenv ultralytics-ocr

步骤 2：克隆仓库并安装依赖

我已经为本教程创建了一个完整的代码仓库，隶属于我的公司 NeuralNet，我们为企业提供 AI 咨询服务。

git clone https://github.com/NeuralNet-Hub/ultralytics-ollama-OCR.git
cd ultralytics-ollama-ocr
pip install -r requirements.txt

这个安装过程可能需要几分钟，因为它会下载包括 Ultralytics、Gradio 在内的所有必要库。

步骤 3：启动应用

安装完成后，你可以启动 Gradio 界面：

python main.py --model alpr-yolo11s-aug.pt

启动可能需要几秒钟，之后你可以通过浏览器访问 ​​http://localhost:7860​​ 查看界面。

了解界面组件

应用启动后，你会看到一个 Gradio 界面，包含以下几个关键组件：

图片上传区域：

• 图片输入：你可以上传图片或从提供的演示图片中选择。
• 演示图片：来自RoboFlow（一个用于数据标注的平台）的预加载示例图片，供测试使用。

模型配置：

• Confidence Threshold：Ultralytics YOLO 11模型在计算机视觉中的关键参数，决定模型检测对象时的置信度要求。
• Intersection Over Union (IOU)：对象检测中的重要指标，用于消除重复检测（如果你是计算机视觉新手，建议深入了解一下这个概念）。

Ollama 服务器配置：

• Ollama 服务器 URL：你的Ollama服务器部署地址。
• 视觉模型选择：从可用的视觉语言模型中选择。

如果你不知道如何安装和部署 Ollama，我的网站 henrynavarro.org 上有详细的对比指南。

选择合适的视觉模型

什么是视觉模型？

视觉模型类似于传统的 LLM，但有一个关键区别：除了能回答像“给我一段实现 A、B、C 的 Python 代码”这样的问题，它们还能接受图片输入，回答“描述这张图片”或“读取图片中的文本”等问题。

推荐模型：

在本教程中，我将使用 Qwen 2.5 VL（视觉语言模型），这是我之前文章中测试过的最喜欢的模型之一。

注意：在撰写本教程时，Qwen 3 Vision Language 尚未发布，因此我们使用性能依然出色的 Qwen 2.5。

可用视觉模型：

你可以在 ollama.com/models 找到所有可用视觉模型。寻找带有“vision”标签的模型，这些模型都适用于我们的 OCR 系统。

了解两阶段 OCR 架构

传统 OCR 系统会无差别地读取图片中的所有文本。如果图片中有一辆车，车牌上还有其他文本，标准 OCR 会把所有内容都提取出来，导致噪音增加、准确率下降。

我们的解决方案采用了智能的两阶段处理：

工作原理：

1. Ultralytics YOLO 11 检测：定制训练的模型识别并定位车牌。
2. 图片裁剪：仅提取检测到的区域。
3. Ollama 处理：视觉语言模型使用自然语言提示（如“读取这个车牌并以 JSON 格式返回”）读取文本。
4. 结果整合：将坐标与提取的文本数据结合。

模型训练透明度：

所有训练数据、指标和实验结果都在我的 Weights & Biases 项目中公开。你可以查看详细指标，包括 recall、precision、mAP 分数、GPU 功耗，以及我开发的三种模型变体的完整训练曲线。

为什么这种方法有效：

通过预先选择感兴趣的区域，我们确保文本提取只在真正关心的区域进行。不会再读取无关的背景文本、标志或车辆 logo。

这种架构结合了两者的优势：计算机视觉对象检测的速度与精度，以及现代视觉语言模型的智能与灵活性。

测试系统

让我们用界面中提供的演示图片来实际测试一下 OCR 系统。

快速测试流程：

1. 选择演示图片：从你的电脑中选择一张图片。
2. 配置设置：设置Confidence Threshold（建议 0.3–0.5），并根据需要调整IOU。
3. 确保 Ollama 连接：确认你的Ollama服务器正在运行，并使用类似Qwen 2.5 VL的视觉模型。
4. 处理图片：点击处理按钮，静待魔法发生。

你会看到：

• 检测框：Ultralytics YOLO 11在检测到的车牌周围绘制边界框。
• 提取的文本：从每个检测区域中读取的干净、准确的文本。
• JSON 输出：结构化数据格式，方便与其他系统集成。
• 置信度分数：检测和文本提取的可靠性指标。

系统能在几秒钟内处理图片，展示了我们两阶段架构的高效性。你可以尝试不同的 Confidence Threshold，看看它如何影响检测灵敏度。

需要为你的企业提供专业的计算机视觉解决方案？

本教程展示了如何用 Ultralytics YOLO 11 和 Ollama 构建 OCR 系统，但许多企业需要更复杂的、针对特定用例定制的计算机视觉解决方案。这正是我们 NeuralNet Solutions 擅长的领域。

为什么选择专业计算机视觉开发？

我们今天构建的 OCR 系统很适合学习和小规模应用，但企业级计算机视觉需要额外的功能：

• 定制模型训练：基于你的特定数据和用例训练模型。
• 生产级扩展性：优化流水线，处理每秒数千张图片。
• 多模态集成：结合对象检测、OCR、分类和跟踪。
• 边缘部署：优化模型以适应移动设备、嵌入式系统和边缘计算。
• 实时处理：以最小的延迟分析实时视频流。

企业级计算机视觉解决方案

我们的团队将概念验证的计算机视觉项目转化为生产就绪的系统：

• ✅定制 Ultralytics YOLO 11 训练：针对你的特定对象和环境训练对象检测模型。
• ✅高级 OCR 流水线：多语言文本提取，包含预处理和后处理。
• ✅视频分析：实时对象跟踪、行为分析和异常检测。
• ✅质量控制系统：用于制造业的自动化检查和缺陷检测。
• ✅文档智能：高级表单处理、表格提取和文档分类。
• ✅边缘优化：在 NVIDIA Jetson、移动设备和嵌入式系统上部署模型。

本文转载自​​AI大模型观察站​​，作者：AI研究生