跳转至

第1章:认识MinerU

学习目标

学完这一章,你将知道: - ✅ MinerU是什么?它能做什么? - ✅ 为什么要用MinerU?它有什么好处? - ✅ MinerU的基本工作原理 - ✅ 它适合用在哪些地方


1.1 MinerU是什么?

用一句话来说

MinerU是一个"智能PDF阅读器"

它能帮你: - 📖 把PDF文档变成电脑能懂的格式 - 📊 自动提取表格、公式、图片 - 🔍 支持多种语言(中文、英文、日文等) - 🚀 处理速度很快,准确率很高


生活中的类比

想象一下:

传统方式(不用MinerU): 你拿到一本技术手册(PDF),想要提取里面的表格数据。 - 你需要手动打开PDF - 一个表格一个表格地复制 - 复制到Excel后再整理 - 如果表格跨页,还得手动拼接 - 100页的文档,可能需要几个小时

使用MinerU: - 把PDF扔给MinerU - 说:"帮我提取所有表格" - 几分钟后,所有表格都整理好了 - 直接导出成Excel,拿来就能用

这就像: - 传统方式 = 手动抄书 - MinerU = 自动扫描+文字识别


MinerU的诞生故事

MinerU是怎么来的?

故事开始: 有一天,科学家们想训练一个超级聪明的AI(叫InternLM)。 他们收集了很多科学论文(PDF格式),想让AI学习。

遇到问题

  • 论文里有很多表格、公式、图片
  • 传统工具只能提取纯文字
  • 表格变成乱七八糟的文本
  • 公式看不懂,图片只当作图片

解决办法: - 于是,他们开发了MinerU - 专门处理复杂的PDF文档 - 把文档变成AI能懂的格式

结果: - AI能正确理解论文内容 - 训练效果大大提升 - MinerU也就开源给大家用了!


名字由来

MinerU = Miner(矿工) + U(You/User)

意思就是:像矿工一样,帮你从文档的"矿藏"中挖出有价值的信息!


1.2 MinerU能做什么?

5大核心功能

功能1:智能文字提取 📝

能做什么: - ✅ 把PDF里的文字提取出来 - ✅ 按照正确的阅读顺序排列 - ✅ 自动识别中英文等109种语言 - ✅ 扫描版的PDF也能识别(像手机拍照后识别)

举例

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
原始PDF(有表格、公式、图片混杂):
┌──────────────────────────────────┐
│  产品技术手册                   │
│  ┌──────┬──────┬──────┐       │
│  │电压  │电流  │功率  │       │
│  ├──────┼──────┼──────┤       │
│  │220V  │10A   │2200W │       │
│  └──────┴──────┴──────┘       │
│  公式:P = U × I               │
│  [产品外观图]                  │
└──────────────────────────────────┘

MinerU提取后:
1. 产品技术手册
2. 表格1.1:技术参数
   电压  电流  功率
   220V  10A   2200W
3. 公式:P = U × I
4. 图片:产品外观图(附带文字描述)


功能2:自动识别表格 📊

能做什么: - ✅ 自动找到文档中的所有表格 - ✅ 把表格整理成Excel格式 - ✅ 自动识别表格标题 - ✅ 跨页的表格能自动合并

举例

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
问题:一个表格在两页上怎么办?

传统工具:
第1页:┌──────┬──────┐
       │姓名  │年龄  │
       ├──────┼──────┤
       │张三  │25    │
       └──────┴──────┘

第2页:┌──────┬──────┐
       │李四  │30    │
       ├──────┼──────┤
       │王五  │28    │
       └──────┴──────┘
结果:识别成两个独立的表格 ❌

MinerU:
自动合并成一个完整表格 ✅
┌──────┬──────┐
│姓名  │年龄  │
├──────┼──────┤
│张三  │25    │
│李四  │30    │
│王五  │28    │
└──────┴──────┘


功能3:智能公式识别 🔢

能做什么: - ✅ 自动识别数学公式 - ✅ 转换成标准格式(LaTeX) - ✅ 区分行内公式和单独的公式 - ✅ 支持复杂的数学符号

举例

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
PDF中的公式:
      2
E = mc

MinerU转换后:
$E = mc^2$  (行内公式)

$$E = mc^2$$ (单独的公式)

这样电脑就能理解和搜索公式了!


功能4:智能图片提取 🖼️

能做什么: - ✅ 提取所有图片 - ✅ 自动生成图片描述(AI看图说话) - ✅ 识别图片标题 - ✅ 支持图片搜索

举例

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
PDF中的图片:
[一张手机产品的图片]

MinerU处理:
1. 提取图片 → phone_product.png
2. 生成描述:"这是一款黑色智能手机,正面有6.5英寸屏幕,
   后置三摄相机,侧面有音量键和电源键"
3. 提取标题:"图1.1 产品外观"

这样你就可以搜索"手机"找到这张图!


功能5:支持多种语言 🌍

能做什么: - ✅ 自动识别109种语言 - ✅ 中文、英文、日文、韩文、繁体中文等 - ✅ 阿拉伯语、泰语等小语种 - ✅ 自动选择正确的识别模型

支持的常见语言

Text Only
1
2
3
4
5
6
7
8
✅ 中文(简体)
✅ 英文
✅ 日文
✅ 韩文
✅ 繁体中文
✅ 泰语
✅ 阿拉伯语
... 还有100+种语言


1.3 为什么要用MinerU?

对比传统工具

功能 传统工具 MinerU
文字提取 乱序 ✅ 按阅读顺序
表格提取 需要手动复制 ✅ 自动提取
公式识别 看不懂 ✅ 转换成标准格式
图片提取 只能看图 ✅ 有文字描述
多语言 只能中文/英文 ✅ 109种语言
扫描PDF 不支持 ✅ 自动OCR
处理速度 慢(手动) ✅ 快(自动)

实际应用场景

场景1:整理公司文档

问题: 公司有100+份合同PDF,需要提取关键信息: - 甲方、乙方是谁 - 合同金额 - 签署日期

不用MinerU: - 打开每个PDF - 手动查找信息 - 复制粘贴到Excel - 100份文档,可能需要几天

使用MinerU: - 批量处理100个PDF - 几分钟内全部处理完成 - 直接导出Excel - 省时省力,还不会出错


场景2:技术文档检索

问题: 公司技术手册有500页,想要快速找到: - 产品的技术参数 - 相关的公式 - 对应的图片

不用MinerU: - 手动翻阅500页 - 逐个查找 - 可能需要几小时

使用MinerU: - 搜索"技术参数" → 立即找到相关表格 - 搜索"公式" → 列出所有公式 - 搜索"产品图" → 找到所有产品图片 - 几秒钟搞定


场景3:学术论文分析

问题: 需要分析10篇论文,提取: - 论文标题、作者 - 核心公式 - 实验数据表格 - 关键图表

不用MinerU: - 每篇论文单独处理 - 手动提取信息 - 整理成表格 - 需要很长时间

使用MinerU: - 批量处理10篇论文 - 自动提取所有信息 - 直接导出结构化数据 - 大大提高效率


1.4 MinerU的工作原理

简单理解(用图书馆比喻)

想象一个智能图书馆:

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
1. 你给MinerU一本书(PDF)
2. MinerU快速阅读这本书
   - 哪里是标题?
   - 哪里是表格?
   - 哪里是公式?
   - 哪里是图片?
3. MinerU把内容整理好
   - 文字按顺序排列
   - 表格整理成Excel
   - 公式转换成标准格式
   - 图片加上文字说明
4. 给你一个整齐的文件夹
   - README.md(完整文字)
   - tables/(所有表格)
   - formulas/(所有公式)
   - images/(所有图片)

技术原理(简化版)

MinerU主要用了3个核心技术:

技术1:智能版面分析 👁️

作用: 像人眼一样,看懂PDF的版面布局

怎么做: - 识别哪里是标题 - 识别哪里是正文 - 识别哪里是表格 - 识别哪里是图片 - 识别阅读顺序

举例

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
PDF页面:
┌──────────────────┐
│  1. 产品介绍    │  ← 识别为标题
│                  │
│  这是产品介绍。  │  ← 识别为正文
│                  │
│  ┌──────────┐   │
│  │  表格1   │   │  ← 识别为表格
│  └──────────┘   │
│                  │
│  [图片1]        │  ← 识别为图片
└──────────────────┘


技术2:OCR文字识别 🔍

作用: 像扫描仪一样,识别图片里的文字

什么时候用: - 扫描版PDF(图片格式) - 手机拍照的文档 - 图片中的文字

怎么做: - 把图片里的文字"辨认"出来 - 支持109种语言 - 准确率高达95%+

举例

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
扫描的图片:
┌──────────────────┐
│  产 品 手 册    │  ← 图片里的字
│                  │
│  电 压:220V    │
│  电 流:10A     │
└──────────────────┘

OCR识别后:
产品手册
电压:220V
电流:10A


技术3:AI模型推理 🧠

作用: 像人脑一样,理解内容

用于: - 识别表格结构 - 识别数学公式 - 生成图片描述 - 提取语义信息

举例

Text Only
1
2
3
AI看到一张产品图片 → 理解:这是手机,有屏幕、摄像头
AI看到一个复杂公式 → 理解:这是能量守恒公式
AI看到一个表格 → 理解:这是产品参数对比表


1.5 MinerU能帮我们做什么?

5大应用场景

场景1:构建智能知识库 📚

用途: - 把公司文档变成可搜索的知识库 - 员工可以快速找到需要的信息 - 搭配AI实现智能问答

举例

Text Only
1
2
3
4
5
6
7
传统方式:
员工问:"产品A的功率是多少?"
管理员翻查 → "等等,我找一下文档..."

使用MinerU:
员工问:"产品A的功率是多少?"
AI立即回答:"产品A功率2200W"(自动从文档中检索)


场景2:自动化数据提取 📊

用途: - 批量提取合同信息 - 批量提取发票数据 - 批量整理表格数据

举例

Text Only
1
2
3
4
5
6
7
8
手动方式:
打开合同A → 复制甲方乙方 → 粘贴到Excel
打开合同B → 复制甲方乙方 → 粘贴到Excel
... 重复100次

使用MinerU:
把100个合同拖给MinerU → 等待几分钟
得到一个Excel,里面所有信息都整理好了


场景3:文献分析系统 📖

用途: - 分析学术论文 - 提取核心公式 - 整理实验数据

举例

Text Only
1
2
3
4
5
6
7
8
9
研究者需要找:
- 能量守恒的公式
- 对比实验的表格
- 实验结果的图表

使用MinerU:
搜索"能量守恒" → 立即找到所有相关公式
搜索"实验对比" → 立即找到所有相关表格
搜索"实验结果" → 立即找到所有相关图表


场景4:文档翻译 🌐

用途: - 提取多语言文档内容 - 转换为统一格式 - 方便翻译工具处理

举例

Text Only
1
2
3
4
5
6
7
问题:有中英日三种语言的技术手册

传统方式:
分别用不同工具处理 → 格式混乱 → 难以整合

使用MinerU:
统一处理 → 统一格式 → 方便翻译


场景5:内容管理 📁

用途: - 归档文档 - 建立索引 - 便于检索

举例

Text Only
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
公司积累的文档:
- 产品手册(50份)
- 技术规格书(100份)
- 用户指南(200份)
- 合同协议(500份)

使用MinerU:
全部提取结构化数据
建立统一检索系统
快速找到需要的文档


1.6 本章小结

核心要点

  1. MinerU是什么
  2. 智能PDF阅读器
  3. 自动提取文字、表格、公式、图片
  4. 支持109种语言

  5. 核心功能

  6. 智能文字提取
  7. 自动识别表格
  8. 智能公式识别
  9. 智能图片提取
  10. 支持多种语言

  11. 为什么用MinerU

  12. 比传统工具更智能
  13. 自动化处理,省时省力
  14. 准确率高

  15. 工作原理

  16. 版面分析 + OCR + AI模型
  17. 像智能图书馆管理员

  18. 应用场景

  19. 智能知识库
  20. 自动数据提取
  21. 文献分析
  22. 文档翻译
  23. 内容管理

实践任务

任务1:理解MinerU

  • [ ] 用自己的话,解释什么是MinerU
  • [ ] 举一个生活中类似的例子
  • [ ] 想一想,MinerU能帮你解决什么问题?

任务2:思考应用场景

问题:在你的学习或工作中,哪里可以用到MinerU?