557 lines
20 KiB
Markdown
557 lines
20 KiB
Markdown
# 📚 3-2-1 文本数据处理导论
|
||
|
||
---
|
||
|
||
# 🎯 本章学习目标
|
||
|
||
| 目标 | 内容 |
|
||
|------|------|
|
||
| **理解** | 为什么文本不能直接用于计算机计算 |
|
||
| **掌握** | 文本向量化的核心思想与数学原理 |
|
||
| **了解** | 从 BoW → TF-IDF → Embedding 的演进逻辑 |
|
||
| **认识** | 文本处理的完整流程框架 |
|
||
|
||
---
|
||
|
||
# 📖 第一部分：为什么文本处理这么难？
|
||
|
||
## 1.1 计算机的"语言障碍"
|
||
|
||
**计算机擅长什么？**
|
||
|
||
```
|
||
数字计算： 1 + 2 = 3 ✅
|
||
图像处理： 像素矩阵运算 ✅
|
||
逻辑判断： if A > B then ... ✅
|
||
```
|
||
|
||
**计算机不擅长什么？**
|
||
|
||
```
|
||
文本理解：
|
||
"今天天气真好！" → ??? → 计算机无法直接"理解"
|
||
"Python是世界上最好的语言" → ??? → 计算机不知道这是什么意思
|
||
```
|
||
|
||
**核心问题：**
|
||
|
||
> 计算机只能处理数字，**文本是符号**，符号不能直接用于计算。
|
||
|
||
## 1.2 文本 vs 图像：本质区别
|
||
|
||
```
|
||
┌─────────────────────────────────────────────────────────┐
|
||
│ 图像数据 │
|
||
├─────────────────────────────────────────────────────────┤
|
||
│ 📐 空间结构化数据 │
|
||
│ ・像素 = 数字（0-255） │
|
||
│ ・位置关系 = 空间关系（上下左右） │
|
||
│ ・相邻像素通常相关 │
|
||
│ ・直接可以用矩阵表示 │
|
||
└─────────────────────────────────────────────────────────┘
|
||
|
||
┌─────────────────────────────────────────────────────────┐
|
||
│ 文本数据 │
|
||
├─────────────────────────────────────────────────────────┤
|
||
│ 📝 序列符号化数据 │
|
||
│ ・词语/字符 = 离散符号 │
|
||
│ ・位置关系 = 逻辑顺序（不是物理位置） │
|
||
│ ・符号本身无"数值含义" │
|
||
│ ・无法直接用数字运算 │
|
||
└─────────────────────────────────────────────────────────┘
|
||
```
|
||
|
||
## 1.3 文本处理的核心挑战
|
||
|
||
### 挑战1：符号到数字的转换
|
||
|
||
```
|
||
"Python" → ??? → [?, ?, ?, ...]
|
||
```
|
||
|
||
### 挑战2：一词多义
|
||
|
||
```
|
||
"苹果" 可以指：
|
||
・一种水果（营养丰富）
|
||
・一家公司（Apple Inc.）
|
||
・手机品牌（苹果手机）
|
||
```
|
||
|
||
### 挑战3：词序敏感
|
||
|
||
```
|
||
"我爱你" vs "你爱我"
|
||
・词语完全相同
|
||
・顺序不同
|
||
・意思完全相反
|
||
```
|
||
|
||
### 挑战4：同义表达
|
||
|
||
```
|
||
"电脑" vs "计算机" vs "计算机器"
|
||
・不同符号
|
||
・相同含义
|
||
```
|
||
|
||
---
|
||
|
||
# 📖 第二部分：文本向量化的核心思想
|
||
|
||
## 2.1 核心目标：把所有文本变成"向量"
|
||
|
||
```
|
||
文本（符号） → 数值向量 → 计算机可以计算 → AI模型处理
|
||
```
|
||
|
||
**为什么必须是向量？**
|
||
|
||
```
|
||
因为计算机擅长：
|
||
・向量加减：v1 + v2 = ?
|
||
・向量点积：v1 · v2 = ?
|
||
・向量距离：||v1 - v2|| = ?
|
||
・矩阵运算：A × B = ?
|
||
|
||
但计算机不擅长：
|
||
・字符串比较："Python" == "Java" ?
|
||
・词语推理："猫" 类似于 "狗" ?
|
||
```
|
||
|
||
## 2.2 向量化示例：从"词"到"数"
|
||
|
||
### 简单例子：把词变成向量
|
||
|
||
假设我们只有一个很小的词汇表：
|
||
|
||
```python
|
||
vocab = ["猫", "狗", "鱼", "苹果", "香蕉"]
|
||
|
||
# "猫" → [1, 0, 0, 0, 0] # 猫在这个词表中的位置
|
||
# "狗" → [0, 1, 0, 0, 0] # 狗在这个词表中的位置
|
||
# "苹果" → [0, 0, 0, 1, 0] # 苹果在这个词表中的位置
|
||
```
|
||
|
||
**问题**：这只是"位置编码"，没有语义信息！
|
||
|
||
### 更智能的例子：考虑语义
|
||
|
||
```python
|
||
# 理想情况：
|
||
# "猫" → [0.9, 0.1, 0.2] # 语义：动物、毛茸茸、会喵喵叫
|
||
# "狗" → [0.8, 0.3, 0.1] # 语义：动物、毛茸茸、会汪汪叫
|
||
# "苹果" → [0.1, 0.2, 0.9] # 语义：水果、甜的、红色/绿色
|
||
|
||
# 这样"猫"和"狗"的向量更接近（都是动物）
|
||
# "猫"和"苹果"的向量更远（一个是动物，一个是水果）
|
||
```
|
||
|
||
## 2.3 相似度计算：向量的威力
|
||
|
||
**核心应用：文本相似度**
|
||
|
||
```python
|
||
import numpy as np
|
||
|
||
def cosine_similarity(v1, v2):
|
||
"""计算两个向量的余弦相似度"""
|
||
return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))
|
||
|
||
# 假设这些是词的向量表示
|
||
cat = np.array([0.9, 0.1, 0.2]) # 猫
|
||
dog = np.array([0.8, 0.3, 0.1]) # 狗
|
||
apple = np.array([0.1, 0.2, 0.9]) # 苹果
|
||
|
||
print("猫 vs 狗:", cosine_similarity(cat, dog)) # 应该较高（都是动物）
|
||
print("猫 vs 苹果:", cosine_similarity(cat, apple)) # 应该较低（动物 vs 水果）
|
||
```
|
||
|
||
**输出结果：**
|
||
```
|
||
猫 vs 狗: 0.862
|
||
猫 vs 苹果: 0.149
|
||
```
|
||
|
||
**结论**：
|
||
- 相似度 0.862 → "猫"和"狗"语义相近 ✅
|
||
- 相似度 0.149 → "猫"和"苹果"语义相差很远 ✅
|
||
|
||
> 🎯 **这就是文本向量化的威力：把"语义"变成"可计算的数值"！**
|
||
|
||
---
|
||
|
||
# 📖 第三部分：从 BoW 到 Embedding：演进之路
|
||
|
||
## 3.1 演进概览
|
||
|
||
```
|
||
文本向量化的三种主要方法：
|
||
|
||
[BoW] ───→ [TF-IDF] ───→ [Word Embedding]
|
||
(词袋模型) (词频权重) (词向量嵌入)
|
||
|
||
简单粗暴 加入词重要性 蕴含语义信息
|
||
无语义 部分语义 深度语义
|
||
```
|
||
|
||
## 3.2 BoW（词袋模型）—— 最简单的方法
|
||
|
||
### 原理
|
||
|
||
把文本看成"一袋词"，不考虑顺序，只管词出现了几次。
|
||
|
||
```
|
||
文本1: "Python 是 编程 语言"
|
||
文本2: "Java 是 编程 语言"
|
||
|
||
词表: [Python, Java, 是, 编程, 语言]
|
||
```
|
||
|
||
**向量化：**
|
||
|
||
```python
|
||
# 统计每个词出现的次数
|
||
text1_vec = [1, 0, 1, 1, 1] # Python=1, Java=0, 是=1, 编程=1, 语言=1
|
||
text2_vec = [0, 1, 1, 1, 1] # Python=0, Java=1, 是=1, 编程=1, 语言=1
|
||
```
|
||
|
||
### 优缺点
|
||
|
||
| 优点 | 缺点 |
|
||
|------|------|
|
||
| 简单直观 | 忽略词序 |
|
||
| 容易实现 | "我爱你"和"你爱我"向量完全相同 |
|
||
| 计算速度快 | 所有词同等重要 |
|
||
|
||
## 3.3 TF-IDF —— 加入词的重要性
|
||
|
||
### 原理
|
||
|
||
BoW 的问题是：所有词同等重要。
|
||
"Python"和"的"在 BoW 中权重相同，这不合理。
|
||
|
||
**TF-IDF = 词频(TF) × 逆文档频率(IDF)**
|
||
|
||
```
|
||
TF = 这个词在本文中出现了多少次
|
||
IDF = 这个词在所有文档中多不多（越多越不重要）
|
||
|
||
TF-IDF = TF × IDF
|
||
```
|
||
|
||
### 为什么有效？
|
||
|
||
```
|
||
・"Python"：在少数文档中高频出现 → TF高, IDF高 → TF-IDF高 ✅ 重要词
|
||
・"的"：在所有文档中都出现 → TF高, IDF低 → TF-IDF低 ❌ 停用词
|
||
```
|
||
|
||
### 直观理解
|
||
|
||
```
|
||
TF-IDF = 词的重要性 × 词的独特性
|
||
|
||
・高频出现 ≠ 重要（"的"在所有文章都出现）
|
||
・罕见词 ≠ 不重要（"TensorFlow"只在AI文章出现）
|
||
・既高频又独特 = 真正重要的词
|
||
```
|
||
|
||
## 3.4 Word Embedding（词嵌入）—— 蕴含语义
|
||
|
||
### BoW 和 TF-IDF 的根本问题
|
||
|
||
```
|
||
"猫" → [1, 0, 0, ...] # 只是"位置编码"
|
||
"狗" → [0, 1, 0, ...] # 猫和狗的位置不同
|
||
"小猫" → [0, 0, 1, ...] # 但它们语义相近，向量却正交！
|
||
```
|
||
|
||
**问题**：BoW 和 TF-IDF **无法表达语义相似性**！
|
||
|
||
### Embedding 的思想
|
||
|
||
```
|
||
不再用"位置"表示词，而是用"语义空间"表示词
|
||
|
||
语义空间中的位置：
|
||
↑
|
||
动物 植物
|
||
| ↑ 猫 ↑ 狗 ↑ 苹果
|
||
| ↗ ↗ ↑
|
||
| ↗ ↗ ↑
|
||
| ↗ ↗ ← 语义相近的词距离近 →
|
||
|──────────→────────────────────────────→
|
||
0 抽象 具体
|
||
| ↑
|
||
| ↑
|
||
| ↑ 人
|
||
|
|
||
└────────────────────────────────────→
|
||
|
||
"猫"和"狗"距离近（都是动物）
|
||
"猫"和"苹果"距离远（动物 vs 植物）
|
||
```
|
||
|
||
### 词嵌入的实际表示
|
||
|
||
```python
|
||
# 实际中，词向量通常是 50/100/300 维
|
||
# 这里用 3 维举例
|
||
|
||
cat = [0.9, 0.1, 0.2] # 猫：动物属性高，植物属性低
|
||
dog = [0.8, 0.3, 0.1] # 狗：动物属性高
|
||
apple = [0.1, 0.2, 0.9] # 苹果：植物属性高
|
||
|
||
# 计算相似度
|
||
cosine_similarity(cat, dog) # ≈ 0.97 → 非常相似
|
||
cosine_similarity(cat, apple) # ≈ 0.15 → 很不相似
|
||
```
|
||
|
||
### Word2Vec：如何得到词向量？
|
||
|
||
```
|
||
训练方式1：CBOW
|
||
・上下文：[猫 __ 鱼] → 预测中间词"吃"
|
||
・学习目标：调整向量使得能正确预测
|
||
|
||
训练方式2：Skip-gram
|
||
・中心词：[吃] → 预测上下文[猫, 鱼]
|
||
・学习目标：调整向量使得能正确预测
|
||
|
||
原理："相似上下文中的词，语义相似"
|
||
・猫和狗经常出现在相似的上下文中（"猫吃鱼"、"狗吃肉"）
|
||
・所以它们的向量也会相似
|
||
```
|
||
|
||
---
|
||
|
||
# 📖 第四部分：文本处理的完整流程
|
||
|
||
## 4.1 流程图
|
||
|
||
```
|
||
┌──────────────────────────────────────────────────────────────────┐
|
||
│ 文本数据 │
|
||
│ "今天天气真不错！" │
|
||
└─────────────────────────┬────────────────────────────────────────┘
|
||
│
|
||
▼
|
||
┌──────────────────────────────────────────────────────────────────┐
|
||
│ 1. 文本预处理 │
|
||
│ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐ │
|
||
│ │ 分词 │→ │ 去停用词│→ │ 统一大小│→ │ 去除标点│ │
|
||
│ └─────────┘ └─────────┘ └─────────┘ └─────────┘ │
|
||
│ "今天/天气/真/不错" → "今天/天气/不错" │
|
||
└─────────────────────────┬────────────────────────────────────────┘
|
||
│
|
||
▼
|
||
┌──────────────────────────────────────────────────────────────────┐
|
||
│ 2. 文本向量化 │
|
||
│ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐ │
|
||
│ │ BoW │ │ TF-IDF │ │ Embedding│ │ 预训练模型│ │
|
||
│ └─────────┘ └─────────┘ └─────────┘ └─────────┘ │
|
||
│ ↓ ↓ ↓ ↓ │
|
||
│ [1,0,2,0,1] [0.5,0,0.8] [0.9,0.3] [BERT向量] │
|
||
└─────────────────────────┬────────────────────────────────────────┘
|
||
│
|
||
▼
|
||
┌──────────────────────────────────────────────────────────────────┐
|
||
│ 3. 下游任务 │
|
||
│ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐ │
|
||
│ │ 分类 │ │ 相似度 │ │ 聚类 │ │ 生成 │ │
|
||
│ │ 情感分析│ │ 文本匹配│ │ 主题分组│ │ 聊天机器人│ │
|
||
│ └─────────┘ └─────────┘ └─────────┘ └─────────┘ │
|
||
└──────────────────────────────────────────────────────────────────┘
|
||
```
|
||
|
||
## 4.2 各环节详解
|
||
|
||
### 环节1：文本预处理
|
||
|
||
**为什么需要预处理？**
|
||
|
||
```
|
||
原始文本：
|
||
"今天天气真不错！！Python是一门很棒的语言，PYTHON也很重要！！！"
|
||
|
||
预处理后：
|
||
["今天", "天气", "不错", "Python", "语言"]
|
||
```
|
||
|
||
**预处理步骤：**
|
||
|
||
| 步骤 | 输入 | 输出 | 作用 |
|
||
|------|------|------|------|
|
||
| 分词 | "今天天气不错" | ["今天", "天气", "不错"] | 把文本切成词 |
|
||
| 去停用词 | ["今天", "天气", "不错"] | ["天气", "不错"] | 去掉无意义词 |
|
||
| 统一大小写 | ["Python", "python"] | ["python", "python"] | 归一化 |
|
||
| 去标点 | ["语言!!!"] | ["语言"] | 清理噪音 |
|
||
|
||
### 环节2：文本向量化
|
||
|
||
**选择向量化方法的原则：**
|
||
|
||
| 方法 | 适用场景 | 不适用场景 |
|
||
|------|---------|-----------|
|
||
| BoW | 基线模型、快速原型 | 需要语义理解 |
|
||
| TF-IDF | 文本分类、关键词提取 | 同义词识别 |
|
||
| Embedding | 语义相似度、推荐系统 | 需要精确匹配 |
|
||
| 预训练模型 | 通用NLP任务 | 计算资源有限 |
|
||
|
||
### 环节3：下游任务
|
||
|
||
```
|
||
分类任务：
|
||
"这部电影太好看了！" → [正面, 0.95] → 正面情感 ✅
|
||
|
||
相似度任务：
|
||
"如何学习Python？" → 找到相似的："Python入门教程" ✅
|
||
|
||
生成任务：
|
||
"今天天气" → 续写："今天天气真好，适合出去玩" ✅
|
||
```
|
||
|
||
---
|
||
|
||
# 📖 第五部分：工具生态概览
|
||
|
||
## 5.1 Python NLP 工具箱
|
||
|
||
```
|
||
┌─────────────────────────────────────────────────────────┐
|
||
│ 中文分词工具 │
|
||
├─────────────────────────────────────────────────────────┤
|
||
│ jieba（结巴） ・最流行的中文分词库 │
|
||
│ ・支持精确/全/搜索引擎模式 │
|
||
│ ・pip install jieba │
|
||
├─────────────────────────────────────────────────────────┤
|
||
│ HanLP ・功能强大，支持词性标注、命名实体识别 │
|
||
│ SnowNLP ・简单好用，专注文本处理 │
|
||
│ LTP ・哈工大出品，准确率高 │
|
||
└─────────────────────────────────────────────────────────┘
|
||
|
||
┌─────────────────────────────────────────────────────────┐
|
||
│ 英文NLP工具 │
|
||
├─────────────────────────────────────────────────────────┤
|
||
│ NLTK ・经典NLP库，教学首选 │
|
||
│ spaCy ・速度快，工业级 │
|
||
│ Stanford NLP ・学术标准，准确性高 │
|
||
└─────────────────────────────────────────────────────────┘
|
||
|
||
┌─────────────────────────────────────────────────────────┐
|
||
│ 文本向量化工具 │
|
||
├─────────────────────────────────────────────────────────┤
|
||
│ scikit-learn ・BoW、TF-IDF 实现 │
|
||
│ Gensim ・Word2Vec、Doc2Vec │
|
||
│ TensorFlow/PyTorch ・深度学习文本处理 │
|
||
│ transformers ・BERT、GPT 等预训练模型 │
|
||
└─────────────────────────────────────────────────────────┘
|
||
```
|
||
|
||
## 5.2 本课程使用的工具
|
||
|
||
| 工具 | 用途 | 安装命令 |
|
||
|------|------|---------|
|
||
| jieba | 中文分词 | `pip install jieba` |
|
||
| sklearn | TF-IDF、向量化 | `pip install scikit-learn` |
|
||
| numpy | 数值计算 | `pip install numpy` |
|
||
| matplotlib | 可视化 | `pip install matplotlib` |
|
||
|
||
---
|
||
|
||
# 📖 第六部分：本章知识地图
|
||
|
||
## 6.1 核心概念
|
||
|
||
```
|
||
文本数据处理
|
||
│
|
||
├── 核心问题：文本(符号) → 向量(数字)
|
||
│
|
||
├── 向量化方法
|
||
│ ├── BoW（词袋模型）
|
||
│ │ └── 核心：统计词频，忽略顺序
|
||
│ │
|
||
│ ├── TF-IDF（词频-逆文档频率）
|
||
│ │ └── 核心：词的重要性 × 词的独特性
|
||
│ │
|
||
│ └── Word Embedding（词嵌入）
|
||
│ └── 核心：用语义空间表示词
|
||
│
|
||
└── 处理流程
|
||
├── 文本预处理（分词、去停用词）
|
||
├── 向量化
|
||
└── 下游任务（分类、相似度、生成）
|
||
```
|
||
|
||
## 6.2 数学公式速查
|
||
|
||
| 方法 | 公式 | 含义 |
|
||
|------|------|------|
|
||
| TF | TF(t) = 词t在文档中出现次数 | 词在本文中多不多 |
|
||
| IDF | IDF(t) = log(总文档数 / 含词t的文档数) | 词是否罕见 |
|
||
| TF-IDF | TF-IDF(t) = TF(t) × IDF(t) | 词的重要程度 |
|
||
| 余弦相似度 | cos(θ) = (A·B) / (|A|×|B|) | 向量相似程度 |
|
||
|
||
---
|
||
|
||
# 📝 预习任务
|
||
|
||
在下一节课之前，请思考以下问题：
|
||
|
||
## 问题1：分词挑战
|
||
|
||
```
|
||
英文分词很简单（空格分隔）：
|
||
"I love Python" → ["I", "love", "Python"]
|
||
|
||
但中文分词很难：
|
||
"我爱你中国" 可以切成：
|
||
["我", "爱", "你", "中国"] ？
|
||
["我爱你", "中国"] ？
|
||
["我爱", "你中国"] ？
|
||
|
||
请思考：为什么中文分词比英文难？
|
||
```
|
||
|
||
## 问题2：向量化思考
|
||
|
||
```
|
||
假设我们有3个文档：
|
||
Doc1: "Python是编程语言"
|
||
Doc2: "Java是编程语言"
|
||
Doc3: "猫是动物"
|
||
|
||
用BoW模型，词表是：[Python, Java, 是, 编程, 语言, 猫, 动物]
|
||
|
||
问题：
|
||
1. Doc1 和 Doc2 的相似度是多少？为什么？
|
||
2. Doc1 和 Doc3 的相似度是多少？为什么？
|
||
3. 这个结果合理吗？为什么？
|
||
```
|
||
|
||
## 问题3：工具安装
|
||
|
||
```bash
|
||
# 请在命令行安装以下工具
|
||
pip install jieba scikit-learn numpy matplotlib
|
||
|
||
# 验证安装成功
|
||
python -c "import jieba; import sklearn; print('安装成功！')"
|
||
```
|
||
|
||
---
|
||
|
||
# 🚀 下节预告
|
||
|
||
下一节我们将进入 **3-2-2：分词与文本清洗**，
|
||
学习：
|
||
- 如何用 jieba 进行中文分词
|
||
- 停用词的作用与过滤方法
|
||
- 代码实战：清洗豆瓣评论数据
|
||
|
||
---
|
||
|
||
> 🎯 **记住：文本向量化的核心目标是把"符号"变成"可计算的数值向量"！**
|