diff --git a/Y.py b/Y.py new file mode 100644 index 0000000..e4a20fc --- /dev/null +++ b/Y.py @@ -0,0 +1,50 @@ +docs = [ + "Python 是 编程 语言", # Doc1 + "Java 是 编程 语言", # Doc2 + "Python Python Python" # Doc3 +] + +tokenized_docs = [doc.split() for doc in docs] +print("分词后的文档:") +for i, tokens in enumerate(tokenized_docs, 1): + print(f"Doc{i}: {tokens}") + +vocab = [] +for tokens in tokenized_docs: + for token in tokens: + if token not in vocab: + vocab.append(token) +print("\nBoW词表:", vocab) + +bow_vectors = [] +for tokens in tokenized_docs: + vector = [tokens.count(word) for word in vocab] + bow_vectors.append(vector) + +print("\n每个文档的BoW向量:") +for i, vec in enumerate(bow_vectors, 1): + print(f"Doc{i}: {vec}") + + +print("\n" + "="*50) +print("题目6:BoW模型的缺点(至少2个)") +print("="*50) +print(""" +1. 完全忽略词序与上下文语义 + - 原理:BoW把文档当成「无序词汇袋」,完全丢失词汇顺序、语法、上下文关系 + - 问题场景: + 句子A:"我喜欢苹果 不喜欢香蕉" + 句子B:"我喜欢香蕉 不喜欢苹果" + 两个句子语义完全相反,但BoW向量完全相同,会被模型判定为相似,在情感分析、语义理解任务中完全失效。 + +2. 无法处理一词多义/多词一义 + - 原理:BoW把每个词当成独立符号,不考虑词汇的语义关联 + - 问题场景: + "Python"既可以指编程语言,也可以指蟒蛇;"开心"和"高兴"是同义词,但BoW会把它们当成完全不同的词。 + 在语义检索、文本分类任务中,会丢失语义关联,导致模型效果差。 + +3. 维度灾难+稀疏性问题 + - 原理:词表维度=语料库词汇总数,大语料下维度极高,且大部分向量元素为0(稀疏) + - 问题场景: + 处理百万级文档的语料时,向量维度会达到几十万,计算成本极高,且模型容易过拟合,在机器学习任务中训练效率极低。 +""") \ No newline at end of file diff --git a/yyy.py b/yyy.py new file mode 100644 index 0000000..5fb4e7e --- /dev/null +++ b/yyy.py @@ -0,0 +1,241 @@ +import subprocess +subprocess.run(['pip', 'install', 'jieba', '-q']) + +print("jieba安装完成!") + +import jieba + +print("=" * 50) +print("jieba分词演示") +print("=" * 50) + +text = "我喜欢深度学习和人工智能" + +print(f"原文: {text}") +print() + +# 精确模式(默认) +words精确 = list(jieba.cut(text, cut_all=False)) +print(f"精确模式: {' / '.join(words精确)}") + +# 全模式 +words全 = list(jieba.cut(text, cut_all=True)) +print(f"全模式: {' / '.join(words全)}") + +# 搜索引擎模式 +words搜索 = list(jieba.cut_for_search(text)) +print(f"搜索模式: {' / '.join(words搜索)}") + +# 更多分词示例 +import jieba + +print("=" * 50) +print("更多分词示例") +print("=" * 50) + +examples = [ + "今天天气真不错", + "人工智能是未来的发展方向", + "Python是一门非常流行的编程语言", + "小明毕业于清华大学计算机系", + "我今天在京东买了一部iPhone手机" +] + +for i, text in enumerate(examples): + words = list(jieba.cut(text)) + print(f"{i+1}. {text}") + print(f" → {' / '.join(words)}") + print() + +import jieba.posseg as pseg + +print("=" * 50) +print("jieba词性标注演示") +print("=" * 50) + +text = "我喜欢深度学习和人工智能" + +print(f"原文: {text}") +print() + +words = pseg.cut(text) +print("分词 + 词性标注:") +for word, flag in words: + print(f" {word}: {flag}") + +import jieba + +print("=" * 50) +print("停用词处理演示") +print("=" * 50) + +# 常见停用词列表 +stopwords = set(['的', '了', '在', '是', '我', '有', '和', '就', '不', '人', '都', '一', '一个', '上', '也', '很', '到', '说', '要', '去', '你', '会', '着', '没有', '看', '好', '自己', '这']) + +text = "人工智能是未来的发展方向,也是当前科技领域的热门话题" + +print(f"原文: {text}") +print() + +# 不使用停用词 +words_all = list(jieba.cut(text)) +print(f"不使用停用词: {' / '.join(words_all)}") + +# 使用停用词 +words_filtered = [w for w in words_all if w not in stopwords] +print(f"使用停用词: {' / '.join(words_filtered)}") +print() + +# 更完整的停用词表可以从网上下载 +print("提示:实际项目中可以从以下地方获取停用词表:") +print(" - 哈工大停用词表") +print(" - 百度停用词表") +print(" - 四川大学机器学习实验室停用词表") + +# 实战:完整的文本预处理流程 +import jieba + +print("=" * 50) +print("完整的文本预处理流程") +print("=" * 50) + +# 示例文档集合 +docs = [ + "今天天气真不错!适合出去玩。", + "Python是一门很棒的编程语言。", + "人工智能和机器学习是未来的发展方向。", + "今天在咖啡馆喝了一杯很好喝的拿铁。" +] + +# 停用词表 +stopwords = set(['的', '了', '在', '是', '我', '有', '和', '就', '不', '人', '都', '一', '一个', '上', '也', '很', '到', '说', '要', '去', '你', '会', '着', '没有', '看', '好', '自己', '这', '!', '。', ',']) + +def preprocess_text(text): + """完整的文本预处理流程""" + # 1. 分词 + words = jieba.cut(text) + + # 2. 去除停用词 + words = [w for w in words if w not in stopwords and len(w) > 0] + + # 3. 去除空格 + words = [w for w in words if w.strip()] + + return words + +print("预处理结果:") +for i, doc in enumerate(docs): + words = preprocess_text(doc) + print(f"\nDoc{i+1}: {doc}") + print(f" → {' / '.join(words)}") + +# 实战:jieba分词 + TF-IDF完整流程 +import jieba +import math + +print("=" * 50) +print("实战:jieba分词 + TF-IDF完整流程") +print("=" * 50) + +def simple_tfidf_tokenized(docs, stopwords=None): + """ + 结合分词的TF-IDF实现 + 参数: + docs: 原始文档列表 + stopwords: 停用词集合 + 返回: + vocab, tfidf_matrix + """ + # 1. 分词 + tokenized = [] + for doc in docs: + words = jieba.cut(doc) + if stopwords: + words = [w for w in words if w not in stopwords and len(w) > 1] + else: + words = [w for w in words if len(w) > 1] + tokenized.append(words) + + # 2. 构建词表 + vocab_set = set() + for doc in tokenized: + vocab_set.update(doc) + vocab = sorted(list(vocab_set)) + + # 3. 构建TF矩阵并计算IDF + n_docs = len(tokenized) + tf_matrix = [] + df_dict = {word: 0 for word in vocab} + + for doc in tokenized: + vec = [0] * len(vocab) + for word in doc: + if word in vocab: + idx = vocab.index(word) + vec[idx] += 1 + tf_matrix.append(vec) + + # 计算DF + for vec in tf_matrix: + for j, count in enumerate(vec): + if count > 0: + word = vocab[j] + df_dict[word] += 1 + + # 计算IDF + idf = [] + for word in vocab: + df = df_dict[word] + idf_j = math.log(n_docs / (df + 1)) + 1 + idf.append(idf_j) + + # 计算TF-IDF + tfidf = [] + for vec in tf_matrix: + tfidf_vec = [vec[i] * idf[i] for i in range(len(vec))] + tfidf.append(tfidf_vec) + + return vocab, tfidf, tokenized + +# 示例文档集合 +docs = [ + "Python是一门很棒的编程语言", + "人工智能是未来的发展方向", + "深度学习是机器学习的一个分支", + "Python和Java都是很流行的编程语言" +] + +# 停用词 +stopwords = set(["的", "是", "一个", "很", "和", "在", "了"]) + +vocab, tfidf_matrix, tokenized = simple_tfidf_tokenized(docs, stopwords) + +print("文档集合:") +for i, doc in enumerate(docs): + print(f" Doc{i+1}: {doc}") +print() + +print(f"分词结果:") +for i, words in enumerate(tokenized): + print(f" Doc{i+1}: {' / '.join(words)}") +print() + +print(f"词表(共{len(vocab)}个词):") +print(f" {vocab}") +print() + +print("TF-IDF矩阵:") +for i, vec in enumerate(tfidf_matrix): + # 只显示非零值 + nonzero = [(vocab[j], round(vec[j], 4)) for j in range(len(vec)) if vec[j] > 0] + print(f" Doc{i+1}: {nonzero}") + +print() + +# 找每个文档最重要的词 +print("每个文档最重要的词(TF-IDF值最高):") +for i, vec in enumerate(tfidf_matrix): + max_idx = max(range(len(vec)), key=lambda j: vec[j]) + max_score = vec[max_idx] + if max_score > 0: + print(f" Doc{i+1}: '{vocab[max_idx]}' (TF-IDF={max_score:.4f})")