自然语言处理构建文本向量空间1.百科2.源代码3.参考:
时间:2022-05-08
本文章向大家介绍自然语言处理构建文本向量空间1.百科2.源代码3.参考:,主要内容包括1.百科、2.源代码、3.参考:、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
1.百科
- TF-IDF
2.源代码
- 系统环境
python 3.6 scikit-learn==0.19.1
# utf-8
import os
import math
import numpy as np
'''
不使用NLTK和Scikits-Learn包,构建文本向量空间模型
reference:
https://mp.weixin.qq.com/s/DisMF8frY2pkpGMfrWk4Wg
'''
def load_doc_list(file):
with open(file, 'r') as f:
return f.read().splitlines()
'''
第一步:Basic term frequencies
frequencies:计算文本各行的单词频度(出现次数),存在问题,文本空间大小不一样
build_lexicon:创建词汇表,以便构造相同文本空间向量(特征向量)
tf:调用freq,计算单词在文档中出现的次数
'''
def frequencies(doc_list):
from collections import Counter
counters=[]
for doc in doc_list:
c=Counter()
for word in doc.split():
c[word]+=1
counters.append(c)
return counters
def build_lexicon(corpus):
lexicon=set()
for doc in corpus:
lexicon.update([w for w in doc.split()])
return lexicon
def tf(term,doc):
return freq(term,doc)
def freq(term,doc):
return doc.split().count(term)
'''
第二步:Normalizing vectors to L2 Norm = 1
如果有些单词在一个单一的文件中过于频繁地出现,它们将扰乱我们的分析。
我们想要对每一个词频向量进行比例缩放,使其变得更具有代表性。换句话说,我们需要进行向量标准化,需要确保每个向量的L2范数等于1
l2_normalizer
'''
def l2_normalizer(vec):
denom = np.sum([el**2 for el in vec])
return [(el / math.sqrt(denom)) for el in vec]
'''
第三步:逆向文件频率(IDF)频率加权
利用反文档词频(IDF)调整每一个单词权重
对于词汇中的每一个词,我们都有一个常规意义上的信息值,用于解释他们在整个语料库中的相对频率。
回想一下,这个信息值是一个“逆”!即信息值越小的词,它在语料库中出现的越频繁。
为了得到TF-IDF加权词向量,你必须做一个简单的计算:tf * idf。
numDocsContaining
idf
build_idf_matrix
'''
def numDocsContaining(word, doclist):
doccount = 0
for doc in doclist:
if freq(word, doc) > 0:
doccount +=1
return doccount
def idf(word, doclist):
n_samples = len(doclist)
df = numDocsContaining(word, doclist)
return math.log(n_samples / 1+df)
def build_idf_matrix(idf_vector):
'''
将IDF向量转化为BxB的矩阵了,矩阵的对角线就是IDF向量,这样就可以用反文档词频矩阵乘以每一个词频向量
'''
idf_mat = np.zeros((len(idf_vector), len(idf_vector)))
np.fill_diagonal(idf_mat, idf_vector)
return idf_mat
if __name__ == '__main__':
os.chdir('./python')
file="vector.txt"
doc_list=load_doc_list(file)
# counters=frequencies(doc_list)
# for counter in counters:
# print(counter)
vocabulary=build_lexicon(doc_list)
# print(vocabulary)
doc_term_matrix =[]
for doc in doc_list:
# print("doc = ",doc)
doc_term_vector = [tf(word, doc) for word in vocabulary]
# print("vec = ",doc_term_vector)
doc_term_matrix.append(doc_term_vector)
# print(doc_term_matrix)
doc_term_matrix_l2 = []
for vec in doc_term_matrix:
doc_term_matrix_l2.append(l2_normalizer(vec))
# print('A regular old document term matrix: ')
# print(np.matrix(doc_term_matrix))
# print('A document term matrix with row-wise L2 norms of 1:')
# print(np.matrix(doc_term_matrix_l2))
idf_vector = [idf(word, doc_list) for word in vocabulary]
print('Our vocabulary vector is [' + ', '.join(list(vocabulary)) + ']')
print('The inverse document frequency vector is [' + ', '.join(
format(freq, 'f') for freq in idf_vector) + ']')
idf_matrix = build_idf_matrix(idf_vector)
# print(idf_matrix)
#tf*idf
doc_term_matrix_tfidf = []
#performing tf-idf matrix multiplication
for tf_vector in doc_term_matrix:
doc_term_matrix_tfidf.append(np.dot(tf_vector, idf_matrix))
#normalizing
doc_term_matrix_tfidf_l2 = []
for tf_vector in doc_term_matrix_tfidf:
doc_term_matrix_tfidf_l2.append(l2_normalizer(tf_vector))
print(vocabulary)
print(np.matrix(doc_term_matrix_tfidf_l2)) # np.matrix() just to make it easier to look at
3.参考:
- http://python.jobbole.com/81311/
- http://stanford.edu/~rjweiss/public_html/IRiSS2013/text2/notebooks/tfidf.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 一行代码不用写,就可以训练、测试、使用模型,这个star量1.5k的项目帮你做到
- Android画板开发之橡皮擦功能
- Android画板开发之基本画笔功能
- python递归函数求n的阶乘,优缺点及递归次数设置方式
- Python 给下载文件显示进度条和下载时间的实现
- pytorch 中的重要模块化接口nn.Module的使用
- 东京大学版「一生一芯」:自制CPU、C编译器,还成功运行了类Unix系统
- python实现将range()函数生成的数字存储在一个列表中
- Pytorch 使用不同版本的cuda的方法步骤
- CVE-2020-14645 Weblogic远程代码执行漏洞分析
- PaGoDo:一款功能强大的被动式Google Dork
- 微软轻量级系统监控工具sysmon原理与实现完全分析
- 用Windows电脑训练深度学习模型?超详细配置教程来了
- rConfig中的远程代码执行漏洞分析
- CVE-2020-9964:iOS中的信息泄露漏洞分析