R案例操作：RQDA和tm包结合进行文本挖掘
应用定性数据分析包RQDA(Qualitative Data Analysis)和文挖掘框架包tm结合进行文本挖掘。
在对访谈内容或剧本、小说部分内容进行文本挖掘时，如果用不断的剪粘保存的方法非常繁琐而且容易漏掉一些内容。好在黄荣贵开发的RQDA包可以进行文档管理和内容编码及提取，大大方便了利用tm包进行文本挖掘，既提高了效率又提高了准确性，下面举一个小例子：
1、安装RQDA包、tm包和中文分词软件（分词软件见下面链接）； http://www.pinggu.org/bbs/thread-853290-1-1.html
注：现在中文分词软件已经直接放到RQDAtm程序包中(https://r-forge.r-project.org/R/?group_id=137)，不需要另外安装。
2、装载RQDA包并建立一个新的工程项目；
3、输入相关文本文件；
4、进行编码和作标记；
5、双击想要提取的编码即可提取相关文本；
6、运行下面下载的程序进行文本提取、转换、分词、文本挖掘工作。
> gg <- RQDA2tm("记者" ,mf = FALSE)
> gg
A corpus with 55 text documents
>
------------------------------------------------
> ### 去掉多余空格 ####> reuters <- tm_map(gg, stripWhitespace)
> reuters[[1]]
这个也是临时改的？这儿应该放一个那样的桌子。
>
------------------------------------------------
> ## 全文搜索 ##> searchFullText(gg[[1]], "是临[时]?改")
[1] TRUE>
------------------------------------------------
> ### 查找以某字开头、结尾等的词条 ###> stemCompletion(gg, c("财", "政", "部"))
财 政 部"财政部就是替政府花钱的" "" ""------------------------------------------------
> ### 元数据管理 ###> DublinCore(reuters[[2]], "title") <- "建国60周年"> meta(reuters[[2]])
Available meta data pairs are:
Author :
DateTimeStamp: 2010-07-15 02:06:27
Description :
Heading : 建国60周年
ID : 2
Language : eng
Origin :
>
------------------------------------------------
> ### 创建词条-文件矩阵>
> dtm <- DocumentTermMatrix(reuters,control = list(minWordLength=2))##最短词两个字> inspect(dtm[1:2, 3:6])
A document-term matrix (2 documents, 4 terms)
Non-/sparse entries: 0/8Sparsity : 100%
Maximal term length: 5Weighting : term frequency (tf)
Terms
Docs 10000 12 120 1966
1 0 0 0 0
2 0 0 0 0------------------------------------------------
> ## 操作词条-文件矩阵 ##> ## 1、找出最少出现过3次的词条 ##> findFreqTerms(dtm, 3)
[1] "政策"------------------------------------------------
> ## 2、找出与"应该"相关度到少达0.6的词条 ###> findAssocs(dtm, "应该", 0.6)0.11 应该 桌子 临时1.0 1.0 1.0 0.7>其他看上面的链接中的内容，其实生成词条-文件矩阵后还有许多工作可以做，比如用支持向量机进行文件分类、话题分类、根据话题用词频率分析作者所熟悉的行业等等……
民网 >> 时政 >> 时政专题 >> 网友进言
http://politics.people.com.cn/GB/8198/138817/index.html
MetaID fname fid 1 0 公安部答复本网网友关于轻微交通违法处罚等4问题 1 2 0 公安部答复本网网友关于驾龄计算、异地购车上牌、老人驾车等8问题 2 3 0 公安部答复本网网友关于如何转回农业户口等3问题 3 4 0 公安部回复本网网友关于驾驶证年检被注销等3问题 4 5 0 公安部回复人民网网友关于异地缴交通罚款等4问题 5 6 0 公安部回复人民网网友关于身份证重号错号等4问题 6
一、出现5次以上的词条 —————————————————————————- 1、根据编码“网友”分析：
gg <- RQDA2tm("网友" ,mf = TRUE)
> findFreqTerms(dtm, 5)
[1] "驾驶" "身份证" "问题"—————————————————————————- 2、根据编码“公安部回应”分析：
gg <- RQDA2tm("公安部回应" ,mf = TRUE)
> findFreqTerms(dtm, 5)
[1] "办理" "部门" "公安" "管理" "规定" "机动车" "机关" "交通"[9] "安全" "不得" "车辆" "道路" "驾驶" "驾驶证" "汽车" "实施"[17] "使用" "小型" "营运" "载货" "载客" "证明" "工作" "法律"[25] "公民" "居民" "社会" "身份" "身份证" "条件" "相关" "行为"[33] "证件" "措施" "违法" "应当" "公安部" "信息"************************************************************** 二、找出与“驾驶”相关达70%以上的词条 —————————————————————————- 1、根据编码“网友”分析：
> findAssocs(dtm, "驾驶", 0.7)
驾驶 公安部 能否 规定 驾照 汽车 1.00 0.87 0.80 0.79 0.78 0.72—————————————————————————- 2、根据编码“公安部回应”分析：
> findAssocs(dtm, "驾驶", 0.7)
驾驶 需要 期限 证明 小型 法律 使用 中型 驾驶证 依法 检查 1.00 0.95 0.90 0.86 0.84 0.83 0.80 0.79 0.77 0.77 0.75
有效 超过 0.75 0.72************************************************************** MetaID fname fid 1 0 公安部答复本网网友关于轻微交通违法处罚等4问题 1 2 0 公安部答复本网网友关于驾龄计算、异地购车上牌、老人驾车等8问题 2 3 0 公安部答复本网网友关于如何转回农业户口等3问题 3 4 0 公安部回复本网网友关于驾驶证年检被注销等3问题 4 5 0 公安部回复人民网网友关于异地缴交通罚款等4问题 5 6 0 公安部回复人民网网友关于身份证重号错号等4问题 6
对上面的数据改为将每条回应为研究对象进行文档聚类分析，结果如下：
综合上面两种聚类分析可以判断：公安部负责对人民网网民进行回应的工作人员有两名，因为每个人的写作用词习惯是比较固定的。
对三位房地产大佬在搜房网博客近期文章的分析：
搜房网博客链接： 潘石屹 http://blog.soufun.com/blog_132261.htm 王石 http://blog.soufun.com/blog_1525150.htm 任志强 http://blog.soufun.com/blog_1796106.htm
标题：
> txt
MetaID fname fid ID
1 0 穿越“鬼门关”登山者视界4(王) 3 1
2 0 美丽的建筑网友交流42(王) 7 2
3 0 如何了解日本民族网上交流43(王) 8 3
> txt
MetaID fname fid ID
1 0 从发改委的文件看政策的变化(任) 4 1
2 0 该不该降价(任) 6 2
3 0 听老柳侃管理(任) 11 3
4 0 稳定、明确的政策预期更为重要(任) 12 4
5 0 先拆还是先建，这是一门艺术(任) 13 5
6 0 幸福指数——再次写给八零后(任) 16 6
> txt
MetaID fname fid ID
1 0 IPAD现象预示了社会结构的变化(潘) 1 1
2 0 SOHO中国进驻上海外滩(潘) 2 2
3 0 房地产业要做受人尊重的行业(潘) 5 3
4 0 商业地产与住房是两个完全不同的市场(潘) 9 4
5 0 世界正经历分娩之阵痛(潘) 10 5
6 0 现在中国房地产市场上“尖叫”声一片(潘) 14 6
7 0 信仰改变了我的生命(潘) 15 7
8 0 银河SOHO和光华路SOHO2通过LEED预认证(潘) 17 8
9 0 银河SOHO开盘三天销售46.75亿元(潘) 18 9
10 0 致《酥油》作者： 你的爱和我们的感受构成世界的力量(潘) 19 10
> 结果：
> ## 任志强最喜欢的用词：> inspect(dtm_rzq[,j])
A document-term matrix (6 documents, 10 terms)
Non-/sparse entries: 41/19Sparsity : 32%
Maximal term length: 2Weighting : term frequency (tf)
Terms
Docs 价格 企业 租赁 发展 改革 没有 社会 一代 知道 中国 1 0 1 5 4 7 0 3 0 0 6
2 31 2 0 3 1 7 4 0 4 15
3 0 42 0 4 0 5 4 0 0 2
4 9 1 0 0 0 7 4 0 3 4
5 1 0 25 3 0 6 4 0 2 4
6 1 5 0 25 48 30 55 41 35 51> ## 潘石屹最喜欢的用词：> inspect(dtm_psy[,j])
A document-term matrix (10 documents, 9 terms)
Non-/sparse entries: 49/41Sparsity : 46%
Maximal term length: 4Weighting : term frequency (tf)
Terms
Docs 一个 商业 上海 外滩 项目 房地产 市场 土地 soho 1 17 12 0 0 0 4 4 1 1
2 6 17 15 27 21 1 2 2 6
3 8 0 0 0 2 11 2 10 0
4 6 16 0 0 2 0 5 0 13
5 10 2 0 0 6 0 0 0 9
6 5 4 3 0 1 17 37 15 0
7 5 0 0 0 1 0 1 0 0
8 1 0 0 0 8 0 0 0 7
9 1 15 0 0 4 0 9 0 18
10 7 0 0 0 0 0 0 1 0> ## 王石最喜欢的用词> inspect(dtm_ws[,j])
A document-term matrix (3 documents, 16 terms)
Non-/sparse entries: 17/31Sparsity : 65%
Maximal term length: 2Weighting : term frequency (tf)
Terms
Docs 冰川 穿越 攀登 融化 珠峰 处理 东京 焚烧 垃圾 等级 了解 日本 喜欢 相扑 1 18 6 4 8 4 0 0 0 0 0 0 0 0 0
2 0 0 0 0 0 4 4 8 11 0 0 1 0 0
3 0 0 0 0 0 0 0 0 0 4 4 7 4 10
Terms
Docs 运动 秩序 1 0 0
2 0 0
3 4 6由此看来王石仍然在到处玩儿，怪不得从万科A到万科B，再到万科债券08G1、08G2都跌的一塌糊涂。任志强的兴趣仍在研究国家政策，忧国忧民啊！ 老潘的工作重点已经转到上海的商业地产了。
现在再用支持向量机的方法对上面的数据建模，看是否能分辨出某些话是谁说的：
> library(e1071)
> ## 生成训练用的数据 ##………………
> tt <- rbind(tt,tt1)
>
> tt[is.na(tt)]<-0> tt[,"作者"] <- factor(tt[,"作者"])
> model <- svm(作者 ~ ., data = tt[c(1:4,7:14,17:18),], kernel = "sigmoid")
> summary(model)
Call:
svm(formula = 作者 ~ ., data = tt[c(1:4, 7:14, 17:18), ], kernel = "sigmoid")
Parameters:
SVM-Type: C-classification
SVM-Kernel: sigmoid
cost: 1
gamma: 0.01666667
coef.0: 0Number of Support Vectors: 10( 4 4 2 )
Number of Classes: 3Levels:
潘石屹 任志强 王石
> ## 模型拟合测试 ##> ## 训练集（样本内）拟合 ##> pred <- predict(model, tt[c(1:4,7:14,17:18),1:length(hh)])
> table(pred, tt[c(1:4,7:14,17:18),"作者"])
pred 潘石屹 任志强 王石
潘石屹 7 0 0
任志强 1 4 0
王石 0 0 2> ## 测试集（样本外）预测 ##> pred <- predict(model, tt[c(5:6,15:16,19),1:length(hh)])
> table(pred, tt[c(5:6,15:16,19),"作者"])
pred 潘石屹 任志强 王石
潘石屹 2 0 0
任志强 0 2 0
王石 0 0 1训练集中有一个错的，但预测集中全中。 ******************************************************* 哪么随机找两段他们的话看能判断出吗？
>
> test <- c("昨天休息了一天，驻地村子现在很大，二年前很小，自首位成功登上珠穆朗玛峰的探险家埃德蒙.希拉里组织义工建立学校医疗诊所，当地条件开始显著改善，目前这里三分之一的当地人已经移民国外，境外一些人士建立了一些家庭小旅馆，卫生条件不错，新西兰狮子会建立了一家小卫生所，以改善当地的医疗条件。这些让我体会到登山这项运动对当地生活条件改善的有益影响。")
>………………
> tt1[,c(test_h)] <- test_tt[,c(test_h)]
> tt1[is.na(tt1)]<-0> predict(model, tt1)
1
王石
Levels: 潘石屹 任志强 王石
>对了，是《珠峰零公里口述之四 (2010-4-9 16:06:22)》中的一段话。 ++++++++++++++++++++++++++++++++++++++++
> test <- c("2007年出台的“第二套住房的信贷”新政，让中国的房地产市场调头直下，在“两防”的政策推力和美国的金融危机双重作用之下，让中国的宏观经济也随之调头直下，GDP快速下降到6.3%，从而让中国政府不得不用四万亿元投资、放量的货币信贷和解封“第二套住房信贷”改为0.7倍信贷降息和对改善性住房（实际的第二套）信贷给以支持，才让中国的房地产和宏观经济从谷底翻转恢复到保八之上。
+ ")
……………………
> tt1[,c(test_h)] <- test_tt[,c(test_h)]
> tt1[is.na(tt1)]<-0> predict(model, tt1)
1
任志强
Levels: 潘石屹 任志强 王石
>也对了，是《何需分清几套房 (2010-4-29 9:38:52) 》中的一段话
那么下面这段文字是谁写的呢？
test <- c("经常有人问我第一桶金怎么来的，从哪里得到的，有多少。其实每次有人问我这个问题时，我都想说，人的第一桶金是自信。即使你没钱也不要怕，自信就是你的资本。也有人在自信前面加了一个不好的修饰语，叫盲目自信，我不太爱听。我说过很多次自我的害处，但我认为与自我有点关系的不多的好东西之一，就是自信。自信当然有自我意识，还有信，相信的信。相信，是正面的、健康的。要相信自己。一个相信自己的人才会相信他人，相信未来。")
> predict(model, tt1) 1潘石屹
Levels: 潘石屹 任志强 王石太神奇了！潘石屹——《自信是人生第一桶金》的一段。见下面的链接：
http://www.pinggu.org/bbs/thread-863705-1-1.html
再根据他们所用的词频看看他们三人之关系谁更近一点：
> dist(tt_s)
..........潘石屹 任志强
任志强 243.6945
王石 161.1552 204.2890
- 厚土Go学习笔记 | 29. 接口
- MySQL删除数据的简单尝试 (r7笔记第98天)
- 简单易学的机器学习算法——lasso
- 优化算法——差分进化算法(DE)
- 通过shell脚本批量验证dataguard的有效性（r7笔记第96天)
- JavaWeb17-案例之ajax（Java真正的全栈开发）
- JavaWeb15-DBUtils（Java真正的全栈开发）
- 利用Theano理解深度学习——Multilayer Perceptron
- JavaWeb14-事务，连接池（Java正在的全栈开发）
- 利用Theano理解深度学习——Logistic Regression
- JavaWeb13-设计模式案例实现（Java真正的全栈开发)
- 运维平台的建设思考-元数据管理（三）(r8笔记第15天)
- JavaWeb12-JSP， EL表达式，JSTL标签
- JavaWeb11-jsp.cookie.session（1）
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 聊聊claudb的NotificationManager
- windows下安装Postman
- 【Pytorch 】笔记七：优化器源码解析和学习率调整策略
- 【Pytorch 】笔记六：初始化与 18 种损失函数的源码解析
- logstash index 生成时间晚 8 小时
- top 命令查看cpu利用率超过500%
- 【Pytorch 】笔记四：Module 与 Containers 的源码解析
- 控制pod内container执行顺序的几种姿势
- 本地部署istio多集群(共享控制面)
- elasticsearch unassigned shard
- 【Pytorch 】笔记五：nn 模块中的网络层介绍
- docker浅入深出4
- BFE.dev前端刷题#58. 获取DOM tree高度
- 如何在Tungsten Fabric上整合裸金属服务器（附配置验证过程）
- 逐行阅读Spring5.X源码（三） BeanDefinition的实现类详解，拔高