Python 文本挖掘：使用情感词典进行情感分析（算法及程序设计）

情感分析就是分析一句话说得是很主观还是客观描述，分析这句话表达的是积极的情绪还是消极的情绪。

原理

比如这么一句话：“这手机的画面极好，操作也比较流畅。不过拍照真的太烂了！系统也不好。”

① 情感词

要分析一句话是积极的还是消极的，最简单最基础的方法就是找出句子里面的情感词，积极的情感词比如：赞，好，顺手，华丽等，消极情感词比如：差，烂，坏，坑爹等。出现一个积极词就+1，出现一个消极词就-1。

里面就有“好”，“流畅”两个积极情感词，“烂”一个消极情感词。那它的情感分值就是1+1-1+1=2. 很明显这个分值是不合理的，下面一步步修改它。

② 程度词

“好”，“流畅”和‘烂“前面都有一个程度修饰词。”极好“就比”较好“或者”好“的情感更强，”太烂“也比”有点烂“情感强得多。所以需要在找到情感词后往前找一下有没有程度修饰，并给不同的程度一个权值。比如”极“，”无比“，”太“就要把情感分值*4，”较“，”还算“就情感分值*2，”只算“，”仅仅“这些就*0.5了。那么这句话的情感分值就是：4*1+1*2-1*4+1=3

③ 感叹号

可以发现太烂了后面有感叹号，叹号意味着情感强烈。因此发现叹号可以为情感值+2. 那么这句话的情感分值就变成了：4*1+1*2-1*4-2+1 = 1

④ 否定词

明眼人一眼就看出最后面那个”好“并不是表示”好“，因为前面还有一个”不“字。所以在找到情感词的时候，需要往前找否定词。比如”不“，”不能“这些词。而且还要数这些否定词出现的次数，如果是单数，情感分值就*-1，但如果是偶数，那情感就没有反转，还是*1。在这句话里面，可以看出”好“前面只有一个”不“，所以”好“的情感值应该反转，*-1。

因此这句话的准确情感分值是：4*1+1*2-1*4-2+1*-1 = -1

⑤ 积极和消极分开来

再接下来，很明显就可以看出，这句话里面有褒有贬，不能用一个分值来表示它的情感倾向。而且这个权值的设置也会影响最终的情感分值，敏感度太高了。因此对这句话的最终的正确的处理，是得出这句话的一个积极分值，一个消极分值（这样消极分值也是正数，无需使用负数了）。它们同时代表了这句话的情感倾向。所以这句评论应该是”积极分值：6，消极分值：7“

⑥ 以分句的情感为基础

再仔细一步，详细一点，一条评论的情感分值是由不同的分句加起来的，因此要得到一条评论的情感分值，就要先计算出评论中每个句子的情感分值。这条例子评论有四个分句，因此其结构如下（[积极分值, 消极分值]）：[[4, 0], [2, 0], [0, 6], [0, 1]]

以上就是使用情感词典来进行情感分析的主要流程了，算法的设计也会按照这个思路来实现。

算法设计

第一步：读取评论数据，对评论进行分句。

第二步：查找对分句的情感词，记录积极还是消极，以及位置。

第三步：往情感词前查找程度词，找到就停止搜寻。为程度词设权值，乘以情感值。

第四步：往情感词前查找否定词，找完全部否定词，若数量为奇数，乘以-1，若为偶数，乘以1。

第五步：判断分句结尾是否有感叹号，有叹号则往前寻找情感词，有则相应的情感值+2。

第六步：计算完一条评论所有分句的情感值，用数组（list）记录起来。

第七步：计算并记录所有评论的情感值。

第八步：通过分句计算每条评论的积极情感均值，消极情感均值，积极情感方差，消极情感方差。

实战这篇文章讲到了使用情感词典进行英文情感分析的方法和代码讲解，非常详细。

但我使用了与之有所区别的方法和数据类型（我没有使用字典，而只是用了列表。或许字典能记录下更多信息，方便更复杂的处理，但简单的处理使用列表就足够了）。

载入几个需要用的库。pickle（读取存储的情感词典数据），numpy（计算均值方差等），自己编写的textprocessing库（包括取excel数据、取txt数据、分词、词性标注、分句、去停用词、计算文本相似度等功能）。

#! /usr/bin/env python2.7
#coding=utf-8

import pickle
import textprocessing as tp
import numpy as np

2. 载入情感词典。

posdict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/posdict.pkl', 'r'))
negdict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/negdict.pkl', 'r'))
mostdict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/mostdict.pkl', 'r'))
verydict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/verydict.pkl', 'r'))
moredict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/moredict.pkl', 'r'))
ishdict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/ishdict.pkl', 'r'))
insufficientdict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/insufficentdict.pkl', 'r'))
inversedict = pickle.load(open('D:/code/sentiment_test/sentiment_dictionary/inversedict.pkl', 'r'))

3. 载入评论数据。

review = pickle.load(open('D:/code/review_set/review_pkl/Motorala.pkl', 'r'))

4. 定义判断基数偶数的函数。在判断否定词时使用。

def judgeodd(num):
    if (num/2)*2 == num:
        return 'even'
    else:
        return 'odd'

5. 情感分值计算主程序。

def sentiment_score_list(dataset):
    cuted_data = []
    for cell in dataset:
        cuted_data.append(tp.cut_sentence(cell))

    count1 = []
    count2 = []
    for sents in cuted_data: #循环遍历每一个评论
        for sent in sents:  #循环遍历评论中的每一个分句
            segtmp = tp.segmentation(sent, 'list')  #把句子进行分词，以列表的形式返回
            i = 0 #记录扫描到的词的位置
            a = 0 #记录情感词的位置
            poscount = 0 #积极词的第一次分值
            poscount2 = 0 #积极词反转后的分值
            poscount3 = 0 #积极词的最后分值（包括叹号的分值）
            negcount = 0
            negcount2 = 0
            negcount3 = 0
            for word in segtmp:
                if word in posdict: #判断词语是否是情感词
                    poscount += 1                
                    c = 0
                    for w in segtmp[a:i]:  #扫描情感词前的程度词
                        if w in mostdict:
                            poscount *= 4.0
                        elif w in verydict:
                            poscount *= 3.0
                        elif w in moredict:
                            poscount *= 2.0
                        elif w in ishdict:
                            poscount /= 2.0
                        elif w in insufficientdict:
                            poscount /= 4.0
                        elif w in inversedict:
                            c += 1
                    if judgeodd(c) == 'odd': #扫描情感词前的否定词数
                        poscount *= -1.0
                        poscount2 += poscount
                        poscount = 0
                        poscount3 = poscount + poscount2 + poscount3
                        poscount2 = 0
                    else:
                        poscount3 = poscount + poscount2 + poscount3
                        poscount = 0
                    a = i + 1 #情感词的位置变化
                elif word in negdict: #消极情感的分析，与上面一致
                    negcount += 1
                    d = 0
                    for w in segtmp[a:i]:
                        if w in mostdict:
                            negcount *= 4.0
                        elif w in verydict:
                            negcount *= 3.0
                        elif w in moredict:
                            negcount *= 2.0
                        elif w in ishdict:
                            negcount /= 2.0
                        elif w in insufficientdict:
                            negcount /= 4.0
                        elif w in inversedict:
                            d += 1
                    if judgeodd(d) == 'odd':
                        negcount *= -1.0
                        negcount2 += negcount
                        negcount = 0
                        negcount3 = negcount + negcount2 + negcount3
                        negcount2 = 0
                    else:
                        negcount3 = negcount + negcount2 + negcount3
                        negcount = 0
                    a = i + 1
                elif word == '！'.decode('utf8') or word == '!'.decode('utf8'): ##判断句子是否有感叹号
                    for w2 in segtmp[::-1]: #扫描感叹号前的情感词，发现后权值+2，然后退出循环
                        if w2 in posdict or negdict:
                            poscount3 += 2
                            negcount3 += 2
                            break                    
                i += 1 #扫描词位置前移
	    #以下是防止出现负数的情况
            pos_count = 0
            neg_count = 0
            if poscount3 < 0 and negcount3 > 0:
                neg_count += negcount3 - poscount3
                pos_count = 0
            elif negcount3 < 0 and poscount3 > 0:
                pos_count = poscount3 - negcount3
                neg_count = 0
            elif poscount3 < 0 and negcount3 < 0:
                neg_count = -poscount3
                pos_count = -negcount3
            else:
                pos_count = poscount3
                neg_count = negcount3
                
            count1.append([pos_count, neg_count])
        count2.append(count1)
        count1 = []    

    return count2

6. 计算出所需的积极情感值，消极情感值，积极情感均值，消极情感均值，积极情感方差，消极情感方差。

def sentiment_score(senti_score_list):
    score = []
    for review in senti_score_list:
        score_array = np.array(review)
        Pos = np.sum(score_array[:,0])
        Neg = np.sum(score_array[:,1])
        AvgPos = np.mean(score_array[:,0])
        AvgNeg = np.mean(score_array[:,1])
        StdPos = np.std(score_array[:,0])
        StdNeg = np.std(score_array[:,1])
        score.append([Pos, Neg, AvgPos, AvgNeg, StdPos, StdNeg])
    return score

7. 最后把分值写入txt 文件中即可。

某主席说，“没有情感词典的“使用该情感词典进行情感分析”都是耍流氓。”

某帝说，“要有情感词典。”

好吧，那就把情感词典拿出来好了。

情感词典包括①基础情感词典、②拓展情感词典和③领域情感词典。

一、基础情感词典：知网（Hownet）情感词典 + 中国台湾大学简体中文情感极性词典（NTSUSD）

基础情感词典包括了一些被广泛认同的情感词，比如”好“，”漂亮“，”差“，”烂“这些词。有研究者已经帮我们整理了这么一份情感词典。一个是著名的知网（Hownet）情感词典，还有一个是中国台湾大学简体中文情感极性词典。

知网的情感词典包含如下内容：

值得注意的是，知网（Hownet）里面的情感词有很多是莫名其妙的，比如”噲“、”媢“、”媢嫉“、”忺“这些都不知道从哪里冒出来的词，是需要人工判断手动删除的。

p.s. 停用词表一般使用哈工大的停用词表，网上有下载的资源。

中国台湾大学简体中文情感极性词典要简洁得多：

把知网（Hownet）里面的正面评价词语、正面情感词语和ntusd的positive词典消重之后组合在一起，成为基础积极情感词典。

把知网的负面评价词语、负面情感词语和ntusd的negative词典消重之后组合在一起，成为基础消极情感词典。

另外需要对知网（Hownet）里面的程度级别词语进行权值的设置。

二、拓展情感词典：哈工大整理同义词词林拓展版

拓展情感词典其实就是把基础情感词典通过同义词词典找到情感词的同义词，这样就拓展了基础情感词典。

同义词词典使用了哈工大同义词词林拓展版，具体内容如下：

三、领域词典：需编写程序，使用PMI互信息计算得出

仅仅依靠基础情感词典来识别一个句子里面的情感词是不足够的。在特定的领域，有些并非基础的情感词也有情绪倾向。比如：”这手机很耐摔啊，还防水”。耐摔、防水就是在手机这个领域有积极情绪的词。

要怎么识别这些词呢？一般使用的方法是PMI（互信息）方法。

互信息的概念可以参见吴军博士《数学之美》一书。简单的说，如果一个词和积极的词语一起出现的频率高，那么这个词是积极倾向的可能性也会大，反之亦然。所以，只要计算一个词和积极词出现的频率和消极词出现的频率之差，并设定某个阈值，就可以粗略的得知这个词的情感倾向了。

计算共现又可以细分两种方法：一种是利用搜索引擎计算共现值，一种是直接利用语料计算共现值。

具体方法：

先选定核心情感词（可以有多个），该核心情感词的情感必须非常明确，具有代表性。这里暂定积极词为：”好“，消极词为”烂“。

2.1 利用搜索引擎计算共现值。既在搜索引擎中搜索”某个词+好“，记录下网页数量co_pos。然后再搜索”某个词+烂“，记录下网页数量co_neg。再搜索”某个词“，记录下网页数量n。再搜索”好“，网页数量为pos，搜索”烂“，网页数量为neg。由此可利用这些数据来计算积极互信息和消极互信息。最后求两个互信息之差，差为正则积极、为负则消极。

重复计算不同词的互信息之差，最后选分值高的即可组成领域情感词典。

2.2 利用语料库计算共现值。原理一样，在语料库中搜索”某个词+好“，记录下数量。再搜索”某个词+烂“，记录下数量。后面的步骤都和上面一样。

四、最后把三个词典结合起来，形成了完整的情感词典。包括积极情感词典和消极情感词典。

最后必须说明，利用情感词典来判断一个句子的情感是有着明显不足的。

中文有着丰富的语义表达，很多情感都是隐含的，比如：”我昨天吃了这道菜，今天就拉肚子了“。这句话没有一个情感词，但表达的是消极的情绪。还有各种事正话反说的句子，比如：“你说这里的菜很好吃，我只能呵呵了“。如果用词典匹配，有”好吃“，”呵呵“两个积极词，但这句话表达的绝非积极的情绪。

这里就需要更高级复杂的处理方式，要更深入句子的句法，语法了。

本文参考源码：

https://github.com/Azure-rong/Review-Helpfulness-Prediction/tree/master/main/Feature%20extraction%20module/Sentiment%20features/Sentiment%20dictionary%20features