垃圾邮件分类2

时间:2020-05-21
本文章向大家介绍垃圾邮件分类2,主要包括垃圾邮件分类2使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

1.读取

2.数据预处理

 

 

import csv
import nltk
import re
from nltk.corpus import stopwords
from nltk.stem import WordNetLemmatizer
import pandas as pd

#返回类别
def getLb(data):
    if data.startswith("J"):
        return nltk.corpus.wordnet.ADJ
    elif data.startswith("V"):
        return nltk.corpus.wordnet.VERB
    elif data.startswith("N"):
        return nltk.corpus.wordnet.NOUN
    elif data.startswith("R"):
        return nltk.corpus.wordnet.ADV
    else:
        return "";

def preprocessing(data):
    newdata=[]
    punctuation = '!,;:?"\''
    data=re.sub(r'[{}]+'.format(punctuation), '', data).strip().lower();#去标点和转小写
    for i in nltk.sent_tokenize(data, "english"):  # 对文本按照句子进行分割
        for j in nltk.word_tokenize(i):  # 对句子进行分词
            newdata.append(j)
    stops = stopwords.words('english')
    newdata= [i for i in newdata if i not in stops]#去停用词
    newdata = nltk.pos_tag(newdata)#词性标注
    lem = WordNetLemmatizer()
    for i, j in enumerate(newdata):#还原词
        y = getLb(j[1])
        if y:
            newdata[i] = lem.lemmatize(j[0], y)
        else:
            newdata[i] = j[0]

    newdata=' '.join(newdata);
    return newdata

if __name__ == "__main__":
    sms = open('./_5', 'r', encoding='utf-8')
    sms_data = []
    sms_label = []
    csv_reader = csv.reader(sms, delimiter='\t')
    for line in csv_reader:
        sms_label.append(line[0])
        sms_data.append(preprocessing(line[1]))
    sms.close()
    result=pd.DataFrame({"类别":sms_label,"特征":sms_data})
    result.to_csv("./result.csv")

 

 

 

3.数据划分—训练集和测试集数据划分

from sklearn.model_selection import train_test_split

x_train,x_test, y_train, y_test = train_test_split(data, target, test_size=0.2, random_state=0, stratify=y_train)

from sklearn.model_selection import train_test_split
import pandas as pd

data=pd.read_csv("./分类/垃圾邮件分类/result.csv")

x_train,x_test, y_train, y_test = train_test_split(data.iloc[:,2], data.iloc[:,1], test_size=0.2, random_state=0

4.文本特征提取

sklearn.feature_extraction.text.CountVectorizer

https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.CountVectorizer.html?highlight=sklearn%20feature_extraction%20text%20tfidfvectorizer

sklearn.feature_extraction.text.TfidfVectorizer

https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html?highlight=sklearn%20feature_extraction%20text%20tfidfvectorizer#sklearn.feature_extraction.text.TfidfVectorizer

from sklearn.feature_extraction.text import TfidfVectorizer

tfidf2 = TfidfVectorizer()

观察邮件与向量的关系

 

向量还原为邮件

 

 

 

from sklearn.feature_extraction.text import TfidfVectorizer

tfidf2 = TfidfVectorizer()
X_train=tfidf2.fit_transform(x_train.values.astype('U'))
X_text=tfidf2.transform(x_test.values.astype('U'))

#邮件与向量的关系
tfidf2.vocabulary_

X_train.toarray()
X_train.toarray().shape

#向量还原成邮件
import numpy as np
a=np.flatnonzero(X_train.toarray()[0])
a
X_train.toarray()[0][a]

b=tfidf2.vocabulary_
key_list=[]
for key,value in b.items():
    if value in a:
        key_list.append(key)
key_list
x_train.iloc[0]

 

4.模型选择

from sklearn.naive_bayes import GaussianNB

from sklearn.naive_bayes import MultinomialNB

说明为什么选择这个模型?

多项式朴素贝叶斯分类器适用于具有离散特征的分类

from sklearn.naive_bayes import MultinomialNB
mnb=MultinomialNB()
mnb.fit(X_train,y_train)
y_mnb=mnb.predict(X_text)

 

 

5.模型评价:混淆矩阵,分类报告

from sklearn.metrics import confusion_matrix

confusion_matrix = confusion_matrix(y_test, y_predict)

说明混淆矩阵的含义

from sklearn.metrics import classification_report

说明准确率、精确率、召回率、F值分别代表的意义

 

混淆矩阵是一个2 × 2的情形分析表,显示以下四组记录的数目:作出正确判断的肯定记录(真阳性)、作出错误判断的肯定记录(假阴性)、作出正确判断的否定记录(真阴性)以及作出错误判断的否定记录(假阳性)

真实值是positive,模型认为是positive的数量(True Positive=TP)
真实值是positive,模型认为是negative的数量(False Negative=FN):这就是统计学上的第二类错误(Type II Error)
真实值是negative,模型认为是positive的数量(False Positive=FP):这就是统计学上的第一类错误(Type I Error)
真实值是negative,模型认为是negative的数量(True Negative=TN)



准确率(Accuracy = (TP +TN)/(TP + FP + TN + FN)): 在所有样本中,预测为真的比例

 

 

精确率(Precision = TP /(TP + FP)):预测结果为正例样本中真实为正例的比例(查得准)

召回率(Recall = TP /(TP + FN)):真实为正例的样本中预测结果为正例的比例(查得全,对正样本的区分能力)

F值 = 正确率 * 召回率 * 2 / (正确率 + 召回率) (F 值即为正确率和召回率的调和平均值)

 

 

from sklearn.metrics import confusion_matrix
from sklearn.metrics import classification_report

# 混淆矩阵
cm = confusion_matrix(y_test, y_mnb)
print('nb_confusion_matrix:')
print(cm)
# 主要分类指标的文本报告
cr = classification_report(y_test, y_mnb)
print('nb_classification_report:')
print(cr)
(cm[0][0]+cm[1][1])/np.sum(cm)

 

6.比较与总结

如果用CountVectorizer进行文本特征生成,与TfidfVectorizer相比,效果如何?

 

 

 

 

因为CountVectorizer只关注词汇在本文本出现的概率,没有像TfidfVectorizer结合其他的文本来考虑,所以最后得出的准确率会较高,但是这样的结果与TfidfVectorizer的结果相比,TfidfVectorizer的结果更为可靠。

$flag 上一页 下一页