python利用结巴分词做新闻地图

应用语言学的期末Pre花了差不多一个月零零碎碎的时间完成了。最初的打算爬取网易、新浪、腾讯的国内新闻，再通过提取关键词，比较这三个网站社会新闻报道的内容的倾向性。使用结巴分词进行切分，再统计地名词频，进而数据可视化得出到底哪些地方大新闻比较多。

本来作为一个语言学学生，非常希望从专业的角度分析一下结巴分词的错误案例，于是我爬取了300个新闻标题，并且进行了分类，但是发现……看不懂源码的话，最多说这个是什么成分什么成分的错，但是显然有语感的人都看得出这些分词是错的（摊手）。

但是不管怎么说，也算是一次较为完整的代码实践，打算依次记录下来。

爬虫爬取新浪新闻

#encoding = utf-8 import requests import json def getnews(pages): global newsbag newsbag = [] for page in range(1, pages + 1): raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_' '2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=10&show_num=100' '&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231' url = raw_url.format(page) res = requests.get(url) jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');')) diclist = jd['result']['data'] for ent in diclist: newsbag.append(ent['title']) continue return newsbag pages = int(input("你想查询（返回输入值的100倍）：")) #因为使用的是控制下拉页加载的链接，所以每次都是抓取固定值，我设置的是100，可以通过调节 show_num 自己调整。使用一个数值较大的效率会高点。 getnews(pages)

后来想能够查指定日期的新闻标题，于是把时间戳也爬取了下来，并且做成了时间-标题的元组放到了列表里方便以后使用。修改的逻辑是首先抓取一定量的标题，然后再在这个标题里抓指定日期的新闻。这样就会有两个不便：

• 抓的数量要尽可能大才能满足调用需求
• 每次抓取都是定量的，可能最后抓的一部分并没有把最后一天的新闻抓全

我当时是先去查询爬取到的最后一条新闻的时间，然后再扩大爬取的总量，确保能把我要的日期的新闻都框在里面。

改进后的可以按日期查询新闻的代码如下

#encoding = utf-8 import requests import json def getnews(pages): global newsbag newsbag = [] titlelist = [] timelist=[] for page in range(1,pages+1): raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=100&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231' url=raw_url.format(page) res = requests.get(url) jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');')) diclist = jd['result']['data'] for ent in diclist: timestamp =float(ent['createtime']) newstime = datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d') timelist.append(newstime) titlelist.append(ent['title']) newsbag = zip(timelist,titlelist) return newsbag print('新浪国内新闻查询器v2.0，在定量数据范围内查询特定日期的新闻。') pages=int(input('请输入一共想要查询的页数，仅支持输入正整数，1页显示100条：')) date = str(input('请输入想查询的日期，格式以2017-04-25为例：')) getnews(pages) for i in newsbag: if i[0] == date: print(i)

使用结巴分词进行标题的切分

在结巴分词的安装上遇到了一些坑，一开始解压安装包，使用cmd安装一直安装失败，显示的信息是什么也忘记了。后来使用最简单的pip的方法安装好了。

结巴分词是一个优秀的开源项目，虽然后来我得知玻森分词也提供给开发者少量（但处理我的作业绰绰有余）的调用次数时已经完成了数据采集部分的工作了，不然我一定会使用玻森分词的。所以如果调用数量不大，从准确度的角度考虑，还是选用玻森分词比较好。

结巴分词的使用文档写的也很简单，但是简单的另一面是对Python新手不大友好，一开始以为结巴只能输出迭代对象，后来才发现原来也可以输出列表。

使用结巴分词切分新闻标题

# encoding = utf-8 import jieba def cutseg(): seg_list = [] for i in newsbag: seg_list = jieba.lcut(i,cut_all=True)+seg_list return "/".join(seg_list) print(cutseg())

使用结巴分词后对指定日期的新闻进行切分

结合一下改进过的查询代码后，我们直接使用结巴分词切分日期的标题，这样提高了切分的效率。这样，我们就能得到我们所需要的原始语料了。

#encoding = utf-8 import requests import json import jieba from datetime import datetime print ('haha') def getnews(pages): global newsbag newsbag = [] titlelist = [] timelist=[] for page in range(1,pages+1): raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=100&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231' url=raw_url.format(page) res = requests.get(url) jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');')) diclist = jd['result']['data'] for ent in diclist: timestamp =float(ent['createtime']) newstime = datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d') timelist.append(newstime) titlelist.append(ent['title']) newsbag = zip(timelist,titlelist) return newsbag def cutseg(): title_list = [] for i in timetitle: title_list = title_list+jieba.lcut(i) return title_list print('新浪国内新闻查询器v2.0，在定量数据范围内查询特定日期的新闻。') pages=int(input('请输入一共想要查询的页数，仅支持输入正整数，1页显示100条：')) date = str(input('请输入想查询的日期，格式以2017-04-25为例：')) getnews(pages) global timetitle timetitle = [] for i in newsbag: if i[0] == date: timetitle.append(i[1]) print(cutseg())

下一篇，我们将使用搜狗细胞词库将新闻标题中的地名挑选出来并且使用pandas进行数据整理！