#coding:utf-8
import urllib2
import csv
import re
from bs4 import BeautifulSoup

#设置默认encoding方式
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

#此处需要注意，最好查看一下最大网页数，如果填超过了会报错
for k in range(1,38):

#待抓取的网页地址

    url = 'http://news.baidu.com/ns?word=单车+融资&pn=%s&cl=2&ct=1&tn=news&rn=20&ie=utf-8&bt=0&et=0'% ((k-1)*20) 

    #wb写 a+追加模式

    csvfile = file('rongzi.csv', 'ab+')
    writer = csv.writer(csvfile)
    
    content = urllib2.urlopen(url).read() #获取网页的html文本
   
    #使用BeautifulSoup解析html
    soup = BeautifulSoup(content,'lxml')
    list0 = []
    list1 = []
    list2 = []
    list3 = []
   
    #识别热点新闻
    for i in range(0,20):
        hotNews = soup.find_all('div', {'class', 'result'})[i]
        a1=hotNews.find(name="a", attrs={"target": re.compile("_blank")})
        list0.append(a1.text)
        a2=hotNews.find(name="p", attrs={"class": re.compile("c-author")})
        t1=a2.text.split()[0]
        list1.append(t1)
        t2 = a2.text.split()[1]
        list2.append(t2)
        if t2.find(u'年') == 4:
            t3 = a2.text.split()[2]
            list3.append(t3)
        else:
            list3.append(' ')
   
    #将数据写入csv
    data = []
    for i in range(0,20):
        data.append((list0[i], list1[i], list2[i],list3[i]))
    writer.writerows(data)
    csvfile.close()
    print "第" + str(k) + "页完成"


代码中需要注意的地方是开头的

for k in range(1,38):

最好查看一下百度搜索的最大网页数，如果填写超过了会报错




另外，数据爬取下来后保存的是csv格式，需要先用记事本打开，点另存为 设置编码格式，不然直接打开会是一堆乱码。（坑都为你指出来了~）




本次爬取的数据如下，共计2400多条。数据稍加清洗便可做分析。




二、文本数据分析

“共享单车”萌芽于何时？



最早提及“共享单车”一词的报道是腾讯科技于2015年11月9日发布。当时的经济背景是创投遇冷，共享经济火热。
2015年末，在移动互联网红利将尽，O2O项目接连倒闭的情况下，共享汽车、房子、自行车成为了最热门的项目。
共享经济的代表Uber和Airbnb连续几年都是美国创业公司估值排行中的第一和第二，而在中国遇见了太多的现实问题。
网约车新政、房屋出租的管理条例、以及地方性的城市管理条例都会对共享经济的发展造成巨大的影响。

腾讯科技推出系列文章《共享经济这一年》第三期：公共自行车入局，共享单车开启混战模式，谁能笑到最后？
引起媒体对“共享单车”的关注。

据原文介绍，自2015年9月以来，宣布进入共享单车领域的新厂商至少已有十几家，入局者遍及互联网公司、单车制造商、公共自行车运营方等。
一些厂商为了能在冬天继续开展业务，一反此前将北京上海作为首站的常态，将目标首先投向温暖的广东，以争取珍贵的几个月时间。
不过，老玩家们也不是没有想到这一点。原本在领域内占据最大的份额的摩拜与ofo两家已经布局了广州深圳两座南方城市。
至此，布局五座城的摩拜与布局四座城的ofo已在北上广深四座城开战，加上新入局的玩家，广深两地的共享单车市场预计将变得越发热闹。

使用在线词频分析工具进行统计

          词频 TOP10

去掉搜索关键词 “单车”、“共享”、“自行车”,从统计结果看,行业内前十的关键字，80%都跟“钱”有关。
媒体非常关注资本市场，换句话说，共享单车兴起不久，现在已演变为资本驱动市场，在资本领域的角逐异常激烈。“大战”一词的比重颇高，
不由得联想到前几年网约车刚兴起，滴滴与快滴之间为争夺市场而引发激烈的价格战。

从词云结果看，“烧钱”、“融资”，“火拼”，“混战”占据着头条。




以下为节选的近期共享单车行业融资消息：
2016年9月,滴滴出行数千万美元战略投资ofo共享单车;

2016年10月，ofo共享单车获1.3亿美元投资 小米顺为资本等领投；

。。。。

简直白热化的融资速度。如果一个市场不能快速建立核心竞争力，建立行业壁垒，待资本加入进来，争夺将是残酷的

值得一提的是，前十关键字中，为何有“尴尬”一词？
查看原文~~



不禁让人哑然，与“尴尬”一词联系紧密的有“损毁”、"上锁"，“频遭”，“骗钱”，“难觅”。。。
这行业缺乏有力监管，市场混乱可想而知。

从下面搜索结果看，单车还被扔到河里也是没谁了。。。



下面来看品牌热度