爬取全部的校园新闻
时间:2019-04-15
本文章向大家介绍爬取全部的校园新闻,主要包括爬取全部的校园新闻使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002
0.从新闻url获取点击次数,并整理成函数
- newsUrl
- newsId(re.search())
- clickUrl(str.format())
- requests.get(clickUrl)
- re.search()/.split()
- str.lstrip(),str.rstrip()
- int
- 整理成函数
- 获取新闻发布时间及类型转换也整理成函数
1.从新闻url获取新闻详情: 字典,anews
2.从列表页的url获取新闻url:列表append(字典) alist
3.生成所页列表页的url并获取全部新闻 :列表extend(列表) allnews
*每个同学爬学号尾数开始的10个列表页
4.设置合理的爬取间隔
import time
import random
time.sleep(random.random()*3)
5.用pandas做简单的数据处理并保存
保存到csv或excel文件
newsdf.to_csv(r'F:\duym\爬虫\gzccnews.csv')
代码:
1 import requests 2 from bs4 import BeautifulSoup 3 from datetime import datetime 4 import re 5 import sqlite3 6 import pandas as pd 7 import time 8 import pandas 9 import random 10 11 #获取点击数 12 def click(url): 13 id=re.findall('\d[1,5]',url)[-1] 14 clickUrl='http://oa.gzcc.cn/api.php?op=count&id={}&modelid=80'.format(id) 15 resClick=requests.get(clickUrl) 16 newsClick=int(resClick.text.split('.html')[-1].lstrip("('").rstrip("');")) 17 return newsClick#获取新闻时间 18 def newsdt(showinfo): 19 newsDate=showinfo.split()[0].split(':')[1] 20 newsTime=showinfo.split()[1] 21 newsDT=newsDate+' '+newsTime 22 dt=datetime.strptime(newsDT,'%Y-%m-%d %H:%M:%S') 23 return dt 24 #获取新闻信息 25 def anews(url): 26 newsDetail={} 27 res=requests.get(url) 28 res.encoding='utf-8' 29 soup=BeautifulSoup(res.text,'html.parser') 30 newsDetail['newsTitle']=soup.select('.show-title')[0].text 31 showinfo=soup.select('.show-info')[0].text 32 newsDetail['newsDT']=newsdt(showinfo) 33 newsDetail['newsClick']=click(url) 34 return newsDetail 35 36 def alist(url): 37 res=requests.get(listUrl) 38 res.encoding='utf-8' 39 soup=BeautifulSoup(res.text,'html.parser') 40 newsList=[] 41 for news in soup.select('li'): 42 if len(news.select('.news-list-title'))>0: 43 newsUrl=news.select('a')[0]['href'] 44 newsDest=news.select('.news-list-description')[0].text 45 newsDict=anews(newsUrl) 46 newsDict['description']=newsDest 47 newsList.append(newsDict) 48 return newsList 49 50 51 #url= 'http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0404/11155.html' 52 #anews(url) 53 54 url = 'http://news.gzcc.cn/html/xiaoyuanxinwen' 55 res=requests.get('http://news.gzcc.cn/html/xiaoyuanxinwen') 56 res.encoding='utf-8' 57 soup=BeautifulSoup(res.text,'html.parser') 58 for news in soup.select('li'): 59 if len(news.select('.news-list-title'))>0: 60 newsUrl=news.select('a')[0]['href'] 61 62 allnews = []#获取新闻第2-第12页的所有新闻 63 for i in range(2,12): 64 listUrl='http://news.gzcc.cn/html/xiaoyuanxinwen/{}.html'.format(i) 65 allnews.extend(alist(listUrl)) 66 pd.Series(allnews)#保存文件 67 newsdf=pd.DataFrame(allnews) 68 newsdf.sort_index(by=['newsClick'],ascending=False) 69 newsdf.to_csv(r'F:\hh\bb.csv')#输出点击数大于385的新闻 70 with sqlite3.connect('gzccnewsdb.sqlite')as db: 71 df2=pandas.read_sql_query('SELECT * FROM gzccnewsdb',con=db) 72 df2[df2['newsClick']>385]
运行结果:
- 用 Python 实现雪花效果
- CentOS6.8_Spark单机部署
- 3.2 Spark调度机制
- 正则表达式中零宽断言的用法
- Spark ReadmeApache Spark
- Apache Spark快速入门
- YARN & Mesos,论集群资源管理所面临的挑战
- Requests库作者Kenneth Reitz的另一神作!虚拟环境及包管理工具Pipenv!
- 你写的单例真的对吗
- TensorFlow layers模块用法
- Spark算子详解及案例分析(分类助记)
- Spark详解07广播变量BroadcastBroadcast
- TensorFlow验证码识别
- python selenium2 开发环境搭建
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- shell脚本中各种括号的区别以及用法
- linux 实现centos7在线升级最新版本内核
- linux centos系统开机启动流程
- mysql的备份及恢复
- linux之iptables 基础详解
- linux 实现lvs-dr在不同网段的负载均衡调度
- docker实现Mongodb复制集
- Centos7搭建LAMP+Typecho个人博客
- [Centos7]搭建postfix邮件服务器
- [Docker]手动配置docker网络
- [Centos7]使用GPG加密和解密文件
- [Centos7]设置禁ping
- [Centos7]open读取文件报错:TypeError
- [Centos7]对硬盘进行分区及自动挂载
- [Centos7]extundelete恢复误删除数据