python爬虫学习 爬取幽默笑话网站
时间:2022-07-24
本文章向大家介绍python爬虫学习 爬取幽默笑话网站,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
这篇文章主要介绍了python爬虫爬取幽默笑话网站,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
爬取网站为:http://xiaohua.zol.com.cn/youmo/
查看网页机构,爬取笑话内容时存在如下问题:
1、每页需要进入“查看更多”链接下面网页进行进一步爬取内容每页查看更多链接内容比较多,多任务进行,这里采用线程池的方式,可以有效地控制系统中并发线程的数量。避免当系统中包含有大量的并发线程时,导致系统性能下降,甚至导致 Python 解释器崩溃,引入线程池,花费时间更少,更效率。
•创建线程 池threadpool.ThreadPool()
•创建需要线程池处理的任务即threadpool.makeRequests(),makeRequests存放的是要开启多线程的函数,以及函数相关参数和回调函数,其中回调函数可以不写(默认是无)。
•将创建的多个任务put到线程池中,threadpool.putRequest()
•等到所有任务处理完毕theadpool.pool()
2、查看链接笑话页内容,div元素内部文本分布比较混乱。有的分布在<p>链接内有的属于div的文本,可采用正则表达式的方式解决。
注意2种获取元素节点的方式:
1)lxml获取节点字符串
res=requests.get(url,headers=headers)
html = res.text
lxml 获取节点写法
element=etree.HTML(html)
divEle=element.xpath("//div[@class='article-text']")[0] # 获取div节点
div= etree.tostring(divEle, encoding = 'utf-8' ).decode('utf-8') # 转换为div字符串
2)正则表达式写法1,过滤回车、制表符和p标签
# 第一种方式:replace
content = re.findall('<div class="article-text">(.*?)</div>',html,re.S)
content = content[0].replace('r','').replace('t','').replace('<p>','').replace('</p>','').strip()
3)正则表达式写法2,过滤回车、制表符和p标签
# 第二种方式:sub
for index in range(len(content)):
content[index] = re.sub(r'(r|t|<p>|</p>)+','',content[index]).strip()
list = ''.join(content)
print(list)
3、完整代码
import requests
import threadpool
import time
import os,sys
import re
from lxml import etree
from lxml.html import tostring
class ScrapDemo():
next_page_url="" #下一页的URL
page_num=1 #当前页
detail_url_list=0 #详情页面URL地址list
deepth=0 #设置抓取的深度
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36"
}
fileNum=0
def __init__(self,url):
self.scrapyIndex(url)
def threadIndex(self,urllist): #开启线程池
if len(urllist) == 0:
print("请输入需要爬取的地址")
return False
ScrapDemo.detail_url_list=len(urllist)
pool=threadpool.ThreadPool(len(urllist))
requests=threadpool.makeRequests(self.detailScray,urllist)
for req in requests:
pool.putRequest(req)
time.sleep(0.5)
pool.wait()
def detailScray(self,url): # 获取html结构
if not url == "":
url='http://xiaohua.zol.com.cn/{}'.format(url)
res=requests.get(url,headers=ScrapDemo.headers)
html=res.text
# element=etree.HTML(html)
# divEle=element.xpath("//div[@class='article-text']")[0] # Element div
self.downloadText(html)
def downloadText(self,ele): # 抓取数据并存为txt文件
clist = re.findall('<div class="article-text">(.*?)</div>',ele,re.S)
for index in range(len(clist)):
'''
正则表达式:过滤掉回车、制表符和p标签
'''
clist[index]=re.sub(r'(r|t|<p>|</p>)+','',clist[index])
content="".join(clist)
# print(content)
basedir=os.path.dirname(__file__)
filePath=os.path.join(basedir)
filename="xiaohua{0}-{1}.txt".format(ScrapDemo.deepth,str(ScrapDemo.fileNum))
file=os.path.join(filePath,'file_txt',filename)
try:
f=open(file,"w")
f.write(content)
if ScrapDemo.fileNum == (ScrapDemo.detail_url_list - 1):
print(ScrapDemo.next_page_url)
print(ScrapDemo.deepth)
if not ScrapDemo.next_page_url == "":
self.scrapyIndex(ScrapDemo.next_page_url)
except Exception as e:
print("Error:%s" % str(e))
ScrapDemo.fileNum=ScrapDemo.fileNum+1
print(ScrapDemo.fileNum)
def scrapyIndex(self,url):
if not url == "":
ScrapDemo.fileNum=0
ScrapDemo.deepth=ScrapDemo.deepth+1
print("开启第{0}页抓取".format(ScrapDemo.page_num))
res=requests.get(url,headers=ScrapDemo.headers)
html=res.text
element=etree.HTML(html)
a_urllist=element.xpath("//a[@class='all-read']/@href") # 当前页所有查看全文
next_page=element.xpath("//a[@class='page-next']/@href") # 获取下一页的url
ScrapDemo.next_page_url='http://xiaohua.zol.com.cn/{}'.format(next_page[0])
if not len(next_page) == 0 and ScrapDemo.next_page_url != url:
ScrapDemo.page_num=ScrapDemo.page_num+1
self.threadIndex(a_urllist[:])
else:
print('下载完成,当前页数为{}页'.format(ScrapDemo.page_num))
sys.exit()
运行如下:
总共1988个文件,下载完成。
以上就是本文的全部内容,希望对大家的学习有所帮助。
end
- SQL Server 执行计划缓存
- 1081: [SCOI2005]超级格雷码
- 1715: [Usaco2006 Dec]Wormholes 虫洞
- 博弈论入门之斐波那契博弈
- 3018: [Usaco2012 Nov]Distant Pastures
- 1755: [Usaco2005 qua]Bank Interest
- SQL Server 重新组织生成索引
- 3386/1752: [Usaco2004 Nov]Til the Cows Come Home 带奶牛回家
- 洛谷P2197 nim游戏(Nim游戏)
- SQL Server 索引和表体系结构(聚集索引+非聚集索引)
- 3384/1750: [Usaco2004 Nov]Apple Catching 接苹果
- 1702: [Usaco2007 Mar]Gold Balanced Lineup 平衡的队列
- 1455: 罗马游戏
- SQL Server 高性能写入的一些总结
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- valgrind使用介绍
- 实用!一键生成数据库文档,堪称数据库界的Swagger
- 算法集锦(2)|scikit-learn| 如何利用文本挖掘推荐Ted演讲
- 算法集锦(3)|采用医疗数据预测糖尿病的算法
- 谁说Cat不能做链路跟踪的,给我站出来
- Libra:一种Python工具,可以用几行代码自动实现机器学习过程
- 国内首个“新基建”安全大赛启动了!
- Kubernetes 中 Informer 的使用
- 嵌入式开发中常见3个的C语言技巧
- 恕我直言,我也是才知道ElasticSearch条件更新是这么玩的
- 有了MinIO,你还会用FastDFS么?
- STP 实验
- 算法集锦(6) |基于GPU框架的tensorflow数据增强算法
- 交换机端口安全实验
- 算法集锦(7)| 实用代码 | Google Colab使用及配置技巧