爬虫抓取博客园前10页标题带有Python关键字(不区分大小写)的文章
时间:2022-07-24
本文章向大家介绍爬虫抓取博客园前10页标题带有Python关键字(不区分大小写)的文章,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
写一个简易的爬虫程序,抓取博客园网站首页前10页中所有文章标题带有Python关键字(不区分大小写)的文章,并把文章链接和文章标题存入硬盘,要求如下:
- 使用正则表达式匹配出需要的数据,然后对数据进行解析
- 程序中很明显有多个任务,这多个任务必须是异步调用
- 任务的返回值要及时处理,不能等所有任务都执行完再统一处理
- 提示信息:可以使用生产者消费者模型来处理
- 尽可能提升程序的执行效率
爬虫储备知识: requests模块是一个非常强大的爬虫模块,它的基本使用非常简单,但是它是所有爬虫程序的根源,我们只需要使用requests模块里面级简单的功能就能完成,用法可以通过查询得知。
"""
写一个简易的爬虫程序,抓取博客园网站首页前10页中所有文章标题带有
Python关键字(不区分大小写)的文章,并把文章链接和文章标题存入
硬盘,要求如下:
1 使用正则表达式匹配出需要的数据,然后对数据进行解析
2 程序中很明显有多个任务,这多个任务必须是异步调用
3 任务的返回值要及时处理,不能等所有任务都执行完再统一处理
4 提示信息:可以使用生产者消费者模型来处理
5 尽可能提升程序的执行效率
"""
# 基本思路与实现方案
import re
import time
import requests
t1 = time.time()
title_list = []
url = 'https://www.cnblogs.com/'
for i in range(1, 11):
html = requests.post(url=url, data={"PageIndex": i}).text
res = re.findall('<h3>.*?ython.*?</h3>', html)
for j in res:
title_list.append(j)
print(time.time() - t1)
# 异步思路与优化处理
import re
import requests
from concurrent.futures import ThreadPoolExecutor
import time
def catch(page):
title_list = []
url = 'https://www.cnblogs.com/'
html = requests.post(url=url, data={"PageIndex": page}).text
res = re.findall('<h3>.*?ython.*?</h3>', html)
for j in res:
title_list.append(j)
return title_list
def analyze(obj):
data = obj.result()
if data:
for j in data:
res = j.split("=")
link = res[2][1:-8]
title = res[3][9:-9]
with open('data.txt', mode='a', encoding='utf-8') as f:
f.write('%s|%sn' % (title, link))
if __name__ == '__main__':
t1 = time.time()
tp = ThreadPoolExecutor(10)
for i in range(1, 11):
tp.submit(catch, i).add_done_callback(analyze)
print(time.time() - t1)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法