微信公众号文章采集工具,可采集文章文字内容信息及图片
时间:2022-07-22
本文章向大家介绍微信公众号文章采集工具,可采集文章文字内容信息及图片,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
需知:
1.exe程序运行环境为win7 64位操作系统!
2.部分文章图片采集存在BUG,望见谅!
3.工具为python编写,技术渣,只能到这里了!
微信公众号文章采集工具说明:
1.打开weixincj.exe文件
2.输入需要采集的微信公众号文章链接地址
3.回车等待程序运行
4.采集完毕5s后程序自动退出
采集过程中会自动生成目录 weixin
采集完毕,采集内容存放于weixin目录下的微信公众号文章标题目录
内容为图片及txt文档
下载地址
百度云:
链接:
https://pan.baidu.com/s/1pCqptL6QwnP2eUeyAABnYA
提取码:
sxca
需知:
exe程序运行环境为win7 64位操作系统!
提示:
不一定保证格式内容及图片完整性!
附上主要python源码:
#微信文章页采集
# -*- coding: UTF-8 -*-
#by 微信:huguo00289
import requests
import re,time,os
from bs4 import BeautifulSoup
from baocun import bctp,bcwb
from fake_useragent import UserAgent
def ua():
ua = UserAgent()
headers = {"User-Agent": ua.random}
return headers
def get_content(url):
headers=ua()
respnese=requests.get(url,headers=headers).text
soup=BeautifulSoup(respnese,'lxml')
#获取标题
h2=soup.find('h2',class_="rich_media_title").get_text()
h2=h2.replace('n','')
h2 = h2.replace(' ', '')
h2 = re.sub(r'[|/<>:*?\"]', "_", h2) # 剔除不合法字符
print(f'微信公众号文章标题:{h2}')
os.makedirs(f'weixin/{h2}/',exist_ok=True)
lj =f'weixin/{h2}/'
ljj=f'weixin/{h2}/{h2}.txt'
author=soup.find('div',class_="rich_media_meta_list").find('a',id="js_name").get_text()
author = author.replace('n', '')
author = author.replace(' ', '')
author=f'来源:{author}'
print(author)
i=1
text=''
ps=soup.find('div',class_="rich_media_content").find_all('p')
for p in ps:
if "img" in str(p):
try:
img_url=p.find('img')['data-src']
print(img_url)
if "jpeg" == img_url[-4:]:
img_name=f'{i}.{img_url[-4:]}'
else:
img_name = f'{i}.{img_url[-3:]}'
bctp(lj, img_url, img_name)
p_content=img_name
i=i+1
except Exception as e:
print(f"获取图片数据失败,错误代码:{e}")
pass
else:
p_content=p.get_text()
text = '%s%s%s' % (text, 'n',p_content)
texts='%s%s%s%s%s'%(h2,'n',author,'n',text)
print(texts)
bcwb(ljj, texts)
if __name__ == '__main__':
url=input("请输入要采集的微信公众号文章链接:")
print(f'爬虫启动中,请稍后......')
get_content(url)
print(f'采集完毕,程序5s后自动关闭!')
time.sleep(5)
附改进 完整内容抓取,无格式
#微信公众号文章 完整版内容抓取
#by 微信:huguo00289
def cs(url):
headers = ua()
respnese = requests.get(url, headers=headers).text
soup = BeautifulSoup(respnese, 'lxml')
get_article(soup)
def get_article(soup):
# 获取标题
h2 = soup.find('h2', class_="rich_media_title").get_text()
h2 = h2.replace('n', '')
h2 = h2.replace(' ', '')
h2 = re.sub(r'[|/<>:*?\"]', "_", h2) # 剔除不合法字符
print(f'微信公众号文章标题:{h2}')
os.makedirs(f'weixin/{h2}/', exist_ok=True)
lj = f'weixin/{h2}/'
ljj = f'weixin/{h2}/{h2}.txt'
author = soup.find('div', class_="rich_media_meta_list").find('a', id="js_name").get_text()
author = author.replace('n', '')
author = author.replace(' ', '')
author = f'来源:{author}'
print(author)
# 获取文字内容
texts = soup.find('div', class_="rich_media_content").get_text()
texts = 'n'.join(texts.split('。')) # 以句号 分割文本
print(texts)
texts = '%s%s%s%s%s' % (h2, 'n', author, 'n', texts)
print(texts)
bcwb(ljj, texts)
# 获取所有图片
i = 1
imgs = soup.find('div', class_="rich_media_content").find_all('img')
for img in imgs:
img_url = img['data-src']
print(img_url)
if "jpeg" == img_url[-4:]:
img_name = f'{i}.{img_url[-4:]}'
else:
img_name = f'{i}.{img_url[-3:]}'
bctp(lj, img_url, img_name)
i = i + 1
源码应用到的保存模块
#by 微信:huguo00289
#存储内容
import requests
import time
from fake_useragent import UserAgent
def ua():
ua = UserAgent()
headers = {"User-Agent": ua.random}
return headers
#下载图片
def bctp(lj,img_url,img_name):
print("开始下载图片!")
try:
r = requests.get(img_url,headers=ua(),timeout=5)
with open(f'{lj}/{img_name}', 'wb') as f:
f.write(r.content)
print(f'下载{img_name}图片成功!')
time.sleep(1)
except Exception as e:
if "port=443): Read timed out" in str(e):
time.sleep(2)
try:
r = requests.get(img_url, headers=ua(),timeout=5)
with open(f'{lj}/{img_name}', 'wb') as f:
f.write(r.content)
print(f'下载{img_name}图片成功!')
except Exception as e:
print(f'下载{img_name}图片失败!')
print(f'错误代码:{e}')
with open(f'{lj}/spider.txt', 'a+', encoding='utf-8') as f:
f.write(f'错误代码:{e}---下载 {img_url} 图片失败n')
else:
print(f'下载{img_name}图片失败!')
print(f'错误代码:{e}')
with open(f'{lj}/spider.txt', 'a+', encoding='utf-8') as f:
f.write(f'错误代码:{e}---下载 {img_url} 图片失败n')
#保存文本内容
def bcwb(ljj,texts):
print("开始保存文本")
with open(ljj, 'w', encoding='utf-8') as f:
f.write(texts)
print(f'保存文本内容成功!')
附完整版抓取
百度云
链接:
https://pan.baidu.com/s/1BvWaFM0j0nBPVnhm5-VS4w
提取码:
7uiw
如果想要批量抓取微信公众号文章
这里扩展一下:
思路参考:
1.源码参考:
50行代码爬取微信公众号所有文章
https://www.cnblogs.com/cxiaolong/p/11318439.html
来自小锋学长,微信公众号:xfxuezhang
- 这货不是电源:硬件渗透测试平台 – Power Pwn
- Python进阶学习之阅读代码
- 代码安全审计:当file_exists遇上eval
- Python 异常处理完整指南
- 有趣的安全实验:利用多线程资源竞争技术上传shell
- NotSerializableException解决方法NotSerializableException
- 谁蹭了我的WiFi?浅谈家用无线路由器攻防
- 当输入流和输出流同时作用一个文件
- 揭秘:充电宝是如何盗取你的个人隐私的?
- 微软:暴力破解面前,增强密码复杂性基本没用
- 创建被图像填充的组件解释几处做法解释几点
- Android原生嵌入React Native
- React Native控件之Listview
- React Native控件只TextInput
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- [不定时一题]LeetCode无重复字符的最长子串
- 整理了小程序云开发实战,你看懂了吗?
- Reactive-MongoDB异步Java Driver解读
- 解密Go协程的栈内存管理
- 深入浅出mongodb之实战
- 想成为可视化高手?这篇合集就够了 | Vue
- 谈谈Vue开发过程中用到的插件
- 快速入门使用tikz绘制深度学习网络图
- why哥被一道基础面试题给干懵了,一气之下写出万字长文。
- 结构与算法(03):单向链表和双向链表
- 有赞crash平台符号化实践
- 什么是时间分片(Time Slicing)?
- 逐行分析鸿蒙系统的 JavaScript 框架
- 48张小图带你领略Flex 布局之美
- 怎样设计一个 JavaScript 插件系统