python爬虫_自动获取seebug的poc实例
简单的写了一个爬取www.seebug.org上poc的小玩意儿~
首先我们进行一定的抓包分析
我们遇到的第一个问题就是seebug需要登录才能进行下载,这个很好处理,只需要抓取返回值200的页面,将我们的headers信息复制下来就行了
(这里我就不放上我的headers信息了,不过headers里需要修改和注意的内容会在下文讲清楚)
headers = { 'Host':******, 'Connection':'close', 'Accept':******, 'User-Agent':******, 'Referer':'https://www.seebug.org/vuldb/ssvid-', 'Accept-Language':'zh-CN,zh;q=0.8', 'Cookie':*********** }
由上所知,我们的中点就是referer这一项,是我们后面要进行修改的
那么怎么去修改这个呢?
我先进行点击下载链接抓包发现,seebug的poc下载链接特别的整齐:
'https://www.seebug.org/vuldb/downloadPoc/xxxxx',
后面只需要加上一个五位数就行,而且五位数是连号的哦!
这就一目了然,我更改了五位数再次进行请求时发现,并没有返回美丽的200状态码,瞄了一眼header,发现了referer这一项:
'Referer':'https://www.seebug.org/vuldb/ssvid-xxxxx'
也就是说referer这一项的五位数字也要随之变化,这样我们的get请求头部就完成了
接下来是线程的问题
使用了queue和threading进行多线程处理,发现我们不能图快,不然会被反爬虫发现
于是导入time增加time.sleep(1),能有一秒的休眠就行了,线程数给了2个(这样看来好像线程的意义并不大,不过也就这么写啦)
# coding=utf-8 import requests import threading import Queueimport time headers = { ****** } url_download = 'https://www.seebug.org/vuldb/downloadPoc/' class SeeBugPoc(threading.Thread): def __init__(self,queue): threading.Thread.__init__(self) self._queue = queue def run(self): while not self._queue.empty(): url_download = self._queue.get_nowait() self.download_file(url_download) def download_file(self,url_download): r = requests.get(url = url_download,headers = headers) print r.status_code name = url_download.split('/')[-1] print name if r.status_code == 200: f = open('E:/poc/'+name+'.txt','w') f.write(r.content) f.close() print 'it ok!' else: print 'what fuck !' time.sleep(1) ''' def get_html(self,url): r = requests.get(url = url,headers = headers) print r.status_code print time.time() ''' def main(): queue = Queue.Queue() for i in range(93000,93236): headers['Referer'] = 'https://www.seebug.org/vuldb/ssvid-'+str(i) queue.put('https://www.seebug.org/vuldb/downloadPoc/'+str(i)) #queue用来存放设计好的url,将他们放入一个队列中,以便后面取用 threads = [] thread_count = 2 for i in range(thread_count): threads.append(SeeBugPoc(queue)) for i in threads: i.start() for i in threads: i.join() if __name__ == '__main__': main()
代码如上
控制下载的range()中的两个五位数,大家只要去seebug库中找一找想要扫描的库的开头和结尾编码的五位数就行了(也就是他们的编号)
关于返回的状态码,如果项目不提供poc下载、poc下载不存在、poc需要兑换币才能下载,就不能够返回正常的200啦(非正常:404/403/521等)
当然,如果一直出现521,可以考虑刷新网页重新获取header并修改代码
最后进行一个状态码的判断,并且将200的文件写出来就好了
(
表示惭愧感觉自己写的很简单
如果大家发现错误或者有疑惑可以留言讨论哦
)
以上这篇python爬虫_自动获取seebug的poc实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 关于页更改并加入一些在线服务
- Hadoop-2.6.0为基础的Hive安装
- Python 技术篇-opencv读取中文路径图片报错及解决办法
- Javaweb鼠标事件案例分析—鼠标移入移出表格颜色变化
- docker registry V2私有仓库搭建
- Python 路径问题:cv2.error: OpenCV(4.1.0)...size.width>0 && size.height>0 in function 'cv::imshow'. 原因与解决
- 算法案例分析—字符串模式匹配算法
- Docker-软件工程集装箱技术
- PyQt5 技术篇-获取电脑屏幕桌面的宽、高和分辨率
- 使用Python快速抠图
- 值得白嫖的数据库常用操作语句汇总(数据库、数据表、数据操作)
- JavaScript 技术篇-js正则表达式匹配字符串左右两边是否包含空格
- 初入编程吓破胆?那是你还不懂这些!(高能预警)
- 振兴杯试题功能设计(准备)
- PyQt5 技术篇-Dialog窗口增加?问号按钮