几个爬虫框架简单罗列总结
时间:2019-09-05
本文章向大家介绍几个爬虫框架简单罗列总结,主要包括几个爬虫框架简单罗列总结使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
最近工作需要,用了4天的时间简单研究了4个java自动化测试框架,目前选用了cdp4j,运行较稳定。暂时选用这种方案。
基于内核:htmlunit、ui4j
基于浏览器的自动化:cdp4j、Selenium
记录几个以缺点为主的评价,当然也看具体需求、能力、成员开发习惯等等综合考量。
htmlunit:js和css兼容性极差
ui4j:在互动上还是差点
cdp4j:需要chrome 等支持,基于 chrome开发工具协议跟chrome进行通信。在鼠标模拟上需要自己写java代码前台模拟。整个Demo运行比较稳定
Selenium:有了鼠标模拟,是前台模拟。引入驱动包后可以操作Chrome或者火狐进行通信操作。但经常timeout,不知道我哪里设置有问题?
- 驱动:chromedriver_win32.zip 下载地址:https://chromedriver.storage.googleapis.com/index.html?path=76.0.3809.126
- Chrome:ChromeStandaloneSetup64.exe 版本:76.0.3809.132 下载地址:官网下载
- Selenium:selenium-java-3.141.59 下载地址:maven仓库自取
PS:cdp4j、Selenium同样可以操作基于chromium开发出的浏览器,就不举例了。
源代码也不贴了,不堪入眼
原文地址:https://www.cnblogs.com/xiaojieblog/p/11465894.html
- 再免费多看一章--k-means++
- 面向对象先导课感想
- 【LATEX】个人版latex论文模板
- 【前端】wangEditor(富文本编辑器) 简易使用示例
- 【前端】ACE Editor(代码编辑器) 简易使用示例
- LOJ#6277. 数列分块入门 1
- 【Ruby on Rails】Model中关于保存之前的原值和修改状态
- 一个很逗的东西——Jd
- SQL Server 数据库清除日志的方法
- 算法模板——平衡树Treap 2
- DTS,DTC, DTB你都认识吗?
- LOJ#6278. 数列分块入门 2
- 1901: Zju2112 Dynamic Rankings
- LOJ#6279. 数列分块入门 3
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- PHP命令执行学习总结
- win10 专业版 提示开机提示你的windows许可证即将过期
- 浅谈文件上传漏洞(其他方式绕过总结)
- 《sql必知必会》——读书笔记(1)
- JDK15已发布,网友:我还在JDK8踏步走...
- 树莓派基础实验15:电位器传感器实验
- java JDBC数据库连接池技术(Druid ,c3p0)
- Fail to start qos server: dubbo version: current host: java.net.BindException:
- JAVA JDBC Template的使用
- 《sql必知必会》——读书笔记(2)
- 2.通过QOpenGLWidget绘制三角形
- 树莓派基础实验16:霍尔传感器实验
- 1.opengl绘制三角形
- dubbo本地直连调试注意点
- Tomcat的使用及服务器的一些基础知识