拒绝撕逼,用数据来告诉你选择器到底哪家强

时间:2022-05-07
本文章向大家介绍拒绝撕逼,用数据来告诉你选择器到底哪家强,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

几天写了一篇文章,爬虫入门到精通-网页的解析(xpath) - 知乎专栏

然后有人问我,xpath速度比bs4快么?说实话,我也不太清楚。。。

还有人说,“XPATH是最快的”,那么xpath,bs4,pyquery到底谁比较快呢?

作为一个严谨的程序员,我们必须拿数据说话

测试环境

  1. 硬件环境:
    1. 操作系统:Windows7 64
    2. 处理器:Inter(R)Xeon(R) CPU E5-2650 v3
    3. 内存:8G
  2. 软件环境:
    1. pyquery:1.2.17
    2. lxml:3.7.3
    3. bs4:4.5.1
    4. parsel:1.1.0

代码如下:

from pyquery import PyQuery as pq
from lxml import etree
from bs4 import BeautifulSoup
from parsel import Selector

html = u"""
<html>
 <head>
  <base href='http://example.com/' />
  <title>Example website</title>
 </head>
 <body>
  <div id='images'>
   <a href='image1.html'>Name: My image 1 <br /><img src='image1_thumb.jpg' /></a>
   <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
   <a href='image3.html'>Name: My image 3 <br /><img src='image3_thumb.jpg' /></a>
   <a href='image4.html'>Name: My image 4 <br /><img src='image4_thumb.jpg' /></a>
   <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
  </div>
 </body>
</html>
"""

然后每段都跑10000次

最后的数据是: