使用Python制作第一个爬虫程序

时间:2022-07-26
本文章向大家介绍使用Python制作第一个爬虫程序,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

用到的开发环境

  IDE:pycharm

  python version :2.7

掌握的知识: Pycharm 还能更改Python的版本

代码如下:(重点就是 正则表达式的学习)

# !/usr/bin/python
# -*- coding:utf-8 -*-

# 功能说明  使用Python 批量爬取网络上的图片下载
import re
import urllib
# 首先打开网页 获取网页的源代码
html = urllib.urlopen("http://www.woyaogexing.com/touxiang/")
htmlCode = html.read()

# 然后使用正则表达式 匹配图片的地址
imageList = re.findall('src="(.*?.(jpg|png))"', htmlCode)

# 循环获取列表中的图片地址
j = 0
for i in imageList:
    imgUrl = i[0]
    urllib.urlretrieve(imgUrl, './images/%d.jpg'%j)
    j+=1;

爬取图片的网址:http://www.woyaogexing.com/touxiang/

爬取图片的效果