前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

穷游网提供原创实用的出境游旅行指南、攻略，旅行社区和问答交流平台，以及智能的旅行规划解决方案同时提供签证、保险、机票、酒店预订、租车等在线增值服务。

穷游“鼓励和帮助中国旅行者以自己的视角和方式体验世界”。今天教大家获取穷游网的城市信息，使用Python将数据写入csv文档。

前基本环境配置

python 3.6
pycharm
requests
parsel
csv

爬虫代码

导入需要用到的工具

import requests
import parsel
import csv

请求网页

    url = 'https://place.qyer.com/china/citylist-0-0-{}/'.format(str(page))
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}

    response = requests.get(url=url, headers=headers)
    html_data = response.text

解析网页，爬取数据

    for li in lis:
        travel_place = li.xpath('.//h3/a/text()').get()  # 目的地
        travel_people = li.xpath('.//p[@class="beento"]/text()').get()  # 去过的人数

        travel_hot = li.xpath('.//p[@class="pois"]/a/text()').getall()  # 热门景点
        travel_hot = [hot.strip() for hot in travel_hot]
        travel_hot = '、'.join(travel_hot)

        travel_url = li.xpath('.//h3/a/@href').get()  # 目的地详情页url
        travel_imgUrl = li.xpath('./p/a/img/@src').get()  # 目的地详情页url
        print(travel_place, travel_people, travel_hot

保存数据

        with open('data.csv', mode='a', encoding='utf-8', newline='') as f:
            csv_write = csv.writer(f)
            csv_write.writerow([travel_place, travel_people, travel_hot, travel_url, travel_imgUrl])
        # 想要完整源码的请管制我微信公众号：松鼠爱吃饼干
        # 发送信息“穷游”，即可免费获取

运行代码，效果如下图

十一假期快到了，不知道该去哪玩？爬取旅游攻略

前言

前基本环境配置

爬虫代码