Python爬虫_城市公交、地铁站点和线路数据采集实例
城市公交、地铁数据反映了城市的公共交通,研究该数据可以挖掘城市的交通结构、路网规划、公交选址等。但是,这类数据往往掌握在特定部门中,很难获取。互联网地图上有大量的信息,包含公交、地铁等数据,解析其数据反馈方式,可以通过Python爬虫采集。闲言少叙,接下来将详细介绍如何使用Python爬虫爬取城市公交、地铁站点和数据。
首先,爬取研究城市的所有公交和地铁线路名称,即XX路,地铁X号线。可以通过图吧公交、公交网、8684、本地宝等网站获取,该类网站提供了按数字和字母划分类别的公交线路名称。Python写个简单的爬虫就能采集,可参看WenWu_Both的文章,博主详细介绍了如何利用python爬取8684上某城市所有的公交站点数据。该博主采集了站点详细的信息,包括,但是缺少了公交站点的坐标、公交线路坐标数据。这就让人抓狂了,没有空间坐标怎么落图,怎么分析,所以,本文重点介绍的是站点坐标、线路的获取。
以图吧公交为例,点击某一公交后,出现该路公交的详细站点信息和地图信息。博主顿感兴奋,觉得马上就要成功了,各种抓包,发现并不能解析。可能博主技术所限,如有大神能从中抓到站点和线路的坐标信息,请不宁赐教。这TM就让人绝望了啊,到嘴的肥肉吃不了。
天无绝人之路,尝试找找某地图的API,发现可以调用,通过解析,能够找到该数据的后台地址。熟悉前端的可以试试,博主前端也就只会个hello world,不献丑了。这是一种思路,实践证明是可以的。
地图API可以,那么通过地图抓包呢?打开某图主页,直接输入某市公交名称,通过抓包,成功找到站点和线路信息。具体抓包信息如下图所示,busline_list中详细列出了站点和线路的信息,其中有两条,是同一趟公交不同方向的数据,略有差别,需注意。找到入口过后,接下来爬虫就要大显身手了。
主要爬取代码如下,其实也很简单,主函数如下。首先需要构建传入的参数,主要的包括路线名称,城市编码,地理范围,缩放尺度。地理范围可以通过坐标拾取器获取,参数经url编码后,发送请求,判断返回数据是否符合要求(注:可能该线路地图上停运或不存在,也可能是访问速度过快,反爬虫机制需要人工验证,博主爬取的时候碰到过,所以后面设置了随机休眠)。接下来,就是解析json数据了。代码中的extratStations和extractLine,就是提取需要的字段,怎么样,是不是很简单。最后,就是保存了,站点和路线分别存储。
def main(): df = pd.read_excel("线路名称.xlsx",) BaseUrl = "https://ditu.amap.com/service/poiInfo?query_type=TQUERY&pagesize=20&pagenum=1&qii=true&cluster_state=5&need_utd=true&utd_sceneid=1000&div=PC1000&addr_poi_merge=true&is_classify=true&" for bus in df[u"线路"]: params = { 'keywords':'11路', 'zoom': '11', 'city':'610100', 'geoobj':'107.623|33.696|109.817|34.745' } print(bus) paramMerge = urllib.parse.urlencode(params) #print(paramMerge) targetUrl = BaseUrl + paramMerge stationFile = "./busStation/" + bus + ".csv" lineFile = "./busLine/" + bus + ".csv" req = urllib.request.Request(targetUrl) res = urllib.request.urlopen(req) content = res.read() jsonData = json.loads(content) if (jsonData["data"]["message"]) and jsonData["data"]["busline_list"]: busList = jsonData["data"]["busline_list"] ##busline 列表 busListSlt = busList[0] ## busList共包含两条线,方向不同的同一趟公交,任选一趟爬取 busStations = extratStations(busListSlt) busLine = extractLine(busListSlt) writeStation(busStations, stationFile) writeLine(busLine, lineFile) sleep(random.random() * random.randint(0,7) + random.randint(0,5)) #设置随机休眠 else: continue
附上博主的解析函数:
def extratStations(busListSlt): busName = busListSlt["name"] stationSet = [] stations = busListSlt["stations"] for bs in stations: tmp = [] tmp.append(bs["station_id"]) tmp.append(busName) tmp.append(bs["name"]) cor = bs["xy_coords"].split(";") tmp.append(cor[0]) tmp.append(cor[1]) wgs84cor1 = gcj02towgs84(float(cor[0]),float(cor[1])) tmp.append(wgs84cor1[0]) tmp.append(wgs84cor1[1]) stationSet.append(tmp) return stationSet def extractLine(busListSlt): ## busList共包含两条线,备注名称 keyName = busListSlt["key_name"] busName = busListSlt["name"] fromName = busListSlt["front_name"] toName = busListSlt["terminal_name"] lineSet = [] Xstr = busListSlt["xs"] Ystr = busListSlt["ys"] Xset = Xstr.split(",") Yset = Ystr.split(",") length = len(Xset) for i in range(length): tmp = [] tmp.append(keyName) tmp.append(busName) tmp.append(fromName) tmp.append(toName) tmp.append(Xset[i]) tmp.append(Yset[i]) wgs84cor2 = gcj02towgs84(float(Xset[i]),float(Yset[i])) tmp.append(wgs84cor2[0]) tmp.append(wgs84cor2[1]) lineSet.append(tmp) return lineSet
爬虫采集原始数据如下:
以下是某一条公交站点和线路的处理后的数据展示。由于不同的地图商采用不同的坐标系,会有不同程度的偏差,需要坐标纠偏。下一步,博主将详细介绍如何批量将这些站点和坐标进行坐标纠正和矢量化。
- React项目配置5(引入MockJs,实现假接口开发)
- POj 1611 The Suspects
- React项目配置4(如何在开发时跨域获取api请求)
- Laravel-博客实战+踩坑laravel-blog最终的效果踩的坑
- React项目配置3(如何管理项目API接口)
- React第三方组件3(状态管理之Flux的使用④TodoList下)
- React第三方组件3(状态管理之Flux的使用③TodoList中)
- Vue实现百度下拉提示搜索一、前期准备二、代码实现三、实现效果
- React第三方组件3(状态管理之Flux的使用②TodoList上)
- ggplot2玫瑰图案例——星巴克门店分布图
- React第三方组件3(状态管理之Flux的使用①简单使用)
- 用ggplot2画了一个我也叫不上名的炫酷图表
- React技巧8(不再手动绑定this,跟.bind(this)说88)
- 美美的商务范儿——ggplot2蝴蝶图
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 如何同步上游分支代码?
- 在 Pycharm 中安装及使用 Jupyter (图文详解)
- 【经验分享】如何使用keras进行多主机分布式训练
- 分享一种接口的日志格式
- Python 基础(二):基本语句
- javaScript代码飘红报错看不懂?读完这篇文章再试试!
- Synchronized简述
- PythonforResearch | 2_数据处理
- 程序员过关斩将--Http请求中如何保持状态?
- 如何有效恢复误删的HDFS文件
- 别再用OFFSET和LIMIT分页了
- 别再用大小比较时间了
- Redis快速入门
- 捉虫记:Unexpected end of JSON input while parsing
- 重新思考日志:业务系统竟然是一个大数据库?