抓取手机app的数据(摩拜单车)
时间:2022-05-07
本文章向大家介绍抓取手机app的数据(摩拜单车),主要内容包括安装、配置、开始抓包、总结、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
前几天有人私信我,问能不能帮忙抓取摩拜单车的数据。。。
我想着授人以鱼不如授人以渔,所以本次我们就讲讲如何抓取手机app的内容吧
Fiddle的安装及配置
抓手机包我用的是fiddle。
安装
- 先在下载页面下载-→https://www.telerik.com/download/fiddler
- 选择你“准备用fiddle来干嘛”
- 你的邮箱
- 以及同意“最终用户许可协议”就可以下载了
下载后按照提示安装就可以了。
配置
- 点击tool->telerik fiddler options…
- 点击connections,然后勾选 “allow remote computers to connect”,记住这边的端口号(8888)
开始抓包
- 首先确保电脑和手机连在同一个WiFi下面
- 打开fiddle
- 获取电脑ip
- 打开cmd命令行
- 输入ipconfig,如图所示,192.168.31.146就是我的ip地址
- 打开手机WiFi设置,找到你当前链接的WiFi
- 我当前链接的是Xiaomi_E172_5G
- 设置代理服务器为你电脑的ip,端口号为上面设置的端口号(默认为8888)
- 安装https证书
- 在手机浏览器上打开 你电脑ip:你设置的端口号
- 我的是192.168.31.146:8888
- 点击框框处安装证书
- 设置fiddle监听所有请求
- 选择all process
- 打开摩拜单车app
- 然后你会看到定位的时候一辆车也没有。。。
- 打开个人详情页还提示“抱歉,服务暂不可用。。。“
- 这是因为摩拜有防抓取限制(我猜是检测,如果有使用代理的话,直接让你用不了。。。)
- 那这样的话我们就没办法抓到么???
- 因为我之前还用过摩拜的小程序,所以我们抓抓微信小程序试试看
- 打开摩拜单车的小程序
- 我们看到已经定位了。。,并且把附件的单车都显示出来了
- 我们可以多移动我们的位置,然后等有把附近的车显示出来
- 可以看到fiddle上面已经有好多请求了
- 那么如何找到摩拜的那一条呢。。。
- 很简单,看单词就好。。。
- mobike-api。。。这很明显就是我们要找的请求
- 请求头如下图所示,方法是post
- 参数如下图
- 返回值因为我看到是json的格式了,所以直接以json的格式看。
- 那么直接模拟发送吧 直接看代码吧。。。
import requests
# 如果headers里面没有referer则会访问异常
# referer表示上一个页面是什么。
-
headers =
{
-
'User-Agent':
'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Mobile/14E304 MicroMessenger/6.5.7 NetType/WIFI Language/zh_CN',
-
'Content-Type':
'application/x-www-form-urlencoded',
-
'Referer':
'https://servicewechat.com/wx80f809371ae33eda/23/page-frame.html',
}
-
url =
'https://mwx.mobike.com/mobike-api/rent/nearbyBikesInfo.do'
-
data =
{
-
'longitude':'121.1883',#
经度
-
'latitude':'31.05147',
# 纬度
-
'citycode':'021',
-
'errMsg':'getMapCenterLocation:ok'
}
# 下面必须加上verify=False,表示不验证ssl,要不然一直报错。。。
z = requests.post(url,data=data,headers=headers,verify=False)
可以看到我们已经抓取了需要的数据,那么怎么抓取整个上海的摩拜单车情况呢?? 只要获取上海的所有经纬度,然后替换上面data中的经度及纬度就可以了。。。
那么怎么获取上海的所有经纬度。。。
我发现挺难的。。。(有人拿到了请告诉我一声,谢谢)
然后我用了高德地图api的搜索功能,搜索了上海的所有小区的经纬度。一共898个,
然后查了这898个小区附件的摩拜单车情况….
总结
看完本编文章,你应该学会“如何抓取手机app的包”
其实挺简单的(就是你手机通过电脑上网,然后这台电脑上所有的请求都被抓下来了,那么你手机的请求自然也被抓下来了)
大家还可以试着抓抓知乎客户端的包。。。
更多fiddle的使用技巧,请善用百度、Google
最后所有代码在https://github.com/kimg1234/pachong/blob/master/mobai.py
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- CppSQLite - C++ Wrapper for SQLite
- 在.NET Core中使用MongoDB明细教程(3):Skip, Sort, Limit, Projections
- wsl 2 unbuntu 部署 asp.net core 使用 nginx 做反向代理,调试文件上传失败
- .NET Core + K8S + Apollo 玩转配置中心
- 休眠与唤醒机制
- Guava - 布隆过滤器的使用
- [浅析] 特定场景下代替优化 if-else 的方案 (二)
- 面试官:mysql如何重置自增id
- 如何在kubernete集群上部署springboot应用
- lettuce连接池很香,撸撸它的源代码
- 浅谈kubernete中的flannel网络插件
- 聊聊Java中CompletableFuture的使用
- 开发更高可用、高质量的服务的一些建议
- kubernete编排技术一:pod
- Golang逃逸分析