Python爬虫实战，argparse模块，Python模拟登录爬取网易云个人听歌排行榜

前言

那么今天我们就来爬一波网抑云个人听歌排行榜吧。让我们愉快地开始吧~

开发工具

** Python版本：**3.6.4

** 相关模块：**

argparse模块；

DecryptLogin模块；

prettytable模块；

以及一些python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

DecryptLogin安装方式参见(因为经常更新，已经安装过的小伙伴麻烦记得更新一下，否则可能会在新的案例中报错)

原理简介

首先，打开网抑云，随便找个用户刷新他的听歌排行榜页面并抓包：

发现只要请求类似这样的链接就可以获得该用户的听歌排行榜了：

https://music.163.com/weapi/v1/play/record?csrf_token=90f3b95109118c7335b896e2c24d7ebd

返回的数据是这样的：

现在考虑一下怎么构造这个请求，首先是csrf_token这个东西从哪来，之前的文章其实说过，在用户登录后的cookies里可以直接找到该参数，如下图红框所示(当然如果在非登录状态下也能看到目标用户的听歌排行榜，那么这个csrf_token其实是可有可无的)：

接着考虑一下怎么算post参数，因为DecryptLogin库里已经写好了，所以我们这里只考虑怎么得到post数据的原文，查看一下initiator，发现Ajax请求的发起方是某core.js文件：

点进去在对应的位置打个断点(也就是需要用post数据的原文来计算最终的post参数的函数那里，至于怎么找到的，全局搜索encSecKey，然后简单分析一下它的计算流程就可以找到了这个函数啦)，然后重新运行一下脚本，我们就可以看到post数据的原文啦：

于是我们就可以愉快地开始写代码啦，核心代码如下：

'''获得某用户的听歌排行榜'''
def getLeaderboard(self, uid):
    url = 'https://music.163.com/weapi/v1/play/record?csrf_token=' + self.csrf
    data = {
                'type': '-1',
                'uid': uid,
                'limit': '1000',
                'offset': '0',
                'total': 'true',
                'csrf_token': self.csrf
            }
    res = self.session.post(url, headers=self.headers, data=self.cracker.get(data))
    res_json = res.json()
    leader_board = {'weekData': [], 'allData': []}
    if res_json['code'] == 200:
        all_data = res_json.get('allData')
        for item in all_data:
            songname = item.get('song').get('name')
            songid = item.get('song').get('id')
            play_count = item.get('playCount')
            leader_board['allData'].append([songid, songname, play_count])
        week_data = res_json.get('weekData')
        for item in week_data:
            songname = item.get('song').get('name')
            songid = item.get('song').get('id')
            play_count = item.get('playCount')
            leader_board['weekData'].append([songid, songname, play_count])
    else:
        raise RuntimeError('Fail to get leaderboard for %s...' % uid)
    return leader_board

文章到这里就结束了，感谢你的观看，关注我每天分享Python模拟登录系列，下篇文章分享拉勾网模拟登录

为了感谢读者们，我想把我最近收藏的一些编程干货分享给大家，回馈每一个读者，希望能帮到你们。

干货主要有：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤　Python学习路线图（告别不入流的学习）

⑥　两天的Python爬虫训练营直播权限

All done~完整源代码+干货详见个人简介或者私信获取相关文件。。