爬取TIOBE编程语言热度数据 + Pyecharts绘制时间轮播图
时间:2022-07-25
本文章向大家介绍爬取TIOBE编程语言热度数据 + Pyecharts绘制时间轮播图,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
文章目录
1. 获取数据
目标url:https://www.tiobe.com/tiobe-index/
分析网页源代码可以找到想要的数据,利用正则表达式提取出想要的数据,并保存到Excel中,便于后续数据处理和可视化。
爬虫代码
import requests
import re
import openpyxl
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1"
}
wb = openpyxl.Workbook() # 创建工作簿对象
sheet = wb.active # 获取活动的工作表
# 编程语言 时间 热度
sheet.append(['Programing', 'Date', 'data_per'])
url = 'https://www.tiobe.com/tiobe-index/'
rep = requests.get(url, headers=headers).text
# 正则匹配提取数据
data = re.findall('{name : (.*?),data : (.*?)}', rep)
programing = [eval(k[0]) for k in data] # 编程语言
dates = [i[1] for i in data]
# 清洗 提取出想要的数据
for x in range(len(dates)):
name = programing[x]
datas = re.findall(r'[Date.UTC(.*?)]', dates[x], re.DOTALL)
for m in datas:
date1 = re.findall(r'd+', m) # 正则提取出数字
date2 = '-'.join(date1[:3]) # 拼接得到时间
data_per = '.'.join(date1[-2:]) # 得到热度数据
sheet.append([name, date2, data_per])
wb.save('language_data.xlsx')
成功提取出想要的数据,并保存到Excel,部分数据截图如下。
2. 数据可视化
用Pyecharts绘制时间轮播图将数据可视化,展示现在热度排Top10的编程语言2009-2019年每年的平均热度变化。
import pandas as pd
import xlrd
import pyecharts.options as opts
from pyecharts.charts import Timeline, Bar
from pyecharts.globals import CurrentConfig
CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/'
# 提取编程语言名字
name = list(pd.read_excel('language_data.xlsx')['Programing'].drop_duplicates())
data = xlrd.open_workbook('language_data.xlsx')
table = data.sheets()[0]
dic1 = {k: [] for k in name}
# 各编程语言对应每年里不同时间的热度
for i in range(1, table.nrows):
x = table.row_values(i)
dic1[x[0]].append((x[1], x[2]))
# 与编程语言顺序对应 每年编程语言对应的不同时间的热度
data_per = {k: [[] for x in range(10)] for k in range(2001, 2021)}
print(data_per)
count = 0
for k, v in dic1.items():
for j in v: # v (时间,热度) 热度数据添加进各年对应的列表里
data_per[int(j[0][:4])][count].append(eval(j[1])) # 一年里各编程语言不同时间时的热度 对应起来
count += 1
# print(data_per)
data_per1 = {k: [] for k in list(data_per.keys())}
for k, v in list(data_per.items()):
for x in v:
if len(x) == 0: # 这一年里该语言没有热度数据
data_per1[k].append(0)
else:
avg = sum(x) / len(x)
data_per1[k].append(avg) # 这一年里的平均热度
# 得到TOBIE现在排Top20的编程语言从2001年开始每年的平均热度
print(data_per1)
def get_year_overlap_chart(year) -> Bar:
sum_info = [(m, n) for m, n in zip(name, data_per1[year])]
# 编程语言按每年平均热度排序
sum_info.sort(key=lambda z: z[1], reverse=True)
name_ = [m[0] for m in sum_info]
datas = [m[1] for m in sum_info]
# 每根柱子的颜色列表
colors = ['#00BFFF', '#0000CD', '#000000', '#008000', '#FF1493', '#FFD700', '#FF4500', '#00FA9A', '#191970',
'#9932CC']
x = []
for i in range(10):
x.append(
opts.BarItem(
name=name_[i],
value=datas[i],
itemstyle_opts=opts.ItemStyleOpts(color=colors[i]) # 设置每根柱子的颜色
)
)
# 绘制柱形图
bar = Bar()
bar.add_xaxis(name_)
bar.add_yaxis(series_name='热度', yaxis_data=x, is_selected=True,
label_opts=opts.LabelOpts(is_show=False))
bar.set_global_opts(title_opts=opts.TitleOpts(
title="2009-2019编程语言热度"),
tooltip_opts=opts.TooltipOpts(
is_show=True, trigger="axis", axis_pointer_type="shadow"),
xaxis_opts=opts.AxisOpts(name='编程语言'), yaxis_opts=opts.AxisOpts(name='热度'),
)
return bar
# 生成时间轴的图
timeline = Timeline(init_opts=opts.InitOpts(width="1200px", height="600px"))
for y in range(2009, 2020):
timeline.add(get_year_overlap_chart(y), time_point=str(y))
timeline.add_schema(is_auto_play=True, play_interval=1000)
timeline.render("language_2009_2019.html")
运行效果如下:
3. 解决有时候pyecharts绘制的图形渲染在网页上无法加载js文件的问题
根据网站资源引用说明:pyecharts 使用的所有静态资源文件存放于pyecharts-assets 项目中,默认挂载在 https://assets.pyecharts.org/assets/
因为默认优先从远程引用资源,这就导致有的时候无法加载js文件,图表显示不出来。
解决办法:
下载所需js文件到本地,修改资源引用地址
看网站的介绍,pyecharts 提供了更改全局 HOST 的快捷方式
from pyecharts.globals import CurrentConfig
CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/'
作者:叶庭云 微信公众号:修炼Python CSDN:https://yetingyun.blog.csdn.net/ 本文仅用于交流学习,未经作者允许,禁止转载,更勿做其他用途,违者必究。 觉得文章对你有帮助、让你有所收获的话,期待你的点赞呀,不足之处,也可以在评论区多多指正。
- python接口自动化7-参数关联
- 深度学习GPU环境Ubuntu16.04+GTX1080+CUDA9+cuDNN7+TensorFlow1.6环境配置
- python接口自动化8-参数化
- HDU 2037 今年暑假不AC(贪心,区间更新,板子题)
- “玲珑杯”ACM比赛 Round #13 题解&源码
- 回溯算法入门及经典案例剖析(初学者必备宝典)
- Selenium2+python自动化66-装饰器之运行失败截图
- 51Nod 1091 线段的重叠(贪心+区间相关,板子题)
- 51Nod 1016 水仙花数 V2(组合数学,枚举打表法)
- Selenium2+python自动化67-用例失败自动截图
- Codeforces Round #404 (Div. 2)(A.水,暴力,B,排序,贪心)
- hihoCoder #1053 : 居民迁移(贪心,二分搜索,google在线技术笔试模拟)
- php开发文章发布示例(正则表达式实例开发)
- Codeforces Round #408 (Div. 2)(A.水,B,模拟)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Spring Boot读取配置文件的几种方式
- python菜鸟教程 | if else 判断
- Java 语言中十大“坑爹”功能!
- R语言生存分析可视化分析
- 全平台轻量开源verilog仿真工具iverilog+GTKWave使用教程
- R语言时间序列和ARIMA模型预测拖拉机销售的制造案例研究
- Windows10下安装linux子系统学习笔记
- 项目实践 | 从零开始学习Deep SORT+YOLO V3进行多目标跟踪(附注释项目代码)
- [OHIF-Viewers]医疗数字阅片-医学影像-Module: Panel-自定义面板-中-es6-Object.defineProperty()定义属性
- (数据科学学习手札90)Python+Kepler.gl轻松制作时间轮播地图
- WEB前端安全自查和加固
- 硬核!IDEA 中使用 Git 完整入门教程!
- 神器你值得拥有——CoolFormat代码一键自动格式化工具,支持Verilog
- 一个简单现实案例挑战 PowerBI 水平测试 - 深度解析
- [译]使用DOT语言和GraphvizOnline来可视化你的ASP.NETCore3.0终结点01