Python如何爬取b站热门视频并导入Excel
时间:2022-07-25
本文章向大家介绍Python如何爬取b站热门视频并导入Excel,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
这篇文章主要介绍了Python如何爬取b站热门视频并导入Excel,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
代码如下
#encoding:utf-8
import requests
from lxml import etree
import xlwt
import os
# 爬取b站热门视频信息
def spider():
video_list = []
url = "https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3"
html = requests.get(url, headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}).text
html = etree.HTML(html)
infolist = html.xpath("//li[@class='rank-item']")
for item in infolist:
rank = "".join(item.xpath("./div[@class='num']/text()"))
video_link = "".join(item.xpath(".//div[@class='info']/a/@href"))
title = "".join(item.xpath(".//div[@class='info']/a/text()"))
payinfo = "".join(item.xpath(".//div[@class='detail']/span/text()")).split("万")
play = payinfo[0] + "万"
comment = payinfo[1]
if comment.isdigit() == False:
comment += "万"
upname = "".join(item.xpath(".//div[@class='detail']/a/span/text()"))
uplink = "http://" + "".join(item.xpath(".//div[@class='detail']/a/@href"))
hot = "".join(item.xpath(".//div[@class='pts']/div/text()"))
video_list.append({
'rank': rank,
'videolink': video_link,
'title': title,
'play': play,
'comment': comment,
'upname': upname,
'uplink': uplink,
'hot': hot
})
return video_list
def write_Excel():
# 将爬取的信息添加到Excel
video_list = spider()
workbook = xlwt.Workbook() # 定义表格
sheet = workbook.add_sheet("b站热门视频") # 添加sheet的name
xstyle = xlwt.XFStyle() # 实例化表格样式对象
xstyle.alignment.horz = 0x02 # 字体居中
xstyle.alignment.vert = 0x01
head = ['视频名', 'up主','排名', '热度','播放量','评论数']
for h in range(len(head)):
sheet.write(0, h, head[h], xstyle)
i = 1
for item in video_list:
# 向单元格(视频名)添加该视频的超链接
if '"' in item["title"]:
item["title"] = item["title"].split('"')[1]
title_data = 'HYPERLINK("'+item["videolink"]+'";"'+item["title"]+'")' # 设置超链接
sheet.col(0).width = int(256 * len(title_data) * 3/5) # 设置列宽
sheet.write(i, 0, xlwt.Formula(title_data), xstyle)
name_data = 'HYPERLINK("'+item["uplink"]+'";"'+item["upname"]+'")'
sheet.col(1).width = int(256 * len(name_data) * 3/5)
sheet.write(i, 1, xlwt.Formula(name_data), xstyle)
sheet.write(i, 2, item["rank"], xstyle)
sheet.write(i, 3, item["hot"], xstyle)
sheet.write(i, 4, item["play"], xstyle)
sheet.write(i, 5, item["comment"], xstyle)
i += 1
# 如果文件存在,则将其删除
file = "b站热门视频信息.xls"
if os.path.exists(file):
os.remove(file)
workbook.save(file)
if __name__ == '__main__':
write_Excel()
结果展示:
以上就是本文的全部内容,希望对大家的学习有所帮助。
end
- Linux下FTP虚拟账号环境部署总结
- Replace方法与正则表达式的性能比较
- 由索引节点(inode)爆满引发的问题
- As3.0中的位图(Bitmap/BitmapData)编程
- Mesos+Zookeeper+Marathon的Docker管理平台部署记录(2)--负载均衡marathon-lb
- Docker集群管理工具-Kubernetes部署记录
- AS3:小游戏“贪吃蛇”的实现
- 超实用的8个Linux命令行性能监测工具
- 用javascript替换URL中的参数值
- Gitblit版本服务器环境部署记录
- HDK扩展自定义VEX函数print
- AsyncTask和Handler对比
- sql初始化XML操作
- 给你一根杠杆,撬起万亿的小程序红利市场!
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 【容器技术】Docker容器技术入门(二)
- Mysql+Mycat实现数据库主从同步与读写分离
- 性能优化|Tomcat 服务优化
- zookeeper技术介绍
- Nosql数据库服务之redis
- 计算机网络基础:这是一份详细HTTP学习指南
- Docker容器技术之Docker file
- 学会这15点,让你分分钟拿下Redis数据库
- 服务器性能指标——负载(Load)分析及问题排查
- 这20个Docker Command,有几个是你会的?
- Redis 备份、容灾及高可用实战
- 容器技术|Docker三剑客之Compose
- ProxySQL+Mysql实现数据库读写分离实战
- 打造高逼格、可视化的Docker容器监控系统平台
- 企业面试题|最常问的MySQL面试题集合(一)