我是如何得知10W+的访问量多来自工作日的 | 塔秘
导读:有位朋友分析了一下每天某个时间发文章的访问量区别,以讨论非系统性因素对文章访问量的影响。之所以进一步讨论工作日和周末发文对文章访问量的影响,一是觉得很有意思,二是毕业设计与此有很大关系,三是觉得还是有点意义的,于是决定做一下这个工作。那么到底周末发文的访问量是不是总体来说比工作日低呢,请往下看。
工具
- Python 3.5 BeautifulSoup 4.4.1 Requests模块
- 分析网页
由于之前的工作已知博客园博客展览页是要通过ajax请求换页,这里我采用了Requests模块,post一个请求即可。
payload = {"CategoryType":"SiteHome","ParentCategoryId":0,"CategoryId":808,"PageIndex":i,"ItemListActionName":"PostList"}
r = requests.post(posturl,data = payload)
这样就可以接收到第i页的博文列表的HTML内容了。
再来看一下我们要爬取的内容:
我们要爬取两个内容:发布时间 与 阅读量,这次我们爬取40—200页共161页的内容,并分两种情况:剔除3000以上访问量的文章以及考虑全部文章,然后要做的工作有两个:根据打扫过的数据,统计出一周周一到周日每天的文章总数与访问量总数,最后用WPS表格来制作出对比图。一提到解析网页,我毫无疑问地又想到了BeautifulSoup这款工具,简单好用,功能强大,推荐。
那么我们首先用BeautifulSoup抓出 class = post_item_foot 的 ‘发布于…’ 内容,以及抓出 class = ‘article_view’ 的 ‘阅读(…)’内容,再去除一些无用的部分,最后提取出日期三个数据y,m,d,以及阅读量,这里我们无需关心文章到底是谁发的或者具体时间。
(ps:Python 3.5下装BeautifulSoup老是不成功,后来发现有更高的版本4.4.1,就果断换了,然后一发成功,不知道什么原因)
部分代码如下:
bs = BeautifulSoup(r.text,"html.parser") #转化成beautifulsoup对象
View = bs.findAll(attrs = {'class' : 'article_view','class' : 'post_item_foot'}) #找出两个class内容
strallview = str(View) #转化为字符串
viewcountsmatch = re.findall('阅读(d+)',strallview)
viewdaymatch = re.findall('发布于 ....-d+-d+',strallview)
得出日期三个数据以后,这里我使用蔡勒公式(Zeller Fomula)直接计算出该日是星期几。蔡勒公式函数代码如下:
def ZellerFomula(y,m,d):
if m == 1 or m == 2:
y -= 1
m += 12
c = y // 100
y = y - c * 100
w = (c // 4) - 2 * c + (y + y // 4) + (13 * (m + 1) // 5) + d - 1
while w < 0:
w += 7
w %= 7
if w == 0:
w += 7
return w
然后就是简单的统计了。
这里我有一个考虑,由于日子越早的文章显然访问量总是会更高,所以为了在一定程度上抵消这种效应,我为每一页的20篇文章设置了一个权重:
weight = 1 - 0.0005 * (i - 40)
即i越大,页数越大,发布越早,访问量相应打一个折扣,这里我设置的最大折扣为92%,即第200页的文章相应的阅读量为其原来阅读量的92%,希望能稍微提升一下结果的公平性。
代码
这时候写出python代码(剔除3000+文章版本):
import requests
import re
import urllib
from bs4 import BeautifulSoup
def ZellerFomula(y,m,d):
if m == 1 or m == 2:
y -= 1
m += 12
c = y // 100
y = y - c * 100
w = (c // 4) - 2 * c + (y + y // 4) + (13 * (m + 1) // 5) + d - 1
while w < 0:
w += 7
w %= 7
if w == 0:
w += 7
return w
f = open('keyvalue.txt','w')
posturl = 'http://www.cnblogs.com/mvc/AggSite/PostList.aspx'
daysum = [0,0,0,0,0,0,0,0,0]
count = [0,0,0,0,0,0,0,0,0]
for i in range(40,201):
weight = 1 - 0.0005 * (i - 40)
payload = {"CategoryType":"SiteHome","ParentCategoryId":0,"CategoryId":808,"PageIndex":i,"ItemListActionName":"PostList"}
r = requests.post(posturl,data = payload)
bs = BeautifulSoup(r.text,"html.parser")
View = bs.findAll(attrs = {'class' : 'article_view','class' : 'post_item_foot'})
strallview = str(View)
viewcountsmatch = re.findall('阅读(d+)',strallview)
viewdaymatch = re.findall('发布于 ....-d+-d+',strallview)
#print(viewcountsmatch)
#print(viewdaymatch)
for j in range(len(viewcountsmatch)):
vcm = viewcountsmatch[j]
vcm = re.sub('阅读(','',vcm)
vcm = re.sub(')','',vcm)
#print(vcm)
vc = int(vcm)
if(vc > 3000):
continue
vdm = viewdaymatch[j]
vdm = re.sub('发布于 ','',vdm)
vdm = vdm.split('-',2)
#print(vdm)
ans = ZellerFomula(int(vdm[0]),int(vdm[1]),int(vdm[2]))
#print(ans)
ass = int(weight*vc)
#print(str(ass)+ ' ' +str(vc))
daysum[ans] += ass
count[ans] += 1
for i in range(1,8):
f.write(str(daysum[i])+' ')
f.write(str(count[i]))
f.write('n')
f.close()
这代码写了很久,主要python很久没碰也不熟悉了。
运行结果与分析
然后我们运行就可以爬了,耗时大约40+秒,结果如下:
1.剔除版本数据
每行前面是161篇文章中星期1~7的文章访问总量,后面是文章数量。不算3000+访问以上的文章总数3104篇,贡献访问量1573399。
2.未剔除版本
文章总数3220 = 161 x 20篇,贡献访问量2176232.
由上可以看出,3000+访问以上的较优质文章116篇,占比3.6%,其贡献的访问量为602833,占比27.7%,这也是预料之中的。
图表
由图可得,两种方式总体上的差距并不大,从发文数量上看,周一发文最多,可能是大家都上班了,开始新一周的工作使然。随后周二到周四发文数量略有波动,但是都差不太多,并且比周一少。到周五由于放假了,文章数量也相应减少。到周末两天发文数量就有了很大下降,这也是预料之中。
从文章访问量来看,周一达到最大,随后又以较周一低的水平波动,到周末达到低谷,一大原因也是由于文章数量的减少。
从平均访问情况来看,周一至周五的平均访问量普遍比周末稍高一点,印证了结论“工作日发文要比周末发文平均访问量多”,但是并没有多太多,其中周一达到最高峰,随后有波动,到周日有一个反弹,说明“周一效应”还是有一点的。
两幅图的有些显著的不同就是访问量来看,剔除3000+文章以后,周二的访问量有10W+的显著下降,这是否说明周二的时候高质量文章的访问在急速增长的原因呢。
补充
后来我发现光考虑篇均访问还不全面,因为周一即使篇均访问较高,但是它的文章数也是很大的,所以周一的文章必然会很快被覆盖过去,所以这里有一个性价比的问题,于是我又算了一项指标,即篇均访问与当日文章数量之比,底数越大小即文章数量越小,越晚被覆盖,曝光率越大,篇均访问越大自然带来的效应越大。所以有了下面这张图:
事实证明,性价比最高的发文日期居然是发的很少,访问很少的周末!
后续工作
虽然本次挖掘3220篇文章数据较小,感觉还是可以从速度方面进行优化的。 权重也是我自己简单设计的,这方面也可以进一步优化。 欢迎大家提出意见与建议。
结论与启示
所以说,如果你想要让你的文章获得更多的访问量,获得更大的影响力,尽量在工作日发文吧。当然,我前面说过,这些都只是非系统性因素,俗话说,打铁还需自身硬,提高自己文章的质量和水平才是获得更大文章影响力的决定性因素。希望广大园友能够致力于发布质量更高的文章,共同构建一个属于我们的优质的博客园。
文章作者:whatbeg 文章编辑:柯一
- 剑指offer代码解析——面试题17合并两个排序的链表
- MySQL优化方案(一)优化SQL脚本与索引
- 从0学习MySQL系列(二)安装篇
- 从0学习MySQL系列(三)概念篇
- SQL Server基础SQL脚本之主外键约束
- SQL Server基础SQL脚本之Group By
- SQL Server基础SQL脚本之内外连接、交叉连接;函数、子查询
- MySQL 面试选择题15道(单选)
- SQL Server基础SQL脚本之分区表、分区方案
- SQL Server基础SQL脚本之创建架构、排序
- 枚举算法(Enumeration algorithm)实例一
- 剑指offer代码解析——面试题16反转单链表
- QMainWindow 和 QWidget 设置layout
- 安全工具Aircrack-ng的使用
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 抖音小程序基础之 如何使用内联样式 style和class(教程含源码)
- 抖音小程序基础之 如何使用选择器class id element (教程含源码)
- 3分钟短文:Laravel模型作用域,为你“节省”更多代码
- Pytorch 0.4.0版本保存的模型在高版本调用问题的解决方式
- Qt音视频开发27-Onvif设备搜索
- 容器化 FRP 使用方案
- 学习从拥有一支好笔开始
- leetcode栈之最小栈
- Discourse 安装防火墙的配置如何让邮件能够发送
- CentOS 8 如何安装 htop
- Discourse 重复安装过程中的密钥签发问题
- Appium之「元素定位和UiAutomator表达式」
- 机器人软件开发:机器人开源库安装
- 2020-10-05:如何求模平方根?
- leetcode栈之比较含退格的字符串