Python数据分析之获取双色球历史信息的方法示例
时间:2019-04-13
本文章向大家介绍Python数据分析之获取双色球历史信息的方法示例,主要包括Python数据分析之获取双色球历史信息的方法示例使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
本文实例讲述了Python数据分析之获取双色球历史信息的方法。分享给大家供大家参考,具体如下:
每个人都有一颗中双色球大奖的心,对于技术人员来说,通过技术分析,可以增加中奖几率,现使用python语言收集历史双色球中奖信息,之后进行预测分析。
说明:采用2016年5月15日获取的双色球数据为基础进行分析,总抽奖数1940次。
初级代码,有些内容比较繁琐,有更好的代码,大家可以分享。
#!/usr/bin/python # -*- coding:UTF-8 -*- #coding:utf-8 #author:levycui #date:20160513 #Description:双色球信息收集 import urllib2 from bs4 import BeautifulSoup #采用BeautifulSoup import os import re #伪装成浏览器登陆,获取网页源代码 def getPage(href): headers = { 'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6' } req = urllib2.Request( url = href , headers = headers ) try: post = urllib2.urlopen(req) except urllib2.HTTPError,e: print e.code print e.reason return post.read() #初始化url 双色球首页 url = 'http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html' #=============================================================================== #获取url总页数 def getPageNum(url): num =0 page = getPage(url) soup = BeautifulSoup(page) strong = soup.find('td',colspan='7') # print strong if strong: result = strong.get_text().split(' ') # print result list_num = re.findall("[0-9]{1}",result[1]) # print list_num for i in range(len(list_num)): num = num*10 + int(list_num[i]) return num else: return 0 #=============================================================================== #获取每页双色球的信息 def getText(url): for list_num in range(1,getPageNum(url)): #从第一页到第getPageNum(url)页 print list_num #打印下页码 href = 'http://kaijiang.zhcw.com/zhcw/html/ssq/list_'+str(list_num)+'.html' #调用新url链接 # for listnum in len(list_num): page = BeautifulSoup(getPage(href)) em_list = page.find_all('em') #匹配em内容 div_list = page.find_all('td',{'align':'center'}) #匹配 <td align=center>这样的内容 #初始化n n = 0 #将双色球数字信息写入num.txt文件 fp = open("num.txt" ,"w") for div in em_list: emnum1 = div.get_text() # print emnum1 text = div.get_text() text = text.encode('utf-8') #print title n=n+1 if n==7: text = text + "\n" n=0 else: text = text + "," fp.write(str(text)) fp.close() #将日期信息写入date.txt文件 fp = open("date.txt" ,"w") for div in div_list: text = div.get_text().strip('') # print text list_num = re.findall('\d{4}-\d{2}-\d{2}',text) list_num = str(list_num[::1]) list_num = list_num[3:13] if len(list_num) == 0: continue elif len(list_num) > 1: fp.write(str(list_num)+'\n') fp.close() #将num.txt和date.txt文件进行整合写入hun.txt文件中 #格式如下: #('2016-05-03', '09,12,24,28,29,30,02') #('2016-05-01', '06,08,13,14,22,27,10') #('2016-04-28', '03,08,13,14,15,30,04') # fp01 = open("date.txt","r") a=[] for line01 in fp01: a.append(line01.strip('\n')) # print a fp01.close() fp02 = open("num.txt","r") b=[] for line02 in fp02: b.append(line02.strip('\n')) # print b fp02.close() fp = open("hun.txt" ,"a") for cc in zip(a,b): #使用zip方法合并 print cc fp.write(str(cc) + '\n') fp.close() #=============================================================================== if __name__=="__main__": pageNum = getPageNum(url) print pageNum getpagetext = getText(url) print getpagetext
数据样例:
('2015-03-03', '09,11,16,18,23,24,10') ('2015-03-01', '08,09,10,13,29,30,01') ('2015-02-26', '04,07,10,16,23,25,10')
更多关于Python相关内容感兴趣的读者可查看本站专题:《Python数学运算技巧总结》、《Python字符串操作技巧汇总》、《Python编码操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
- 根据职位说明使用机器学习来检索相关简历
- 微信小游戏初体验
- 一行Spark代码的诞生记(深度剖析Spark架构)
- Ray:AI的分布式系统
- Spring Boot 中使用 MongoDB 增删改查
- 来人啊给我炸了那个Java虚拟机No.46
- 机器学习虾扯淡之Logistic回归No.44
- 大数据计数原理1+0=1这你都不会算(一)No.47
- 机器学习虾扯蛋之SVD奇异值分解No.48
- 提高Spark姿势水平 No.73
- 好好玩的螺旋算法No.69
- linux学习第四十篇:访问日志不记录静态文件,访问日志切割,静态元素过期时间
- linux学习第四十一篇:配置防盗链,访问控制Directory,访问控制FilesMatch
- linux学习第四十二篇:限定某个目录禁止解析php, 限制user_agent,PHP相关配置
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Milvus 实战 | 基于 Milvus 的 CORD-19 论文检索引擎
- Laravel 8 新特性和功能优化速览
- Linux 搭建 我的世界(MC) 基岩版服务器
- 虚函数、析构函数、静态函数、多态
- 一日一技:pylint除了检查代码风格,还能做这件事情
- Manjaoro ifconfig问题
- 面对成百上千台服务器产生的日志,试试这款轻量级日志搬运神器!
- 内网渗透 | 内网中的信息收集
- 通过命令下载执行恶意代码的几种姿势
- CS如何配置通过CDN上线
- Height transition
- 【DB笔试面试861】在Oracle中,有哪些常见组件?
- 【DB笔试面试862】在Oracle中,如何安装DBMS_NETWORK_ACL_ADMIN包?
- 【DB宝19】在Docker中使用MySQL高可用之MHA
- 【DB笔试面试863】在Oracle中,如何让Oracle DB、监听和oem开机启动?