Python爬取数据并写入MySQL数据库的实例
时间:2019-04-20
本文章向大家介绍Python爬取数据并写入MySQL数据库的实例,主要包括Python爬取数据并写入MySQL数据库的实例使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
首先我们来爬取 http://html-color-codes.info/color-names/ 的一些数据。
按 F12 或 ctrl+u 审查元素,结果如下:
结构很清晰简单,我们就是要爬 tr 标签里面的 style 和 tr 下几个并列的 td 标签,下面是爬取的代码:
#!/usr/bin/env python # coding=utf-8 import requests from bs4 import BeautifulSoup import MySQLdb print('连接到mysql服务器...') db = MySQLdb.connect("localhost","hp","Hp12345.","TESTDB") print('连接上了!') cursor = db.cursor() cursor.execute("DROP TABLE IF EXISTS COLOR") sql = """CREATE TABLE COLOR ( Color CHAR(20) NOT NULL, Value CHAR(10), Style CHAR(50) )""" cursor.execute(sql) hdrs = {'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)'} url = "http://html-color-codes.info/color-names/" r = requests.get(url, headers = hdrs) soup = BeautifulSoup(r.content.decode('gbk', 'ignore'), 'lxml') trs = soup.find_all('tr') # 获取全部tr标签成为一个列表 for tr in trs: # 遍历列表里所有的tr标签单项 style = tr.get('style') # 获取每个tr标签里的属性style tds = tr.find_all('td') # 将每个tr标签下的td标签获取为列表 td = [x for x in tds] # 获取的列表 name = td[1].text.strip() # 直接从列表里取值 hex = td[2].text.strip() # print u'颜色: ' + name + u'颜色值: '+ hex + u'背景色样式: ' + style # print 'color: ' + name + '\tvalue: '+ hex + '\tstyle: ' + style insert_color = ("INSERT INTO COLOR(Color,Value,Style)" "VALUES(%s,%s,%s)") data_color = (name, hex, style) cursor.execute(insert_color, data_color) db.commit() # print '******完成此条插入!' print '爬取数据并插入mysql数据库完成...'
运行结果:
$ mysql -u hp -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 28 Server version: 5.7.17 MySQL Community Server (GPL) Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql> use TESTDB Reading table information for completion of table and column names You can turn off this feature to get a quicker startup with -A Database changed mysql> select * from COLOR; +----------------------+--------+----------------------------------------+ | Color | Value | Style | +----------------------+--------+----------------------------------------+ | IndianRed | CD5C5C | background-color:indianred; | | LightCoral | F08080 | background-color:lightcoral; | | Salmon | FA8072 | background-color:salmon; | | DarkSalmon | E9967A | background-color:darksalmon; | | LightSalmon | FFA07A | background-color:lightsalmon; | | Crimson | DC143C | background-color:crimson; | | Red | FF0000 | background-color:red; | | FireBrick | B22222 | background-color:fireBrick; | | DarkRed | 8B0000 | background-color:darkred; | | Pink | FFC0CB | background-color:pink; | | LightPink | FFB6C1 | background-color:lightpink; | | HotPink | FF69B4 | background-color:hotpink; | | DeepPink | FF1493 | background-color:deeppink; | ... | AntiqueWhite | FAEBD7 | background-color:antiquewhite; | | Linen | FAF0E6 | background-color:linen; | | LavenderBlush | FFF0F5 | background-color:lavenderblush; | | MistyRose | FFE4E1 | background-color:mistyrose; | | Gainsboro | DCDCDC | background-color:gainsboro; | | LightGrey | D3D3D3 | background-color:lightgrey; | | Silver | C0C0C0 | background-color:silver; | | DarkGray | A9A9A9 | background-color:darkgray; | | Gray | 808080 | background-color:gray; | | DimGray | 696969 | background-color:dimgray; | | LightSlateGray | 778899 | background-color:lightslategray; | | SlateGray | 708090 | background-color:slategray; | | DarkSlateGray | 2F4F4F | background-color:darkslategray; | | Black | 000000 | background-color:black; | +----------------------+--------+----------------------------------------+ 143 rows in set (0.00 sec)
以上这篇Python爬取数据并写入MySQL数据库的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
- 【Go 语言社区】Golang 语言获取本机逻辑CPU数量的方法
- Data Guard搭建困境突围(一)(r10笔记第17天)
- Java基础-day07-知识点相关题-自定义数据类型;ArrayList
- windows10 tensorflow(二)原理实战之回归分析,深度学习框架(梯度下降法求解回归参数)
- 本人为巨杉数据库(开源NoSQL)写的C#驱动,支持Linq,全部开源,已提交github
- 最近的几个技术问题总结和答疑(九)(r10笔记第16天)
- AgileEAS.NET SOA中间件平台更新日志 2015-04-28
- 【Go 语言社区】Golang语言操作redis连接池的方法
- 分布式消息总线,基于.NET Socket Tcp的发布-订阅框架之离线支持,附代码下载
- 关于Flashback的小测试(r10笔记第15天)
- 分享一个分布式消息总线,基于.NET Socket Tcp的发布-订阅框架,附代码下载
- 【Go 语言社区】Golang语言获取系统环境变量的方法
- Oracle中的PUBLIC(r10笔记第14天)
- Data Guard高级玩法:通过闪回恢复switchover主库 (r10笔记第13天)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- JavaScript的内存管理
- 实现自己的Vue Router -- Vue Router原理解析
- G级大文件分割器 + 核心源码
- 前端也能学算法:JS版常见排序算法-冒泡,插入,快排,归并
- 前端也能学算法:JS版链表
- 将二进制文件加入VC资源后释放执行
- JavaScript中的函数式编程
- JavaScript中的compose函数和pipe函数
- 常用JS函数-数组扁平化,缓存函数,柯里化函数,防抖和节流函数
- JavaScript单元测试及原理
- 前端进阶知识汇总
- 前端也能学算法:由浅入深讲解动态规划
- 轻松理解JS中的面向对象,顺便搞懂prototype和__proto__
- 前端也能学算法:由浅入深讲解贪心算法
- web.py指南性说明