一个函数抓取代谢组学权威数据库HMDB的所有表格数据
时间:2022-04-26
本文章向大家介绍一个函数抓取代谢组学权威数据库HMDB的所有表格数据,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
爬虫是都不陌生的一个概念,比如百度、谷歌都有自己的爬虫工具去抓取网站、分析、索引,方便我们的查询使用。
在我们浏览网站、查询信息时,如果想做一些批量的处理,也可以去分析网站的结构、抓取网页、提取信息,然后就完成了一个小爬虫的写作。
网页爬虫需要我们了解URL
的结构、HTML
语法特征和结构,以及使用合适的抓取、解析工具。我们这篇先看一个简单的处理,给一个直观的感受:一个函数抓取网页的表格。以后再慢慢解析如何更加定制的获取信息。
HMDB (人类代谢组数据库)收录了很多代谢组的数据,用于代谢组学、临床化学、生物标志物开啊和基本教育等。数据联通化学、临床、分子生物学3个层次,共有114,099个代谢物。
网站提供了多种浏览和查询功能,可以关注不同的疾病、通路、BMI、年龄、性别相关代谢组学。
下图展示的是BMI相关代谢物的数据。
如果我们想把这个表格下载下来,一个办法是一页页的拷贝,大约拷贝十几次,工作量不算太大,但有些无趣。另外一个办法就是这次要说的抓取网页。
R的XML
包中有个函数readHTMLTable
专用于识别HTML中的表格 (table标签),从而提取元素。具体使用如下:
# Load the package required to read website
library(XML)
# wegpage address
url <- "http://www.hmdb.ca/bmi_metabolomics"
# header=T, 使第一行或thead属性的内容为标题
df1 <- readHTMLTable(url, header=T, stringsAsFactors = F)
# 初次使用,不了解输出格式时可使用str查看
str(df1)
> str(df1)
List of 1
$ NULL:'data.frame': 25 obs. of 7 variables:
..$ V1: chr [1:25] "Butyrylcarnitine (HMDB0002013)" "Alpha-ketoisovaleric acid (HMDB0000019)" "2-Hydroxy-3-methylbutyric acid (HMDB0000407)" "3-Methyl-2-oxovaleric acid (HMDB0000491)" ...
..$ V2: chr [1:25] "" "" "" "" ...
..$ V3: chr [1:25] "Increase" "Increase" "Increase" "Increase" ...
..$ V4: chr [1:25] "Blood" "Blood" "Blood" "Blood" ...
..$ V5: chr [1:25] "9.95e-10" "2.87e-08" "1.19e-05" "1.68e-05" ...
..$ V6: chr [1:25] "25254000" "25254000" "25254000" "25254000" ...
..$ V7: chr [1:25] "details" "details" "details" "details" ...
# The readHTMLTable returns list, we need to extract our data frame. In this example, the first element is our data frame, so we can extract it like this:
head(df1[[1]]) # extract the first element of list
#df1[["NULL"]] # extract list element based on element names (第一个元素的名字是NULL)
1 Butyrylcarnitine (HMDB0002013) Increase Blood 9.95e-10
2 Alpha-ketoisovaleric acid (HMDB0000019) Increase Blood 2.87e-08
3 2-Hydroxy-3-methylbutyric acid (HMDB0000407) Increase Blood 1.19e-05
4 3-Methyl-2-oxovaleric acid (HMDB0000491) Increase Blood 1.68e-05
5 Ketoleucine (HMDB0000695) Increase Blood 6.05e-05
6 (S)-3-Hydroxyisobutyric acid (HMDB0000023) Increase Blood 6.88e-05
V6 V7
1 25254000 details
2 25254000 details
3 25254000 details
4 25254000 details
5 25254000 details
6 25254000 details
这样我们就获得了第一页的表格,如果想获得随后的页的呢?鼠标移动经过分页的标签,可以看到URL的规律。
http://www.hmdb.ca/bmi_metabolomics?page=
num,每一页就是变换下num;对首页来说,可以写page=1
也可以省略,为了批量,一般写上。
# 294是在网页直接看到的总条数,25是每页显示的条数。(也是可以自动解析判断的)
pages = 1:ceiling(294 / 25)
url <- "http://www.hmdb.ca/bmi_metabolomics?page="
# 获得URL集合
url_all <- paste(url, pages, sep="")
a = sapply(url, readHTMLTable, header=T, stringsAsFactors=F)
# 合并获得的结果
b = do.call("rbind",a)
# 重命名行
rownames(b) <- 1:nrow(b)
这样就获得了所有的表格。
有两点需要注意
- 为了给被抓取的网站带去较大的访问压力,每抓取一次,最后间歇一段时间。这需要我们自定义一个函数,封装下
readHTMLTable
。 - HMDB数据库提供了全数据下载功能,相比于抓取,下载下来数据,自己筛选合并是更好的方式。
问题解决
可能是因为网速或其它问题,有时直接把url
提供给readHTMLTable
不一定可以获取结果,下面提供了2额外的方式,供使用。
# Load the package required to read website
library(XML)
# wegpage address
url <- "http://www.hmdb.ca/bmi_metabolomics"
# method one: for people who is luckiest (not me, so sad)
df1 <- readHTMLTable(url, header=T, stringsAsFactors = F)
# Error: failed to load external entity "url"
# method two: use RCurl package, for people who is much luckier (only work on my laptop, not the computer in the office, crying)
library(RCurl)
xmldoc <- getURL(url)
df2 <- readHTMLTable(xmldoc, stringsAsFactors = F)
# method three: use httr package, for people who is not lucky
library(httr)
tabs <- GET(url)
df3 <- readHTMLTable(rawToChar(tabs$content), as.data.frame = T, stringsAsFactors = F)
- 备库跳归档恢复的有趣案例(r9笔记第19天)
- Java基础-day02-代码题
- 优化算法——拟牛顿法之L-BFGS算法
- 一次性能突发情况的紧急修复(r9笔记第18天)
- Java基础-day02-基础题
- 简单易学的机器学习算法——AdaBoost
- 用脚本来讲一个技术生活的故事 (r9笔记第32天)
- 优化算法——拟牛顿法之BFGS算法
- 对于tnsping的连接超时的功能补充(二)(r9笔记第22天)
- 用深度学习每次得到的结果都不一样,怎么办?
- 优化算法——拟牛顿法之DFP算法
- python SVM 案例,sklearn.svm.SVC 参数说明
- 利用Theano理解深度学习——Auto Encoder
- sudo 出现unable to resolve host 解决方法
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 微服务[学成在线] day12:基于 Nuxt.js 构建搜索前端工程
- 别找了,你要的Redis命令都在这了
- 微服务[学成在线] day13:使用FFmpeg进行格式转换以及m3u8文件生成、文件分块上传接口实现
- GTID,你了解多少?
- Spring Boot 拓展SpringMVC
- Spring Boot 日志配置
- R语言进阶之图形参数
- 第04期:Prometheus 数据采集(三)
- 技术分享 | Online DDL 工具 gh-ost
- Spring Boot 整合Mybatis
- R语言进阶之时间序列分析
- Spring Boot 实现员工信息管理demo
- 如何把 Flutter 云端一体化做到极致?
- 微服务[学成在线] day16:基于Spring Security Oauth2开发认证服务
- 新的跨域策略:使用COOP、COEP为浏览器创建更安全的环境