在美帝的服务器的prefetch和aspera下载比较
时间:2022-07-23
本文章向大家介绍在美帝的服务器的prefetch和aspera下载比较,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
如果你的服务器在中国大陆,基本上就放弃prefetch啦,直接aspera即可。但是如果是在海外,就可以尝试比较prefetch和aspera下载速度。
需要注意的是:什么,SRA测序数据要收费了,同样的,需要熟悉GEO和SRA数据库编号规则:
获得文献里面的数据集里面的样本的数据库里面的ID列表,但是ncbi的sratoolkit有可能不好用,比如prefetch命令下载sra文件速度太慢,可以参考:使用ebi数据库直接下载fastq测序数据 , 需要自行配置好aspera从ebi下载的软件环境,然后去EBI里面搜索到的 fq.txt 路径文件:
- 比如一个文章的测序数据项目地址是:https://www.ebi.ac.uk/ena/browser/view/PRJEB33490
可以使用conda安装aspera和prefetch
其中prefetch属于 sra-tools,而aspera属于aspera-cli,都是需要先搜索它们拿到官方下载方式,我已经给大家找好了,如下:
# wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# bash Miniconda3-latest-Linux-x86_64.sh
# echo $SHELL
conda create -y -n download
conda activate download
conda install -y -c hcc aspera-cli
conda install -y -c bioconda sra-tools
which ascp
## 一定要搞清楚你的软件被conda安装在哪
ls -lh ~/miniconda3/etc/asperaweb_id_dsa.openssh
我们已经多次介绍过conda细节了,这里就不再赘述。
- conda管理生信软件一文就够
- 生信技能树B站软件安装视频
- https://www.bilibili.com/video/av28836717
开始测试
我们直接在 https://www.ebi.ac.uk/ena/browser/view/PRJEB33490 找到第一个样本的数据来进行测试,全部的代码如下:
首先看看wget的速度:
wget ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR344/007/ERR3445007/ERR3445007_1.fastq.gz
因为这个数据太小了,所以我们的服务器的网速体现不出来,其实正常情况下都是100M/s的!
然后测试prefetch命令:
prefetch ERR3445007
速度也是太快了,我根本就反应不过来:
最后是aspera,
id=fasp.sra.ebi.ac.uk:/vol1/fastq/ERR344/007/ERR3445007/ERR3445007_1.fastq.gz
ascp -QT -l 300m -P33001
-i ~/miniconda3/envs/download/etc/asperaweb_id_dsa.openssh
era-fasp@$id .
也是数据量太小了 ,根本就体现不出来我们的服务器的网络优势,唉,高手寂寞啊!
测试了另外的数据集,发现速度是接近200Mb/s,一般般啦!
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 栈与队列:系统中处处都是栈的应用
- 长文慎入!大厂架构演进实战之手写 CAS 单点登录
- 栈与队列:匹配问题都是栈的强项
- SpringBoot源码学习(五)
- SpringBoot源码学习(六)
- SpringBoot源码学习(七)
- LeetCode52|有序数组中的单一元素
- LeetCode53|搜索二维矩阵II
- LeetCode54|二叉树的层次遍历
- LeetCode55|二叉树的层次遍历II
- LeetCode56|二叉树的层平均值
- LeetCode57|二叉树的锯齿形层次遍历
- LeetCode58|N叉树的层序遍历
- 技术创作101训练营-CRC校验没那么难
- 栈与队列:有没有想过计算机是如何处理表达式的?