lncRNA实战项目-第三步-了解参考基因组及注释文件
下载原始测序数据:
在GEO数据库搜索GSE87182, 这里没有直接给出ftp地址,需要先从BioProject找到SRA号,可以得到RNA-Seq的SRA的accession_list,共64组数据(SRA数据下载方法参考:https://www.ncbi.nlm.nih.gov/books/NBK158899/)。
得到SRA号就可以从NCBI的SRA或者EBI的ENA批量下载原始数据了,NCBI下载的原始数据是sra格式,需要用SRA Toolkit软件包转化为fastq数据格式,EBI下载的数据直接是fastq格式。
这里要注意SRR号并不是连续的,好像有人已经踩过这个坑了,我还是掉进去了,下了一个晚上的数据白瞎了。重新下载,这次只选择下载CC,OC两个脑区域的数据,刚好这两组数据的测序平台也一致。
#NCBI下载
for ((i=230;i<=237;i++));do wget ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR404/SRR4042$i/SRR4042$i.sra;done
for ((i=393;i<=400;i++));do wget ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR401/SRR4015$i/SRR4015$i.sra;done
SRR4015393和SRR4015394测序质量不好,最好不要下载这两组数据练习。
#EBI下载
for ((i=230;i<=237;i++));do wget ftp://ftp.sra.ebi.ac.uk/vol1/fastq/SRR404/000/SRR4042$i/SRR4042$i_1.fastq.gz;done
for ((i=230;i<=237;i++));do wget ftp://ftp.sra.ebi.ac.uk/vol1/fastq/SRR404/000/SRR4042$i/SRR4042$i_2.fastq.gz;done
另外若觉得wget下载速度慢,可以选择其他下载方法(SRA、SAM以及Fastq文件高速下载方法):
- 首选Aspera Connect软件,这是IBM旗下的商业高速文件传输软件,与NCBI和EBI有协作合同,我们可以免费使用它下载高通量测序文件,体验飞一般的感觉,速度可飚至300-500M/s。下载完成后,本地用fastq-dump提取fastq文件,用sam-dump提取SAM文件。
- 其次,如果上述方法不奏效,优先使用sratoolkit中的prefetch命令。
- 最后,使用sratoolkit中的fastq-dump和sam-dump命令下载,如果fastq-dump不稳定,推荐大家尝试Biostar Handbook中的wonderdump脚本。
SRA数据库介绍
SRA(Sequence ReadArchive)数据库是存储二代测序的原始数据。
根据SRA数据产生的特点,将SRA数据分为四类: tudies-- 研究课题 xperiments-- 实验设计 uns-- 测序结果集 amples-- 样品信息 RA中数据结构的层次关系为:Studies->Experiments->Samples->Runs. tudies是就实验目标而言的,一个study 可能包含多个Experiment。 Experiments包含了Sample、DNA source、测序平台、数据处理等信息。 一个Experiment可能包含一个或多个runs。 uns 表示测序仪运行所产生的reads。 SRA数据库用不同的前缀加以区分: ERP或SRP表示Studies; RS 表示 Samples; RX 表示 Experiments; RR 表示 Runs;
下载基因组数据:
基因组数据:ftp://ftp.ensembl.org/pub/release-91/fasta/macaca_mulatta/dna/ Ensemble基因组数据的形式包含以下2种: (1)masked/unmasked dna_sm- Repeats soft-masked (converts repeat nucleotidesto lowercase) dna_rm- Repeats masked (converts repeats to to N's) dna- No masking (2) toplevel / primary assembly toplevel- Includes haplotype information (notsure how aligners deal with this) primary_assembly– contains all toplevel sequenceregions excluding haplotypes and patches. This is best used for performingsequence similarity searches where patch and haplotype sequences would confuseanalysis.
根据README中的介绍,primary_assembly 和 toplevel相比不包含haplotype, 更适合用于比对,对于mask/un mask 通常选择softmask或者unmasked, 一般不用rm的。这个有一个讨论,几个人的回答并不一致,我还是模模糊糊,并不很明白。
macaca的基因组版本没有给出primary_assembly, 所以我下载了sm.toplevel和toplevel, 有时间去比较下会对下游分析有什么影响。
wget ftp://ftp.ensembl.org/pub/release-91/fasta/macaca_mulatta/dna/Macaca_mulatta.Mmul_8.0.1.dna_sm.toplevel.fa.gz
wget ftp://ftp.ensembl.org/pub/release-91/fasta/macaca_mulatta/cdna/Macaca_mulatta.Mmul_8.0.1.cdna.all.fa.gz
wget ftp://ftp.ensembl.org/pub/release-91/fasta/macaca_mulatta/ncrna/Macaca_mulatta.Mmul_8.0.1.ncrna.fa.gz
wget ftp://ftp.ensembl.org/pub/release-91/fasta/macaca_mulatta/cds/Macaca_mulatta.Mmul_8.0.1.cds.all.fa.gz
wget ftp://ftp.ensembl.org/pub/release-91/fasta/macaca_mulatta/dna/Macaca_mulatta.Mmul_8.0.1.dna.toplevel.fa.gz
下载注释数据:
注释数据:https://asia.ensembl.org/info/data/ftp/index.html
wget ftp://ftp.ensembl.org/pub/release-91/gtf/macaca_mulatta/Macaca_mulatta.Mmul_8.0.1.91.gtf.gz
wget ftp://ftp.ensembl.org/pub/release-91/gff3/macaca_mulatta/Macaca_mulatta.Mmul_8.0.1.91.gff3.gz
参考资料:
SRA数据下载方法参考:https://www.ncbi.nlm.nih.gov/books/NBK158899/ SRA、SAM以及Fastq文件高速下载方法: http://bioinfostar.com/2017/12/23/How-to-download-SRA-data-zh_CN/ SRA数据库介绍:https://www.shengxin.ren/article/16
- 转录组表达数据分析的一些可视化
- 如何使用java代码通过JDBC连接Impala(附Github源码)
- 点击此文,无需转发,即可下载上千个免费R包
- 如何使用Cloudera Manager启用HDFS的HA
- 刷剧不忘学CNN:TF+Keras识别辛普森一家人物 | 教程+代码+数据集
- 深度学习中的基础线代知识-初学者指南
- 如何通过CM升级Kafka0.11及Spark2.2
- MyEtherWallet 手动添加币乎代币(KEY)
- 玩转TensorFlow深度学习
- 如何在CDH实现HDFS透明加密
- 漏洞分析】Shiro RememberMe 1.2.4 反序列化导致的命令执行漏洞
- 机器学习算法再比较
- 区块链钱包开发
- 加密货币常见加密算法
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Typescript的tsconfig.json
- python和R语言计算蛋白质内部氨基酸相互作用
- 超文本传输协议 - 白话篇
- 为什么你的简历没人看?7份案例分析
- 浅析动态切换数据源的原理(接上篇)
- SpringBoot源码解析(十二)- Autowired是如何注入的
- 项目要实现多数据源动态切换,咋搞?
- 这一次,带你全面了解锁机制!
- GitHub标星1w+超牛的微服务项目,开发脚手架
- Redis中hash、set、zset的底层数据结构原理
- Redis中string、list的底层数据结构原理
- Redis中字符串的表示
- Redis分布式锁背后的原理
- 解析Transformer模型
- 这5个常问的Redis面试题你答得出来吗?(详细剖析)