Hadoop架构——云计算的具体实现

时间:2022-04-22
本文章向大家介绍Hadoop架构——云计算的具体实现,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

Hadoop是IT行业一个新的热点,是云计算的一个具体实现、Hadoop本身具有很高的技术含量,是IT工程师学习的首选!下面我们来详细讲讲什么是Hadoop。 Hadoop是IT行业一个新的热点,是云计算的一个具体实现、Hadoop本身具有很高的技术含量,是IT工程师学习的首选!下面我们来详细讲讲什么是Hadoop。 完整hadoop讲解视频教程下载地址: 1、http://kuai.xunlei.com/d/CLCBYHQKJQNT 2、http://kuai.xunlei.com/d/CSMFERCHAGEE Hadoop是什么: Hadoop = The Hadoop projects Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie Hadoop要解决的两个问题: 1、海量数据的存储 -- HDFS 2、海量数据的分析 -- MapReduce Hadoop发展的历史: 始于2002年的apache项目Nutch 2003年Google发表了关于GFS的论文 2004年Nutch的开发者开发了NDFS 2004年Google发表了关于MapReduce的论文 2005年MapR被引入了NDFS 2006年改名为Hadoop,NDFS的创始人加入Yahoo,Yahoo成立了一个专门的小组发展Hadoop HDFS设计目标: 1、Very large files 2、Streaming data access write-once, read-many-times 3、Commodity hardware HDFS架构: 在Hadoop中,一个文件被划分成大小固定的多个文件块,分布的存储在集群中的节点中

Block:一个文件分块,默认64M NameNode:保存整个文件系统的目录信息,文件信息以及文件相应的分块信息。 DataNode:用于存储Blocks HDFS的HA策略:NameNode一旦宕机,整个文件系统将无法工作。 如果NameNode中的数据丢失,整个文件系统也就丢失了。 2.x开始,HDFS支持NameNode的active-standy模式。