DataNode 工作机制

时间:2019-11-29
本文章向大家介绍DataNode 工作机制,主要包括DataNode 工作机制使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_35641192/article/details/80303879


版权声明:本文为CSDN博主「JokerDa」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_35641192/article/details/80303879

版权声明:本文为CSDN博主「JokerDa」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_35641192/article/details/80303879

DataNode工作机制

1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。

2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。

3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳,则认为该节点不可用。

4)集群运行中可以安全加入和退出一些机器。

2 数据完整性

1 当 DataNode 读取 block 的时候,它会计算 checksum。
2 如果计算后的 checksum,与 block 创建时值不一样,说明 block 已经损坏。
3 client 读取其他 DataNode 上的 block。
4 datanode 在其文件创建后周期验证 checksum。

3 掉线时限参数设置

datanode 进程死亡或者网络故障造成 datanode 无法与 namenode 通信, namenode 不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。 HDFS 默认的超时时长为 10 分钟+30 秒。如果定义超时时间为 timeout,则超时时长的计算公式为:

timeout = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval。

而默认的 dfs.namenode.heartbeat.recheck-interval 大小为 5 分钟,dfs.heartbeat.interval 默认为 3 秒。
需要注意的是 hdfs-site.xml 配置文件中的 heartbeat.recheck.interval 的单位为毫秒,dfs.heartbeat.interval 的单位为秒。

<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>300000</value>
</property>
<property>
<name> dfs.heartbeat.interval </name>
<value>3</value>
</property>

4 DataNode 的目录结构

和 namenode 不同的是, datanode 的存储目录是初始阶段自动创建的,不需要额外格式化。
1 在/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current 这个目录下查看版本号

[joker@hadoop102 current]$ cat VERSION
#Mon May 14 05:49:02 CST 2018
storageID=DS-581ac582-b391-46e3-bd0d-1faf1d7a60a4
clusterID=CID-00dee7c8-56b6-4a9f-a6ef-f596ab7d473e
cTime=0
datanodeUuid=a4cf5657-6bba-4de8-a4f0-c115fe69566c
storageType=DATA_NODE
layoutVersion=-56

2 具体解释

1) storageID: 存储 id 号
2) clusterID 集群 id, 全局唯一
3) cTime 属性标记了 datanode 存储系统的创建时间,对于刚刚格式化的存储系统,这个属性为 0; 但是在文件系统升级之后,该值会更新到新的时间戳。
4) datanodeUuid: datanode 的唯一识别码
5) storageType: 存储类型
6) layoutVersion 是一个负整数。 通常只有 HDFS 增加新特性时才会更新这个版本号。

3)在/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-97847618-192.168.10.102-1493726072779/current 这个目录下查看该数据块的版本号

[joker@hadoop102 current]$ cat VERSION
#Mon May 08 16:30:19 CST 2017
#Mon May 14 05:49:02 CST 2018
namespaceID=373601505
cTime=0
blockpoolID=BP-688790930-192.168.25.102-1525647195991
layoutVersion=-56

4 具体解释
1) namespaceID: 是 datanode 首次访问 namenode 的时候从 namenode 处获取的storageID 对每个 datanode 来说是唯一的(但对于单个 datanode 中所有存储目录来说则是相同的),namenode 可用这个属性来区分不同 datanode。

2) cTime 属性标记了 datanode 存储系统的创建时间,对于刚刚格式化的存储系统,这个属性为 0; 但是在文件系统升级之后,该值会更新到新的时间戳。

3) blockpoolID: 一个 block pool id 标识一个 block pool,并且是跨集群的全局唯一。当一个新的 Namespace 被创建的时候(format 过程的一部分)会创建并持久化一个唯一 ID。在创建过程构建全局唯一的 BlockPoolID 比人为的配置更可靠一些。NN 将 BlockPoolID 持久化到磁盘中,在后续的启动过程中,会再次 load 并使用。

4) layoutVersion 是一个负整数。 通常只有 HDFS 增加新特性时才会更新这个版本号。

5 服役新数据节点

0 需求:
随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。

1 环境准备
1) 克隆一台虚拟机
2)修改 ip 地址和主机名称
3)修改 xcall 和 xsync 文件, 增加新`增节点的同步 ssh
4)删除原来 HDFS 文件系统留存的文件
/opt/module/hadoop-2.7.2/data

2 服役新节点具体步骤
1)在 namenode 的/opt/module/hadoop-2.7.2/etc/hadoop 目录下创建 dfs.hosts 文件

[joker@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[joker@hadoop102 hadoop]$ touch dfs.hosts
[joker@hadoop102 hadoop]$ vim dfs.hosts
#添加如下主机名称(包含新服役的节点)
hadoop102
hadoop103
hadoop104
hadoop105

2)在 namenode 的 hdfs-site.xml 配置文件中增加 dfs.hosts 属性

<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

3)刷新 namenode

[joker@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful

4)更新 resourcemanager 节点

[joker@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
18/05/13 14:17:11 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.25.103:8033

5)在 namenode 的 slaves 文件中增加新主机名称

[joker@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[joker@hadoop102 hadoop]$ vim slaves 
#增加 105 
hadoop102
hadoop103
hadoop104
hadoop105
#分发
[joker@hadoop102 hadoop]$ xsync hdfs-site.xml
[joker@hadoop102 hadoop]$ xsync slaves

6)单独命令启动新的数据节点和节点管理器

[joker@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-joker-datanode-hadoop105.out
[joker@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-joker-nodemanager-hadoop105.out

7)在 web 浏览器上检查是否 ok

3 如果数据不均衡,可以用命令实现集群的再平衡

[joker@hadoop102 sbin]$ ./start-balancer.sh

6 退役旧数据节点

1 在namenode的/opt/module/hadoop-2.7.2/etc/hadoop 目录下创建dfs.hosts.exclude 文件

[joker@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[joker@hadoop102 hadoop]$ touch dfs.hosts.exclude
[joker@hadoop102 hadoop]$ vim dfs.hosts.exclude
添加如下主机名称(要退役的节点)
hadoop105

2 在 namenode 的 hdfs-site.xml 配置文件中增加 dfs.hosts.exclude 属性

<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>

3 刷新 namenode、 刷新 resourcemanager

[joker@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[joker@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
18/05/13 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.25.103:8033

4 检查 web 浏览器,退役节点的状态为 decommission in progress(退役中), 说明数据节点正在复制块到其他节点。

 5 等待退役节点状态为 decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。 注意:如果副本数是 3, 服役的节点小于等于 3,是不能退役成功的,需要修改副本数后才能退役。

[joker@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode
[joker@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager

6 从 include 文件中删除退役节点,再运行刷新节点的命令
1)从 namenode 的 dfs.hosts 文件中删除退役节点 hadoop105
hadoop102
hadoop103
hadoop104
2) 刷新 namenode, 刷新 resourcemanager

[joker@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
[joker@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes

7 从 namenode 的 slave 文件中删除退役节点 hadoop105
hadoop102
hadoop103
hadoop104

#同步配置文件
[joker@hadoop102 hadoop]$ xsync hdfs-site.xml
[joker@hadoop102 hadoop]$ xsync slaves 

8 如果数据不均衡,可以用命令实现集群的再平衡

[joker@hadoop102 hadoop-2.7.2]$ sbin/start-balancer.sh

7 Datanode 多目录配置

1 datanode 也可以配置成多个目录, 每个目录存储的数据不一样。 即:数据不是副本。
2 具体配置如下:hdfs-site.xml

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

6 从 include 文件中删除退役节点,再运行刷新节点的命令
1)从 namenode 的 dfs.hosts 文件中删除退役节点 hadoop105
hadoop102
hadoop103
hadoop104
2) 刷新 namenode, 刷新 resourcemanager
————————————————
版权声明:本文为CSDN博主「JokerDa」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_35641192/article/details/80303879

原文地址:https://www.cnblogs.com/tesla-turing/p/11957721.html