14.hadoop-2.7.2官网文档翻译-服务级别的授权指南
目标
该文档描述了怎样配置和管理hadoop服务级别的授权
前提
确保安装了hadoop,配置和设置正确。更多信息请查看:
概览
服务级授权是初始授权机制来确保连接到特定的hadoop服务的客户有必要的,预配置的,有权限和授权访问的特定的服务。比如,MapReduce集群可以使用该机制允许一个配置列表的用户或组提交任务。
$HADOOP_CONF_DIR/hadoop-policy.xml
配置文件用于定义各种hadoop服务的访问控制列表。
在其他访问控制检查,如文件权限检查、作业队列的访问控制等之前,对服务级授权进行。
配置
该段描述了怎样通过配置文件$HADOOP_CONF_DIR/hadoop-policy.xm
配置服务级别授权。
启用服务级别授权
默认情况下,hadoop的服务级别授权是关闭了,为了开启他。需要在$HADOOP_CONF_DIR/core-site.xml
中的hadoop.security.authorization
属性设置为true。
hadoop服务和配置属性
下面列举了多种hadoop服务和他们的配置:
ACL(访问控制列表,access control list)
属性 | 服务 |
---|---|
security.client.protocol.acl | 客户端协议的ACL,用于分布式文件系统上的用户码 |
security.client.datanode.protocol.acl | ClientDatanodeProtocol的ACL,块回复的客户端-DataNode协议 |
security.datanode.protocol.acl | DatanodeProtocol的ACL,用于DataNode和NameNode间通信 |
security.inter.datanode.protocol.acl | InterDatanodeProtocol的ACL,更新生成时间戳的内部DataNode协议 |
security.namenode.protocol.acl | NamenodeProtocol的ACL,用于secondary NameNode与NameNode的通信 |
security.job.client.protocol.acl | JobSubmissionProtocol的ACL,为了任务提交,查询任务状态等,用于客户端与ResourceManager通信 |
security.job.task.protocol.acl | TaskUmbilicalProtocol的ACL,用于map和reduce任务与NodeManager的通信 |
security.refresh.policy.protocol.acl | RefreshAuthorizationPolicyProtocol的ACL,用于dfsadmin与rmadmin 命令刷新安全策略生效 |
security.ha.service.protocol.acl | HA服务协议的ACL,用于HAAdmin 管理激活的和备用的NameNode状态 |
访问控制列表
$HADOOP_CONF_DIR/hadoop-policy.xml
定义了每个hadoop服务的访问控制列表。每个访问控制列表有一个简单的格式:
user和groups都是逗号分隔的名称列表。两个列表间以空格分隔。
比如:user1,user2 group1,group2
如果只提供一个组列表,则在该行的开头添加一个空格,相当于一个逗号分隔的用户列表后面的空格或者没有什么意味着只有一组给定用户。
指定值为*
意味着所有的用户都可以访问该服务。
如果服务的访问控制列表没有定义,security.service.authorization.default.acl
的值将会生效。如果security.service.authorization.default.acl
没有设定,*
会生效。
- 在某些情况下会阻塞访问控制列表,需要为一个服务指定阻塞的访问控制列表。该指定的用户或组的列表将没有权限访问该服务。阻塞访问控制列表的格式与访问控制列表的格式相同。
阻塞访问控制列表可以通过
$HADOOP_CONF_DIR/hadoop-policy.xml
指定。属性名通过后缀”.blocked”得到。
举例:阻塞访问控制列表的属性security.client.protocol.acl
将会是security.client.protocol.acl.blocked
。
对于一个服务,可能会同时指定访问控制列表和阻塞访问控制列表。如果用户在访问控制列表中同时没在阻塞访问控制列表中,就可以访问服务。
如果服务的阻塞访问控制列表没有定义,security.service.authorization.default.acl.blocked
的值会生效。如果security.service.authorization.default.acl.blocked
未定义,阻塞访问控制列表就会为空。
刷新服务级别授权配置
NameNode和ResourceManager的服务级别授权配置可以在不重启任何hadoop主进程的情况下更改。
集群管理员可以更改主节点上的$HADOOP_CONF_DIR/hadoop-policy.xml
并通过切换dfsadmin
和rmadmin
的 -refreshServiceAcl
命令通知NameNode和ResourceManager加载各自的配置。
NameNode刷新服务级别授权配置:$ bin/hdfs dfsadmin -refreshServiceAcl
ResourceManager舒心服务级别授权配置:$ bin/yarn rmadmin -refreshServiceAcl
当然,也可以使用$HADOOP_CONF_DIR/hadoop-policy.xml
中的security.refresh.policy.protocol.acl
的属性限制访问某些用户或组刷新服务级别授权的配置。
- 使用ip地址,host名和IP地址范围列表的对服务的访问控制可以基于客户端IP地址控制。也可以使用指定ip地址,host名和ip地址范围的机器集合限制访问服务。每个服务的属性命令来自于相应的acl名称。如果acl的属性名称是
security.client.protocol.acl
,host列表的属性名会是security.client.protocol.hosts
。
如果一个服务的主机列表没有定义,会使用security.service.authorization.default.hosts
的值,如果security.service.authorization.default.hosts
值没有设置,会使用*
。
指定主机的阻塞列表是可能的。 只有在主机列表的这些机器不能访问。没有再阻塞列表中的允许访问服务。属性名通过后缀.blocked
获取。 举例:阻塞主机列表的属性名security.client.protocol.hosts
将会是security.client.protocol.hosts.blocked
。
如果一个服务的阻塞注解列表没有定义,会使用security.service.authorization.default.hosts.blocked
的值,如果security.service.authorization.default.hosts.blocked
的值也没有设定,阻塞主机列表为空。
例子
只允许用户’alice’和’bob’和在’mapreduce’组的用户可以将任务提交到MapReduce集群
<property>
<name>security.job.client.protocol.acl</name>
<value>alice,bob mapreduce</value>
</property>
只允许运行DataNode的,并属于DataNode组的用户可以与NameNode通信
<property>
<name>security.datanode.protocol.acl</name>
<value>datanodes</value>
</property
允许所有的用户作为DFS的客户访问HDFS集群
<property>
<name>security.client.protocol.acl</name>
<value>*</value>
</property>
'); } else { var loadJs=function(d,a){var c=document.getElementsByTagName("head")[0]||document.head||document.documentElement;var b=document.createElement("script");b.setAttribute("type","text/javascript");b.setAttribute("charset","UTF-8");b.setAttribute("src",d);if(typeof a==="function"){if(window.attachEvent){b.onreadystatechange=function(){var e=b.readyState;if(e==="loaded"||e==="complete"){b.onreadystatechange=null;a()}}}else{b.onload=a}}c.appendChild(b)};loadJs("https://changyan.sohu.com/upload/changyan.js",function(){window.changyan.api.config({appid:appid,conf:conf})}); } })();
原文:大专栏 14.hadoop-2.7.2官网文档翻译-服务级别的授权指南
原文地址:https://www.cnblogs.com/chinatrump/p/11607267.html
- Web安全实战
- 【翻译】MongoDB指南/聚合——聚合管道
- PHP异步高并发扩展Swoole
- TensorFlow从0到1丨 第五篇:TensorFlow轻松搞定线性回归
- 【直播】我的基因组59:把我的数据伪装成23andme或wegene的芯片数据
- asp.net web api客户端调用
- 细说WebSocket - Node篇
- TensorFlow从0到1丨 第六篇:解锁梯度下降算法
- .Net多线程编程—误用点分析
- Web开发常见的几个漏洞解决方法
- .Net多线程编程—同步机制
- .Net多线程编程—Parallel LINQ、线程池
- 没有自己的服务器如何学习生物数据分析(下篇)
- .Net多线程编程—并发集合
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- ES聚合操作
- leetcode-easy-array-删除排序数组中的重复项
- SQL注入靶场之SQLiLabs搭建指南
- [OHIF-Viewers]医疗数字阅片-医学影像-redux-token实操(1)
- [OHIF-Viewers]医疗数字阅片-医学影像-屏蔽StudyList病例列表
- Ant Design for Vue的Table组件一列显示多个参数
- 【React】React-router的使用记录
- Blazor带我重玩前端(四)
- Android绘制系统简介
- E: Sub-process /usr/bin/dpkg returned an error code (1) 解决方案
- Linux 如何使用包管理器安装 Node.js
- CSS画图
- R语言聚类算法的应用实例
- Python时间序列选择波动率预测指数收益算法分析案例
- Linux 常用系统工作命令-date