MAC解决Unable to load native-hadoop library for your platform

时间:2022-06-07
本文章向大家介绍MAC解决Unable to load native-hadoop library for your platform,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

参考官方网站:http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/NativeLibraries.html

一、问题背景

Mac安装2.8.2版本的hadoop 

Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。首先找到对应自己hadoop版本的64位的lib包,可以自己手动去编译,但比较麻烦,也可以去网上找,好多都有已经编译好了的。

二、解决方案

1. 可以去网站:http://dl.bintray.com/sequenceiq/sequenceiq-bin/  下载对应的编译版本

2. 将准备好的64位的lib包解压到已经安装好的hadoop安装目录的lib/native(2.8.2版本没有这个文件夹,直接新建就好)

3. 增加环境变量

sudo vi /etc/profile
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native  
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"  
source /etc/profile

三、验证