Tensorflow on HDFS 的实践
时间:2022-07-22
本文章向大家介绍Tensorflow on HDFS 的实践,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
官方文档很重要~
1 Overview
本文主要参考 Tensorflow on Hadoop,在 TenC 弹性计算平台做一个 Tensorflow 读取 TenC HDFS 的例子。
- 安装 Java
- 安装 Hadoop
2 Practice
做法很简单,就是以 Tensorflow 的官方镜像作为 base 镜像,装好 Java 和 Hadoop 就可以开始测试了,给个参考的 Dockerfile。
FROM tensorflow/tensorflow:1.14.0-py3
RUN apt-get update -y && apt-get install openjdk-8-jdk -y
ADD hadoop-2.9.2.tar.gz /opt
COPY test.py .
ENV JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
ENV HADOOP_HDFS_HOME=/opt/hadoop-2.9.2
ENV HADOOP_HOME=/opt/hadoop-2.9.2
ENV LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:${JAVA_HOME}/jre/lib/amd64/server
CMD ["/bin/bash"]
镜像里的 test.py 逻辑很简单,就是读出参数1的指定文件的内容并且打印。
import tensorflow as tf
import numpy as np
import sys
def main():
filename_queue = tf.train.string_input_producer([sys.argv[1]], num_epochs=1)
reader = tf.TextLineReader()
key, value = reader.read(filename_queue)
with tf.Session() as sess:
sess.run(tf.initialize_local_variables())
tf.train.start_queue_runners()
num_examples = 0
try:
while True:
s_key, s_value = sess.run([key, value])
print( s_key, s_value)
num_examples += 1
except tf.errors.OutOfRangeError:
print ("There are", num_examples, "examples")
if __name__ == "__main__":
main()
在机器上执行下面的命令。
docker build -t tf-hdfs:latest .
在 TenC HDFS 上 put
一个文件 tf-hdfs.csv。容器内测试 Tensorflow 读取 HDFS。
CLASSPATH=$($HADOOP_HDFS_HOME/bin/hadoop classpath --glob) python test.py hdfs://app/persona/ieg/dm/runzhliu/tf-hdfs.csv
3 Summary
因为主要涉及到 Hadoop 的安装以及环境变量的配置,可以尽量将环境变量的设置写在 Dockerfile 里,这样比较清晰,而且如果几个相关的环境变量没有设置对的话,会容易出现各种问题了。
- SQL Server基础SQL脚本之主外键约束
- SQL Server基础SQL脚本之Group By
- SQL Server基础SQL脚本之内外连接、交叉连接;函数、子查询
- MySQL 面试选择题15道(单选)
- SQL Server基础SQL脚本之分区表、分区方案
- SQL Server基础SQL脚本之创建架构、排序
- 枚举算法(Enumeration algorithm)实例一
- 剑指offer代码解析——面试题16反转单链表
- QMainWindow 和 QWidget 设置layout
- 安全工具Aircrack-ng的使用
- Windows Server 2008 R2 搭建微信小程序
- insert事务产生duplicate key error引发的死锁分析
- 零基础入门深度学习 | 第六章:长短时记忆网络(LSTM)
- 第6章 I/O复用:select和poll函数
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法