sqoop数据的导入导出
时间:2020-05-20
本文章向大家介绍sqoop数据的导入导出,主要包括sqoop数据的导入导出使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
1 sqoop数据的导入导出 2 一:导入到hdfs 3 1:sqoop安装目录下:通过某一个command来验证sqoop配置是否正确: bin/sqoop help 4 2:出现以下表示成功: 5 Available commands: 6 codegen Generate code to interact with database records 7 create-hive-table Import a table definition into Hive 8 eval Evaluate a SQL statement and display the results 9 export Export an HDFS directory to a database table 10 help List available commands 11 import Import a table from a database to HDFS 12 import-all-tables Import tables from a database to HDFS 13 import-mainframe Import datasets from a mainframe server to HDFS 14 job Work with saved jobs 15 list-databases List available databases on a server 16 list-tables List available tables in a database 17 merge Merge results of incremental imports 18 metastore Run a standalone Sqoop metastore 19 version Display version information 20 3:测试Sqoop是否能够成功连接数据库 21 bin/sqoop list-databases --connect jdbc:mysql://hadoop101:3306/ --username root --password 000000 22 出现如下输出: 23 information_schema 24 metastore 25 mysql 26 oozie 27 performance_schema 28 4: 确定Mysql服务开启正常 29 在Mysql中新建一张表并插入一些数据 30 mysql -uroot -p000000 31 create database company; 32 use company; 33 create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255)); 34 insert into company.staff(name, sex) values('Thomas', 'Male'); 35 insert into company.staff(name, sex) values('Catalina', 'FeMale'); 36 5:在/opt/module/datas 下创建company.sql 例如:/opt/module/datas/aaa.sql 把第四步mysql脚本放进去 37 6: 执行命令:mysql -u root -p000000 接着:source /opt/module/datas/company.sql 存入数据库 38 进sqlyog看产生的数据库和表 39 7:开启hdfs 在hadoop安装目录下输入命令: 40 进hadoop页面 41 bin/sqoop import \ 42 --connect jdbc:mysql://hadoop101:3306/company \ 43 --username root \ 44 --password 000000 \ 45 --table staff \ 46 --target-dir /user/company \ 47 --delete-target-dir \ 48 --num-mappers 2 \ 49 --split-by id \ 50 --fields-terminated-by "\t" 51 52 53 一:导出到sql 54 1:将导入的数据下载 放入/opt/module/datas/xxxHDFS 55 2:把文件上传到hdfs的user目录下: 56 hadoop fs -put /opt/module/datas/xxxHDFS /user/ 57 3:在数据库创建--create table company.emp1(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255)); 58 4:在sqoop安装路径下执行 59 bin/sqoop export \ 60 --connect jdbc:mysql://hadoop101:3306/company \ 61 --username root \ 62 --password 000000 \ 63 --table emp \ 64 --num-mappers 2 \ 65 --export-dir /user/empHDFS \ 66 --input-fields-terminated-by "\t" 67 5:查看数据库数据 68 6:结束:
原文地址:https://www.cnblogs.com/xjqi/p/12923000.html
- IO模型
- jenkins 从git拉取代码
- Silverlight:针式打印机文字模糊的改善办法
- 大数据和云计算技术周报:NoSQL特辑
- 常用业务接口界面化 in python flask
- 打印机设置(PrintDialog)、页面设置(PageSetupDialog) 及 RDLC报表如何选择指定打印机
- 区块链推动支付革命
- MySQL常见的库操作,表操作,数据操作集锦及一些注意事项
- nohup命令
- 跨浏览器的剪贴板访问解决方案
- 装逼必备:大型分布式网站术语分析
- 年前爆炸一波!小程序视频功能来了!
- ubuntu13.04环境hadoop1.2.1单机模式安装
- silverlight:telerik RadControls中RadGridView的一个Bug及解决办法
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 制作的 dotnet tool 运行失败提示依赖缺失
- 撸了个多线程断点续传下载器,我从中学习到了这些知识
- 使用 IOC 控制反转和 DI 依赖注入的意义
- Servlet配置初始值,并获取初始值
- CSS 技巧一则 -- 不定宽溢出文本适配滚动
- 潘石屹用Python解决100个问题 | 最大公约数
- 我的天上传文件又出现问题了(超出大小限制)
- 现在学 PHP 没有发展?来看看这个后台框架你还会这么想吗
- leetcode-easy-array-最大子序和
- Leecode No.3 无重复字符的最长子串
- Solidity 0.6.11 更新
- 潘石屹用Python解决100个问题 | 最小公倍数
- 通过CREATE2获得合约地址:解决交易所充值账号问题
- 小知识:如何判定crontab任务的执行频度
- 以太坊合约静态分析工具Slither简介与使用