【项目实战】ADS 层数据导出

时间:2022-07-25
本文章向大家介绍【项目实战】ADS 层数据导出,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

为了业务系统进行更快速的查询,需要将 ADS 层的结果数据导出到 MySQL 中,这个过程因为涉及到数据流转,所以需要通过 ETL 工具 Sqoop 来进行。

MySQL ADS 层创建

1. 在 Node02,MySQL 节点的 /home/warehouse/sql 目录下编写 mysql_sale_ddl.sql,创建与 ADS 层结果表一致的数据表:

mkdir -p /home/warehouse/sql/
vim /home/warehouse/sql/mysql_sale_ddl.sql

​SQL 脚本内容如下:

-- 进入数据库
use mall;

-- 创建复购率表
create  table ads_sale_tm_category1_stat_mn
(   
    tm_id varchar(200) comment '品牌 id ' ,
    category1_id varchar(200) comment '1 级品类 id ',
    category1_name varchar(200) comment '1 级品类名称 ',
    buycount   varchar(200) comment  '购买人数',
    buy_twice_last varchar(200) comment '两次以上购买人数',
    buy_twice_last_ratio varchar(200) comment  '单次复购率', 
    buy_3times_last   varchar(200) comment   '三次以上购买人数',
    buy_3times_last_ratio varchar(200)  comment  '多次复购率' ,
    stat_mn varchar(200) comment '统计月份',
    st