数仓基础知识笔记
时间:2021-08-19
本文章向大家介绍数仓基础知识笔记,主要包括数仓基础知识笔记使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
一、模型设计要求(三个范式):
- 第一范式:字段都是单一属性,不可再分。
- 第二范式:表中不存在非关键字段对任一候选关键字段的部分函数依赖。所有属性都依赖主键。
- 第三范式:表中不存在非关键字段对任一候选关键字段的传递函数依赖。
二、模型设计过程:
- 概念模型:抽象业务,划分主题域。一般划分为:客户、服务、服务使用、账务、结算、资源、客服、营销
- 主题域的设计方法:从业务上高度抽象归纳,将数据划分为不同的主题域。
- 逻辑模型:细化主题。定义实体关系和属性,定义表作用、约束、字段、ER图、业务驱动建模
- 物理模型:建表、索引,为了满足高性能的要求,可以增加冗余、隐藏表之间的约束等反第三范式操作。
三、模型的类型:
- 星型模型:又称维度建模,将商业维度融合到数据模型中,为了分析方便,将同一维度的不同层次的维度都融合到事实表中。查询性能好,为了提高性能,可以允许违反第三范式,适当冗余,隐藏表之间约束。
- 雪花模型:又称3NF模型。
- 两种模型的共性是:都是由一个事实表和一组维度表组成。
四、数据处理过程:
中间层是数仓最重要的一层,决定了数仓的性能:
- 数据汇总。将底层数据按维度进行小颗粒度汇总
- 信息聚合。将多张表的信息聚合在一个表中,提高查询性能
原文地址:https://www.cnblogs.com/dorsher/p/14836363.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 全选
- 在控制台,递归显示文件夹下所有文件目录代码+ 运行结果
- 使用bootstrap时下拉菜单失效问题解决
- 使用文件字节输出流FileOutputStream写入文件
- jdk1.8 自带的Base64加密与解密
- 缓冲字节输入流BufferedInputStream
- 在页面上写一个验证码
- 缓冲字节输出流BufferedOutputStream
- EL表达式获取简单数据与复杂数据(调用类)+EL表达式获取Map集合与list集合数据
- 用缓冲字节流,复制一个照片
- 09小结:封装结果集或实体类时,有多个对象的解决方法
- 序列化与反序列化Serializable,Externalizable
- response.getWriter().write()和 response.getWriter().print()的区别:
- java使用TCP,由客户端向服务端传输图片,(电脑与电脑)或(同一台电脑)
- 使用druid