适应现代变化的数据架构
传统BI和数据仓库架构已无法应对大数据、分析、自助服务所带来的挑战。然而,现代化数据架构仍未能够全部解决传统数据仓库和BI所面临的问题,很少有组织能够在一些尚未成熟的领域采用大数据分析技术。数据架构在能够支持传统BI的同时,也要意识到需要逐渐的适应现代化项目需求。
现代化数据架构设计方法
毫无疑问,数据架构必须改变。它必须适应大数据、分析和自助服务的时代。传统数据仓库和BI架构已经不能很好地满足许多企业创新发展的需求,每一个变化——大数据、分析和自助服务——都是一个巨大潜力和挑战的组合,把它们组合在一起便形成了一个机会丰富、极其复杂的环境。我们必须使用现代化数据架构,一个优秀的架构能够管理数据复杂性的同时也能够避勉造成混乱。那么,什么是现代化数据架构以及如何设计现代化数据架构?
今天,许多公司仍然保留着传统数据仓库和BI架构的一部分特性,它的特点是线性的、结构化的和具体延迟性的(见图1)。
以下是传统架构的几种特征,这些特征往往会阻障实现大数据、分析和自助服务。
线性化的数据流和工作流
结构化的企业数据
具有一定延迟性的数据批处理
纵向扩展基础设施规模是满足数据增长的主要策略
对IT部门高度依赖的集中式服务
现代数据架构必须适应多方向的数据流、迭代处理、非结构化和外部数据、流处理、低延迟和实时数据、横向扩展数据增长策略和具有自主权的自助服务。这是一个新的信息供应链的开始,我们开始以不同的方式思考数据。传统上,我们把数据作为一种技术资产来存储、处理和管理。今天,我们必须将数据管理成可供所有需要的人访问的资源。不要把数据看成是静态的、存储的,而是要看成活的、动态的、贯穿于每一个业务流程的数据。
动态数据是通过一种新的信息供应链来实现的,它是迭代的、智能的和自适应的。信息供应链的五个阶段是:
采集数据并引入分析生态系统
编制数据资产目录、支持元数据管理
准备改进、丰富、格式化、整合数据
分析、建模和可视化数据
通过分析观察转化为支撑业务结果的行动
新的供应链依赖于数据管理、数据编目和数据准备的技术。有关企业数据驱动的更多技术请参见我的大数据管理软件报告。新的信息供应链应成为现代化分析架构(参见图2)的基础。
现代化分析架构和传统架构相比,存在几个比较明显的变化:
从线性数据流和工作流到多向数据流和迭代工作流
从结构化企业数据到企业及外部结构化和非结构化数据
从批处理和数据延迟到批处理、流和实时处理,满足分析数据的时效性要求
从纵向扩展基础设施规模到横向扩展基础设施的数据增长管理模式
从集中和依赖式服务到自助、自动化服务
也许最重要的是现代化架构,它保留着传统架构功能,且能够与传统架构进行整合。很少有组织能够在未成熟的领域应用现代化分析方法,大部分组织仍保留着传统BI和数据仓库架构。一个务实的架构在能够适应过去(以蓝色显示)的同时,也能够更好的支撑未来(橙色显示)不断变化的现代化需求。
- Caused by: java.net.ConnectException: Connection refused: master/192.168.3.129:7077
- java.util.zip.ZipException: invalid LOC header (bad signature)
- 递归就这么简单
- Activiti就是这么简单
- WebService就是这么简单
- eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务
- spark on yarn提交任务时一直显示ACCEPTED
- 如何恢复hadoop中被删除的文件
- 多个字段中如何按其中两个进行排序(二次排序)
- Hadoop2.3.0上部署Mahout0.10,并测试单机版与分布式版个性化推荐程序
- 总结5种比较高效常用的排序算法
- 曾经做过的40道程序设计课后习题总结(二)
- 曾经做过的40道程序设计课后习题总结(三)
- 曾经做过的40道程序设计课后习题总结(四)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Nginx的405 not allowed错误解决
- Linux免密登陆
- 一起来学matlab-matlab学习笔记8 基本绘图命令_2基本绘图操作
- 用一个图书库实例搞懂二分搜索树的底层原理
- 自已做动画及编写程序搞清楚最大堆的实现原理
- 一起来学演化计算-matlab基本函数strcmp num2str 字符串格式
- 一起来学matlab-matlab学习笔记8 基本绘图命令_1 图形窗口简介
- 根据barcode过滤bam文件
- biopython - 比较两个序列的相似性
- 使用阿里函数计算同步OSS增量对象到COS
- GitLab定时备份及恢复
- MySQL 的B+树索引.
- Spring全家桶的深入学习(一):Spring起步
- Spring的学习与实战
- kubernetes 安装笔记