适应现代变化的数据架构

时间:2022-04-23
本文章向大家介绍适应现代变化的数据架构,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

传统BI和数据仓库架构已无法应对大数据、分析、自助服务所带来的挑战。然而,现代化数据架构仍未能够全部解决传统数据仓库和BI所面临的问题,很少有组织能够在一些尚未成熟的领域采用大数据分析技术。数据架构在能够支持传统BI的同时,也要意识到需要逐渐的适应现代化项目需求。

现代化数据架构设计方法

毫无疑问,数据架构必须改变。它必须适应大数据、分析和自助服务的时代。传统数据仓库和BI架构已经不能很好地满足许多企业创新发展的需求,每一个变化——大数据、分析和自助服务——都是一个巨大潜力和挑战的组合,把它们组合在一起便形成了一个机会丰富、极其复杂的环境。我们必须使用现代化数据架构,一个优秀的架构能够管理数据复杂性的同时也能够避勉造成混乱。那么,什么是现代化数据架构以及如何设计现代化数据架构?

今天,许多公司仍然保留着传统数据仓库和BI架构的一部分特性,它的特点是线性的、结构化的和具体延迟性的(见图1)。

以下是传统架构的几种特征,这些特征往往会阻障实现大数据、分析和自助服务。

线性化的数据流和工作流

结构化的企业数据

具有一定延迟性的数据批处理

纵向扩展基础设施规模是满足数据增长的主要策略

对IT部门高度依赖的集中式服务

现代数据架构必须适应多方向的数据流、迭代处理、非结构化和外部数据、流处理、低延迟和实时数据、横向扩展数据增长策略和具有自主权的自助服务。这是一个新的信息供应链的开始,我们开始以不同的方式思考数据。传统上,我们把数据作为一种技术资产来存储、处理和管理。今天,我们必须将数据管理成可供所有需要的人访问的资源不要把数据看成是静态的、存储的,而是要看成活的、动态的、贯穿于每一个业务流程的数据。

动态数据是通过一种新的信息供应链来实现的,它是迭代的、智能的和自适应的。信息供应链的五个阶段是

采集数据并引入分析生态系统

编制数据资产目录、支持元数据管理

准备改进、丰富、格式化、整合数据

分析、建模和可视化数据

通过分析观察转化为支撑业务结果的行动

新的供应链依赖于数据管理、数据编目和数据准备的技术。有关企业数据驱动的更多技术请参见我的大数据管理软件报告。新的信息供应链应成为现代化分析架构(参见图2)的基础。

现代化分析架构和传统架构相比,存在几个比较明显的变化:

从线性数据流和工作流到多向数据流和迭代工作流

从结构化企业数据到企业及外部结构化和非结构化数据

从批处理和数据延迟到批处理、流和实时处理,满足分析数据的时效性要求

从纵向扩展基础设施规模到横向扩展基础设施的数据增长管理模式

从集中和依赖式服务到自助、自动化服务

也许最重要的是现代化架构,它保留着传统架构功能,且能够与传统架构进行整合。很少有组织能够在未成熟的领域应用现代化分析方法,大部分组织仍保留着传统BI和数据仓库架构。一个务实的架构在能够适应过去(以蓝色显示)的同时,也能够更好的支撑未来(橙色显示)不断变化的现代化需求。