数据仓库(数据中台技术架构)
一、数据仓库大致内容有哪些
数据仓库一般来说分为三层:接入层、中间层、应用层。
其中,
1、接入层为ODS层,即opreationaldatastore。数据同步,基本与源数据保持一致。
2、中间层包含DWD层、DWS层、DWM层,以及临时表TMP层和维度DIM层。
DWD层,数据明细层,即datawarehousedetail。做标注化,维度补齐,异常处理。DWS层,数据汇总层,即datawarehousesummary。单一业务场景,行为数据组装,提升公共指标的复用。DWM层,数据集市层,即datawarehousemarket。宽表数据,跨业务数据,行为数据组装。DIM层,维度表层。一致性维度建设。3、数据应用层,即APP层。个性化指标加工,基于应用的数据组装。
碎片时间,关注收藏。
二、什么是数据仓库,大数据在电商仓库中的作用
完全面向分析构建。数据仓库的目标就是为了更高效方便地做数据分析,因此数据仓库整个数据的组织结构也是完全根据分析需要设计的。它是由多个面向特定方向的分析主题组成的,这样可以使得分析任务变得简单,数据更容易获取。
可以处理大数据量场景。数据仓库不需要太在意响应性能,因为它通常是用来供分析使用的,不会直接用于与用户交互的场景。
集成多种数据。数据仓库中的数据,是将企业中分散的、不统一的数据,经过ETL集成。
三、数据湖和数据仓库的主要区别
功能不同,在集中应用领域不同。
数据湖作为一个集中的存储库,可以在其中存储任意规模的所有结构化和非结构化数据。在数据湖中,可以存储数据不需要对其进行结构化,就可以运行不同类型的分析。
数据仓库,也称为企业数据仓库,是一种数据存储系统,它将来自不同来源的结构化数据聚合起来,用于业务智能领域的比较和分析,数据仓库是包含多种数据的存储库,并且是高度建模的。