主题:即高层次的互不折叠的数据分类,用于管理其下一级的业务对象
数据标准:基于公司或者一具体的业务线制定的需要公司共同遵守的属性层数据含义和业务规则,描述了公司对某个数据的共同理解,这些理解确定后就应该作为标准在企业内被共同遵守。
数据仓库-ODS层:存储源数据的简单落地
数据仓库-DWI层:又称为数据整合层,DWI层是对多个源系统数据的整合,清洗,基于数据建模三范式建模(个人理解属于从数据治理得来的数据)。
数据仓库-DWR层:数据报告层,基于数据维度,和DWI层数据粒度基本保持一致。该层包括事实表,维度表(对应有维度),其都是属于某一主题的概念。
数据仓库-DM层:数据集市层,面向VUE/BI等展示层
数据质量:指定的对数据好坏评判的标准,比如手机号的校验,邮箱校验,字段长度,类型,非空,正则表达式等的判断
维度:从不同角度看待分析数据,比如从不同地域,不同年龄等都属不同的维度。一般在sql中的group by 中进行分析。
指标:基于数据建模中的事实表和维度表提取的一部分属性和度量,和多维模型中的最细数据粒度一致。
数据加工:包括对数据的指标加工,标签加工,宽表加工,数据探索等
数据标签:标签是一种数据特征。比如用户的年龄、性别、地区等。这些特征在数据中具有一定的通用性和价值。数据标签存储一般在数据库中是单独一列。数据标签简介
ods层:ods是数据经简单处理后直接存储的原始数据
dwi层:一般从源数据层提取一部分属性组成新的表。属性可能来自多个表或者一个表或者再加入一些自己的标识的属性如创建时间,创建人等信息组成的新表。但是其实时表和历史表都属于dwi层。
dwr层:dwr层是基于dwi层从一些维度或者度量提出的表。比如从时间度量上,dwi层的表可分为分钟表,小时表,天表等粒度,都属于是dwr层
上一篇:MySQL之原理