数据中台介绍
创始人
2025-05-29 07:31:11
0

1:数据中台介绍

1.1:概述

1.2:架构

在这里插入图片描述

在这里插入图片描述
主题:即高层次的互不折叠的数据分类,用于管理其下一级的业务对象
数据标准:基于公司或者一具体的业务线制定的需要公司共同遵守的属性层数据含义和业务规则,描述了公司对某个数据的共同理解,这些理解确定后就应该作为标准在企业内被共同遵守。
数据仓库-ODS层:存储源数据的简单落地
数据仓库-DWI层:又称为数据整合层,DWI层是对多个源系统数据的整合,清洗,基于数据建模三范式建模(个人理解属于从数据治理得来的数据)。
数据仓库-DWR层:数据报告层,基于数据维度,和DWI层数据粒度基本保持一致。该层包括事实表,维度表(对应有维度),其都是属于某一主题的概念。
数据仓库-DM层:数据集市层,面向VUE/BI等展示层
数据质量:指定的对数据好坏评判的标准,比如手机号的校验,邮箱校验,字段长度,类型,非空,正则表达式等的判断
维度:从不同角度看待分析数据,比如从不同地域,不同年龄等都属不同的维度。一般在sql中的group by 中进行分析。
指标:基于数据建模中的事实表和维度表提取的一部分属性和度量,和多维模型中的最细数据粒度一致。
数据加工:包括对数据的指标加工,标签加工,宽表加工,数据探索等
数据标签:标签是一种数据特征。比如用户的年龄、性别、地区等。这些特征在数据中具有一定的通用性和价值。数据标签存储一般在数据库中是单独一列。数据标签简介

1.3:各层设计

1:数据采集

2:数据仓库

ods层:ods是数据经简单处理后直接存储的原始数据
dwi层:一般从源数据层提取一部分属性组成新的表。属性可能来自多个表或者一个表或者再加入一些自己的标识的属性如创建时间,创建人等信息组成的新表。但是其实时表和历史表都属于dwi层。
dwr层:dwr层是基于dwi层从一些维度或者度量提出的表。比如从时间度量上,dwi层的表可分为分钟表,小时表,天表等粒度,都属于是dwr层

2:数据中台应用

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播,要解决的几个问题是:1&...
Windows10添加群晖磁盘... 在使用群晖NAS时,我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过...
protocol buffer... 目录 目录 什么是protocol buffer 1.protobuf 1.1安装  1.2使用...
Fluent中创建监测点 1 概述某些仿真问题,需要创建监测点,用于获取空间定点的数据࿰...
educoder数据结构与算法...                                                   ...
MySQL下载和安装(Wind... 前言:刚换了一台电脑,里面所有东西都需要重新配置,习惯了所...
MFC文件操作  MFC提供了一个文件操作的基类CFile,这个类提供了一个没有缓存的二进制格式的磁盘...
在Word、WPS中插入AxM... 引言 我最近需要写一些文章,在排版时发现AxMath插入的公式竟然会导致行间距异常&#...
有效的括号 一、题目 给定一个只包括 '(',')','{','}'...
【Ctfer训练计划】——(三... 作者名:Demo不是emo  主页面链接:主页传送门 创作初心ÿ...