数仓数据同步策略

创始人

2024-02-25 01:54:47

0次

学习内容

一、同步策略

一、同步策略

数据同步策略的类型包括：全量同步、增量同步、新增及变化同步、特殊情况

全量表：存储完整的数据
增量表：存储新增加的数据
新增及变化表：存储新增加的数据和变化的数据
特殊表：只需要存储一次

（1）全量同步策略

说明：每天存储一份完整的数据，作为一个分区

适用场景：表的数据量不大，且每天会有新的数据插入，也会有旧的数据修改（如：品牌表、商品一二三级分类表、加购表、活动表、优惠规则表、SKU商品表、SPU商品表等）

（2）增量同步策略

说明：每天存储一份增量的数据，作为一个分区

适用场景：表的数据量大，且每天会有新数据插入的场景（如：退单表、订单状态表、支付流水表、商品评论表等）

（3）新增量及变化同步策略

说明：存储创建时间和操作时间都是今天的数据

适用场景：表的数据量大，即会有新增，又会有变化。（如：用户表、订单表、优惠价领用表等）

（4）特殊策略
一些特殊的表，比如某些不会发生变化的表，可不必遵循上述同步策略（如：地区表，省份表，民族表等可以只存一份固定值）

总结分析图
在这里插入图片描述

上一篇：迭代器模式（Iterator）

下一篇：PyCharm安装教程

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播，要解决的几个问题是：1&...

Windows10添加群晖磁盘... 在使用群晖NAS时，我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。通过...

protocol buffer... 目录目录什么是protocol buffer 1.protobuf 1.1安装 1.2使用...

Fluent中创建监测点 1 概述某些仿真问题，需要创建监测点，用于获取空间定点的数据࿰...

educoder数据结构与算法... ...

MySQL下载和安装（Wind... 前言：刚换了一台电脑，里面所有东西都需要重新配置，习惯了所...

MFC文件操作 MFC提供了一个文件操作的基类CFile，这个类提供了一个没有缓存的二进制格式的磁盘...

在Word、WPS中插入AxM... 引言我最近需要写一些文章，在排版时发现AxMath插入的公式竟然会导致行间距异常&#...

有效的括号一、题目给定一个只包括 '('，')'，'{'，'}'...

【Ctfer训练计划】——(三... 作者名：Demo不是emo 主页面链接：主页传送门创作初心ÿ...