中级数据开发工程师养成计
创始人
2024-05-30 17:05:39
0

目标

工作之后就很少时间用来沉淀知识了,难得用空闲时间沉淀一下自己。
成为一名中级数据开发工程师。偏向于数据仓库,数据治理方向。

整体排期

1 hive
2 hadoop
3 flink
4 spark
5 闲杂工具 kafka maxwell cancal
6 数据建模(偏向于kimboll维度建模)
7 机器学习 --常见算法理论 简单应用
8 python编程 numpy pandas matplotlib等常用分析工具
9 ETL开发
10 shell 常规使用

1 Hive

概念:

acid :
atomicity 原子性: 要么全部成功,要么全部失败恢复如初
consistency : 一致性 :数据库保持完整性,不可能一个人账单
isolation 隔离性 :多并发的时候是否保持隔离
durability 持久性 :一旦更改成功,哪怕机器坏掉了数据页不会丢失
cap :
consistency 一致性 数据更新完后,所有的数据完全一致。
availability:可用性 任何节点都需要在一定时间完成。
partiton tolerance: 分区容错性

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播,要解决的几个问题是:1&...
Windows10添加群晖磁盘... 在使用群晖NAS时,我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过...
protocol buffer... 目录 目录 什么是protocol buffer 1.protobuf 1.1安装  1.2使用...
在Word、WPS中插入AxM... 引言 我最近需要写一些文章,在排版时发现AxMath插入的公式竟然会导致行间距异常&#...
【PdgCntEditor】解... 一、问题背景 大部分的图书对应的PDF,目录中的页码并非PDF中直接索引的页码...
修复 爱普生 EPSON L4... L4151 L4153 L4156 L4158 L4163 L4165 L4166 L4168 L4...
Fluent中创建监测点 1 概述某些仿真问题,需要创建监测点,用于获取空间定点的数据࿰...
educoder数据结构与算法...                                                   ...
MySQL下载和安装(Wind... 前言:刚换了一台电脑,里面所有东西都需要重新配置,习惯了所...
MFC文件操作  MFC提供了一个文件操作的基类CFile,这个类提供了一个没有缓存的二进制格式的磁盘...