Hbase架构图及数据存储格式
创始人
2024-06-02 01:47:08
0

Hbase架构图

hbase主要包含管理集群或者表信息的Master节点,真正服务客户端读写服务的RegionServer节点,已经用于分布式协调服务的zookeeper节点组成,参见如下架构图:
在这里插入图片描述
Hbase中Master节点的作用包括:创建表,修改表元数据,以及维持整个集群中RegionServer节点上Region的负载均衡。
Hbase的RegionServer节点包括:服务客户端的IO读写请求
zookeeper的作用除了让Master可以监控到RegionServer的宕机事件外,他还存储一份告诉客户端元数据表对应的RegionServer地址的信息,这样客户端通过和zk通信获取到元数据表所在的RegionServer节点后,可以到具体的RegionServer节点中获取元数据表,然后再根据元数据表中的数据分布信息去其他的RegionServer中完成对应的读写操作

Hbase的数据存储格式

常见的数据存储分成两种:
一. 行式存储格式,关系型数据库中广泛使用的数据存储格式,也就是数据记录一行接着一行存储,想要读取某一列的数据需要读取所有的行,然后丢掉不需要的列
二.列式存储,类似Parque文件格式,或者clickhouse的存储格式一样,数据记录按照每列的数据进行存储,由于每列数据相似性很高,所以按照列式存储的数据压缩率非常可观,缺点是获取一行数据需要读取所有的列
那Hbase使用哪一种存储格式呢,答案是介于两者之间,按照列簇存储。
Hbase对于每个列簇使用单独的文件存储,每个列簇的记录单独存放在一起,不同列簇的数据记录存放到不同的文件中
具体存放的记录格式如下所示:
在这里插入图片描述
其实由hbase的记录存储格式我们可以知道,hbase是一个KV存储的数据库,它擅长于通过key查找对应的value,当然它也可以适合应用于小范围的key扫描获取value的列表.本质上他就是KV存储的NoSql数据库。

相关内容

热门资讯

修复 爱普生 EPSON L4... L4151 L4153 L4156 L4158 L4163 L4165 L4166 L4168 L4...
【PdgCntEditor】解... 一、问题背景 大部分的图书对应的PDF,目录中的页码并非PDF中直接索引的页码...
监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播,要解决的几个问题是:1&...
在Word、WPS中插入AxM... 引言 我最近需要写一些文章,在排版时发现AxMath插入的公式竟然会导致行间距异常&#...
protocol buffer... 目录 目录 什么是protocol buffer 1.protobuf 1.1安装  1.2使用...
【前端】‘??‘与‘||‘有什... 0 问题 经常写const data = res.data.a ?? ''或者const d...
Windows10添加群晖磁盘... 在使用群晖NAS时,我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过...
牛客计算器的改良(Python... 文章目录1.题目描述2.输入描述:3.输出描述:4.示例15.分析6.代码7.结语 链接࿱...
正大杯|市调大赛|2023备赛... 关键信息 同时随着精细化养宠趋势的深入,宠物消费类目日渐丰富。 本报告通过 Niuco...
QGIS下载在线地图(Goog... 前言 国内外有很多在线地图下载软件,但功能单一,基本上只能下载数据&#x...