Hbase架构图及数据存储格式
创始人
2024-06-02 01:47:08
0

Hbase架构图

hbase主要包含管理集群或者表信息的Master节点,真正服务客户端读写服务的RegionServer节点,已经用于分布式协调服务的zookeeper节点组成,参见如下架构图:
在这里插入图片描述
Hbase中Master节点的作用包括:创建表,修改表元数据,以及维持整个集群中RegionServer节点上Region的负载均衡。
Hbase的RegionServer节点包括:服务客户端的IO读写请求
zookeeper的作用除了让Master可以监控到RegionServer的宕机事件外,他还存储一份告诉客户端元数据表对应的RegionServer地址的信息,这样客户端通过和zk通信获取到元数据表所在的RegionServer节点后,可以到具体的RegionServer节点中获取元数据表,然后再根据元数据表中的数据分布信息去其他的RegionServer中完成对应的读写操作

Hbase的数据存储格式

常见的数据存储分成两种:
一. 行式存储格式,关系型数据库中广泛使用的数据存储格式,也就是数据记录一行接着一行存储,想要读取某一列的数据需要读取所有的行,然后丢掉不需要的列
二.列式存储,类似Parque文件格式,或者clickhouse的存储格式一样,数据记录按照每列的数据进行存储,由于每列数据相似性很高,所以按照列式存储的数据压缩率非常可观,缺点是获取一行数据需要读取所有的列
那Hbase使用哪一种存储格式呢,答案是介于两者之间,按照列簇存储。
Hbase对于每个列簇使用单独的文件存储,每个列簇的记录单独存放在一起,不同列簇的数据记录存放到不同的文件中
具体存放的记录格式如下所示:
在这里插入图片描述
其实由hbase的记录存储格式我们可以知道,hbase是一个KV存储的数据库,它擅长于通过key查找对应的value,当然它也可以适合应用于小范围的key扫描获取value的列表.本质上他就是KV存储的NoSql数据库。

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播,要解决的几个问题是:1&...
Windows10添加群晖磁盘... 在使用群晖NAS时,我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过...
protocol buffer... 目录 目录 什么是protocol buffer 1.protobuf 1.1安装  1.2使用...
在Word、WPS中插入AxM... 引言 我最近需要写一些文章,在排版时发现AxMath插入的公式竟然会导致行间距异常&#...
【PdgCntEditor】解... 一、问题背景 大部分的图书对应的PDF,目录中的页码并非PDF中直接索引的页码...
修复 爱普生 EPSON L4... L4151 L4153 L4156 L4158 L4163 L4165 L4166 L4168 L4...
Fluent中创建监测点 1 概述某些仿真问题,需要创建监测点,用于获取空间定点的数据࿰...
educoder数据结构与算法...                                                   ...
MySQL下载和安装(Wind... 前言:刚换了一台电脑,里面所有东西都需要重新配置,习惯了所...
MFC文件操作  MFC提供了一个文件操作的基类CFile,这个类提供了一个没有缓存的二进制格式的磁盘...