HBase 复习 ---- chapter05
创始人
2024-05-25 05:00:48
0

HBase 复习 ---- chapter05

  1. 高级应用?
    如何设计表 + 协处理器

  2. 如何设计表?
    HBase 的模式设计。那么这个设计模式是固定的吗?是强约束吗?
    设计模式:我们解决某一类问题的方案。是非强制性的。

  3. 设计一个表需要考虑的问题?
    一:表应该有多少列族?
    二:哪些数据进入哪个列族?
    三:每个列族中应该有多少列?
    四:列名应该是什么?虽然在创建表时不必定义列名,但在写入或读取数据时需要知道列名。
    五:在单元格中应写入什么信息?
    六:每个单元格应存储多少个版本号?
    七:主键(rowkey)结构应该是什么,它应该包含什么?

创建表:通过 shell + javaApi 进行创建
创建的时候必须定义表名 + 列族
如果要对表进行任何列族的修改,需要先禁用表,再修改(实际:不禁用表也可以修改)

  1. 下面给出很多建议?
    一:维持 region(区域)大小在 10 到 50 GB之间。
    二:保持不超过 10MB 的单元格,如果使用 mob 数据类型,则为 50MB,否则,考虑在 HDFS 中存储单元数据,并在 HBase 中存储指针指向该数据。
    三:一个典型的模式应该是每个表有 1 到 3 个列族,(最好就是一个列族)
    四:对于具有 1 个列族或 2 个列族的表,大于 50-100 个区域是一个不错的数字
    五:尽量缩短列族名。为每个值存储列族名称(可以忽略前缀编码)(列族只是一个标识,我们通常只用一个字节就够了)student:name == s:name (推荐)
    六:行键设置要合理。避免出现热点。

  2. 分区热点:当大量流量集中在集群中的一个或一小部分节点上时,就会发生分区热点。

  3. 诱因:不合理的行键设计导致分区热点。

  4. 解决分区热点的方案:
    一:行键加盐。HBase 中的加盐是指将一个随机数放在行键的开头,此操作随机为每个行键指定一个前缀,以使其排序与通常不同。
    二:行键哈希。哈希就是哈希函数。可用一个单向的哈希散列来取代随机指派前缀
    三:反转键。第三种预防分区热点的方法是反转一段固定长度或者可数的键。
    四:时间戳。根据存储数据的时间检索数据时,最好在行键中包含时间戳。

  5. 行键的特点:
    行键不可改:行键不能改变。唯一可以“改变”的方式删除然后再插入

  6. 支持的数据类型:
    Cell 支持的数据类型是字节数组。HBase 单元只保存字节数组。

  7. HBase 中还有一种更受支持的数据类型值得特别提及,那就是“计数器” 。

  8. 计数器上的同步是在 RegionServer 上完成的,而不是在客户端上。

  9. 联接:HBase 不支持联接(joins)

  10. 二级索引:二级索引是从主访问路径访问数据的一种正交方法。

  11. 约束:schema
    HBase 目前支持传统(SQL)数据库术语中的 “约束”。
    约束的建议用途是为表中的属性强制执行业务规则(例如,确保值在 1-10 范围内)。
    约束也可以用于强制引用完整性,但强烈不建议这样做,因为它会显著降低启用完整性检查的表的吸入吞吐量。

  12. 加载协处理器的三种方式:
    (1)静态加载(一把不推荐)
    (2)通过 shell 动态加载(推荐)
    (3)通过 API 动态加载(推荐)

上一篇:RabbitMQ-持久化

下一篇:Java笔记-内部类

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播,要解决的几个问题是:1&...
Windows10添加群晖磁盘... 在使用群晖NAS时,我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过...
protocol buffer... 目录 目录 什么是protocol buffer 1.protobuf 1.1安装  1.2使用...
在Word、WPS中插入AxM... 引言 我最近需要写一些文章,在排版时发现AxMath插入的公式竟然会导致行间距异常&#...
【PdgCntEditor】解... 一、问题背景 大部分的图书对应的PDF,目录中的页码并非PDF中直接索引的页码...
Fluent中创建监测点 1 概述某些仿真问题,需要创建监测点,用于获取空间定点的数据࿰...
educoder数据结构与算法...                                                   ...
MySQL下载和安装(Wind... 前言:刚换了一台电脑,里面所有东西都需要重新配置,习惯了所...
修复 爱普生 EPSON L4... L4151 L4153 L4156 L4158 L4163 L4165 L4166 L4168 L4...
MFC文件操作  MFC提供了一个文件操作的基类CFile,这个类提供了一个没有缓存的二进制格式的磁盘...