详解MRS HBase全局二级索引

本文分享自华为云社区《MRS HBase全局二级索引原理与使用场景》，作者：学习一下大数据 。

一、HBase二级索引背景介绍

HBase是基于Key-Value的分布式存储数据库，对表中的数据按照rowkey的字典进行排序；当已知要查询的数据rowkey或其范围，可以快速查找到需要读取的数据；HBase提供Filter功能来查询具有特定列值的数据，当无法确定rowkey范围时，条件查询会劣化为全表查询，表数据量较大的场景下，查询容易超时，无法满足查询时延要求。

与结构化数据库（例如MySQL）相似，HBase二级索引就是为了提升此类条件查询场景性能：查询条件无法精确/模糊匹配rowkey（类似于DB主键），同时严格要求查询时延。

二、MRS HBase二级索引原理

用户可以将定义经常查询的列定义为索引列，通过冗余存储索引列数据以达到加速查询的效果，将时间不可控的全表条件查询转换为区间条件查询，从而做到查询低时延。

MRS提供两种HBase二级索引:本地索引（HIndex）和 全局索引（GSI）；两者的区别是：

• 索引数据存储方式：本地索引存储索引数据到用户表的一个单独的列族中，全局索引存储到一个索引表中（索引数据独立存储）。
• 写入流程：本地索引一次性写入用户数据和索引数据，全局索引需要先后写入索引表和数据表。
• 读取流程：本地索引需要读取所有region的索引+用户数据，全局索引读取索引表（覆盖查询列场景下，不经过数据表）或索引表+数据表。

MRS 3.x版本提供了HBase全局索引能力，相较于本地索引，具有的优势有：

• 索引数据独立存储，解耦用户数据，稳定性更优。
• 索引查询链路优化，支持覆盖列（支持全覆盖），可以将经常查询的非索引列冗余存储到索引表，避免从原表获取数据，同时减少了查询过程中内部的RPC操作，在大规模数据场景下，查询性能更优。

此外，全局索引还提供以下工具，用于索引的维护：

• 索引创建/删除/状态修改工具
• 索引数据批量构建工具
• 索引数据一致性校验工具

三、MRS HBase全局二级索引使用场景

全局二级索引适用于以下场景：

• 经常使用固定条件（非rowkey）查询
• 查询时延有严格要求
• 用户表的数据量较大(region数量较多)
• 读多写少，对写入时延无严格要求（为保障索引数据一致性，全局索引采用分阶段式写入的方式，写入时延会有一定上升）

全局二级索引同时需要考虑，预留足够存储空间给索引表，索引数量/覆盖列/索引列越多，需要的空间越大，极限场景（全覆盖）下，与数据表大小相当。

四、MRS HBase全局二级索引设计与实战

基于HBase全局二级索引查询时，并非所有查询都能命中索引进行加速（HBase全局二级索引的使用规范详见用户手册），想要利用好索引功能，必须根据查询条件设计好索引。

以下实例展示了城市地点人流量统计功能实现，包括索引设计、查询条件等。

数据表定义

create 'city','cf',{SPLITS=>['0','1','2','3','4','5']}

rowkey定义：数据id（随机数字id，用于离散数据）

索引定义

索引名：idx_vn_time

索引字段：cf:visitors_nums+cf:time

覆盖列：全覆盖

该索引用于筛选人流量较大的地区信息

数据表查询对比

预置数据：10MB，预分区11个region，HBase集群节点3个

查询条件1：查询人流量大于9000的地区信息

scan 'city',{COLUMN=>'cf', FILTER=>"SingleColumnValueFilter('cf','visitors_nums',>=,'binary:9000')"}

禁用索引后再次查询

查询条件2：查询2021-01-10 0点-12点，人流量大于9000的地区信息

scan 'city',{COLUMN=>'cf', FILTER=>"SingleColumnValueFilter('cf','visitors_nums',>=,'binary:9000') AND SingleColumnValueFilter('cf','time',>=,'binary:1610208000000') AND SingleColumnValueFilter('cf','time',<,'binary:1610251200000')"}

禁用索引后再次查询

可以看到，命中索引时，查询效率提升十分明显，即使在小表上，也能获得数倍的性能提升。

注：命中索引后的查询结果按索引定义排序

点击关注，第一时间了解华为云新鲜技术~