这篇文章主要介绍两种测试hbase的工具和部分参数
wrk压力测试工具
WRK压力测试工具，这种方式可以测试前端的接口一起测试
但是瓶颈也是前端的java接口，没有办法知道hbase真正的水平
-t, --threads <N> 使用多少个线程进行压测
-c, --connections <N> 跟服务器建立并保持的TCP连接数量
-d, --duration <T> 压测时间
-s, --script <S> 指定Lua脚本路径
./wrk -t16 -c500 -d 300s --latency -s data.lua url
loginmap = {}
counter = 0
function init(args)
for line in io.lines("./idlist.csv") do
loginmap[counter] = line
counter = counter + 1
end
counter = 0
end
request = function()
counter = counter+1
if( counter > 0 )
then
data = '{"gaid":"%s"}'
parms = loginmap[counter-1]
wrk.method = "POST"
wrk.headers["Content-Type"] = "application/json"
wrk.headers["X-Authorization"] = "Authorization"
wrk.body = string.format(data,tostring(parms))
print(wrk.format())
return wrk.format()
end
end
hbase pe
hbase预分区语句
create 'student','info',SPLITS =>
['00000000000000000050000000','00000000000000000100000000','00000000000000000150000000',
'00000000000000000200000000','00000000000000000250000000','00000000000000000300000000',
'00000000000000000350000000','00000000000000000400000000','00000000000000000450000000',
'00000000000000000500000000','00000000000000000550000000','00000000000000000600000000',
'00000000000000000650000000','00000000000000000700000000','00000000000000000750000000',
'00000000000000000800000000','00000000000000000850000000','00000000000000000900000000',
'00000000000000000950000000','00000000000000001000000000']
scan 'student',{LIMIT=>10}
hbase pe使用
只能测试工具自己的格式的数据，暂时没有办法自定义类型，测试还是有点欠缺的
把每一列的数据长度设置长一点，看看后面读数据效率
hbase pe --table=student --nomapred --oneCon=true --valueSize=1000
--compress=NONE --rows=500000000 --presplit=20 sequentialWrite 20
hbase pe --table=student --nomapred --oneCon=true --valueSize=1000 --size=1 randomRead 20
--table #表名
--nomapred #不使用MapReduce测试，而是用多线程的方式
--oneCon #是否开启多线程测试
--valueSize #写入hbase value大小，默认为1024 Byte
--compress #压缩方式
--rows #每个线程，各种写多少行数据，
--autoFlush #是否开启自动实时flush
--presplit #表的region个数
--size #总大小,单位GiB。与-- rows 互斥。默认值：1.0。
--sequential random 顺序随机读写 Read Write 读写
--最后的20代表了20个线程
size使用这个的时候数据不是顺序增长的，进行压测的时候会请求在region上分布不均匀
所以后来使用的时候还是改成了 rows