1.问题
系统的并发比较高,时间久了随之而来的海量数据存储的问题就会日益矛盾,所以,这篇文章来聊一聊海量数据存储与查询的问题。
2.设计方案
注意:如果流水数据量过大,建议流水数据的HBase和Es都单独再部署一套。实践中发现,Hbase有写入瓶颈,我们内存块中如果设置了100M刷新一次,持久化到磁盘,每刷新一次就会生成一个小文件,实际上不到100M就刷新了。结果造成小文件太多,合并不过来。
标签:存储,并发,查询,---,毫秒,流水,刷新,数据 From: https://www.cnblogs.com/hujunwei/p/18602405注意:这个分页,受ES分页限制,不能实现跳转至多少页。另外,建议大家在设计的时候,必须再加上时间范围必选的查询条件。