南京邮电大学学报(自然科学版)

作者：季一木,张宁,尧海昌,李奎,李航,刘尚东,王汝传

单位：南京邮电大学 计算机学院，江苏南京210023南京邮电大学 江苏省无线传感网高技术研究重点实验室，江苏南京210023南京邮电大学 高性能计算与大数据处理研究所，江苏南京210023南京邮电大学 高性能计算与智能处理工程研究中心，江苏南京210023南京邮电大学 计算机学院，江苏南京210023南京邮电大学 计算机学院，江苏南京210023南京邮电大学 计算机学院，江苏南京210023南京邮电大学 计算机学院，江苏南京210023南京邮电大学 计算机学院，江苏南京210023南京邮电大学 江苏省无线传感网高技术研究重点实验室，江苏南京210023南京邮电大学 高性能计算与大数据处理研究所，江苏南京210023南京邮电大学 高性能计算与智能处理工程研究中心，江苏南京210023南京邮电大学 计算机学院，江苏南京210023南京邮电大学 江苏省无线传感网高技术研究重点实验室，江苏南京210023南京邮电大学 高性能计算与大数据处理研究所，江苏南京210023南京邮电大学 高性能计算与智能处理工程研究中心，江苏南京210023

关键词：HBase；查询处理；分层式索引；分布式存储

基金：国家重点研发计划专项(2017YFB1401300,2017YFB1401302)、国家自然科学基金（61572260，61872196）、江苏省重点研发计划(BE2017166) 和江苏省自然科学基金优秀青年基金(BK20170100)资助项目

大数据时代，数据快速增长，迫切需要寻找有效的数据存储方案，HBase系统具有分布式、列式存储的特点，为大数据的存储管理提供了一种高效的解决方案。由于HBase只支持主键索引，对于非主键查询效率低下，难以满足实时需求。为此，提出一种分层式索引查询模型，该模型基于HBase建立持久性索引层，基于Redis建立分布式热点索引缓存层。前者为存储在HBase中的数据建立索引表，提高查询效率，后者基于Redis在内存中存储热点索引，降低磁盘访问开销，进一步提高查询效率。最终，依据此模型实现了分层式索引查询系统HOS，基于Imagenet图片数据集对HOS进行实验，实验结果表明，HOS数据查询性能优于标准HBase。

来源：2019年第5期

《南京邮电大学学报(自然科学版)》期刊编辑部

查看南京邮电大学学报(自然科学版)杂志2019年第5期