南京邮电大学学报(自然科学版)

作者：张海峰,魏可欣

单位：中通服咨询设计研究院有限公司，江苏 南京　210019；南京大学 商学院，江苏 南京　210093苏州大学 政治与公共管理学院，江苏 苏州　215123

关键词：Spark SQL；大数据；查询首结果；首结果立即返回

Spark SQL在获取Spark核心的计算结果后，需要进行一些格式转化和数据拷贝才能正式输出，将造成内存中相同或近似相同的数据有多个拷贝，浪费了内存资源，也降低了性能，直接影响了用户响应和结果存储容量，并且这种影响会随着输出结果的增大而增大。为此，文中提出了基于Spark大数据处理平台的创新查询方法，以实现查询首结果立即输出，极大缩短客户响应时间。

来源：2021年第4期

《南京邮电大学学报(自然科学版)》期刊编辑部

查看南京邮电大学学报(自然科学版)杂志2021年第4期