南京邮电大学学报(自然科学版)

作者：郭永安,周金粮,王宇翱

单位：南京邮电大学 通信与信息工程学院，江苏 南京 210003；教育部泛在网络健康服务系统工程研究中心，江苏 南京 210003；南京邮电大学 边缘智能研究院，江苏 南京 210003南京邮电大学 通信与信息工程学院，江苏 南京 210003；教育部泛在网络健康服务系统工程研究中心，江苏 南京 210003；南京邮电大学 边缘智能研究院，江苏 南京 210003南京邮电大学 通信与信息工程学院，江苏 南京 210003；教育部泛在网络健康服务系统工程研究中心，江苏 南京 210003；南京邮电大学 边缘智能研究院，江苏 南京 210003

关键词：协同CNN推理；分步决策；低时延；计算资源利用率

基金：江苏省前沿引领技术基础研究专项（BK20202001）和江苏省重点研发计划（社会发展）（BE2020721）资助项目

基于卷积神经网络（CNN）的移动应用程序通常处理的是计算密集型任务，然而传统的云推理和端推理方式在低时延和高准确率方面仍面临着挑战。针对以上问题，提出了一种基于边端协同的CNN推理框架，它能让一个端设备和多个边缘服务器协同工作以提供CNN推理服务。该方法综合考虑高度动态的网络带宽和设备负载情况，分步决策出模型多个最佳分割位置以优化计算和通信权衡。基于硬件测试平台的实验评估表明，相较于3种流行的CNN推理方法，该方法实现了14.3%~67.5%的推理加速，提升边缘服务器的计算资源利用率100%。

来源：2023年第03期

《南京邮电大学学报(自然科学版)》期刊编辑部

查看南京邮电大学学报(自然科学版)杂志2023年第03期