南京邮电大学学报(自然科学版)

作者：张雷,李亚文,王晓军

单位：南京邮电大学 物联网学院，江苏 南京 210003南京邮电大学 物联网学院，江苏 南京 210003南京邮电大学 物联网学院，江苏 南京 210003

关键词：工业边缘网络；缓存替换策略；集成强化学习；深度Q网络

基金：国家自然科学基金（61971235,52105553）资助项目

工业应用中，动态多变的流式数据特性使强化学习算法在训练过程中很难在模型收敛性与知识遗忘之间实现很好的平衡。考虑工业现场内容请求与当前生产任务具有高度相关性，提出一种基于集成深度Q网络算法（Integrated Deep Q-Network， IDQN）的自适应缓存策略。算法在离线阶段利用不同历史任务数据，训练并保存多个历史任务模型。在线阶段每当检测到实时数据流的任务特征发生变化，则重新训练网络模型。如果实时数据流的特征隶属于历史任务，则向深度Q网络（Deep Q-Network, DQN）导入相应的历史任务模型进行网络训练。否则直接利用实时数据流训练并标记为新的任务模型。仿真实验结果表明，IDQN与参考算法相比，在内容请求流行度动态变化时能够有效减少模型收敛时间，提高缓存效率。

来源：2024年第06期

《南京邮电大学学报(自然科学版)》期刊编辑部

查看南京邮电大学学报(自然科学版)杂志2024年第06期