一、成果简介
湖南工商大学大学人工智能与先进计算学院徐雪松教授，在期刊《Applied Energy》（影响因子：10.8）上发表了题为“Collaborative Optimization of Multi-energy Multi-microgrid System A Hierarchical Trust-Region Multi-agent Reinforcement Learning Approach”的文章，该研究工作围绕微电网的优化调度展开。微电网是一种由分布式电源等组成的小型发配电系统，能够促进分布式可再生能源的大规模并网，并实现多种负荷能源形式的高可靠供给（如图1所示）。
图1 多能源多微电网系统示意图
针对异构微电网组成的多能源多微电网系统（Multi-energy Multi-microgrids System, MEMMG）在能源管理协同优化中的挑战，本文提出了一种基于分层多智能体深度强化学习的协同优化模型。模型采用层次化结构设计，有效解耦多微网间协同策略与各微网内部优化任务。针对区间协同层和区内消纳层的结构差异，分别设计了基于信任域和热启动机制的多智能体探索方法，以及适用于灵活场景的低成本再训练机制。案例研究表明，该模型在训练阶段的收敛轮次减少约2700轮，收敛稳定性提升了一个数量级；测试阶段经济成本和碳排放量分别优化降低1.43%和3.09%。此外，模型的优化策略可灵活适应MEMMG结构的动态变化，充分展现了方法的有效性与先进性。
图2 分层多智能体马尔可夫决策过程框架示意图
二、研究亮点
具体而言：本文提出一种新颖的MEMMG能源管理优化框架，包括所提出的分层多智能体马尔可夫决策过程（如图2所示）和多智能体强化学习方法（如图3所示）。本文的主要工作及创新点如下：
（1）针对MEMMG系统中因多微网频繁状态切换导致的控制状态空间维度过高问题，提出了一种分层多智能体马尔可夫决策过程框架。该框架通过解耦区间协同任务与区内优化控制任务，将原问题划分为两层任务；并通过模糊化的交互协同控制信息建立层级映射链接。该方法有效降低了微网状态频繁切换带来的优化控制复杂性，提升了微电网系统在复杂现实场景中的适用性。
（2）针对区间协同任务，本文引入中心化训练-分布式执行（CTED）框架训练神经网络模型，以获取综合能源多微网的协同控制信息。该框架通过设计协同偏执机制，模糊处理微网间的协同控制信息，以实现降低MEMMG灵活结构下的计算负荷。同时，框架具备低成本的再训练机制，通过离线利用累计的在线交互数据更新智能体参数，降低微网状态频繁切换对智能体再训练的算力需求和经济成本。
图3 分层多代理深度强化学习的MEMMG协同优化模型示意图
（3）针对区内就近消纳任务，为提升智能体训练的收敛速度和测试优化效果，本文提出了一种基于多智能体动作价值信息（Multi-Agents Q-Function, MAQ）的探索机制。MAQ用于决策优势分解（Multi-Agent Advantage Decomposition, MAAD），确保智能体动作方向实现联合策略的单调改进。结合Kullback-Leibler散度（KL散度）设计惩罚项划分置信域（Trust Region, TR），通过小步幅更新保证稳健、高效的智能体更新，避免因策略联动导致的系统优化收敛性问题。此外，引入热经验池（Hot Experience Pool, HEP）优化训练初期，降低噪声导致的智能体探索不稳定性和低效率问题。TR与HEP具有互补性：TR通过步长控制提高收敛稳定性和效率，HEP则在最优解附近展开小概率事件的探索，确保训练稳定的同时增强动作探索潜力。
三、完成人简介
徐雪松，第一作者，湖南工商大学人工智能与先进计算学院（湘江书院）教授，研究兴趣为能源互联网、强化学习；
施光泽，湖南工商大学人工智能与先进计算学院（湘江书院）学院副教授，研究兴趣为韧性微网、强化学习；
徐凯，湖南工商大学人工智能与先进计算学院（湘江书院）硕士研究生，研究兴趣为韧性微网，智慧能源系统
链接地址：
https://www.sciencedirect.com/science/article/pii/S0306261924011267