2022年 03期

摘要(Abstract)：

为了满足综合能源微网运行优化及能量管理的需求，提出基于双延迟深度确定性策略梯度算法的综合能源微网运行优化方法；基于标准化矩阵建模理论，构建一个含冷、热、电供应的综合能源微网数学模型；考虑到综合能源微网中天然气、主电网供电等相关约束和电力价格的变化，提出以运行成本最小化为目标的双延迟深度确定性策略梯度算法，对各种能源设备的出力情况作出决策，形成合理的能源分配管理方案。仿真结果表明，所提出方法的性能优于非线性算法、深度Q网络算法和深度确定性策略梯度算法，在确保运行成本最小化的同时计算耗时较短。

关键词(KeyWords)：综合能源微网;运行优化;双延迟深度确定性策略梯度;强化学习

基金项目(Foundation): 国家自然科学基金项目(62076160,51806135)

作者(Author):谢启跃,应雨龙

DOI: 10.13349/j.cnki.jdxbn.20220106.001

参考文献(References)：

[1] JIN X L,MU Y F,JIA H J,et al.Optimal day-ahead scheduling of integrated urban energy systems[J].Applied Energy,2016,180:1-13.

[2] 林威，靳小龙，穆云飞，等.区域综合能源系统多目标最优混合潮流算法[J].中国电机工程学报，2017,37(20):5829-5839.

[3] 徐航，董树锋，何仲潇，等.考虑能量梯级利用的工厂综合能源系统多能协同优化[J].电力系统自动化，2018,42(14):123-130.

[4] 宋晨辉，冯健，杨东升，等.考虑系统耦合性的综合能源协同优化[J].电力系统自动化，2018,42(10):38-45,86.

[5] 丛昊，王旭，蒋传文，等.基于联盟博弈的综合能源系统优化运行方法[J].电力系统自动化，2018,42(14):14-22.

[6] 刘威，张东霞，王新迎，等.基于深度强化学习的电网紧急控制策略研究[J].中国电机工程学报，2018,38(1):109-119.

[7] KIM M S,HAN D K,PARK J H,et al.Motion planning of robot manipulators for a smoother path using a twin delayed deep deterministic policy gradient with hindsight experience replay[J].Applied Sciences,2020,10(2):575.

[8] LIN X B,LIU J,YU Y,et al.Event-triggered reinforcement learning control for the quadrotor UAV with actuator saturation[J].Neurocomputing,2020,415:135-145.

[9] WEGENER M,KOCH L,EISENBARTH M,et al.Automated eco-driving in urban scenarios using deep reinforcement learning[J].Transportaton Research:Part C:Emerging Technologies,2021,126:102967.

[10] 李嘉文，余涛，张孝顺，等.基于改进深度确定性梯度算法的AGC发电功率指令分配方法[J].中国电机工程学报，2021,41(21):7198-7211.

[11] ZHOU J H,XUE S W,XUE Y,et al.A novel energy management strategy of hybrid electric vehicle via an improved TD3 deep reinforcement learning[J].Energy,2021,224:120118.

[12] 桂雄威，李琦芬，杨涌文，等.能源集线器控制体模型及其生长型场景模拟分析[J].热力发电，2020,49(6):90-96.

[13] HAN X F,HE H W,WU J D,et al.Energy management based on reinforcement learning with double deep Q-learning for a hybrid electric tracked vehicle[J].Applied Energy,2019,254:113708.

[14] WANG Y,ZHANG N,KANG C Q,et al.Standardized matrix modeling of multiple energy systems[J].IEEE Transactions on Smart Grid,2019,10(1):257-270.

[15] CHICCO G,MANCARELLA P.Matrix modelling of small-scale trigeneration systems and application to operational optimization[J].Energy,2009,34(3):261-273.

[16] MNIH V,KAVUKCUOGLU K,SILVER D,et al.Human-level control through deep reinforcement learning[J].Nature,2015,518:529-533.