(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211106987.6 (22)申请日 2022.09.13 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 董欣　王一茗　徐智伟　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 潘红 (51)Int.Cl. G05B 13/04(2006.01) G06N 20/00(2019.01) (54)发明名称 基于多智能体强化学习的城市排水系统控 制方法和装置 (57)摘要 本发明提供了一种基于多智能体强化学习 的城市排水系统控制方法和装置， 其中， 该方法 包括： 对城市排水系统进行概化处理， 创建虚拟 数字对象的城市排水系统虚拟模 型； 根据城市排 水系统的水量水质变化过程、 关键节 点流量和液 位为控制目标， 构建基于神经网络的城市排水系 统代理模型； 构建由当前网络和目标网络组成的 单个智能体， 采用价值分解方法识别智能体间的 联动关系， 并构建多智 能体； 多智能体经过训练 后， 对城市排水系统的控制策略进行评估和验证 处理。 通过本发 明实施例提供的基于多智能体强 化学习的城市排水系统控制方法和装置， 实现了 对实际排水系统控制 效率和控制 效果的同时提 升。 权利要求书2页 说明书15页 附图4页 CN 115185190 A 2022.10.14 CN 115185190 A 1.一种基于多智能体强化学习的城市排水系统控制方法， 其特 征在于， 包括： 对城市排水系统进行概 化处理， 创建虚拟数字对象的城市排水系统虚拟模型； 根据所述城市排水系统的水量水质变化过程、 关键节点流量和液位为控制目标， 构建 基于神经网络的城市排水系统代理模型； 构建由当前网络和目标网络组成的单个智能体， 采用价值分解方法识别所述智能体间 的联动关系， 并构建多智能体； 所述多智能体经 过训练后， 对所述城市排水系统的控制策略进行评估和验证处 理。 2.根据权利要求1所述的方法， 其特 征在于， 还 包括： 构建用于存放系统调控过程中积累的调控经验的专家经验池， 所述专家经验池的经验 格式包括当前系统状态、 动作、 奖励、 下一时刻系统状态的四元组。 3.根据权利要求1或2所述的方法， 其特征在于， 所述采用价值分解方法识别所述智能 体间的联动关系的步骤 包括： 根据上游泵站、 同级 泵站、 下游泵站的控制目标确定所述智能体的奖励函数； 所述控制目标包括漫溢风险、 运行能耗和泵站启停频繁度。 4.根据权利要求1或2所述的方法， 其特征在于， 所述城市排水系统的控制目标包括环 境性能的评估、 经济性能的评估和安全性能的评估： 所述环境性能的评估通过所述城市排水系统中各控制单元中出水口泵站集水井的液 位对该区域的漫溢风险进行评估； 所述经济性能的评估通过所述城市排水系统中各控制单元中出水口泵站的运行状态 对该区域的能耗进行评估； 所述安全性能的评估通过所述城市排水系统中各控制单元中出水口泵站的水泵启停 频繁程度对该区域的安全性能进行评估。 5.一种基于多智能体强化学习的城市排水系统控制装置， 其特 征在于， 包括： 虚拟模型创建模块， 用于对城市排水系统进行概化处理， 创建虚拟数字对象的城市排 水系统虚拟模型； 代理模型创造模块， 用于根据所述城市排水系统的水量水质变化过程、 关键节点流量 和液位为控制目标， 构建基于神经网络的城市排水系统代理模型； 智能体构建模块， 用于构建由当前网络和目标网络组成的单个智能体， 采用价值分解 方法识别所述智能体间的联动关系， 并构建多智能体； 评估验证模块， 用于所述多智能体经过训练后， 对所述城市排水系统的控制策略进行 评估和验证处 理。 6.根据权利要求5所述的装置， 其特 征在于， 还 包括： 经验池构建模块， 用于构建用于存放系统调控过程中积累的调控经验的专家经验池， 所述专家经验池的经验格式包括当前系统状态、 动作、 奖励、 下一时刻系统状态的四元组。 7.根据权利要求5或6所述的装置， 其特 征在于， 所述智能体构建模块包括： 函数确定子模块， 用于根据 上游泵站、 同级泵站、 下游泵站的控制目标确定所述智能体 的奖励函数； 所述控制目标包括漫溢风险、 运行能耗和泵站启停频繁度。 8.根据权利要求5或6所述的装置， 其特征在于， 所述城市排水系统的控制目标包括环权　利　要　求　书 1/2 页 2 CN 115185190 A 2境性能的评估、 经济性能的评估和安全性能的评估： 所述环境性能的评估通过所述城市排水系统中各控制单元中出水口泵站集水井的液 位对该区域的漫溢风险进行评估； 所述经济性能的评估通过所述城市排水系统中各控制单元中出水口泵站的运行状态 对该区域的能耗进行评估； 所述安全性能的评估通过所述城市排水系统中各控制单元中出水口泵站的水泵启停 频繁程度对该区域的安全性能进行评估。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现如权利要求1至4中任一项所述的基于多智能体强化学习的城市排水系 统控制方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115185190 A 3