(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211039047.X (22)申请日 2022.08.29 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 詹鹏　王雄　任婧　徐世中　 (74)专利代理 机构 成都行之智 信知识产权代理 有限公司 5125 6 专利代理师 温利平 (51)Int.Cl. H04L 41/0677(2022.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 一种基于端到端业务性能指标的智能网络 故障定位方法 (57)摘要 本发明公开了一种基于端到端业务性能指 标的智能网络故障定位方法， 在现有故障(异常) 定位的基础上， 对状态及更新进行了设计， 依据 每个业务流的时延以及每条链路的检测状态构 建作为端到端业务性能指标向量作为强化学习 的状态， 这样除了有端到端业务时延之外， 还有 表征每条链路检测状态的维度， 可以更加准确地 描述每次检测之后状态的变化， 取得更好的决策 效果。 同时， 本发明还对 奖励进行了设计， 在定位 到所有故障的时候， 给 予一个与检测次数相关的 奖励， 即进行检测的次数越小， 奖励就会越大。 这 种做法可以更好地使智能决策模块中智能体(决 策神经网络)训练收敛， 达到以最少的检测次数 定位到所有故障的效果。 权利要求书2页 说明书8页 附图3页 CN 115473797 A 2022.12.13 CN 115473797 A 1.一种基于端到端业务性能指标的智能网络故障定位方法， 其特征在于， 包括以下步 骤： (1)、 构建端到端业 务性能指标向量作为强化学习的初始状态s0 若网络能实现时钟同步技术获取到端到端业务的单向时延时， 采用有向图的构建方 式： 将每个业务流 发送端到接收端的时延 以及接收端返回到发送端的时延 作为端到 端业务性能指标向量的元素， 同时， 将加上n个三位二进制数， n为有向链路数， 用以表征每 条链路的检测状态， 其中， 第一位为 1表示未检测， 为0表 示已检测， 第二位为 1表示检测为 故 障， 为0表示未检测/检测为正常， 第三位为1表 示检测为正常， 为0表 示未检测/检测为故障， 初始状态时， n个三位二进制数均为[1  0 0]， 这样构建出一个2d+3n长度的端到端业务性能 指标向量并作为强化学习的初始状态s0， d为业务流数量， j＝1,2, …,d； 若网络只 能获取到端到端业务的往返时延时， 采用无向图的构建方式： 将每个业务流 端到端的往返时延Aj作为端到端业务性能指标向量的元素， 同时， 将加上n个三位二进制 数， n为链路数， 用以表征每条链路 的检测状态， 其中， 第一位为1表示未检测， 为0表示已检 测， 第二位为1表示检测为故障， 为0表示未检测 /检测为正常， 第三位为1表示检测为正常， 为0表示未检测/检测为故障， 初始状态时， n个三位二进制数均为[1  0 0]， 这样构建出一个 d+3n长度的端到端业 务性能指标向量并作为强化学习的初始状态s0； 初始化状 检测次数t＝0； (2)、 发送动作at到环境， 检测并给予奖励 将从网络即环境中获取的状态st输入智能决策模块中智能体， 输出动作at即需要检测 的链路为第i条， 并且每次所需要检测的链路不会与之前的重复， 然后智能体将决策即动作 at发送至环境即将第i条链路两端路由器的INT功能打开检测其是否发生故障， 并根据 检测 结果给予奖励rt： a)、 决策动作正确， 即检测的链路为故障： i.已经定位所有故障链路： rt＝E‑t*B， B>0， E>n*B； ii.未定位所有故障链路： rt＝C， C>0； b)、 决策动作错 误， 检测的链路为 正常： rt＝‑D， D>0； 其中， 已经定位所有故障链路是指所有用户反馈时延低于正常时延阈值， 未定位所有 故障链路是指存在用户反馈时延高于正常时延阈值， E、 B、 C、 D为常数项， 根据具体实施网络 进行确定； (3)、 更新状态st为状态st+1 a)、 决策动作正确， 即检测的链路为故障： 将状态st中第i条链路对应的三位二进制数修改为[0  1 0]， 将所有 流经第i条链路的业 务流的时延设置为 正常链路时延； b)、 决策动作错 误， 检测的链路为 正常： 将状态st中第i条链路对应的三 位二进制数修改为[0  0 1]； 通过更新状态st得到状态st+1； (4)、 构建训练数据 构建一条训练数据<st,at,rt,st+1>， 并放入经验回放池， t＝t+1， 返回步骤(2)， 直到已权　利　要　求　书 1/2 页 2 CN 115473797 A 2经定位所有故障链路； (5)、 训练智能体 用经验回放池的训练数据对智能决策模块中智能体进行训练， 训练好的智能决策模块 中智能体用于故障定位； (6)、 故障定位 当需要进行新的故障定位时， 用训练好的智能决策模块中智能体， 进行步骤(1)， 并每 次令t＝t+1， 重复步骤(2)、 (3)， 直到 定位所有故障链路。权　利　要　求　书 2/2 页 3 CN 115473797 A 3