(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211171098.8 (22)申请日 2022.09.23 (71)申请人 国网北京市电力公司 地址 100031 北京市西城区前门西大街 41 号 申请人 国家电网有限公司 (72)发明人 于亮　李海涛　刘志欣　陈海洋　 王峥　钟宏伟　苏姗姗　朱晓彤　 黄鹏　徐彦　姚丽洁　赵明　 胡晨同　徐宇擎　 (74)专利代理 机构 北京中巡通大知识产权代理 有限公司 1 1703 专利代理师 李晓晓 (51)Int.Cl. G06F 40/289(2020.01)G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种供电服务工单预警识别方法、 装置、 设 备及介质 (57)摘要 本发明属于工单识别技术领域， 具体公开一 种工单服务预警识别方法， 包括以下步骤： 获取 历史工单数据， 将历史工单数据输入 预训练模型 中进行模型训练， 得到第一训练模型； 对第一训 练模型进行特征提取， 得到若干工单特征， 对若 干工单特征进行特征融合， 得到预测模型； 获取 第一实时工单数据， 将第一实时工单数据输入预 测模型， 得到若干预警类型标签； 从若干预警类 型标签中提取预测结果， 并将预测结果保存到数 据库中； 根据预测结果对预测模型进行迭代， 得 到优化预测模 型替代预测模型； 获取第二实时工 单数据， 将第二实时工单数据输入优化预测模型 替代预测模 型输出预警结果。 本发 明充分利用多 种历史工单 数据， 提高了预警准确率。 权利要求书3页 说明书9页 附图2页 CN 115438665 A 2022.12.06 CN 115438665 A 1.一种供电服 务工单预警识别方法， 其特 征在于， 包括以下步骤： 获取历史工单数据， 将历史工单数据输入预训练模型中进行模型训练， 得到第一训练 模型； 对第一训练模型进行特征提取， 得到若干工单特征， 对若干工单特征进行特征融合， 得 到预测模型； 获取第一实时工单 数据， 将第一实时工单 数据输入预测模型， 得到若干预警类型 标签； 从若干预警类型 标签中提取 预测结果， 并将预测结果保存到数据库中； 根据预测结果对预测模型进行迭代， 得到优化预测模型替代预测模型； 获取第二实时工单数据， 将第 二实时工单数据输入优化预测模型替代预测模型输出预 警结果。 2.根据权利要求1中所述的一种供电服务工单预警识别方法， 其特征在于， 所述将历史 工单数据输入预训练模型中进行模型训练前， 对历史工单 数据进行 预处理； 所述历史工单 数据包括历史文本数据、 历史音频 数据和历史结构化数据； 所述预处理包括： 历史文本数据预处理、 历史音频数据预处理和历史结构化数据预处 理； 所述历史文本数据预处 理包括以下步骤： 对历史工单文本 中的信息进行归一化处理， 对不同类型的信 息使用不同的占位符进行 填充， 同时去除历史文本数据中头尾的空 白字符串， 对历史文本数据内的换行及空 白行进 行清除， 得到简化历史文本数据； 所述历史音频 数据预处 理包括以下步骤： 去除历史音频数据头尾的空白段， 移除对话中过长的空白内容， 得到简化历史音频数 据； 所述历史结构化数据预处 理包括以下步骤： 历史结构化数据中的工单流转 时间进行离散化处理， 按照预设时间的粒度进行分箱 处 理、 将历史结构化数据中的工单业务类型、 城乡类别、 用电类型转为one ‑hot表示， 得到简化 历史结构化数据。 3.根据权利要求1中所述的一种供电服务工单预警识别方法， 其特征在于， 所述历史工 单数据包括历史文本数据、 历史音频数据和历史结构化数据， 所述将历史工单数据输入预 训练模型中进行模型训练时， 若历史工单 数据为历史文本数据， 具体包括以下步骤： 通过电力领域专用词典对历史文本数据中的文本进行分词处 理； 根据BERT训练过程随机将文本中的部分 分词结果 替换为[MASK]标记； 将[MASK]标记作为输入进行掩码语言模型训练， 得到掌握电力领域通用语义知识的第 一文本训练模型； 所述将历史工单数据输入预训练模型中进行模型训练时， 若历史工单数据为历史音频 数据， 具体包括以下步骤： 将历史音频 数据输入wav2vec2.0模型， 对wav2vec2.0模型进行 预训练； 将历史音频 数据切分为第一预设范围时间的片段； 将第一预设范围时间的片段输入预训练的wav2vec2.0模型， 得到第一音频训练模型。 4.根据权利要求3 中所述的一种供电服务工单预警识别方法， 其特征在于， 所述历史工权　利　要　求　书 1/3 页 2 CN 115438665 A 2单数据还包括历史结构化数据， 所述特征提取包括： 对历史文本数据进 行特征提取、 对历史 音频数据进行 特征提取和对历史结构化数据进行 特征提取； 对历史文本数据进行特征提取： 将历史文本数据输入第一文本训练模型， 通过第一文 本训练模型中堆叠多层的Tr ansformer来捕捉历史文本数据的语义表示， 得到历史工单文 本特征； 对历史音频数据进行特征提取： 将历史音频数据输入第一音频训练模型， 通过第一音 频训练模型中的多层卷积神经网络处理历史音频数据， 以获得局部的音频表征， 然后通过 数个Transformer层对整个音频序列做进行的特 征融合， 得到历史音频 特征； 对历史结构化数据进行特征提取： 通过人工对历史结构化数据进行标注， 标注内容作 为历史结构化数据补充， 通过emb edding层将历史结构化数据补充和历史结构化数据转换 为高维特 征， 并通过全连接层对高维特 征进行交 互， 得到历史结构化特 征。 5.根据权利要求4中所述的一种供电服务工单预警识别方法， 其特征在于， 所述对若干 工单特征进行特征融合， 得到预测模型时， 具体包括以下步骤： 使用基于单流模型的融合方式， 将获得的历史工单文本特征、 历史音频特征和历史结 构化特征进行拼接； 通过多个Transformer层对拼接后的特 征进行特征融合； 对特征融合后的多个Transformer层输出结果进行聚合， 聚合时使用带温度系数的 softmax层对最终结果进行聚合预测， 得到初步预测模型； 通过交叉熵损失函数计算初步预测模型的损失； 根据初步预测模型的损失采用反向传播对初步预测模型的参数进行优化得到预测模 型。 6.根据权利要求1所述的一种供电服务工单预警识别方法， 其特征在于， 所述从若干预 警类型标签中提取 预测结果， 并将预测结果保存到数据库中时， 具体包括以下步骤： 从若干预警类型标签中提取概率最大的两个预警类型标签， 计算两个预警类型标签之 间的概率差值， 当概率差值超过预设值时输出概率最大 的预警类型标签作为预测结果； 否 则同时输出两个预警类型 标签作为预测结果， 并将预测模型的预测结果保存到数据库中。 7.根据权利要求1所述的一种供电服务工单预警识别方法， 其特征在于， 所述根据 预测 结果对预测模型进行迭代， 输出优化预测模型替代预测模型时， 具体包括以下步骤： 将数据库中的预测结果划分为训练集、 验证集和 测试集； 将训练集作为输入在预测模型上进行训练， 在训练过程中输出在验证集上效果最好轮 次对应的第一预测模型； 将第一预测模型在测试集上进行测试， 当第一预测模型效果优于预测模型时， 用第一 预测模型替换 预测模型。 8.一种供电服 务工单预警识别装置， 其特 征在于， 包括： 第一训练模型训练模块： 用于获取历史工单数据， 将历史工单数据输入预训练模型中 进行模型训练， 得到第一训练模型； 预测模块训练模块： 用于对第 一训练模型进行特征提取， 得到若干工单特征， 对若干工 单特征进行特征融合， 得到预测模型； 预警类型标签生成模块： 用于获取第一实时工单数据， 将第一实时工单数据输入预测权　利　要　求　书 2/3 页 3 CN 115438665 A 3