(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211044225.8 (22)申请日 2022.08.30 (65)同一申请的已公布的文献号 申请公布号 CN 115114439 A (43)申请公布日 2022.09.27 (73)专利权人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 韩磊　龚建　娄杰　尹何举　贾巍　 戴岱　刘凯　孙珂　刘捷　沈抖　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06F 16/35(2019.01)G06N 3/04(2006.01) G06F 40/279(2020.01) G06Q 50/26(2012.01) G10L 15/26(2006.01) G06V 30/10(2022.01) 审查员 杨莹莹 (54)发明名称 多任务模 型推理、 多任务信息处理的方法和 装置 (57)摘要 本公开提供了多任务模 型推理、 多任务信息 处理的方法和装置， 涉及人工智 能领域， 具体涉 及自然语言处理、 深度学习、 预训练模型技术， 可 应用在智慧城市、 智慧政务场景下。 具体实现方 案为： 获取至少两个任务的样本集。 将固定长度 字符输入前缀模型， 得该任务的适配向量； 将该 任务的适配向量和所选取的样本中的文本信息 输入预训练模型， 得到输出向量； 将输出向量输 入该任务对应的输出层， 得到预测结果； 根据预 测结果和所选取的样本中的标注信息的比较结 果确定损失值； 基于损失值调整前缀模型和输出 层的相关参数。 基于预训练模型、 每个任务的输 出层、 每个任务的适配向量获得多任务模型。 该 实施方式降低了预训练模型在多个任务上部署 推理服务的成本 。 权利要求书3页 说明书12页 附图9页 CN 115114439 B 2022.11.18 CN 115114439 B 1.一种多任务模型推理方法， 包括： 获取至少两个任务的样本集， 其中， 每个任务的样本集中的每个样本包括文本信息和 标注信息； 对于每个任务， 从该任务的样本集中选取样本， 执行如下训练步骤： 将固定长度字符输 入前缀模型， 得该任务的适配 向量， 其中， 前缀模型拼接到预训练模型； 将该任务的适配 向 量和所选取 的样本中的文本信息输入预训练模型， 得到输出向量； 将所述输出向量输入该 任务对应的输出层， 得到预测结果； 将所选取 的样本中的标注信息作为期望结果与所述预 测结果进 行比较， 确定出损失值； 当该任务对应的损失值大于预定阈值时， 重新选择样 本继 续执行上述训练步骤； 对于每个任务， 当该任务对应的损 失值小于等于所述预定阈值时， 存储该任务的适配 向量和该任务的输出层的相关参数； 基于所述预训练模型、 每 个任务的输出层、 每 个任务的适配向量获得多任务模型。 2.根据权利 要求1所述的方法， 其中， 分类任务的输出层包括全连接层和softmax函数， 输出向量包括分类向量， 分类任务的样本包括文本信息和类别的标注信息； 以及 所述将所述输出向量输入该任务对应的输出层， 得到预测结果， 包括： 将所述分类向量输入 全连接层， 得到全连接向量； 将所述全连接向量输入softmax函数， 得到预测类别的概 率。 3.根据权利 要求1所述的方法， 其中， 抽取任务的输出层包括softmax函数， 输出向量包 括至少一个字符向量， 抽取任务的样本包括文本信息、 问题、 答案的标注信息； 以及 所述将所述输出向量输入该任务对应的输出层， 得到预测结果， 包括： 将所述至少一个字符向量分别输入softmax函数， 得到每个字符向量是答案的起始位 置或结束位置的概 率。 4.根据权利要求1所述的方法， 其中， 所述前缀模型包括嵌入层和记 忆网络。 5.根据权利要求1所述的方法， 其中， 所述将该任务的适配向量和所选取的样本 中的文 本信息输入预训练模型， 得到 输出向量， 包括： 将该任务的适配向量分别与所述文本信息在所述预训练模型中每一层的输出结果相 乘， 在最后一层得到 输出向量。 6.根据权利要求1所述的方法， 其中， 所述方法还 包括： 当该任务对应的损失值大于预定 阈值时， 调整所述前缀模型的相关参数和该任务对应 的输出层的相关参数， 固定所述预训练模型的相关参数。 7.根据权利要求1所述的方法， 其中， 所述方法还 包括： 根据任务的数量设置适配向量的长度， 其中， 所述长度与所述任务的数量 正相关。 8.根据权利要求 4所述的方法， 其中， 所述记 忆网络采用双向长短期记 忆神经网络 。 9.一种多任务信息处 理方法， 包括： 响应于接收到待处理的数据， 获取根据权利要求1 ‑8中任一项所述的方法得到的多任 务模型， 其中， 所述多任务模型包括至少一个任务的适配向量、 输出层的参数和预训练模 型； 对于每个任务， 将该任务的适配向量和所述数据输入所述预训练模型， 得到输出向量； 根据该任务对应的输出层的参数配置输出层； 将所述输出向量输入配置完成的输出层， 得权　利　要　求　书 1/3 页 2 CN 115114439 B 2到该任务的处 理结果。 10.根据权利要求9所述的方法， 所述方法还 包括： 对于每个任务， 若该任务的处理结果为类别， 则获取所述类别对应的抽取任务的适配 向量； 对于每个类别的抽取任务， 将该抽取任务的适配向量和所述数据输入所述预训练模 型， 得到至少一个字符向量； 将所述至少一个字符向量分别输入softmax函数， 得到该抽取 任务的关键信息的起始位置和结束位置 。 11.一种多任务模型推理装置， 包括： 获取单元， 被配置成获取至少两个任务的样本集， 其中， 每个任务的样本集中的每个样 本包括文本信息和标注信息； 训练单元， 被配置成对于每个任务， 从该任务的样本集中选取样本， 执行如下训练步 骤： 将固定长度字符输入前缀模型， 得该任务的适配 向量， 其中， 前缀模型拼接到预训练模 型； 将该任务的适配向量和所选取的样本中的文本信息输入预训练模 型， 得到输出向量； 将 所述输出向量输入该任务对应的输出层， 得到预测结果； 将所选取 的样本中的标注信息作 为期望结果与所述预测结果进行比较， 确定出损失值； 当该任务对应的损失值大于预定阈 值时， 重新选择样本继续执 行上述训练步骤； 存储单元， 被配置成对于每个任务， 当该任务对应的损失值小于等于所述预定阈值时， 存储该任务的适配向量和该任务的输出层的相关参数； 输出单元， 被配置成基于所述预训练模型、 每个任务的输出层、 每个任务的适配向量获 得多任务模型。 12.根据权利要求11所述的装置， 其中， 分类任务的输出层包括全连接层和softmax函 数， 输出向量包括分类向量， 分类任务的样本包括文本信息和类别的标注信息； 以及 所述训练单 元进一步被配置成： 将所述分类向量输入 全连接层， 得到全连接向量； 将所述全连接向量输入softmax函数， 得到预测类别的概 率。 13.根据权利 要求11所述的装置， 其中， 抽取任务的输出层包括softmax函数， 输出向量 包括至少一个字符向量， 抽取任务的样本包括文本信息、 问题、 答案的标注信息； 以及 所述训练单 元进一步被配置成： 将所述至少一个字符向量分别输入softmax函数， 得到每个字符向量是答案的起始位 置或结束位置的概 率。 14.根据权利要求1 1所述的装置， 其中， 所述前缀模型包括嵌入层和记 忆网络。 15.根据权利要求1 1所述的装置， 其中， 所述训练单 元进一步被配置成： 将该任务的适配向量分别与所述文本信息在所述预训练模型中每一层的输出结果相 乘， 在最后一层得到 输出向量。 16.根据权利要求1 1所述的装置， 其中， 所述训练单 元进一步被配置成： 当该任务对应的损失值大于预定 阈值时， 调整所述前缀模型的相关参数和该任务对应 的输出层的相关参数， 固定所述预训练模型的相关参数。 17.根据权利要求1 1所述的装置， 其中， 所述训练单 元进一步被配置成： 根据任务的数量设置适配向量的长度， 其中， 所述长度与所述任务的数量 正相关。权　利　要　求　书 2/3 页 3 CN 115114439 B 3