(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211071426.7 (22)申请日 2022.09.02 (71)申请人 中国人民解 放军国防科技大 学 地址 410003 湖南省长 沙市开福区德雅路 109号 (72)发明人 陈洪辉　张鑫　蔡飞　江苗　 郑建明　宋城宇　邵太华　郭昱普　 王梦如　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 曾志鹏 (51)Int.Cl. G06F 16/33(2019.01) G06F 40/211(2020.01) G06F 40/30(2020.01)G06N 3/08(2006.01) (54)发明名称 用于小样本意图识别的完型填空式的数据 增强方法 (57)摘要 本申请中一个或多个实施例提供了一种用 于小样本意图识别的完型填空式的数据增强方 法， 内容包括： 基于预训练语言模型构建完型填 空式的数据增强任务用于意图识别， 先采用无监 督学习方法使得数据增强的结果在语义上与原 始输入句子相似， 然后再基于度量分类采用有监 督的对比学习方法， 使 得同一类别的意图样本在 嵌入空间中更接近彼此， 不同类别的意图样本更 远离彼此， 对比学习方法包括原型层面的对比学 习和实例层面的对比学习。 在不破坏句法结构和 增加噪音的情况下产生有意义的数据， 充分利用 了有限的数据并获得可分离的嵌入。 在嵌入空间 中获得更好的距离分布， 从而改善基于度量的分 类方法的性能。 权利要求书3页 说明书11页 附图1页 CN 115455144 A 2022.12.09 CN 115455144 A 1.用于小样本意图识别的完型填空式的数据增强方法， 其特征是， 包括： 基于预训练语 言模型构建完型填空式的数据增强任务用于意图识别， 先采用无监督学习方法使得数据增 强的结果在语义上与原始输入句子相似， 然后再基于度量分类采用 有监督的对比学习方 法， 使得同一类别的意图样 本在嵌入空间中更接近彼此， 不同类别的意图样 本更远离彼此， 对比学习方法包括原型层面的对比学习和实例层面的对比学习。 2.如权利要求1所述的用于小样本意图识别的完型填空式的数据增强方法， 其特征是， 所述无监督学习 方法包括： 以预训练语言模型作为特征提取器， 采用标记来掩盖设定比例 的输入词， 根据输入句 子的上下文的语义来预测这些被掩盖的标记； 特征提取器通过加入 两个特殊标记后， 将完型填空式的意图识别任务中的句 子编码为隐藏层向量表示， 两个特 殊标记分别表示完型填空式的意图识别任务中句子的开始和结束， 该过程通过以下公式表 示： 其中， F(·)为特征提取器， T为完型填空式模板， [MASK]为被掩盖的单词的标记， Pat (T,x)为数据增强模式， x 是输入句子， 表示隐藏层向量， [CLS]和[S EP]分别表 示开始 和结束； 将隐藏层向量 视为被掩盖的单词[MASK]的表示， 将 看作是根据模式Pat (T， x))生成的句子表示， 其在语义上与输入句子x是相似的， 所有输入样本上重复公式(1) 得到相应的数据增强结果。 3.如权利要求2所述的用于小样本意图识别的完型填空式的数据增强方法， 其特征是， 通过损失函数对预训练语言模型进行约束， 用于削弱与输入句 子的语义不匹配的向量， 最 终获得恰当的数据增强结果。 4.如权利要求3所述的用于小样本意图识别的完型填空式的数据增强方法， 其特征是， 在不引入任何外部知识和标签的情况下， 将输入句子x送入预训练语言模型中， 获得其低维 向量表示， 将其表述 为： 其中， 隐藏层向量 表示为整个句子x， 通过以下损失函数： 用于缩小 和 之间的距离 。 5.如权利要求4所述的用于小样本意图识别的完型填空式的数据增强方法， 其特征是， 完成无监督的完型填空式数据增强之后， 采用基于度量的原型网络作为分类器来检验数据 增强的效果。 6.如权利要求5所述的用于小样本意图识别的完型填空式的数据增强方法， 其特征是， 首先计算出同一类别下的样本的平均表示， 并以此作为该类别的原型：权　利　要　求　书 1/3 页 2 CN 115455144 A 2其中， ci表示类别i的原型表示， Ki表示在当前元任务T下的支持数据集 中类别i的样本 数量， 为类别i中第k个句子的表示； 通过这种原型表示， 同一类别的样本到其中心的 平均距离最短； 同样地， 基于 通过原型计算公式(4)， 得到增强的原型c ′i。 7.如权利要求6所述的用于小样本意图识别的完型填空式的数据增强方法， 其特征是， 为了使最 终的原型更全面地覆盖其类别的共同特征， 对输入样本的原型和数据增强的结果 原型进行了加权， 公式如下： 其中， α 是一个加权系数， 以控制来自原 始输入数据和 增强数据的相应贡献； 给定一个分数函数s( ·，·)， 原型网络通过计算查询嵌入向量和原型之间的相似度的 softmax分布来预测查询实例的标签 公式如下 所示： 其中， y是预测标签， 是当前元任务 的查询集 中的查询实例， j是真实标签， 表示 基于j类别的初始和增强数据的最终原型， 选择余弦相似度作为s( ·，·)； 学习通过最小化 负对数概 率： 来进行。 8.如权利要求1所述的用于小样本意图识别的完型填空式的数据增强方法， 其特征是， 为原型层面的对比学习引入基于对比学习的损失， 以便于尽可能的将不同类别的原型分 开， 并使得不同类别的平均表征相互远离， 通过以下公式表述： 其中， s(·，·)是与公式中相同的相似性度量函数， 因此， s(ci， ci)的值是一个常数1， 将公式(4)简化 为以下形式： 其中， e是一个常数， 为原型级的对比性损失。 9.如权利要求8所述的用于小样本意图识别的完型填空式的数据增强方法， 其特征是， 再基于原型层面的对比学习引入实例层面的对比学习， 以使得同一类别的实例相互接近， 通过以下公式表述：权　利　要　求　书 2/3 页 3 CN 115455144 A 3