(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211178562.6 (22)申请日 2022.09.27 (71)申请人 深圳先进技 术研究院 地址 518055 广东省深圳市南 山区西丽大 学城学苑大道1068号 (72)发明人 杨之乐　吴承科　郭媛君　刘祥飞　 冯伟　 (74)专利代理 机构 深圳市科进知识产权代理事 务所(普通 合伙) 44316 专利代理师 刘建伟 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/30(2020.01) G06F 16/36(2019.01) G06N 3/08(2006.01)G06N 5/04(2006.01) G06Q 40/00(2012.01) (54)发明名称 基于序列对抗和先验推理的电子保函自动 生成方法及装置 (57)摘要 本发明涉及一种基于序列对抗和先验推理 的电子保函自动生成方法及装置。 该方法及装置 首先将获取到的初始训练数据， 输入至保函生成 模型中的生成器G； 之后生成器G通过其自注意力 编码器接收初始训练数据中的整句输入文本， 输 出编码器隐向量， 隐向量再输入至生成器G内的 解码器； 最后解码器在解码阶段中， 根据每次输 入的一个字词就预测下一个字词， 最终输出为一 句完整的用于电子保函部分的语句。 本发明基于 序列对抗生成 网络和知 识图谱中的先验知识， 通 过学习电子自然语言书写的电子保函文本内容 的形式、 风格、 结构， 实现给定特定保险种类的自 动保函生成， 节约保险管理人员时间成本 。 权利要求书2页 说明书7页 附图3页 CN 115481630 A 2022.12.16 CN 115481630 A 1.一种基于序列对抗和先验推理的电子保函自动生成方法， 其特征在于， 包括以下步 骤： S101:将获取到的初始训练数据， 输入至保函 生成模型中的生成器G； S102:生成器G通过其自注意力编码器接收初始训练数据中的整句输入文本， 输出编码 器隐向量， 隐向量再输入至生成器G内的解码器； S103:解码器在解码阶段中， 根据每次输入的一个字词就预测下一个字词， 最终输出为 一句完整的用于电子保函部分的语句。 2.根据权利要求1所述的基于序列对抗和先验推理的电子保函自动生成方法， 其特征 在于， 在步骤S10 3之后， 所述方法还 包括： S104:生成器G将输出结果输入至保函生成模型中的判别器D， 对保函生成模型进行训 练。 3.根据权利要求2所述的基于序列对抗和先验推理的电子保函自动生成方法， 其特征 在于， 步骤S104具体包括： 判别器D采用EMLo模型， EMLo模型接收生成器G产生的序列化文本， 输出维度和现有主 题词类型相同的向量， 通过Softmax计算每类主题 概率， 选择最高概率的主题类型与实际主 题类型标签对比， 通过交叉熵损失反向传播方法同时更新判别器D和生成器G， 对保函生成 模型进行训练。 4.根据权利要求3所述的基于序列对抗和先验推理的电子保函自动生成方法， 其特征 在于， 判别器D计算损失函数时增加 一惩罚项， 表示待判别的句子是否包括先验高频词， 如 果包括， 再判断是否按顺序出现， 根据其顺序差异做出惩罚， 对不符合经验规则的生成句子 施加更高的损失。 5.根据权利要求1所述的基于序列对抗和先验推理的电子保函自动生成方法， 其特征 在于， 生成器G使用ALBERT模 型， 输入为文本句子与其主题类型标签； ALBERT模 型被配置为： 经典NLP模 型BERT的轻量级优化版本， 其通过对输入矩阵进 行线性解耦， 把原始BERT模 型的 输入矩阵拆分为两个小矩阵的乘积的方式减小模型参数 数量。 6.根据权利要求5所述的基于序列对抗和先验推理的电子保函自动生成方法， 其特征 在于， 步骤S102具体包括： 生成器G首先使用预训练词向量将文本句子 中的字词根据分词结果转换为语义数值向 量， 然后输入至ALBERT模型， 通过其自注意力编码器接收整句输入文本， 输出编码器隐向 量， 隐向量再输入至其 解码器。 7.根据权利要求1所述的基于序列对抗和先验推理的电子保函自动生成方法， 其特征 在于， 在步骤S101之前， 所述方法还 包括： S100： 按建设项目安全风险管理经验， 梳理当前建设工程电子保函的主题类型； 采集不 同主题类型的已有电子保函文件， 提取电子保函文件的文本并使用开源中文自然语言处理 工具进行 预处理， 按文本所属主题类别进行 标注， 作为初始训练数据。 8.一种基于序列对抗和先验推理的电子保函自动生成装置， 其特 征在于， 包括： 数据输入单 元， 用于将获取到的初始训练数据， 输入至保函 生成模型中的生成器G； 数据接收单元， 用于生成器G通过其自注意力编码器接收初始训练数据中的整句输入 文本， 输出编码器隐向量， 隐向量再输入至生成器G内的解码器；权　利　要　求　书 1/2 页 2 CN 115481630 A 2解码单元， 用于解码器在解码阶段中， 根据每次输入的一个字词就预测下一个字词， 最 终输出为 一句完整的用于电子保函部分的语句。 9.根据权利要求8所述的基于序列对抗和先验推理的电子保函自动生成装置， 其特征 在于， 所述装置还 包括： 训练单元， 用于生成器G将输出结果输入至保函生成模型中的判别器D， 对保函生成模 型进行训练。 10.根据权利要求8所述的基于序列对抗和先验推理 的电子保函自动 生成装置， 其特征 在于， 所述装置还 包括： 数据获取单元， 用于按建设项目安全风险管理经验， 梳理当前建设工程电子保函的主 题类型； 采集不同主题类型 的已有电子保函文件， 提取电子保函文件的文本并使用开源中 文自然语言处 理工具进行 预处理， 按文本所属主题类别进行 标注， 作为初始训练数据。权　利　要　求　书 2/2 页 3 CN 115481630 A 3