iso file download
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211124530.8 (22)申请日 2022.09.15 (71)申请人 语联网 (武汉) 信息技 术有限公司 地址 430206 湖北省武汉市江夏区武汉东 湖高新技术开发区高新大道999号未 来城龙山创新园一期B2 楼 (72)发明人 蔡洁  (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 刘雯 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/284(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 语句边界识别方法、 语句边界识别装置及电 子设备 (57)摘要 本发明提供一种语句边界识别方法、 语句边 界识别装置及电子设备, 该方法包括: 基于训练 完成的BERT模型, 对输入的目标文本进行向量转 换, 得到所述目标文本对应的目标词向量, 所述 目标词向量基于所述目标文本中无法确定语句 边界的目标分句符号确定; 对所述目标词向量进 行分类标注, 确定所述目标文本中每个 分词的标 注状态, 所述标注状态包括用于指示语句边界的 状态类型。 本发明提供的语句边界识别方法、 语 句边界识别装置及电子设备, 可以快速识别出目 标文本中可能存在的语句边界, 实现对语句边界 的准确预测。 权利要求书2页 说明书8页 附图2页 CN 115392245 A 2022.11.25 CN 115392245 A 1.一种语句边界识别方法, 其特 征在于, 包括: 基于训练完成的BERT模型, 对输入的目标文本进行向量转换, 得到所述目标文本对应 的目标词向量, 所述目标词向量基于所述目标文本中无法确定语句边界的目标分句符号确 定; 对所述目标词向量进行分类标注, 确定所述目标文本中每个分词的标注状态, 所述标 注状态包括用于指示语句边界的状态类型。 2.根据权利要求1所述的语句边界识别方法, 其特征在于, 所述对输入的目标文本进行 向量转换, 得到所述目标文本对应的目标词向量, 包括: 对所述目标文本进行向量 转换, 得到所述每 个分词对应的初始词向量; 在目标分词存在所述目标分句符号的情况下, 将所述目标分词对应的初始词向量与第 一预设权 重的第一词向量进行叠加, 所述第一词向量用于指示具有分割语义的词向量。 3.根据权利要求2所述的语句边界识别方法, 其特征在于, 在所述对所述目标文本进行 向量转换, 得到所述每 个分词对应的初始词向量之后, 还 包括: 在所述目标分词不存在所述目标分句符号的情况下, 将所述初始词向量与第 二预设权 重的第一词向量进行叠加, 所述第二预设权 重大于所述第一预设权 重。 4.根据权利 要求1‑3任一项所述的语句边界识别方法, 其特征在于, 所述BERT模型通过 如下方式训练: 获取样本数据, 所述样本数据包括噪声数据, 所述噪声数据基于将样本数据中用于确 定语句边界的部分 分句符号调整为所述目标分句符号后得到的; 对所述样本数据进行 标注, 得到标注后的样本数据; 基于所述标注后的样本数据, 训练所述BERT模型。 5.根据权利要求4所述的语句边界识别方法, 其特征在于, 在所述对所述样本数据进行 标注, 得到标注后的样本数据之后, 还 包括: 对所述噪声数据进行向量 转换, 得到所述噪声数据对应的初始词向量; 基于所述噪声数据中的目标分句符号, 确定所述噪声数据对应的第一词向量; 基于所述噪声数据对应的初始词向量和所述噪声数据对应的第 一词向量, 得到所述噪 声数据对应的目标词向量, 所述噪声数据对应的目标词向量用于训练所述BERT模型。 6.一种语句边界识别装置, 其特 征在于, 包括: 转换模块, 用于基于训练完成的BERT模型, 对输入的目标文本进行向量转换, 得到所述 目标文本对应的目标词向量, 所述目标词向量基于所述目标文本中无法确定语句边界的目 标分句符号确定; 分类模块, 用于对所述目标词向量进行分类标注, 确定所述目标文本中每个分词的标 注状态, 所述标注状态包括用于指示语句边界的状态类型。 7.根据权利要求6所述的语句边界识别装置, 其特 征在于, 所述 转换模块, 还用于: 对所述目标文本进行向量 转换, 得到所述每 个分词对应的初始词向量; 在目标分词存在所述目标分句符号的情况下, 将所述目标分词对应的初始词向量与第 一预设权 重的第一词向量进行叠加, 所述第一词向量用于指示具有分割语义的词向量。 8.一种电子设备, 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序, 其特征在于, 所述处理器执行所述程序时实现如权利要求1至6任一项所权 利 要 求 书 1/2 页 2 CN 115392245 A 2述语句边界识别方法。 9.一种非暂态计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述语句边界识别方法。 10.一种计算机程序产品, 包括计算机程序, 其特征在于, 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述语句边界识别方法。权 利 要 求 书 2/2 页 3 CN 115392245 A 3

PDF文档 专利 语句边界识别方法、语句边界识别装置及电子设备

文档预览
中文文档 13 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 语句边界识别方法、语句边界识别装置及电子设备 第 1 页 专利 语句边界识别方法、语句边界识别装置及电子设备 第 2 页 专利 语句边界识别方法、语句边界识别装置及电子设备 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-03-03 12:13:50上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。