iso file download
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211124530.8 (22)申请日 2022.09.15 (71)申请人 语联网 (武汉) 信息技 术有限公司 地址 430206 湖北省武汉市江夏区武汉东 湖高新技术开发区高新大道999号未 来城龙山创新园一期B2 楼 (72)发明人 蔡洁 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 刘雯 (51)Int.Cl. G06F 40/289(2020.01) G06F 40/284(2020.01) G06F 40/30(2020.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 语句边界识别方法、 语句边界识别装置及电 子设备 (57)摘要 本发明提供一种语句边界识别方法、 语句边 界识别装置及电子设备, 该方法包括: 基于训练 完成的BERT模型, 对输入的目标文本进行向量转 换, 得到所述目标文本对应的目标词向量, 所述 目标词向量基于所述目标文本中无法确定语句 边界的目标分句符号确定; 对所述目标词向量进 行分类标注, 确定所述目标文本中每个 分词的标 注状态, 所述标注状态包括用于指示语句边界的 状态类型。 本发明提供的语句边界识别方法、 语 句边界识别装置及电子设备, 可以快速识别出目 标文本中可能存在的语句边界, 实现对语句边界 的准确预测。 权利要求书2页 说明书8页 附图2页 CN 115392245 A 2022.11.25 CN 115392245 A 1.一种语句边界识别方法, 其特 征在于, 包括: 基于训练完成的BERT模型, 对输入的目标文本进行向量转换, 得到所述目标文本对应 的目标词向量, 所述目标词向量基于所述目标文本中无法确定语句边界的目标分句符号确 定; 对所述目标词向量进行分类标注, 确定所述目标文本中每个分词的标注状态, 所述标 注状态包括用于指示语句边界的状态类型。 2.根据权利要求1所述的语句边界识别方法, 其特征在于, 所述对输入的目标文本进行 向量转换, 得到所述目标文本对应的目标词向量, 包括: 对所述目标文本进行向量 转换, 得到所述每 个分词对应的初始词向量; 在目标分词存在所述目标分句符号的情况下, 将所述目标分词对应的初始词向量与第 一预设权 重的第一词向量进行叠加, 所述第一词向量用于指示具有分割语义的词向量。 3.根据权利要求2所述的语句边界识别方法, 其特征在于, 在所述对所述目标文本进行 向量转换, 得到所述每 个分词对应的初始词向量之后, 还 包括: 在所述目标分词不存在所述目标分句符号的情况下, 将所述初始词向量与第 二预设权 重的第一词向量进行叠加, 所述第二预设权 重大于所述第一预设权 重。 4.根据权利 要求1‑3任一项所述的语句边界识别方法, 其特征在于, 所述BERT模型通过 如下方式训练: 获取样本数据, 所述样本数据包括噪声数据, 所述噪声数据基于将样本数据中用于确 定语句边界的部分 分句符号调整为所述目标分句符号后得到的; 对所述样本数据进行 标注, 得到标注后的样本数据; 基于所述标注后的样本数据, 训练所述BERT模型。 5.根据权利要求4所述的语句边界识别方法, 其特征在于, 在所述对所述样本数据进行 标注, 得到标注后的样本数据之后, 还 包括: 对所述噪声数据进行向量 转换, 得到所述噪声数据对应的初始词向量; 基于所述噪声数据中的目标分句符号, 确定所述噪声数据对应的第一词向量; 基于所述噪声数据对应的初始词向量和所述噪声数据对应的第 一词向量, 得到所述噪 声数据对应的目标词向量, 所述噪声数据对应的目标词向量用于训练所述BERT模型。 6.一种语句边界识别装置, 其特 征在于, 包括: 转换模块, 用于基于训练完成的BERT模型, 对输入的目标文本进行向量转换, 得到所述 目标文本对应的目标词向量, 所述目标词向量基于所述目标文本中无法确定语句边界的目 标分句符号确定; 分类模块, 用于对所述目标词向量进行分类标注, 确定所述目标文本中每个分词的标 注状态, 所述标注状态包括用于指示语句边界的状态类型。 7.根据权利要求6所述的语句边界识别装置, 其特 征在于, 所述 转换模块, 还用于: 对所述目标文本进行向量 转换, 得到所述每 个分词对应的初始词向量; 在目标分词存在所述目标分句符号的情况下, 将所述目标分词对应的初始词向量与第 一预设权 重的第一词向量进行叠加, 所述第一词向量用于指示具有分割语义的词向量。 8.一种电子设备, 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序, 其特征在于, 所述处理器执行所述程序时实现如权利要求1至6任一项所权 利 要 求 书 1/2 页 2 CN 115392245 A 2述语句边界识别方法。 9.一种非暂态计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述语句边界识别方法。 10.一种计算机程序产品, 包括计算机程序, 其特征在于, 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述语句边界识别方法。权 利 要 求 书 2/2 页 3 CN 115392245 A 3
专利 语句边界识别方法、语句边界识别装置及电子设备
文档预览
中文文档
13 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助3元下载(无需注册)
温馨提示:本文档共13页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助3元下载
本文档由 SC 于
2024-03-03 12:13:50
上传分享
举报
下载
原文档
(512.9 KB)
分享
友情链接
GB-T 36717-2018 节能评估技术导则 尿素项目.pdf
GB-T 16746-2018 锌合金铸件.pdf
CSA 企业网络安全合规框架体系.pdf
GB-T 18488.2-2015 电动汽车用驱动电机系统 第2部分:试验方法.pdf
法律法规 计算机信息网络国际联网安全保护管理办法2011-01-08.pdf
安华金和 基于数据安全治理.pdf
DB33-T 310016—2023 工业园区挥发性有机物传感器法网格化监测技术规范 浙江省.pdf
GB-T 29767-2013 信息安全技术 公钥基础设施 桥CA体系证书分级规范.pdf
GB-T 43541-2023 智能制造 网络协同制造 业务架构与信息模型.pdf
T-CSBZ 007—2017 石材防水背胶.pdf
思度安全-DSMM-017 数据销毁安全管理规范V1.0.pdf
GB-T 28455-2012 信息安全技术 引入可信第三方的实体鉴别及接入架构规范.pdf
GB-T 38664.2-2020 信息技术 大数据 政务数据开放共享 第2部分:基本要求.pdf
SY-T 7657.4-2021 天然气 利用光声光谱-红外光谱-燃料电池联合法测定组成 第4部分:燃料电池法测定氢含量.pdf
GB-T 36958-2018 信息安全技术 网络安全等级保护安全管理中心技术要求.pdf
T-CCSAS 026—2023 化工企业操作规程管理规范.pdf
GB-T 25706-2010 矿山机械产品型号编制方法.pdf
ISO 24613-6 2024 Language resource management Lexical markup framework (LMF) Part 6 Syntax and semantics.pdf
GB-T 42447-2023 信息安全技术 电信领域数据安全指南.pdf
DB32-T 3702-2019 江苏省日照分析技术规程 江苏省.pdf
1
/
13
评价文档
赞助3元 点击下载(512.9 KB)
回到顶部
×
微信扫码支付
3
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。