iso file download
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211134594.6 (22)申请日 2022.09.19 (71)申请人 上海浦东发展银行股份有限公司 地址 200001 上海市黄浦区中山 东一路12 号 (72)发明人 唐昕韵 周骏 曹瑾 党月文  王月姮  (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 谢曲曲 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/30(2020.01) G06F 40/284(2020.01) G06N 5/02(2006.01) (54)发明名称 文本数据的处理方法、 装置、 计算机设备、 存 储介质 (57)摘要 本申请涉及一种文本数据的处理方法、 装 置、 计算机设备、 存储介质和计算机程序产品。 所 述方法包括: 对目标领域下的待处理文本进行分 割处理, 得到多个待处理文本块; 将预设领域词 集中的专业词与每个所述待处理文本块进行匹 配, 确定每个所述待处理文本块中所述专业词出 现的次数, 所述专业词包括权重专业词和专业新 词, 所述权重专业词是根据所述目标领域下的样 本文本中样 本分词的权重确定的, 所述专业新词 是根据所述样本分词生成的; 响应于所述专业词 出现的次数满足预设条件的判断结果, 将所述待 处理文本块作为目标文本块; 根据所述目标文本 块生成所述目标领域的三元 组关系。 采用本方法 能够减少计算机的数据处理量, 从而提高三元组 关系的构建效率。 权利要求书2页 说明书11页 附图5页 CN 115481257 A 2022.12.16 CN 115481257 A 1.一种文本数据的处 理方法, 其特 征在于, 所述方法包括: 对目标领域下的待处 理文本进行分割处 理, 得到多个待处 理文本块; 将预设领域词集中的专业词与每个所述待处理文本块进行匹配, 确定每个所述待处理 文本块中所述专业词出现的次数, 所述专业词包括权重专业词和专业新词, 所述权重专业 词是根据所述目标领域下的样本文本中样本分词的权重确定的, 所述专 业新词是根据所述 样本分词生成的; 响应于所述专业词出现的次数满足预设条件的判断结果, 将所述待处理文本块作为目 标文本块; 根据所述目标文本块, 生成所述目标 领域的三元组关系。 2.根据权利要求1所述的方法, 其特征在于, 在所述响应于所述专业词出现的次数满足 预设条件的判断结果, 将所述待处 理文本块作为目标文本块之前, 还 包括: 获取每个所述待处 理文本块的文本 长度; 根据每个所述待处理文本块的所述文本长度和所述专业词出现的次数, 确定每个所述 待处理文本块中所述专业词出现的频率; 在所述频率大于预设阈值的情况下, 生成所述专业词出现的次数满足所述预设条件的 判断结果。 3.根据权利要求1所述的方法, 其特 征在于, 所述预设领域词集的生成方法包括: 对所述样本文本进行分词处 理, 得到所述样本文本中的多个所述样本分词; 响应于所述样本分词的权重满足第 一预设要求的判断结果, 将所述样本分词作为所述 权重专业词; 对多个所述样本分词进行组合得到多个样本新词, 从多个所述样本新词中确定出所述 专业新词; 利用所述权 重专业词和所述专业 新词, 生成所述预设领域词集。 4.根据权利要求3所述的方法, 其特征在于, 所述利用所述权重专业词和所述专业新 词, 生成所述预设领域词集, 包括: 根据所述权重专业词和所述专业新词的属性, 对所述权重专业词和所述专业新词 进行 过滤, 得到过 滤后的目标专业词; 利用所述目标专业词, 生成所述预设领域词集。 5.根据权利要求3所述的方法, 其特征在于, 在所述响应于所述样本分词的权重满足第 一预设要求的判断结果, 将所述样本分词作为所述权 重专业词之前, 还 包括: 获取每个所述样本分词在所述样本文本中的第一出现频率; 根据每个所述样本分词的第一出现频率, 确定每 个所述样本分词的权 重。 6.根据权利要求3所述的方法, 其特征在于, 所述对多个所述样本分词进行组合得到多 个样本新词, 从多个所述样本新词中确定出 所述专业 新词, 包括: 对每个所述样本分词进行分割处 理, 得到与每 个所述样本分词对应的分词碎片; 按照所述分词碎片的位置信 息, 对相邻的所述样本分词所对应的所述分词碎片进行组 合处理, 生成多个所述样本新词; 根据每个所述样本新词在所述样本文本 中的第二出现频率, 生成每个所述样本新词的 评价参数;权 利 要 求 书 1/2 页 2 CN 115481257 A 2响应于所述评价参数满足第 二预设要求的判断结果, 将所述样本新词作为所述专业新 词。 7.一种文本数据的处 理装置, 其特 征在于, 所述装置包括: 文本分割模块, 用于对目标领域下的待处理文本进行分割处理, 得到多个待处理文本 块; 次数确定模块, 用于将预设领域词集中的专业词与每个所述待处理文本块进行匹配, 确定每个所述待处理文本块中所述专业词出现的次数, 所述专 业词包括权重专 业词和专 业 新词, 所述权重专业词 是根据所述 目标领域下 的样本文本中样本分词的权重确定的, 所述 专业新词是根据所述样本分词生成的; 结果响应模块, 用于响应于所述专业词出现的次数满足预设条件的判断结果, 将所述 待处理文本块作为目标文本块; 关系生成模块, 用于根据所述目标文本块 生成所述目标 领域的三元组关系。 8.一种计算机设备, 包括存储器和处理器, 所述存储器存储有计算机程序, 其特征在 于, 所述处 理器执行所述计算机程序时实现权利要求1至 6中任一项所述的方法的步骤。 9.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机程序被 处理器执行时实现权利要求1至 6中任一项所述的方法的步骤。 10.一种计算机程序产品, 包括计算机程序, 其特征在于, 该计算机程序被处理器执行 时实现权利要求1至 6中任一项所述的方法的步骤。权 利 要 求 书 2/2 页 3 CN 115481257 A 3

PDF文档 专利 文本数据的处理方法、装置、计算机设备、存储介质

文档预览
中文文档 19 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共19页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 文本数据的处理方法、装置、计算机设备、存储介质 第 1 页 专利 文本数据的处理方法、装置、计算机设备、存储介质 第 2 页 专利 文本数据的处理方法、装置、计算机设备、存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-03-03 12:13:48上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。