(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211141305.5 (22)申请日 2022.09.20 (65)同一申请的已公布的文献号 申请公布号 CN 115221886 A (43)申请公布日 2022.10.21 (73)专利权人 中科雨辰科技有限公司 地址 100093 北京市海淀区清琴麓 苑170号 楼2层 (72)发明人 刘羽　杨波　秦克良　谭方亮　 (74)专利代理 机构 北京锺维联合知识产权代理 有限公司 1 1579 专利代理师 安娜 (51)Int.Cl. G06F 40/295(2020.01) G06F 16/35(2019.01)G06F 40/30(2020.01) G06K 9/62(2022.01) 审查员 卢洁 (54)发明名称 一种未标注文本库处 理方法及 介质 (57)摘要 本申请涉及电数字数据处理技术领域， 特别 是涉及一种未标注文本库处理方法及介质， 方法 包括以下步骤： 获取enci={enci,1， enci,2，…， enci,k，…， enci,Qi}； 获取clusteri={clusteri,1， clusteri,2，…， clusteri,a，…， clusteri,Pi}； 获 取Encod={Encod1， Encod2，…， Encodb，…， EncodB}； 遍历clusteri和Encod， 获取Simi,a； 如 果maxi,a≥Sim0， 则判定Enti,a为maxi,a对应的实 体类型。 本发 明提高了对未标注文本库中各实体 的实体类型判断的准确性。 权利要求书2页 说明书4页 附图1页 CN 115221886 B 2022.11.25 CN 115221886 B 1.一种未 标注文本库处 理方法， 其特 征在于， 包括以下步骤： S100， 获取enci={enci,1， enci,2，…， enci,k，…， enci,Qi}， 其中， enci,k为entityi,k的编码 向量， entityi,k为未标注文本库中第k个与entityi匹配的实体， k的取值范围为1到Qi， Qi为 未标注文本库中与entityi匹配的实体的总数量， entityi为实体库中第i个与未标注 文本库 匹配的实体， i的取值范围为1到N， N 为实体库中与未 标注文本库匹配的实体的总数量； S200， 获取clusteri={clusteri,1， clusteri,2，…， clusteri,a，…， clusteri,Pi}， 其中， cluster i,a为对enci进行聚类后得到的第a个编码向量簇， a的取值范围为1到Pi， Pi为对 enci进行聚类后得到的簇的总数量； S300， 获取Encod={Encod1， Encod2，…， Encodb，…， EncodB}， 其中， Encodb为实体库中第b 个实体类型的编码向量， b的取值范围为1到B， B为实体库中包括的实体 类型的总数量； S400， 遍历clusteri和Encod， 获取Simi,a={Simi,a,1， Simi,a,2， ...， Simi,a,b， ...， Simi,a,B}， 其中， Simi,a,b为meani,a与Encodb的相似度， meani,a为clusteri,a中编码向量的平 均； S500， 遍历clusteri， 如果maxi,a≥Sim0， 则判定Enti,a为maxi,a对应的实体类型， maxi,a为 Simi,a中相似度的最大值， S im0为预设相似度阈值， Enti,a为clusteri,a中编码向量对应的实 体的集合。 2.根据权利要求1所述的方法， 其特 征在于， S3 00中， 获取Encodb包括： S310， 获取Entb={Entb,1， Entb,2，…， Entb,x，…， Entb,Qb}， 其中， Entb,x为实体库中实体类 型为第b个实体类型的第x个实体， x的取值范围为1到Qb， Qb为实体库中实体类型为实体库 中第b个实体 类型的实体的总数量； S320， 遍历Entb， 如果Entb,x与未标注文本库匹配， 则将Entb,x追加到Jb={Jb,1， Jb,2，…， Jb,y，…， Jb,Zb}， Jb,y为第y个追加到Jb的实体， y的取值范围为1到Zb， Zb为追加到Jb的实体的 总数量， Jb的初始化 为Null； S330， 遍历Jb， 获取Mb,y， Mb,y为Jb,y在未标注文本库中的编码向量的平均； S340， 获取Encodb=(∑Zb y=1 Mb,y)/Zb。 3.根据权利要求1所述的方法， 其特征在于， 步骤S100中， 利用BERT预训练模型的编码 器获取enci,k。 4.根据权利要求3所述的方法， 其特 征在于， 步骤S10 0中， 获取 enci,k包括： S110， 利用BERT预训练模型 的编码器对texti,k进行编码， 获取entityi,k对应的初始编 码向量， texti,k为未标注文本库中entityi,k所在的文本； S120， 对entityi,k对应的初始编码向量进行池化操作， 得到enci,k。 5.根据权利要 求1所述的方法， 其特征在于， 步骤S2 00中， 利用无监督聚类算法对enci进 行聚类。 6.根据权利要求5所述的方法， 其特 征在于， 所述无监 督聚类算法为Dbscan 算法。 7.根据权利要求1所述的方法， 其特征在于， 步骤S400中， 利用余弦相似度算法获取 Simi,a,b。 8.根据权利要求1所述的方法， 其特 征在于， 步骤S5 00中， Sim0≥0.6。 9.根据权利要求1所述的方法， 其特征在于， 步骤S500中， 如果maxi,a＜Sim0， 则判定 Enti,a不为实体库中包括的实体 类型。权　利　要　求　书 1/2 页 2 CN 115221886 B 210.一种非瞬时性计算机可读存储介质， 所述存储介质中存储有至少一条指令或至少 一段程序， 其特征在于， 所述至少一条指令或所述至少一段程序由处理器加载并执行以实 现如权利要求1 ‑9中任意一项的所述方法。权　利　要　求　书 2/2 页 3 CN 115221886 B 3