(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211021117.9 (22)申请日 2022.08.24 (71)申请人 河北省讯飞人工智能研究院 地址 065001 河北省廊坊市经济技 术开发 区1号路10 6号新亚研发大厦6 08-609 申请人 科大讯飞股份有限公司 　 科大讯飞 （北京） 有限公司 (72)发明人 薛思远　王宝鑫　伍大勇　王士进　 (74)专利代理 机构 北京布瑞知识产权代理有限 公司 11505 专利代理师 王海臣 (51)Int.Cl. G06F 40/216(2020.01) G06F 40/284(2020.01) G06F 40/154(2020.01)G06F 16/31(2019.01) G06F 16/33(2019.01) G06F 16/35(2019.01) (54)发明名称 新词发现方法和装置、 计算机设备、 存储介 质 (57)摘要 本申请提供了一种新词发现方法和装置、 计 算机设备、 存储介质， 解决了现有技术中新词发 现过程数据查找速度较慢的问题。 其中， 新词发 现方法包括： 采用树形存储结构 对获取到的多个 n元词语进行存储， 多个n元词语是对预定文本序 列进行n‑gram词频统计得到的， n值取 从1开始的 多个连续自然数， 每个n元词语携带有词频和上 下文信息， 上下文信息包括至少一个相邻一元词 语和至少一个相邻一元词语各自与n元词语的位 置关系， 树形存储结构的n级节点存储n元词语， 同一路径中n+1级节点存储的n+1元词语取决于n 级节点存储的n元词语的上下文信息； 基于树形 存储结构确定多个n元词语中的候选词； 基于词 性对候选词进行过滤， 得到新词。 权利要求书2页 说明书9页 附图4页 CN 115374768 A 2022.11.22 CN 115374768 A 1.一种新词发现方法， 其特 征在于， 包括： 采用树形存储结构对获取到的多个n元词语进行存储， 所述多个n元词语是对预定文本 序列进行n‑gram词频统计得到的， n值取从1开始的多个连续自然数， 每个n元词语携带有词 频和上下文信息， 所述上下文信息包括至少一个相邻一元词语和所述至少一个相 邻一元词 语各自与所述n元词语的位置 关系， 所述树形存储 结构的n级节点存储n元词语， 同一路径中 n+1级节点存 储的n+1元词语取决于n级节点存 储的n元词语的上 下文信息； 基于所述 树形存储结构确定所述多个n元词语中的候选词； 基于词性对所述 候选词进行 过滤， 得到新词。 2.根据权利要求1所述的新词发现方法， 其特征在于， 所述多个n元词语包括多个一元 词语和多个二元词语； 所述采用树形存 储结构对获取到的多个n元词语进行存 储包括： 将所述多个一元词语分别存 入多个一级节点； 针对每个一级节点， 基于所述一级节点存储的一元词语及其携带的所述上下文信 息确 定至少一个二元词语； 将所述至少一个二元词语分别存 入所述一级节点对应的至少一个二级节点。 3.根据权利要求2所述的新词发现方法， 其特征在于， 在所述将所述多个一元词语分别 存入多个一级节点之后， 还 包括： 针对每个一级节点， 将所述一级节点存储的一元词语的至少一个相邻一元词语分别存 入至少一个二级节点； 所述将所述至少一个二元词语分别存 入所述一级节点对应的至少一个二级节点包括： 将所述至少一个二元词语分别存 入各自所包 含的所述相邻一元词语所在的二级节点。 4.根据权利 要求1‑3中任一项所述的新词发现方法， 其特征在于， 同一路径中， 所述n+1 级节点存储的n+1元词语由n级节点存储的n元词语和所述n元词语的相 邻一元词语构成； 所 述基于所述 树形存储结构确定所述多个n元词语中的候选词包括： 针对所述树形存储结构的每条路径， 基于n级节点和n+1级节点确定所述n+1级节点存 储的n+1元词语的凝聚度； 基于n+1级节点确定所述 n+1元词语的自由度； 当所述凝聚度 大于第一阈值， 所述自由度大于第二阈值 时， 确定所述n+1元词语为所述 候选词。 5.根据权利要求4所述的新词发现方法， 其特征在于， 所述基于n级节点和n+1级节点确 定所述n+1级节点存 储的n+1元词语的凝聚度包括： 基于所述n级节点存储的n元词语的词频、 所述相邻一元词语的词频， 以及n+1级节点存 储的n+1元词语的词频确定所述凝聚度。 6.根据权利 要求4所述的新词发现方法， 其特征在于， 所述基于n+1级节点确定所述n+1 元词语的自由度包括： 基于n+1级节点存储的n+1元词语携带的上下文信息确定至少一个左邻词语和至少一 个右邻词语； 基于所述至少一个左 邻词语各自的词频确定第一信息熵； 基于所述至少一个右邻词语各自的词频确定第二信息熵； 确定所述第一信息熵和所述第二信息熵中的较大值 为所述自由度。权　利　要　求　书 1/2 页 2 CN 115374768 A 27.根据权利要求1 ‑3中任一项所述的新词发现方法， 其特征在于， 所述对所述候选词进 行过滤， 得到新词包括： 基于所述 候选词中的至少一个n元词语的词性对所述 候选词进行 过滤， 得到所述 新词。 8.根据权利要求7所述的新词发现方法， 其特征在于， 所述基于所述候选词中的至少一 个n元词语的词性对所述 候选词进行 过滤， 得到所述 新词包括： 当所述候选词的首位一元词语和末位一元词语中的至少一者的词性为名词时， 确定所 述候选词为所述 新词。 9.根据权利要求1 ‑3中任一项所述的新词发现方法， 其特征在于， 在所述采用树形存储 结构对获取到的多个n元词语进行存 储之前， 还 包括： 将获取到的多个n元词语中词频 大于词频阈值的n元词语的词频替换为所述词频阈值。 10.一种新词发现装置， 其特 征在于， 包括： 存储模块， 配置为采用树形存储结构对获取到的多个n元词语进行存储， 所述多个n元 词语是对预定文本序列进行n ‑gram词频统计得到的， n值取从1开始的多个连续自然数， 每 个n元词语携带有词频、 词性和上下文信息， 所述上下文信息包括至少一个相 邻一元词语和 所述至少一个相邻一元词语各自与所述n元词语的位置 关系， 所述树形存储结构的n级节 点 存储n元词语， 同一路径中n+1级节点存储的n+1元词语取决于n级节点存储的n元词语的上 下文信息； 确定模块， 配置为基于所述 树形存储结构确定所述多个n元词语中的候选词； 过滤模块， 配置为对所述 候选词进行 过滤， 得到新词。 11.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器上被所述处理器执行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至9中任 一项所述 新词发现方法的步骤。 12.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1至9中任一项所述 新词发现方法的步骤。权　利　要　求　书 2/2 页 3 CN 115374768 A 3