(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211222796.6 (22)申请日 2022.10.08 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 申请人 哈尔滨工业大 学 （深圳） (72)发明人 潘浩杰　张裕舟　梅立军　李月雷　 付瑞吉　刘铭　秦兵　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 孙宝海 (51)Int.Cl. G06N 5/02(2006.01) G06F 16/35(2019.01) G06F 40/216(2020.01)G06F 40/289(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 知识抽取方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供一种知识抽取方法、 装置、 电子 设备及存储介质。 该方法包括： 获取待处理视频 和所述待处理视频的文本信息； 从所述待处理视 频及所述文本信息中抽取多个候选知识文本； 获 取所述待处理视频的视频特征和各个候选知识 文本的文本特征； 通过第一模型确定所述视频特 征和各个文本特征之间的相似度， 并根据所述相 似度， 从所述多个候选知识文本中确定多个目标 候选知识文本； 通过第二模型确定各个目标候选 知识文本和所述待处理视频的视频内容之间的 匹配程度， 并根据所述匹配程度， 从所述多个目 标候选知识文本中确定目标知识文本。 该方法提 高了视频和知识文本的匹配效率和召回率， 同时 提高了视频和知识文本匹配的准确性。 权利要求书3页 说明书17页 附图5页 CN 115526318 A 2022.12.27 CN 115526318 A 1.一种知识抽取 方法， 其特 征在于， 包括： 获取待处 理视频和所述待处 理视频的文本信息； 从所述待处 理视频及所述文本信息中抽取多个候选知识文本； 获取所述待处 理视频的视频 特征和各个候选知识文本的文本特 征； 通过第一模型确定所述视频特征和各个文本特征之间的相似度， 并根据所述相似度， 从所述多个候选知识文本中确定多个目标候选知识文本； 通过第二模型确定各个目标候选知识文本和所述待处理视频的视频内容之间的匹配 程度， 并根据所述匹配程度， 从所述多个目标候选知识文本中确定目标知识文本 。 2.根据权利要求1所述的方法， 其特 征在于， 获取 所述待处 理视频的视频 特征， 包括： 对所述待处理视频中的各个视频帧进行编码处理， 获得所述待处理视频的各个视频帧 的视频帧特 征； 对所述待处 理视频的文本信息进行编码处 理， 获得所述待处 理视频的视频文本特 征； 将所述各个视频帧的视频帧特征和所述视频文本特征， 确定为所述待处理视频的视频 特征。 3.根据权利要求1所述的方法， 其特征在于， 所述候选知识文本包括候选词条及所述候 选词条的候选知识点； 获取各个候选知识文本的文本特 征， 包括： 针对每个候选知识文本， 对所述候选知识文本的候选词条及所述候选词条的知识点进 行拼接处 理， 得到拼接后的知识文本； 对所述拼接后的知识文本进行编码处 理， 得到所述 候选知识文本的文本特 征。 4.根据权利要求1所述的方法， 其特 征在于， 所述第一模型通过 下述方式训练得到： 获取第一训练样本， 其中所述第一训练样本包括多个第一训练视频文本组， 所述第一 训练视频文本组中的训练视频和训练知识文本相对应； 通过所述第 一训练视频文本组对第 一初始模型进行训练， 输出所述第 一训练视频文本 组中的训练视频和训练知识文本之间的第一相似度； 若所述第一相似度小于或等于第一预设值， 则调整所述第一初始模型的模型参数， 并 通过所述第一训练视频文本组对调整后的第一初始模型再次进行训练， 直至调整后的第一 初始模型输出的第一相似度大于所述第一预设值， 根据调整后的第一初始模型的模型参数 确定所述第一模型。 5.根据权利要求1所述的方法， 其特 征在于， 所述第一模型通过 下述方式训练得到： 获取第二训练样本， 其中所述第二训练样本包括多个第二训练视频文本组， 所述第二 训练视频文本组中的训练视频和训练知识文本不对应； 通过所述第 二训练视频文本组对第 二初始模型进行训练， 输出所述第 二训练视频文本 组中的训练视频和训练知识文本之间的第二相似度； 若所述第二相似度大于或等于第二预设值， 则调整所述第二初始模型的模型参数， 并 通过所述第二训练视频文本组对调整后的第二初始模型再次进行训练， 直至调整后的第二 初始模型输出的第二相似度小于所述第二预设值， 根据调整后的第二初始模型的模型参数 确定所述第一模型。 6.根据权利要求1所述的方法， 其特征在于， 所述目标候选知识文本包括目标候选词条权　利　要　求　书 1/3 页 2 CN 115526318 A 2及所述目标候选词条的目标候选知识点， 所述目标知识文本包括目标词条及所述目标知识 文本的目标知识点； 确定各个目标候选知识文本和所述待处 理视频的视频内容之间的匹配程度， 包括： 确定各个目标候选词条和所述待处 理视频的视频内容之间的第一匹配程度； 确定各个目标候选知识点和所述待处 理视频的视频内容之间的第二匹配程度； 根据所述匹配程度， 从所述多个目标候选知识文本中确定目标知识文本， 包括： 根据所述第 一匹配程度和所述第 二匹配程度， 从所述多个目标候选词条及所述目标候 选词条的目标候选知识点中确定目标词条及所述目标词条的目标知识点。 7.根据权利要求1或6所述的方法， 其特 征在于， 所述第二模型通过 下述方式训练得到： 获取第三训练样本， 其中所述第 三训练样本包括多个第 三训练视频文本组和所述第 三 训练视频文本组中的训练视频和训练知识文本之间的匹配程度标签； 通过所述第 三训练视频文本组对第 三初始模型进行训练， 输出所述第 三训练视频文本 组中的训练视频和训练知识文本之间的预测匹配程度； 若所述预测匹配程度和所述匹配程度标签不一致， 则调整所述第 三初始模型的模型参 数， 并通过所述第三训练视频文本组对调整后的第三初始模型再次进行训练， 直至调整后 的第三初始模型输出的预测匹配程度和所述匹配程度标签一致， 根据调整后的第三初始模 型的模型参数确定所述第二模型。 8.根据权利要求7所述的方法， 其特征在于， 所述训练知识文本包括训练词条及所述训 练词条的训练知识 点， 所述匹配程度标签包括所述训练视频和所述训练词条之 间的第一匹 配程度标签、 以及所述训练视频和所述训练知识点之间的第二匹配程度标签， 所述预测匹 配程度包括所述训练视频和所述训练词条之间的第一预测匹配程度、 以及所述训练视频和 所述训练知识点之间的第二预测匹配程度。 9.根据权利要求1所述的方法， 其特征在于， 所述候选知识文本包括候选词条及所述候 选词条的候选知识点； 从所述待处 理视频及所述文本信息中抽取多个候选知识文本， 包括： 从所述待处 理视频的文本信息中抽取多个候选词条； 根据各个候选词条 所在文本信息中的位置， 获得 各个候选词条的候选知识点。 10.一种知识抽取装置， 其特 征在于， 包括： 获取模块， 被 配置为执 行获取待处 理视频和所述待处 理视频的文本信息； 抽取模块， 被配置为执行从所述待处理视频及所述文本信息中抽取多个候选知识文 本； 所述获取模块还被配置为执行获取所述待处理视频的视频特征和各个候选知识文本 的文本特 征； 确定模块， 被配置为执行通过第 一模型确定所述视频特征和各个文本特征之间的相似 度， 并根据所述相似度， 从所述多个候选知识文本中确定多个目标候选知识文本； 所述确定模块还被配置为执行通过第二模型确定各个目标候选知识文本和所述待处 理视频的视频内容之间的匹配程度， 并根据所述匹配程度， 从所述多个目标候选知识文本 中确定目标知识文本 。 11.一种电子设备， 其特 征在于， 包括：权　利　要　求　书 2/3 页 3 CN 115526318 A 3