(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211068333.9 (22)申请日 2022.09.02 (71)申请人 苏州浪潮智能科技有限公司 地址 215100 江苏省苏州市吴中经济开发 区郭巷街道官浦路1号9幢 (72)发明人 李仁刚　张润泽　赵雅倩　郭振华　 范宝余　李晓川　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 刘颖 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/335(2019.01) G06F 16/35(2019.01) G06F 16/583(2019.01)G06F 40/126(2020.01) G06F 40/30(2020.01) G06V 30/41(2022.01) G06V 30/19(2022.01) (54)发明名称 一种视觉问答任务的处理方法、 装置、 设备 和介质 (57)摘要 本申请涉及图像处理技术领域， 公开了一种 视觉问答任务的处理方法、 装置、 设备和介质， 对 待分析图像和第一文本进行特征融合处理， 得到 融合特征； 融合特征包含各检测框的坐标信息。 依据待分析图像与第一文本的相关性， 从融合特 征中筛选 出满足相关性要求的目标检测框； 将目 标检测框对应的坐标信息、 分类类别和语义特征 输入训练好的视觉问答模型， 以得到与第一文本 匹配的第二文本； 其中， 第一文本与第二文本具 有逻辑对应关系。 通过对待分析图像和第一文本 进行特征融合处理， 可以实现对待分析图像和第 一文本的综合分析。 基于相关性对检测框进行删 减， 有效的降低了无效检测框造成的干扰， 减少 了视觉问答模 型的计算量， 提升了视觉问答任务 的性能。 权利要求书3页 说明书16页 附图5页 CN 115129848 A 2022.09.30 CN 115129848 A 1.一种视 觉问答任务的处 理方法， 其特 征在于， 包括： 对待分析图像和第一文本进行特征融合处理， 得到 融合特征； 其中， 所述融合特征包含 各检测框的坐标信息； 依据所述待分析图像与所述第 一文本的相关性， 从所述融合特征中筛选出满足相关性 要求的目标检测框； 将所述目标检测框对应的坐标信息、 分类类别和语义特征输入训练好的视觉问答模 型， 以得到与所述第一文本匹配的第二文本； 其中， 所述第一文本与所述第二文本具有逻辑 对应关系。 2.根据权利要求1所述的视觉问答任务的处理方法， 其特征在于， 所述依据所述待分析 图像与所述第一文本的相关性， 从所述融合特征中筛选出满足相关性要求的目标检测框包 括： 计算所述待分析图像的图像特征中包含的各图像检测框与所述第一文本的文本特征 对应的文本检测框的交并比； 从所有所述图像 检测框中选取 出交并比大于预设阈值的目标检测框 。 3.根据权利要求1所述的视觉问答任务的处理方法， 其特征在于， 所述依据所述待分析 图像与所述第一文本的相关性， 从所述融合特征中筛选出满足相关性要求的目标检测框包 括： 利用训练好的目标检测模型从所述融合特征中筛选出满足相关性要求的目标检测框； 其中， 所述目标检测模型基于历史图像和历史文本训练得到 。 4.根据权利要求3所述的视觉问答任务的处理方法， 其特征在于， 针对于所述目标检测 模型的训练过程， 所述方法包括： 利用目标检测数据集训练初始检测模型， 以得到所述初始检测模型对应的权 重参数； 基于所述目标检测数据集中各样本对应的样本标签， 对所述初始检测模型进行正负样 本判别训练； 在完成正负样本判别训练后， 计算所述初始检测模型的损失函数； 其中， 所述损失函数 包括初始损失函数和正负 样本对应的损失函数； 依据所述初始检测模型的损失函数， 对所述初始检测模型中包含的语言编码模块和融 合模块各自的初始 化权重以及所述初始检测模型对应的权重参数进行调整， 得到训练好的 目标检测模型。 5.根据权利要求4所述的视觉问答任务的处理方法， 其特征在于， 所述基于所述目标检 测数据集中各样本对应的样本标签， 对所述初始检测模型进行正负 样本判别训练包括： 利用所述初始检测模型识别所述目标检测数据集中各样本对应的概 率值； 依据所述目标检测数据集中各样本对应的样本标签以及概率值， 确定出正负样本对应 的损失函数； 基于所述正负样本对应的损 失函数， 调整所述初始检测模型中融合模块对应的参数， 以完成正负 样本判别训练。 6.根据权利要求5所述的视觉问答任务的处理方法， 其特征在于， 所述依据所述目标检 测数据集中各样本对应的样本标签以及概 率值， 确定出正负 样本对应的损失函数包括： 将所述目标检测数据集中各样本对应的样本标签以及概率值输入至正负样本损失函权　利　要　求　书 1/3 页 2 CN 115129848 A 2数计算公式， 以确定出正负 样本对应的损失函数； 其中， 正负 样本损失函数计算公式为： ； 其中，N表示样本总个数， yi表示第i个样本的样本标签对应的数值， 样本标签为正样本 时yi=1， 样本标签为负样本时 yi=0，w+表示正样本对应的阈值， pi表示第i个样本属于正样本 的概率值，w‑表示负样本对应的阈值。 7.根据权利要求4所述的视觉问答任务的处理方法， 其特征在于， 针对于所述视觉问答 模型的训练过程， 所述方法包括： 利用训练好的目标检测模型从所述目标检测数据集中筛 选出正样本； 利用所述正样本对应的坐标信息、 分类类别和语义特征对初始视觉问答模型进行训 练， 以得到训练好的视 觉问答模型。 8.根据权利要求4所述的视觉问答任务的处理方法， 其特征在于， 所述对待分析图像和 第一文本进行 特征融合处 理， 得到融合特 征包括： 利用所述目标检测模型的目标检测模块提取所述待分析图像的图像特征； 其中， 所述 图像特征包括多个 检测框各自对应的图像特 征； 利用所述目标检测模型的语言编码模块对所述第一文本进行特征编码， 得到文本特 征； 利用所述目标检测模型的融合模块将所述图像特征与 所述文本特征进行融合， 得到融 合特征。 9.根据权利要求1 ‑8任意一项所述的视觉问答任务的处理方法， 其特征在于， 所述第一 文本为问题文本； 所述第二文本为与所述问题文本匹配的答案文本 。 10.根据权利要求9所述的视觉问答任务的处理方法， 其特征在于， 所述第一文本为多 个问题文本， 所述第二文本为与各 所述问题文本各自匹配的答案文本； 相应的， 所述依据所述待分析图像与所述第一文本的相关性， 从所述融合特征中筛选 出满足相关性要求的目标检测框包括： 利用训练好的目标检测模型对所述待分析图像以及多个所述问题文本进行并行分析， 以得到各 所述问题文本各自对应的目标检测框 。 11.根据权利要求1所述的视觉问答任务的处理方法， 其特征在于， 所述对待分析图像 和第一文本进行 特征融合处 理， 得到融合特 征包括： 提取所述待分析图像的图像特征； 其中， 所述图像特征包括多个检测框各自对应的图 像特征； 对所述第一文本进行 特征编码， 得到文本特 征； 将所述图像特 征与所述文本特 征进行融合， 得到融合特 征。 12.一种视 觉问答任务的处 理装置， 其特 征在于， 包括融合单 元、 筛选单元和得到单 元； 所述融合单元， 用于对待分析图像和第一文本进行特征融合处理， 得到融合特征； 其 中， 所述融合特 征包含各检测框的坐标信息； 所述筛选单元， 用于依据所述待分析图像与所述第一文本的相关性， 从所述融合特征 中筛选出满足相关性要求的目标检测框； 所述得到单元， 用于将所述目标检测框对应的坐标信息、 分类类别和语义特征输入训权　利　要　求　书 2/3 页 3 CN 115129848 A 3