(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210612501.X (22)申请日 2022.05.31 (71)申请人 华为技术有限公司 地址 518129 广东省深圳市龙岗区坂田华 为总部办公楼 (72)发明人 王玉泽　袁鹏　冯柏岚　 (74)专利代理 机构 深圳市深佳知识产权代理事 务所(普通 合伙) 44285 专利代理师 聂秀娜 (51)Int.Cl. H04N 5/225(2006.01) H04N 5/232(2006.01) H04N 5/265(2006.01) G06N 3/08(2006.01) (54)发明名称 参数调整的方法、 训练神经网络模 型的方法 及相关装置 (57)摘要 本申请公开了一种参数调整的方法、 训练神 经网络模型的方法及相关装置， 用于提高神经网 络模型拟合ISP的效果。 该方法包括： 通过神经网 络模型提取原始图像数据的特征数据， 以及多个 类别的图像信号处理器参数的特征数据； 通过神 经网络模型按照多种融合方法将多个类别的图 像信号处理器参数的特征数据， 分别 与原始图像 数据的特征数据融合， 以得到多路融合特征数 据， 每个类别的图像信号处理器参数的特征数据 对应一种融合方法； 通过神经网络模 型根据多个 类别的融合特征数据， 得到第一RGB图像； 根据参 数调整策略和第一RGB图像对图像信号处理器参 数进行调整。 权利要求书3页 说明书14页 附图6页 CN 115190226 A 2022.10.14 CN 115190226 A 1.一种参数调整的方法， 其特 征在于， 所述方法包括： 通过神经网络模型提取原始图像数据的特征数据， 以及多个类别的图像信号处理器参 数的特征数据； 通过所述神经网络模型按照多种融合方法将所述多个类别的图像信号处理器参数的 特征数据， 分别与所述原始图像数据的特征数据融合， 以得到多路融合特征数据， 每个类别 的图像信号处 理器参数的特 征数据对应一种融合方法； 通过所述神经网络模型根据所述多个 类别的融合特 征数据， 得到第一RGB图像； 根据参数调整策略和所述第一RGB图像对所述图像信号处 理器参数进行调整。 2.根据权利要求1所述的方法， 其特征在于， 所述图像信号处理器参数的多个类别是根 据所述图像信号处 理器参数对应的图像信号处 理器中的模块的功能划分的。 3.根据权利要求2所述的方法， 其特征在于， 所述多个类别的图像信号处理器参数包括 全局参数和局部参数， 其中， 所述全局参数包括图像信号处理器中颜色校正模块的参数、 Gamma校正模块的参数和对比度增强模块的参数中的至少一个， 所述局部参数包括图像信 号处理器中去噪模块的参数和锐化模块的参数中的至少一个。 4.根据权利要求3所述的方法， 其特征在于， 所述参数调整策略指示在前X次迭代过程 中调整所述全局参数， 在第X+1次迭代过程中至第Y次迭代过程中调整所述局部参数， 或调 整局部参数和所述全局参数， 其中， X为 正整数， Y为大于X的正整数。 5.根据权利要求1至4中任意一项所述的方法， 其特征在于， 所述根据参数调整策略和 所述第一RGB图像对所述图像信号处 理器参数进行调整包括： 将所述第一RGB图像输入到 视觉感知任务网络模型中， 以得到感知结果； 根据所述感知结果和感知任务标签 计算损失值； 根据参数调整策略和所述损失值对所述图像信号处 理器参数进行调整。 6.一种训练神经网络模型的方法， 其特 征在于， 包括： 通过神经网络模型提取原始图像数据的特征数据， 以及多个类别的图像信号处理器参 数的特征数据； 通过所述神经网络模型按照多种融合方法将所述多个类别的图像信号处理器参数的 特征数据， 分别与所述原始图像数据的特征数据融合， 以得到多路融合特征数据， 每个类别 的图像信号处 理器参数的特 征数据对应一种融合方法； 通过神经网络模型根据所述多个 类别的融合特 征数据， 得到第一RGB图像； 根据所述第一RGB图像和第二RGB图像对所述神经网络模型的参数进行调整， 所述第二 RGB图像是图像信号处 理器根据输入的所述原 始图像数据的特 征数据输出的。 7.根据权利要求6所述的方法， 其特征在于， 所述图像信号处理器参数的多个类别是根 据所述图像信号处 理器参数对应的图像信号处 理器中的模块的功能划分的。 8.根据权利要求7所述的方法， 其特征在于， 所述多个类别的图像信号处理器参数包括 全局参数和局部参数， 其中， 所述全局参数包括图像信号处理器中颜色校正模块的参数、 Gamma校正模块的参数和对比度增强模块的参数中的至少一个， 所述局部参数包括图像信 号处理器中去噪模块的参数和锐化模块的参数中的至少一个。 9.根据权利要求6至8中任意一项所述的方法， 其特征在于， 所述根据所述第一RGB图像 和第二RGB图像对所述神经网络模型的参数进行调整包括：权　利　要　求　书 1/3 页 2 CN 115190226 A 2将所述第一RGB图像输入到 视觉感知任务网络模型中， 以得到第一感知结果； 将所述第二RGB图像输入到 视觉感知任务网络模型中， 以得到第二感知结果； 根据所述第一感知结果和所述第二感知结果对所述神经网络模型的参数进行调整。 10.根据权利要求9所述的方法， 其特征在于， 所述根据所述第一感知结果和所述第二 感知结果对所述神经网络模型的参数进行调整包括： 计算所述第一感知结果和所述第二感知结果的第一 一致性损失值； 根据所述第一 一致性损失值对所述神经网络模型的参数进行调整。 11.根据权利要求10所述的方法， 其特 征在于， 所述方法还 包括： 计算所述第一RGB图像和第二RGB图像的第二 一致性损失值； 所述根据所述第一 一致性损失值对所述神经网络模型的参数进行调整包括： 根据所述第 一一致性损失值和第 二一致性损失值， 对所述神经网络模型的参数进行调 整。 12.根据权利要求6至11中任意一项所述的方法， 其特征在于， 所述神经网络模型包括： 特征提取模块、 特 征融合模块和输出模块； 所述特征提取模块用于提取原始图像数据的特征数据， 以及多个类别的图像信号处理 器参数的特 征数据； 所述特征融合模块用于按照多种融合方法将所述多个类别的图像信号处理器参数的 特征数据， 分别与所述原 始图像数据的特 征数据融合； 所述图像输出模块用于根据所述多个 类别的融合特 征数据， 得到第一RGB图像。 13.一种参数调整的装置， 其特 征在于， 所述装置包括： 基于神经网络模型的处理单元， 用于提取原始图像数据的特征数据， 以及多个类别的 图像信号处 理器参数的特 征数据； 所述基于神经网络模型的处理单元， 用于按照多种融合方法将所述多个类别的图像信 号处理器参数 的特征数据， 分别与所述原始图像数据的特征数据融合， 以得到多路融合特 征数据， 每个类别的图像信号处 理器参数的特 征数据对应一种融合方法； 所述基于神经网络模型的处理单元， 用于根据所述多个类别的融合特征数据， 得到第 一RGB图像； 调整单元， 用于根据参数调整策略和所述第一RGB图像对所述图像信号处理器参数进 行调整。 14.一种训练神经网络模型的装置， 其特 征在于， 包括： 基于神经网络模型的处理单元， 用于提取原始图像数据的特征数据， 以及多个类别的 图像信号处 理器参数的特 征数据； 所述基于神经网络模型的处理单元， 用于按照多种融合方法将所述多个类别的图像信 号处理器参数 的特征数据， 分别与所述原始图像数据的特征数据融合， 以得到多路融合特 征数据， 每个类别的图像信号处 理器参数的特 征数据对应一种融合方法； 所述基于神经网络模型的处理单元， 用于根据所述多个类别的融合特征数据， 得到第 一RGB图像； 调整单元， 用于根据所述第一RGB图像和第二RGB图像对所述神经网络模型的参数进行 调整， 所述第二RGB图像是图像信号处理器根据输入的所述原始图像数据的特征数据输出权　利　要　求　书 2/3 页 3 CN 115190226 A 3