(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210602151.9 (22)申请日 2022.05.30 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 戴琼海　万森　吴嘉敏　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 黄德海 (51)Int.Cl. H04N 5/12(2006.01) H04N 5/225(2006.01) H04N 9/097(2006.01) H04N 9/64(2006.01) G06T 3/40(2006.01) G06T 5/00(2006.01) (54)发明名称 基于光场相机阵列的成像方法及系统 (57)摘要 本申请涉及成像技术领域， 特别涉及一种基 于光场相机阵列的成像方法及系统， 其中， 方法 包括： 成像目标的光线通过分束镜传递给多个光 场相机； 多个光场相机拍摄同一场景， 但是存在 微小的相对位置偏移， 实现对相空间的密集采 样， 减少扫描光场成像需要的扫描次数； 对每个 光场图像提取每个微透镜相同角度的像素并融 合， 得到单一视角图像， 最终得到空间稠密采样 的多视角图像。 根据预设策略计算多个视角的 图 像的偏移矩阵， 并利用偏移矩阵对多个视角的 图 像进行数字偏移校正； 对 校正后的多视角图像的 进行图像的拼接融合， 得到待成像目标的最终成 像结果。 由此， 本申请实施例可 以有效克服空间 分辨率与角度分辨率的矛盾， 并有效解决动态相 差。 权利要求书2页 说明书7页 附图3页 CN 115208999 A 2022.10.18 CN 115208999 A 1.一种基于光场相机阵列的成像方法， 其特 征在于， 包括以下步骤： 成像目标的光线通过分束镜传递给多个光场相机； 其中， 多个光场相机拍摄同一场景， 且存在相对位置偏移， 实现对相空间的密集采样； 对每个光场图像提取每个微透镜相同角度的像素并融合， 得到单一视角图像， 最终得 到所述空间稠密采样的多视角图像； 根据预设策略计算所述多个视角的图像的偏移矩阵， 并利用所述偏移矩阵对所述多个 视角的图像进行 数字偏移校正； 对校正后的多个视角的图像的进行图像的拼接 融合， 得到所述待成像目标的最终成像 结果。 2.根据权利要求1所述的方法， 其特征在于， 在成像时同时采集待成像目标得到多个具 有相对位置偏移的光场图像， 包括： 将成像目标的光线通过分束镜传递给多个光场相机； ， 多个光场相机拍摄同一场景， 且 存在相对位置偏移； 控制采集组件同时采集所述多 束光线得到所述多个光场图像。 3.根据权利要求1所述的方法， 其特征在于， 所述利用所述偏移矩阵对所述多个视角的 图像进行 数字偏移校正， 包括： 对所述偏移 矩阵进行二维积分得到像差矩阵； 根据所述像差矩阵修正所述偏移矩阵， 并利用修正后的偏移矩阵对所述多个视角的图 像进行数字偏移校正。 4.根据权利要求1 ‑3任意一项所述的方法， 其特征在于， 所述对校正后的多个视角的图 像进行图像的拼接融合， 得到所述待成像目标的最终成像结果， 包括： 获取校正后的多个视角的图像的相对位置关系； 根据所述相对位置关系 进行对所述校正后的多个视角的图像进行拼接融合， 得到所述 待成像目标的最终成像结果。 5.一种用基于光场相机阵列的成像装置， 其特 征在于， 包括： 获取模块， 将 成像目标的光线通过分束镜传递给多个光场相机； 其中， 多个光场相机拍 摄同一场景， 且存在相对位置偏移； 控制采集组件同时采集所述多束光线得到所述多个光 场图像； 对每个光场图像提取每个微透镜相同角度的像素并融合， 得到单一视角图像， 最 终 得到所述空间稠密采样的多视角图像。 校正模块， 用于根据预设策略计算所述多个视角图像的偏移矩阵， 并利用所述偏移矩 阵对所述多个视角的图像进行 数字偏移校正； 融合模块， 用于对校正后的多个视角图像进行图像的拼接融合， 得到所述待成像目标 的最终成像结果。 6.根据权利要求5所述的装置， 其特 征在于， 还 包括： 控制模块， 用于将所述待成像目标的成像光线分为多束光线， 并控制采集组件 同时采 集所述多 束光线得到所述多个存在相对位置偏移的光场图像。 7.根据权利要求6所述的装置， 其特 征在于， 所述校正模块进一 步用于： 对所述偏移 矩阵进行二维积分得到像差矩阵； 根据所述像差矩阵修正所述偏移矩阵， 并利用修正后的偏移矩阵对所述多个视角图像权　利　要　求　书 1/2 页 2 CN 115208999 A 2进行数字偏移校正。 8.根据权利要求5 ‑7任意一项所述的装置， 其特 征在于， 所述融合模块进一 步用于： 获取校正后的多个视角的图像的相对位置关系； 根据所述相对位置关系 进行对所述校正后的多个视角图像进行拼接 融合， 得到所述待 成像目标的最终成像结果。 9.一种基于光场相机阵列的光场成像系统， 其特 征在于， 包括： 采集组件， 在成像时同时采集待成像目标 得到的多个存在相对位置偏移的光场图像； 如权要求5 ‑8任意一项所述的基于光场相机阵列的成像装置 。 10.根据权利要求9所述的系统， 其特 征在于， 所述采集组件 包括： 分束镜， 用于将所述待成像目标的成像光线分为多束光线； 多个微透镜阵列相机， 其 中， 每个微透镜阵列相机由相机集 成微透镜阵列构成， 但是存在相对位置偏移； 用于采集任 意一束光线得到存在相对位置偏移光场图像； 所述基于光场相机阵列的成像装置用于控制所述多个微透镜阵列相机同时采集所述 多束光线得到所述多个存在相对位置偏移的光场图像。 11.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑4任一项所 述的基于光场相机阵列的成像方法。 12.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑4任一项所述的基于光场相机阵列的成像方法。权　利　要　求　书 2/2 页 3 CN 115208999 A 3