(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210614337.6 (22)申请日 2022.06.01 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市雁塔区太白南 路2号 (72)发明人 宋锐　武川杰　曹锴郎　齐洋磊　 侯红雁　李娇娇　李云松　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 周浩杰 (51)Int.Cl. G06T 1/20(2006.01) G06T 1/60(2006.01) G06T 1/00(2006.01) G06T 7/73(2017.01) (54)发明名称 一种光束法平差算法数字图像处理的加速 方法及系统 (57)摘要 本发明公开了一种光束法平差算法数字图 像处理的加速方法及系统， 属于数字图像处理领 域， 包括步骤： 存储输入的观测数据和相机参数； 利用数据中三维点所对应相机编号的观测 信息， 将需要计算的观测数据无差别的分配到每一条 计算流水线中， 实现基于时间平衡策略的多相机 数据提前分类的并行化计算加速； 雅可比矩阵的 计算包括重投影计算模块单元和元素计算模块 单元； 按照雅可比矩阵中偏导元素位置， 对计算 完成的雅可比矩阵数据进行分布式存储； 利用观 测点的共视信息和观测序号， 对海森矩阵的计算 进行多并行分块计算加速； 利用海森矩阵中矩阵 块的稀疏分布性， 将计算完成的海森矩阵数据进 行分块存储。 本发明优化了数字图像处理计算速 度与数据读写速度。 权利要求书3页 说明书13页 附图14页 CN 114998090 A 2022.09.02 CN 114998090 A 1.一种光束法平差算法数字图像处 理的加速方法， 其特 征在于， 包括 步骤： 准备数据源； 雅可比矩阵计算单元加速： 通过输入数据缓存传输所述数据源数据到光束法平差算法 数字图像处理系统的雅可比矩阵计算单元， 在所述雅可比矩阵计算单元设多 条观测点计算 流水线， 用于计算出当前观测点的雅可比矩阵中的元素， 且所述观测点计算流水线包括： 通 过相机参数和三 维点坐标进行三 维点的重投影计算的流程、 利用重投影后的坐标和相机参 数进行雅可比矩阵中每 个元素计算的流 程。 2.根据权利要求1所述的光束法平差算法数字图像处理的加速方法， 其特征在于， 包括 利用优化的雅可比矩阵存 储结构对雅可比矩阵数据进行存 储的步骤： 雅可比矩阵存储结构优化： 在雅可比矩阵计算单元计算完成的雅可比矩阵元素数据将 通过输出数据缓存单元进 行分组拼合， 待到所有的雅可比矩阵观测点计算流水线 单次计算 完成后， 将结果按照RAM存储的标号进行重排， 之后通过多条RAM总线分组并行写入之后的 RAM存储阵列中； 雅可比矩阵数据经 过重排后将被存 入雅可比矩阵数据存 储阵列中。 3.根据权利要求2所述的光束法平差算法数字图像处理的加速方法， 其特征在于， 包括 步骤： 将从数据源中提取出的相机对三维点的可视信息ISEEC， 以及三维点的索引值信息 COBC存储到RAM中。 4.根据权利要求2所述的光束法平差算法数字图像处理的加速方法， 其特征在于， 包括 对光束法平差算法数字图像处 理系统的海 森矩阵计算单 元进行加速的步骤： 通过海森矩阵计算单元， 并利用分组计算的方法分别计算海森矩阵H中的矩阵块E、 矩 阵块B和矩阵块C， 在海森矩阵计算单元的数据计算完成后， 通过海森矩阵存储单元将所计 算出的海 森矩阵H的数据进行分组分类存 储到多个RAM中。 5.根据权利要求1所述的光束法平差算法数字图像处理的加速方法， 其特征在于， 在准 数据源的步骤中， 相机参数存储部 分存储着所有相机的参数， 每个相机外参具备12个参数， 分别为旋转矩阵R的9个元素r1,…,r9， 平移向量t的3个元素t1,t2,t3， 每个相机内参 具备3个 参数， 分别为像素坐标系的转换比例参数k和相机的畸变参数s1,s2； 三维点坐标数据存储 部分存储着本条流水线中所有三维点的坐标数据， 将坐标中的X,Y,Z进 行分组存储， 分别存 放在三个RAM中； 观测信息INDEXPC数据存储部分， 使用观测点编号作为地址， 存储着观测点 的相机标号数据和三维点标号数据。 6.根据权利要求1所述的光束法平差算法数字图像处理的加速方法， 其特征在于， 在雅 可比矩阵计算单 元加速中， 包括子步骤： 将三维点坐标重投影到相机坐标系中的重投影环节计算， 重投影的计算过程中， 设置 计算三维空间点向相机坐标系重投影后的坐标Pc， 以R表示相机外参中的旋转矩阵， 以t表 示相机外 参中的平移向量， 以Pw表示真实三维点在世界坐 标系下的坐 标， 则计算Pc的公式表 示为： Pc＝RPW+t 雅可比矩阵中的每个偏导数元素计算环节过程中， 设置计算目标函数对相机外参的偏 导数F， 以Pc＝(Xc,Yc,Zc)T表示三维点重投影后的坐标， 以fx和fy表示坐标轴的缩放比例， 则 计算目标函数对相机 外参的偏导数 F的公式表示 为：权　利　要　求　书 1/3 页 2 CN 114998090 A 2雅可比矩阵中的每个偏导数元素计算环节过程中， 设置计算目标函数对三维点的偏导 数E， 计算目标函数对相机 外参的偏导数E的公式表示 为： 7.根据权利要求2所述的光束法平差算法数字图像处理的加速方法， 其特征在于， 包括 步骤： 通过构建分布式RAM的方式对雅可比矩阵数据实现分布式存储； 构建存储区域对数据 源中提取出的相机对三维点的可视信息ISEEC和三维点的索引值信息COBC进行存储， 用于 在后级计算海 森矩阵时提供 所需要的数据。 8.根据权利要求4所述的光束法平差算法数字图像处理的加速方法， 其特征在于， 包括 子步骤： 利用JP块计算单元进行海森矩阵中E矩阵块的计算， 在计算完成之后将E矩阵块的数据 通过RAM总线存 储到后级的E矩阵存 储RAM中； 利用多个二叉树计算乘法树结构进行并行计算海森矩阵中的B矩阵块， 在计算完成之 后将B矩阵块的数据通过RAM总线存 储到后级的B矩阵存 储RAM中； 利用多个JP块计算单元进行并行计算海森矩阵中的C矩阵块， 在计算完成之后将C矩阵 块的数据通过RAM总线存 储到后级的C矩阵存 储RAM中； 对E矩阵计算单元， B矩阵计算单元， C矩阵计算单元所产生的雅可比矩阵数据需求进行 译码， 之后通过RAM总线从前级雅可比矩阵存 储阵列中进行雅可比矩阵数据的读取。 9.根据权利要求4所述的光束法平差算法数字图像处理的加速方法， 其特征在于， 包括 子步骤： 利用三个存储区域进行海森矩阵数据的存储， 其中三个存储区域分别是B矩阵数据存 储区域、 C矩阵数据存 储区域和E矩阵数据存 储区域。 10.一种光束法平差算法数字图像处 理的加速系统， 其特 征在于， 包括： 输入数据缓存单元， 包含三维点的坐标数据存储区域， 各个相机的内参矩阵和外参矩 阵数据存储区域， 以及 包括观测信息IND EXPC数据存储区域， 并且按计算时间相同原则将观 测数据进行流水线划分， 使每条流水线的计算时间相同， 也为雅可比矩阵的计算准备好数 据源； 雅可比矩阵计算流水线单元， 包含输入数据缓存控制单元、 雅可比矩阵计算的重投影 计算单元和偏导元 素计算单 元， 用于对雅可比矩阵的每一个元 素数据进行计算； 输出数据缓存单元， 包含流水线数据输出缓存控制单元、 数据分组重排单元， 用于对计 算完成的雅可比矩阵数据进行分组重排； 雅可比矩阵数据和观测信息存储单元， 包括雅可比矩阵数据分布式存储区域、 相机对权　利　要　求　书 2/3 页 3 CN 114998090 A 3