(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210583919.2 (22)申请日 2022.05.27 (65)同一申请的已公布的文献号 申请公布号 CN 114679549 A (43)申请公布日 2022.06.28 (73)专利权人 潍坊幻视软件科技有限公司 地址 261000 山东省潍坊市寒亭区北海路 2998号潍坊总部基地一期工程东区5 号楼202-32号 (72)发明人 李清凯　李淑英　李晔　 (51)Int.Cl. H04N 5/265(2006.01) H04N 5/225(2006.01) H04N 17/00(2006.01) H04N 19/129(2014.01)H04N 19/186(2014.01) H04N 19/625(2014.01) 审查员 季静敏 (54)发明名称 一种跨平台视频通信方法 (57)摘要 本发明涉及视频通信技术领域， 涉及一种跨 平台视频通信方法， 包括以下步骤： S1、 图像采 集； S2、 图像校准， 包 括S21、 校准像素比例和S22、 校准偏移位置； S3、 图像合成， 定义2D纹理t4用来 接收合成后的全息图像； S4、 图像压缩； S5、 图像 传输， 将S4中压缩的图像信息发送给服务器， 再 由服务器发送给指定的客户端； S6、 图像解压和 显示。 该视 频通信方法利用Co mpute Shader技术 使用GPU执行， 用大量运算单元进行并行计算， 在 引擎中将源端视频数据流化， 并将源端数据流传 输到终端， 在终端解码还原源端视频画面， 支持 将AR/MR技术中的多个画面内容进行高性能融 合， 为网络传输减轻负担， 同时提供了可扩展空 间。 权利要求书3页 说明书11页 附图1页 CN 114679549 B 2022.09.02 CN 114679549 B 1.一种跨平台视频通信方法， 其特 征在于， 包括以下步骤： S1、 图像采集； S2、 图像校准， 包括S21、 校准像素比例和S2 2、 校准偏移位置； S3、 图像合成， 定义2D纹 理t4用来接收合成后的全息图像； S4、 图像压缩； S5、 图像传输， 将S4中压缩的图像信息发送给服务器， 再由服务器发送给指定的客户 端； S6、 图像解压和显示； 所述S1包括： S11、 采集现实图像， 利用摄像头获取图像， 在引擎中创建一个纹理T1， 用纹理T1接受摄 像头获取的图像信息； S12、 采集虚拟图像， 在引擎中创建虚拟摄像机和纹理T2， 虚拟摄像机的视角方向及位 置与摄像头的空间映射 位置一致、 同步； 用纹 理T2接受虚拟摄 像机获取的虚拟图像信息； 所述S21中设置一个缩放系数Scale， 在T1图像内容不变的情况下将T1图像原始像素数 量乘以Scale 得到T1a； 所述S22包括以下步骤： S221、 创建一个Compute  Shader A； S222、 在A中定义内核函数C； S223、 设置C中每个线程组中的线程 为 （8， 8， 1） ； S224、 在用CPU代码调用C的时候， 设置C中线程组， 结合S223中设置的线程数量， 确保每 个像素都有一个线程去 进行处理； 定义C在x位置上线程组的数量 为Cx； 定义C在y位置上线程组的数量 为Cy； 定义C在z位置上线程组的数量 为1； Cx=(T2横坐标 上像素数量+7)/8； Cy=(T2 纵坐标上像素数量+7)/8； 以 （Cx， Cy， 1） 来对C中线程组进行设置； 将T1a传递给A， 在A中以2D纹 理t1进行接收； 将T2传递给A， 在A中以2D纹 理t2进行接收； 在C中定义获取线程唯一标识符DTid为二维数组， DTid可以直接通过Compute  Shader 的自身机制获取到； 以t2为基准对t1的像素进行横向和纵向的移动校准； t1需要在横向移动的值定义 为t1x； t1需要在纵向移动的值定义 为t1y； 定义2D纹 理t3用来接收校准后的t1； t3= t1 [ DTid.x + t1x ， DTid.y + t1y ]； 所述S3中， 定义2D纹 理t4用来接收合成后的全息图像； t4=t2[DTid].rgb*t 2[DTid].a+ t3.rgb*(1 ‑t2[DTid].a)。 2.如权利 要求1所述的跨平台视频通信方法， 其特征在于， 所述S4中， 将t4的RGB颜色形权　利　要　求　书 1/3 页 2 CN 114679549 B 2式转换为YUV的颜色形式； 在A中创建三个可共享内存的数 组： D1、 D2、 D3； 每个数 组的容量为 64； 将YUV数据中的三个分量分别保存到D1、 D2、 D3中； 在C中定义获取线程标识符为Tid为 二维数组； 在C中定义获取线程组标识符为Gid为 二维数组； 因为不同平台GPU对数据分组顺序不同， 需要把一个8*8的二维数组校准为按照从左往 右， 从上到下的顺序展开的一维数组； 定义当前像素位置对应与这个一维数组中的序号 为ix1； 则ix1= （校准后的Tid.y） *8+Tid.x； 定义2D纹 理t5用来接收转 化为YUV颜色形式的数据； t5=t4[Tid+Gid*8].rgb*25 5 用D1， D2， D3分别储 存t5对应序号像素的YUV值 D1[ix1]=t5.y D2[ix1]=t5.u D3[ix1]=t5.v 等待线程组任务完成后， 以组为单位完成FDCT计算与量化； 对D1， D2， D3进行离散余弦 变换 （FDCT） 操作， 变换公式如下： 等待线程组任务完成后， 定义D1， D2， D3中数据位置的序号 为ix2； 则获取ix2序号的方式为  Tid.y*8+Tid.x； 全部YUV值经过FDCT计算及量化后的图像数据 为t6， t6中像素的序 号为dx， t6依次对每 个线程组中计算得到的D1， D2， D3进行储 存； 将整张图像数据转 化为储存三维数据的一维数组； dx为整张图像的像素序号； dx= (((t2的纵向像素值/8 ‑Gid.y‑1)* (t2的横向像素值/8)+Gid.x)* 64)+ix2 t6[dx].y=D1[ix2] t6[dx].u=D2[ix2] t6[dx].v=D3[ix2] 把t6从Compute  Shader中返回给CPU， 使用CPU 多线程进行AC /DC编码； 设置一个整数 数组Z记录ZigZa g编码索引序号； 设置标准的哈夫 曼表， 寻址表， 量 化表； 开启一个内存流B1； 开启一个线程； 把t6分为每64个数据一组， 这样每组称为 一个数据元， 对数据元进行ZigZa g扫描； 创建整数 型数组DU， 定义 其中元素数量为64； 用DU记录一组8*8  的ZigZag扫描后数据元 素， 改变其 排列顺序方便后续AC编码； 对数据元中的每个元素， 如果该元素是Y， 则根据 数据元中每个元素在数据元中的局部 序号Ei从Z中找到ZigZag编码索引序号.DU的第Z[Ei]个位置用来储存t6[Ei +这个数据元的 在t6中的序号]元 素中的Y， DU[Z[Ei] ]= t6[Ei+这个数据元的在t6中的序号* 64].Y权　利　要　求　书 2/3 页 3 CN 114679549 B 3