(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210225898.7 (22)申请日 2022.03.09 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 黎洁　李芷鑫　李奇越　文锋　 邓锦深　张聪　韩玲　王枭　 王慧宇　彭涛　陈勇　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. H04N 21/81(2011.01) H04N 21/6587(2011.01) H04N 21/44(2011.01)H04N 13/122(2018.01) G06V 20/40(2022.01) G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) (54)发明名称 一种面向点云视频流媒体传输的用户视角 预测方法 (57)摘要 本发明公开了一种面向点云视频流媒体传 输的用户视角预测方法， 包括以下步骤： 1、 构建 面向点云视频流媒体传输的用户视角预测网络； 2、 构建所述网络中的3D点 云视频显著性检测模、 基于用户视点预测提取特征模型和显著性检测 与视点预测特征整合模型； 3、 结合视频的显著性 特征和基于视点预测提取的特征进行融合， 得到 预测的用户视角情况。 本发明首次提出3D点 云视 频流视角预测方法， 利用3D点云视频流的显著性 检测与某个用户视角结合起来得到最终预测的 用户视角， 从而能提高预测精度。 权利要求书3页 说明书8页 附图2页 CN 114584850 A 2022.06.03 CN 114584850 A 1.一种面向点云视频流 媒体传输的用户视角预测方法， 其特 征是按如下步骤进行的： 步骤一、 数据预处 理： 步骤1.1、 获取m个用户观看n帧点云视频的m ×n个视点信息 其中， 表示第m个用户观看第n帧点云视频的视点信息； 步骤1.2、 提取所述视点信息 中用户视角内的n帧点云数 据{x1,x2,...,xt,...,xn}， 其中， xt表示第t帧点云数据， 且每一帧点云数据包括m个用户视 角内的点云数据； 步骤二、 构建面向点云视频流 媒体传输的用户视角预测网络； 所述用户视角预测网络包括： 3D点云视频显著性检测模型NVS、 基于用户视点预测提取 特征模型NEP、 显著性检测与视点预测特 征整合模型NF2one和解码网络； 其中， 所述3D点云视频显著性检测模型NVS包括： 单帧点云显著性特征提取支路LSF和连 续多帧点云时间特征提取支路LDC； 其中， 所述单帧点云显著性提取支路LSF包含： 单帧同步 帧采样模块MFS和单帧局部特征聚合模块MLFA； 所述连续多帧点云时间特征提取支路LDC包 含： 多帧同步帧采样模块MFSM、 多帧局部特 征聚合模块MLFAM和多帧时间特 征提取模块MDCF； 所述基于用户视点预测 提取特征模型NEP包含： 视点同步帧采样模块MFSV和视点局部特 征聚合模块MLFAV； 步骤三、 将所述第t帧点 云数据xt作为当前帧点 云数据并输入所述单帧点 云显著性提取 支路LSF中， 经过所述单帧同步帧采样模块MFS的随机采样处理后， 得到当前帧采样数据ft和 采样时选取的中心点位置S； 其中， 当前帧采样 数据ft的数据量为bs ×nps个采样点， bs表示 采样块个数， nps表示每 个采样块的点数； 将当前帧采样数据ft输入所述单 帧局部特征聚合模块MLFA中进行KNN算法处理， 以搜寻 出当前帧采样数据ft中所有采样点的邻近点， 并将每个采样点的邻近点特征与采样点特征 聚合， 再经过多层感知机的处 理得到当前帧空间尺度特 征FtS； 其维度为bs ×nps×1×1024； 步骤四、 所述 当前帧点 云数据xt和前k帧点 云数据输入所述连续多帧点 云时间特征提取 支路LDC中， 其中， 当前帧点云数据xt的前k帧点云数据输入所述多帧同步帧采样模块MFSM中 进行随机采样， 并以所述中心 点位置S为前k帧点云数据采样的中心 点位置， 从而得到前k帧 采样数据{ft‑k,...,ft‑1}， 其数据量均为bs ×nps个采样点； 其中， ft‑1表示前一帧采样数据； 将所述前k帧采样数据{ft‑k,...,ft‑1}并行输入所述多帧局部特征聚合模 块MLFAM中进行 KNN算法处理， 以搜寻出前k帧采样数据{ft‑k,...,ft‑1}中所有采样点的邻近点， 并将每个采 样点的邻近点特征与采样点特征聚合， 再经过多层感知机的处理得到前k帧空间尺度特征 其中， 表示前一帧空间尺度特 征； 将所述前k帧空间尺度特征 和当前帧空间尺度特征FtS输入所述多帧时 间特征提取模块MDCF中进行处 理， 得到当前帧时间尺度特 征FtT； 将所述当前帧空间尺度特征FtS和当前帧时间尺度特征FtT按通道串联后， 得到当前帧点 云数据xt的时空特 征FtST并作为3D点云视频的当前帧显著性特 征； 步骤五、 利用LSTM神经网络对所述视点信息 进行视点预权　利　要　求　书 1/3 页 2 CN 114584850 A 2测， 得到m个用户n帧的视点预测信息 其中， 表示预 测得到的第m个用户观看第n帧点云视频的视点信息； 步骤六、 从视点预测信息 中随机选取第u个用户的 当前帧视点预测信息 并提取其点云数据xu,t； 其中， xu,t包含第u个用户预测观看到的点 云数据 和第u个用户预测观看不到的点云数据 并将观看到的点云数据 的标签设 置“1”， 观看不到的点云数据 的标签为“0”； 所述点云数据xu,t输入所述基于用户视点预测提取特征模型NEP中， 经过所述视点同步 帧采样模块MFSV的随机采样， 并以所述中心点位置S采样的中心 点位置， 得到预测 后第u个用 户的点云采样数据fu,t， 其中， 点云采样数据fu,t数据量为bs×nps个采样点； 所述点云采样数据fu,t输入视点局部特征聚合模块MLFAV中进行KNN算法处理， 以搜寻出 点云采样数据fu,t中所有采样点的邻近点， 并将每个采样点的邻近点特征与采样点特征聚 合， 再经过多层感知机的处理得到第u个用户当前帧视点预测点云特征 其维度为bs × nps×1×1024； 步骤七、 所述当前帧显著性特征FtST和当前帧视点预测特征 输入所述显著性检测与 视点预测特 征整合模型NF2one中进行整合处 理后得到第u个用户当前帧特 征Fu,t； 步骤八、 所述第u个用户当前帧特征Fu,t经过所述解码网络后得到最终预测的第u个用 户第t帧看到的视角画面。 2.根据权利要求1所述一种面向点云视频流媒体传输的用户视角预测方法， 其特征是， 所述多帧时间特 征提取模块MDCF是按如下步骤提取时间尺度特 征： 1)提取前一帧和当前帧空间尺度特征 其维度均为bs ×nps×1×nfs； 其中， nfs是聚合的特 征个数； 2)在所述采样块个数bs的维度上提取所述当前帧空间尺度特征 的第i个采样块的特 征 其维度为1 ×nps×1×nfs； 3)将所述采样块的特征 在所述采样块个数bs的维度上复制bs次， 从而得到维度为 bs×nps×1×nfs的复制采样块特 征 4)将所述复制采样块特征 与前一帧空间尺度特征特征 进行融合， 得到维度 为bs×nps×1×nfs的融合特 征featcc； 5)将融合特征featcc进行一次共享多层感知机的处理后得到bs ×nps×1×1024维的总 分数scores， 其中， 所述总分数scores在所述采样块个数bs的维度上共有bs个张量 表示总分数scores在所述采样块个数bs维度上第bs个张 量； 6)将所述总分数scores在所述采样块个数bs的维度上进行归一化处理并得到bs个分 数{score1,score2,...,scorebs}， 其中， scorebs表示总分数scores进行归一化处理后得到 的第bs个分数； 7)计算bs个分数{score1,score2,...,scorebs}中最大分数scoremax所在的位置max；权　利　要　求　书 2/3 页 3 CN 114584850 A 3