(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210844996.9 (22)申请日 2022.07.18 (71)申请人 全图通位置网络有限公司 地址 100176 北京市大兴区经济技 术开发 区凉水河一 街2号院1号楼4层40 5房间 (72)发明人 张迪　张开婷　崔闰虎　王欣　 李强　 (74)专利代理 机构 北京安度修典专利代理事务 所(特殊普通 合伙) 11424 专利代理师 杨方成　马欢萍 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/20(2022.01) G06K 9/00(2022.01) (54)发明名称 一种基于GPU的乘 客实时交互处理方法和系 统 (57)摘要 本申请提供了一种基于GPU的乘 客实时交互 处理方法与系统， 属于乘客实时交互领域； 其中 方法内容包括： 通过监控系统或用户终端设备获 取乘客信息； 对所述乘客信息进行处理， 将处理 后的乘客信息筛选并分类； 对分类后的乘客信息 进行识别分析； 根据识别分析结果判断乘客的实 时服务需求， 对不同类型的服务需求作出对应 响 应。 本申请提高了对乘客服务需求的识别精度， 实现了更精 准的乘客服务， 并在大幅提升同乘客 实时交互效率上， 实现了实时的、 全出行链的乘 客服务。 权利要求书3页 说明书8页 附图1页 CN 115171021 A 2022.10.11 CN 115171021 A 1.一种基于GPU的乘客实时交 互处理方法， 其特 征在于， 包括步骤如下： 步骤S1： 通过监控系统或用户终端设备获取乘客信息； 步骤S2： 处 理所述乘客信息， 并对处 理后的乘客信息 筛选并分类； 步骤S3： 对分类后的乘客信息进行识别分析； 步骤S4： 根据识别分析结果判断乘客的实时服务需求， 对不同类型的服务需求作出对 应响应。 2.根据权利要求1所述的基于GPU的乘客实时交互处理方法， 其特征在于， 所述对处理 后的乘客信息 筛选并分类， 通过去除噪声信息进行筛 选， 具体包括： 对视频信息通过空域滤波的方法筛选出破损严重、 无法识别信息， 并通过结合周围像 素生成当前像素的值处 理所述破损严重、 无法识别的信息； 对声音信息通过基于声 音信息和噪声信息之间的不同特 征对两者进行区分。 3.根据权利要求1所述的基于GPU的乘客实时交互处理方法， 其特征在于， 所述对分类 后的乘客信息进 行识别分析包括行为信息识别分析、 声音信息识别分析与关键词信息识别 分析。 4.根据权利要求3所述的基于GPU的乘客实时交互处理方法， 其特征在于， 所述行为信 息识别分析为对分类后的视频信息中的乘客行为信息进行识别分析， 以预设的各类异常行 为标准对分类后的所述乘客行为信息进行预判断， 将预判断为异常的所述乘客行为信息输 入对应识别该异常行为的训练后的子深度神经网络， 得到异常行为识别结果。 5.根据权利要求3所述的基于GPU的乘客实时交互处理方法， 其特征在于， 所述声音信 息识别分析 具体包括： 对分类后得到的声 音信息中的环境声 音进行识别分析； 通过双阈值算法和Welch法功率谱估计算法来判定所述环境声音中是否存在异常声 音； 将异常声 音的特征时序信号 转换为时频域的谱图； 利用异常声音识别技术对所述 时频域的谱图进行分类提取和识别分析， 得到声音信 息 识别结果。 6.根据权利要求3所述的基于GPU的乘客实时交互处理方法， 其特征在于， 所述关键词 信息识别分析 是对分类后得到的乘客信息中具有预设 关键词的信息进行识别分析。 7.根据权利要求4所述的基于GPU的乘客实时交互处理方法， 其特征在于， 所述子深度 神经网络的生成包括如下步骤： 步骤S101： 获取与乘客行为相 关的视频图像信息， 然后将所述视频图像信息进行预处 理， 将预处 理后得到的含有异常行为的视频图像信息作为训练特 征数据； 步骤S102： 根据所述训练特征数据对深度神经网络进行训练， 得到所述训练特征数据 对应的异常判定阈值； 步骤S103： 计算预设定的目标判定阈值与异常判定阈值之间的实际偏差， 并根据所述 实际偏差对深度神经网络中的参数进行调整， 直至所述实际偏差达到目标阈值， 完成训练 得到训练后的深度神经网络， 所述深度神经网络中包括多个分别与各异常行为对应的子深 度神经网络 。权　利　要　求　书 1/3 页 2 CN 115171021 A 28.根据权利要求5所述的基于GPU的乘客实时交互处理方法， 其特征在于， 利用异常声 音识别技 术对所述时频域的谱图进行识别分析， 得到声 音信息识别结果包括如下步骤： 步骤S201： 对判定为异常声 音的时序信号进行短时傅里叶变换， 得到异常声 音频谱图； 其中， 傅里叶变换的长度为2Nf点， 使得每一帧的信号频谱为傅里叶变 换的长度， 其声压 值为： PdB＝20×log10|x(1:(Nf))|； 式中， Nf为傅里叶变换的长度， x为异常声音时序信号的频谱值， PdB表示异常声音时序 信号的声压值； 步骤S202： 将所述异常声音频谱图沿频率轴切分成Nb个图像块， 将每个异常声音样本的 图像块通过列堆栈转换为向量， 并把所有异常声音样本得到的向量合并成为矩阵X， X∈RM ×N， 其中M是每 个异常声 音样本图像块的大小， N表示异常声 音样本的数量； 步骤S203： 将训练样本矩阵X ′作为独立成分分析的输入矩阵， 分析后得到分离矩阵W， 然后将训练样本矩阵X ′投影到分离矩阵W张成的子空间构成稀疏分解的冗余字典A； 步骤S204： 将所述训练样本信号向分离矩阵W张成的子空间投影得到y， 则训练样本的 稀疏特征由冗余字典A中原子线性表示 为： 计算残差得到训练样本的类别结果： 上式中y为训练样本频谱图投影到分离矩阵W张成的子空间的表示， 表示训练样 本优化结果中第i个训练样本的系数， 而 表示由第i个训练样本重建的稀疏特征 则ri表示矩阵X ′对应的训练样本与第i个训练样本的差距； 步骤S205： 判定y与 的差距是否小于等于第一阈值， 若是， 则判定第i个训练样本与待 识别训练样本一 致， 训练样本识别成功。 9.根据权利要求7所述的基于GPU的乘客实时交互处理方法， 其特征在于， 将所述视频 图像信息进行 预处理， 具体步骤为： 步骤S301： 分别对每一帧视频图像信息中的所有乘客 提取人体骨骼关键点； 步骤S302： 通过分析处理前后帧视频图像信息之间每个人体骨骼关键点的坐标变化， 以此获取到乘客的动作信息； 步骤S303： 对所述乘客的动作信息进行分析判断， 若判断出所述乘客的动作信息属于 异常行为信息， 则提取 出含有异常行为信息的视频图像信息 。 10.一种基于GPU的乘客实时交互处理系统， 其特征在于， 包括： 信息获取模块、 信息处 理模块、 信息识别分析模块、 需求响应模块， 所述模块依次顺序连接； 所述信息获取模块， 用于通过监控系统或用户终端设备获取乘客信息； 所述信息处 理模块， 用于处 理所述乘客信息， 并对处 理后的乘客信息 筛选并分类； 所述信息识别分析模块， 用于对分类后的乘客信息进行识别分析； 所述需求响应模块， 用于根据识别分析结果判断乘客的实时服务需求， 对不同类型的权　利　要　求　书 2/3 页 3 CN 115171021 A 3