(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210214353.6 (22)申请日 2022.03.07 (71)申请人 山东智驱力人工智能科技有限公司 地址 250000 山东省济南市历下区山大路 160号山东人工智能产业园5楼5 05-12 (72)发明人 单鹏飞　杨风光　程诗尧　 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06F 16/783(2019.01) G06F 16/951(2019.01) (54)发明名称 一种移动视听设备智能监管方法 (57)摘要 本发明涉及图像、 视频、 音频的移动端视频 设备的监管方法技术领域， 特别涉及一种移动视 听设备智能监管方法。 该方法通过 终端设备控制 指令对流媒体数据进行获取， 再通过基于多源异 构数据融合与自注意力机制的页面智能分析与 容错方法进行决策分析， 最后通过最优路径规划 方法进行操作路径选择并关联终端设备指令对 视听内容进行 实时审核与智能监管， 解决了物理 解析法数据源获取困难、 视听设备应用更新而配 套监管系统升级时效性差以及视听内容抓取不 全面的问题。 权利要求书1页 说明书5页 附图1页 CN 114612822 A 2022.06.10 CN 114612822 A 1.一种移动视听设备智能监管方法， 包括多源异构数据融合与自我注意力机制的页面 分析与容 错的方法和动态规划最优操作路径决策的方法； 所述的多源异构数据融合与自我注意力机制的页面分析与容错的方法具体包括以下 步骤： A、 多源异构数据特 征提取； B、 多源异构特 征数据融合； C、 自注意力深层语义特 征提取； D、 控制页面分析与预测 E、 事件与页面匹配； F、 内容审核与分析。 2.根据权利要求1所述的一种移动视听设备智能监管方法， 其特征在于， 所述的步骤A 具体是通过MPM方法对移动视听设备流媒体数据以屏幕录制方式进行获取， 对于采集的视 频以及文本异构数据， 分别通过基础 网络模型以及编码器模型进行初级特征提取， 提取到 的异构特 征进行特征拼接形成融合特 征。 3.根据权利要求1所述的一种移动视听设备智能监管方法， 其特征在于， 所述的步骤B 具体是： 通过基础网络获取图像初级特征fi， 通过编码器模型获取文本初级特征ft， 为了利 用两种形成的特 征， 对此将图像与文本特 征进行拼接获取融合特 征fc。 4.根据权利要求1所述的一种移动视听设备智能监管方法， 其特征在于， 所述的步骤C 具体是： 自我注意力模块深层特征提取器， 分别根据靶向页面特征监督式分配特征贡献度， 定义输入的特征 定义特征对于页面的贡献度为w＝[w1 w2 ... wn]， 对于与靶向页面 强关联的特征应赋予强贡献度， 对于与靶向页面弱关联特征应赋予弱贡献 度， 贡献度的分配通过自注意力模块分配。 5.根据权利要求1所述的一种移动视听设备智能监管方法， 其特征在于， 所述的步骤D 具体是： 对于提取到的深层语义特征通过FFN前向反馈网络进 行操作页面预测， 即获取该当 前页面预测的置信度。 6.根据权利要求1所述的一种移动视听设备智能监管方法， 其特征在于， 所述的步骤E 具体是： 记所建立的事件库为e＝[e1,e2,...en]其中e1:滑动屏幕， e2:点开视频， e3:点击搜 索； 通过当前的事件库获得靶向页面， 通过预测的页面与靶向页面进 行匹配， 如果匹配成功 则进行相应任务操作； 如果匹配失败则退 出当前页面回到首页。 7.根据权利要求1所述的一种移动视听设备智能监管方法， 其特征在于， 所述的步骤F 具体是： 对于匹配成功的操作页面调用智能分析模块进行内容审核与分析， 获得图像数据 和视频数据， 所述的智能分析模块用于对移动视听设备终端内容进行敏感人物识别、 敏感 信息检测、 违规广告检测、 色情检测， 所述的图像数据经光学字符识别转化为文本信息， 通 过语义理解算法进行敏感信息识别以及舆情分析， 所述的视频数据经过图像识别算法对结 构化信息进行提取， 提取到的信息通过智能研判算法对异 态信息进行 预警。权　利　要　求　书 1/1 页 2 CN 114612822 A 2一种移动视听设 备智能监管方 法 技术领域 [0001]本发明涉及图像、 视频、 音频的移动端视频设备的监管方法技术领域， 特别涉及一 种移动视听设备智能监管 方法。 背景技术 [0002]随着移动视听新媒体业态的快速发展， 媒体监管部门对于视听内容的监管、 审核 需求日益增加。 然而， 视听移动设备等媒体内容种类复杂、 质量参差不齐， 部分视听设备传 播违规信息时有发生， 存在 插播敏感信息、 色情暴力、 虚 假宣传、 恶意推广等问题， 给监管工 作带来了挑战。 [0003]传统移动视听设备内容审核与监管方法主要分为人工审核法以及机器审核法。 人 工审核法通常的方法为每个审核员配备一台移动视听设备， 通过不间断的刷取视频内容或 听取音频内容采用视觉、 听觉以及人工判断的方式核查媒体内容是否违规。 人工审核方式 主要存在以下三个方面不足。 首先， 每个审核员无法对一台移动视听设备 的不同板块内容 或多台移动视听设备内容进 行审核， 并且 无法实现2 4小时不间断内容审核与监管。 其次， 面 对海量的移动视听设备， 需要具备大量的专业审核人员， 实时监管工作劳动量大且人力成 本投入高。 最后， 人工审核存在主观 性且审核过程易漏检， 比如违规视频通过算法插帧的方 式小部分嵌入到媒体内容中， 通过 人工审核方式较难 对其进行判断从而造成漏检。 [0004]传统的人工审核方式已经无法应对日益增加的审核任务， 此外， 面对海量的移动 视听内容， 人工 巡检存在效率低， 且易漏检的问题。 [0005]传统的机器审核的方式为获取每个视听设备媒体内容的URL， 通过物理破解的方 式对报文内容进行解析， 将获取到的目标内容通过下载方式对视听文件进行采集， 采集到 的音视频 数据通过规则判断方法对违规内容进行筛 选。 [0006]机器审核方式主要存在以下三个方面不足： 首先， 移动视听设备数量众多需要分 析每种视听设备的报文传输格式， 工程量巨大； 其次， 移动视听设备报文格式时常发生变动 如版本更新升级， 报文物理解析方式无法实时应对视听设备应用端的版本变化。 再次， 物理 解析方式存在频繁抓取数据造成端口封禁的风险。 最后， 物理解析方式只能定 向获取特定 板块的内容无法实现定制化内容获取如搜索特定领域音视频内容 发明内容 [0007]为了解决现有技术的问题， 本发明提供了一种移动视听设备智能监管方法， 解决 了物理解析法数据源获取困难、 视听设备应用更新而配套监管系统升级时效性差以及视听 内容抓取不全面的问题。 [0008]本发明所采用的技 术方案如下： [0009]一种移动视听设备智能监管方法， 包括多源异构数据融合与自我注意力机制的页 面分析与容 错的方法和动态规划最优操作路径决策的方法； [0010]所述的多源异构数据融合与自我注意力机制的页面分析与容错的方法具体包括说　明　书 1/5 页 3 CN 114612822 A 3