(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221015915 0.1 (22)申请日 2022.02.21 (71)申请人 首都体育学院 地址 100191 北京市海淀区北三环西路1 1 号高德楼 201 (72)发明人 周志雄　王秋睿　 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于运动场地视频内容索引的自动多 标签方法 (57)摘要 本发明专利提供了一种用 于运动场地视频 内容索引的自动多标签方法。 其特征在于： (1)针 对一段视频， 用行人检测方法检测视频中人所在 的位置， 并根据位置用区域候选网络提取人所在 区域的特征； (2)用人体骨骼关键点检测方法提 取人的骨骼关键点位置， 并用图卷积模型提取人 的骨骼关键点位置的特征； (3)将上述两种特征 拼接融合后， 将不同帧的特征按照顺序输入到长 短时记忆模 型中， 并依靠模型给出该视频的多种 标签。 权利要求书1页 说明书2页 附图1页 CN 114519835 A 2022.05.20 CN 114519835 A 1.本发明专利提供了一种用于运动场 地视频内容索引的自动多标签方法。 其特征在于 如下步骤： (1)针对一段视频， 用行人检测方法检测视频中人所在的位置， 并根据位置用区 域候选网络提取人所在区域的特征； (2)用人体骨骼关键点检测方法提取人 的骨骼关键点 位置， 并用图卷积模型提取人的骨骼关键点位置的特征； (3)将上述两种特征拼接融合后， 将不同帧的特 征按照顺序输入到 长短时记 忆模型中， 并依靠模型 给出该视频的多种标签。权　利　要　求　书 1/1 页 2 CN 114519835 A 2一种用于运动场地视频内容索引的 自动多标签方 法 一、 技术领域 [0001]视频多标签分类、 计算机 视觉、 人工智能 二、 背景技术 [0002]2.1通用技 术方法介绍 [0003]人体2D骨骼关键点估计方法是利用单张图片或同一视角下的多帧图片对人体的 肩、 肘、 腕、 髋、 膝、 踝等关节等关键 部位生成二维坐标的方法。 [0004]卷积神经网络是利用卷积核在图片或特征上滑动提取特征的方法， 是广泛采用的 技术。 [0005]图卷积神经网络是一种能对图数据进行深度学习的方法。 [0006]长短时记忆模型(LSTM， Long  Short‑Term Memory)是一种递归神经网络模型， 其 通过包元、 忘记门、 输入门、 输出门实现对有效内容的保留， 无效内容的丢失， 从而对时间特 征的变量 提取有效特 征。 [0007]Transformer[5]是一种注意力机制， 其主要用于神经网络的特征选择与特征融 合。 [0008]2.2相似方法介绍 [0009]利用常规卷积神经网络和图卷积神经网络的双流框架是图像内容理解常用的方 法， 例如文献[6]。 在此基础上， 文献[7]加入了Transformer模型用于特 征的强化。 [0010]上述方法可以处理单 张图像并进行图像的内容理解。 本方法与之的区别在于： (1) 对视频对象进行内容理解和多标签分类； (2)采用了长短时记忆模型(LSTM)对视频对象实 现多标签分类； (3)本方法的  Transformer针对卷积特征和图卷积特征进行特征选择， 已有 的方法仅针对卷积特 征。 三、 发明内容 [0011]本方法在融合了创新技术和已有方法的基础上， 实现了一种用于运动场地视频内 容索引的自动多标签方法。 [0012]首先， 针对一段视频， 用行人检测方法[1]检测视频中人所在的位置， 并根据位置 用区域候选网络RPN[1]  提取人所在区域的特 征。 [0013]其次， 用人体骨骼关键点检测方法[2]提取人的骨骼关键点位置， 并用图卷积模型 [3]提取人的骨骼关键点 位置的特 征。 [0014]最后， 将上述两种特征拼接融合后， 进一步用Transformer[5]模块进行特征选择， 强化有效特 征， 并依靠 长短时记 忆模型[4]给 出该视频的多种标签。 四、 附图说明 [0015]图1是本申请的方法的神经网络的结构图。 [0016]对于一段视频， 用两个支路提取特征。 一个用行人检测[1]方法找到人所在的矩形说　明　书 1/2 页 3 CN 114519835 A 3