(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210765779.0 (22)申请日 2022.07.01 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 申请人 北京中科闻歌科技股份有限公司 (72)发明人 冯伟　韩瑞泽　李嘉诚　王磊　 徐楠　钱泽坤　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李林娟 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向大场景多对象的自监督群体检测 方法及装置 (57)摘要 本发明公开了一种面向大场景多对象的自 监督群体检测方法及装置， 方法包括： 对拥挤的 多人场景视频的每t帧视频中的N个人进行建模； 对每个人提取活动和时间轨迹等特征信息； 以自 我监督方式训练一个环境 感知人类行为模拟器， 即在一群体中自发地学习人类的自然行为； 基于 因果推理思想， 利用环境 感知人类行为模拟器训 练关系网络， 以发现多人之间成对的人际关系； 确定关系网络的参数， 并添加一基于全 连接层的 网络来实现人工群体检测任务。 装置包括： 处理 器和存储器。 本发明基于因果推理的思想， 可在 一群体中自发地学习人类的自然行为而无需大 量标注信息， 从而完成较好的群 体检测任务。 权利要求书2页 说明书7页 附图1页 CN 115187898 A 2022.10.14 CN 115187898 A 1.一种面向大场景多对象的自监 督群体检测方法， 其特 征在于， 所述方法包括： 对拥挤的多人场景视频的每t帧视频中的N个人进行建模； 对每个人提取活动和时间轨 迹等特征信息； 以自我监督方式训练一个环境感知人类行为模拟器， 即在一群体中自发地学习人类的 自然行为； 基于因果推理思想， 利用环境感知人类行为模拟器训练关系 网络， 以发现多人之间成 对的人际关系； 确定关系网络的参数， 并添加 一基于全连接层的网络来实现人工群体检测 任务。 2.根据权利要求1所述的一种面向大场景多对象的自监督群体检测方法， 其特征在于， 以自我监督方式训练一个环境感知人类行为模拟 器， 即在一群体中 自发地学习人类的自然 行为具体为： 破坏人 的状态并通过空间 ‑时间转换改变， 以得到 将被输入到恢复者网络中 恢复到 将恢复网络表示 为RecNet， 训练过程表示 为： 其中， 为时间‑空间转换之后的中心主体特征； 为时间‑空间转换之后的中心主体 与周围主体相结合的一个特 征集群； 其中， 代表c主体特征， 表示c主体n个邻居的特征， 定义 为中心主体与周围主体 相结合的一个特征集群， D表示一种要学习的隐含的分布， n表示附近的n个邻居的集合， Nc 表示整个场景中的所有对象的集 合， T表示视频的帧总数。 3.根据权利要求1所述的一种面向大场景多对象的自监督群体检测方法， 其特征在于， 所述基于因果推理思想， 利用环境感知人类行为模拟器训练关系网络， 以发现多人之间成 对的人际关系为， 确定关系网络的参数 具体为： 给定一在时间t具有编码特征 的主体i， 邻居 集合Ni包含N‑1个主体， 把主体i和所有主 体之间的关系表示为一个概率向量 其中 对于目标人物 和它的邻 居j， 通过几个步骤计算关系概 率 如下所示： 删除主体j的特征嵌入， 即vj和图Gt中涉及主体j的边， 将当前的特征簇表示为 表示主体j的特 征嵌入被从周围的主体中消除； 使用提出的行为模拟器恢复篡改特征群， 即， 从中得到主体i的恢复 的特征 计算出j对i的影响的关系概率向量， 直到i的所有邻居都被计算出来， 用 Softmax函数将 归一化， 以满足 并得到i的关系向量 目标是学习人类关系提取网络， 从特 征群 中学习关系概 率为： 权　利　要　求　书 1/2 页 2 CN 115187898 A 2其中， 表示来自RelNet的预测关系向量， 最后确定 了关系网络的参数。 4.一种面向大场景多对象的自监督群体检测装置， 其特征在于， 所述装置包括： 处理器 和存储器， 所述存储器中存储有程序指令， 所述处理器调用存储器中存储的程序指令以使 装置执行权利要求1 ‑3中的任一项所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 115187898 A 3