(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210815252.4 (22)申请日 2022.07.08 (71)申请人 扬州大学 地址 225009 江苏省扬州市大 学南路88号 (72)发明人 张新峰　方金鹏　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 王晓东 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于注意力的异常检测方法 (57)摘要 本发明公开了一种基于注意力的异常检测 方法。 该方法取t个连续帧， 记为I1、 I2…It， 作为 基于注意力的编码器的输入， 解码器的输出是第 t+1帧It+1的预测 在训练阶段， 根据It+1和 计算损失， 反向传播这些损失以优化自动编 码器的参数。 在测试阶段， 将t 个连续帧输入到训 练好的自动编码器中预测第t+1帧， 根据输出的 预测帧 和真实帧It+1之间的异常分数确定异 常。 本发明能够高效率地以自动化的方式从视频 中发现异常行为， 如未知车辆闯入、 人群聚集逃 散、 打架斗殴、 人行走轨迹反常等异常行为并及 时作出警报， 对维护公共安全具有重要的意 义。 权利要求书3页 说明书11页 附图4页 CN 115272958 A 2022.11.01 CN 115272958 A 1.一种基于注意力的异常检测方法， 其特 征在于， 包括： 利用视频数据构建密集人群场景中的异常行为检测数据集并进行预处理得到视频帧 序列； 基于注意力的卷积神经网络构建自动 编码器； 将视频帧序列输入到自动 编码器中处 理输出得到预测帧； 构造损失函数， 对自动 编码器进行训练； 对含有异常样本的测试集进行异常判断。 2.如权利要求1所述的基于注意力的异常检测方法， 其特征在于： 所述预处理包括， 将 长视频数据切分为单个视频帧图像， 将所有视频帧的分辨率统一调整为256 ×256像素， 并 将像素值归一 化为[0,1]。 3.如权利要求1所述的基于注意力的异常检测方法， 其特征在于： 所述自动编码器为卷 积神经网络的左侧路径对应编码 器， 右侧路径对应解码 器， 其中， 空间注意力模块被添加到 编码器和解码器之间的跳跃 连接前。 4.如权利要求1所述的基于注意力的异常检测方法， 其特征在于： 所述将视频帧序列输 入到自动 编码器中处 理输出得到预测帧包括， 首先， 编码器对输入的视频帧序列进行两次卷积核为3 ×3卷积处理， 然后进入具有2 × 2核的最大池化层； 重复执行上述操作4次， 视频帧的分辨 率变为输入时的1/16， 输出 得到编码特 征图MCR； 解码器对编码特征图MCR进行两次卷积核为3 ×3卷积处理， 然后使用最近邻插值算法实 现上采样提高特 征图的分辨 率， 得到解码特 征图MUP； 上采样操作后得到的解码特征图MUP和与其分辨率相同的编码特征图MCR一起输入到空 间注意模块， 再将注意力模块的输出与解码器中对应的特 征进行拼接； 重复执行上述操作4次， 得到与输入帧具有相同分辨 率的解码特 征图MUP； 对解码特征图MUP进行两次卷积核为3 ×3卷积处理和1次卷积核为1 ×1卷积处理， 输出 预测帧 5.如权利要求1或4所述的基于注意力的异常检测方法， 其特征在于： 所述输入的视频 帧序列是由连续的分辨率为hinput×winput的t帧I1、 I2…It组成的大小为cinput×hinput×winput 的矩阵Minput， 其中， cinput、 hinput和winput分别表示矩阵的通道数、 高和宽， cinput＝3×t。 6.如权利要求1所述的基于注意力的异常检测方法， 其特征在于： 所述构造损 失函数， 包括， 采用重构损失Lrec和梯度损失Lgra来构造损失函数， 公式如下: L＝αrec·Lrec+αgra·Lgra 其中， αrec、 αgra为调整Lrec、 Lgra平衡的超参数。 7.如权利要求1或6所述的基于注意力的异常检测方法， 其特征在于： 所述构造损 失函 数， 其中， 重构损失Lrec描述的是 预测帧 和真实帧It+1像素强度的偏差， 公式如下 所示： 其中， ||·||2表示L2范数， 通过对像素强度进行惩罚， 可以使得预测帧 更接近真实 帧It+1；权　利　要　求　书 1/3 页 2 CN 115272958 A 2梯度损失Lgra描述的是 预测帧 和真实帧It+1图像梯度的差异， 公式如下 所示： 其中， ||·||1表示L1范数， i表示行索引， j表示列索引， 通过对梯度进行惩罚， 可以使得 预测帧保留更多的细节信息 。 8.如权利要求1所述的基于注意力的异常检测方法， 其特征在于： 所述对编码器进行训 练为通过反向传播损失进行训练以优化自动 编码器的参数。 9.如权利要求1所述的基于注意力的异常检测方法， 其特征在于： 所述对含有异常样本 的测试集进行异常判断包括， 将测试集中每个连续的t帧输入到训练好的自动编码器中， 对第t+1帧进行预测， 根据 输出的预测帧和真实帧之间的异常 分数进行异常判断。 10.如权利要求1或9所述的基于注意力的异常检测方法， 其特征在于： 所述异常判断包 括帧级异常判断和像素级异常判断， 其中， 帧级异常判断包括： 将第n次测试的预测帧记为 其对应的真实帧记为In+t， 其中n＝{1,2, …,N‑t}， N是 测试视频的帧数； 使用图像质量评估指标峰值信噪比来衡量预测帧 与真实帧In+t之间的差异， 公式如 下所示： 其中， PSNR为图像质量评估指标峰值信噪比； 第n次测试的帧级异常分数scrFR(n+t)通过归一化 计算得到， 公式如 下所示： 其中， 帧级异常分数 scrFR(n+t)∈[0,1]； 由于正常帧的帧级异常分数通常较低， 而异常帧的帧级异常分数通常较高， 当异常分 数高于阈值时， 即能够被判别为异常视频帧； 像素级异常判断包括： 通过计算预测帧 的像素与真实帧In+t对应像素之间偏差的L1范数得到第n次测试的 像素级异常 分数， 公式如下： 权　利　要　求　书 2/3 页 3 CN 115272958 A 3