(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210213372.7 (22)申请日 2022.03.04 (71)申请人 北京大学 地址 100871 北京市海淀区颐和园路5号 (72)发明人 黄铁军　张燚钧　余肇飞　 (74)专利代理 机构 北京辰权知识产权代理有限 公司 11619 专利代理师 李小朋 (51)Int.Cl. G06V 10/80(2022.01) G06K 9/62(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种生物神经信号的视觉解码方法、 装置、 存储介质及终端 (57)摘要 本发明公开了一种生物神经信号的视觉解 码方法、 装置、 存储介质及终端， 方法包括： 获取 双光子钙成像信号的数据阵列； 将双光子钙成像 信号的数据阵列输入预先训练的V1视觉皮层视 觉信息神经解码模型中； 其中， V1视觉皮层视觉 信息神经解码模型是由神经信号转换模块和自 动编码模块构成的； 自动编码模块包含跳层结 构， 跳层结构用于在不同深度的神经网络层之 间， 融合整个神经网络在不同层上提取出来的特 征； 输出双光子钙成像信号对应的重构图像。 由 于本申请通过神经信号转换模块和自动编码模 块进行信号数据处理， 并通过自动编码模块中的 跳层结构融合整个神经网络在不同层上提取出 来的特征， 从而提升 了重构图像的精确度。 权利要求书2页 说明书11页 附图3页 CN 114743078 A 2022.07.12 CN 114743078 A 1.一种生物神经信号的视 觉解码方法， 其特 征在于， 所述方法包括： 获取双光子钙成像信号的数据阵列； 将所述双光子钙成像信号的数据阵列输入预先训练的V1视觉皮层视觉信息神经解码 模型中； 其中， 所述V1视觉皮层视觉信息神经解码模型是 由神经信号转换模块和自动编码 模块构成的； 所述自动编码模块包含跳层结构， 所述跳层结构用于在不同深度的神经网络 层之间， 融合整个神经网络在不同层上提取 出来的特 征； 输出所述双光子钙成像信号对应的重构图像。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述双光子钙成像信号输入预先训 练的V1视 觉皮层视 觉信息神经解码模型中， 包括： 神经信号转换模块将输入的双光子钙成像信号的数据阵列， 转换成与重构目标图像相 同大小的中间计算 量； 将所述中间计算 量输入所述自动 编码模块， 生成视 觉刺激重构图像。 3.根据权利要求2所述的方法， 其特征在于， 所述自动编码模块包括第一网络、 跳层结 构以及第二网络； 所述将所述中间计算 量输入所述自动 编码模块， 生成视 觉刺激重构图像， 包括： 第一网络将所述中间计算量的向量进行卷积操作， 并通过下采样从卷积的结果中提取 特征； 跳层结构将提取的特 征进行特征融合， 得到融合后的特 征； 第二网络将融合后的特征进行上采样和卷积， 恢复出和视觉刺激尺寸相同的重构图 像。 4.根据权利要求1所述的方法， 其特征在于， 按照以下步骤生成预先训练的V1视觉皮层 视觉信息神经解码模型， 包括： 创建V1视 觉皮层视 觉信息神经解码模型； 构建模型样本， 并将所述模型样本按照预设比例进行划分， 得到训练集和 测试集； 将所述训练集输入所述V1视觉皮层视觉信 息神经解码模型中， 并采用误差反向传播算 法进行端到端的训练后输出损失值； 根据损失值 生成预先训练的V1视 觉皮层视 觉信息神经解码模型。 5.根据权利要求 4所述的方法， 其特 征在于， 所述构建模型样本， 包括： 获取多张基础视 觉刺激图片； 将每张基础视觉刺激图片经过不同角度的旋转和平移， 得到人工场景视觉刺激图像集 合； 从纪录片影像 中随机多次截取自然场景视觉刺激图像， 得到自然场景视觉刺激图像集 合； 根据所述人工场景视觉刺激图像集合与所述自然场景视觉刺激图像集合生成模型样 本。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述人工场景视觉刺激图像集合 与所述自然场景视 觉刺激图像集 合生成模型样本， 包括： 根据所述人工场景视觉刺激图像集合对生物体进行视觉刺激， 并记录所述生物体的V1 视觉皮层神经 元响应， 得到第一数量的钙成像信号；权　利　要　求　书 1/2 页 2 CN 114743078 A 2根据所述自然场景视觉刺激图像集合对生物体进行视觉刺激， 并记录所述生物体的V1 视觉皮层神经 元响应， 得到第二数量的钙成像信号； 将所述第一数量的钙成像信号与所述第二数量的钙成像信号确定为双光子钙成像信 号； 将所述双光子钙成像信号和与其对应的视 觉刺激图像映射关联， 生成模型样本 。 7.根据权利要求6所述的方法， 其特征在于， 所述根据所述自然场景视觉刺激图像集合 对生物体进行视觉刺激， 并记录所述生物体的V1视觉皮层神经元响应， 得到第二数量的钙 成像信号， 包括： 对生物体展示空白显示屏至预设时刻； 通过单神经元记录精度的双光子亮度捕捉能力的电子微型显微镜采集生物体的第一 神经影像； 对生物体多次展示所述自然场景视觉刺激图像集合中第一个自然场景视觉刺激图像 至预设时刻； 通过单神经元记录精度的双光子亮度捕捉能力的电子微型显微镜采集生物体的第二 神经影像； 基于所述第一神经影 像与所述第二神经影 像确定差分图像； 根据所述差分图像 计算激活神经 元上钙指示剂亮度变化的比例； 将所述激活神经 元上钙指示剂亮度变化的比例确定为钙成像信号； 当所述自然场景视觉刺激图像集合中每个自然场景视觉刺激图像展示结束后， 生成第 二数量的钙成像信号。 8.一种生物神经信号的视 觉解码装置， 其特 征在于， 所述装置包括： 数据阵列获取模块， 用于获取双光子钙成像信号的数据阵列； 数据阵列输入模块， 用于将所述双光子钙成像信号的数据阵列输入预先训练的V1视觉 皮层视觉信息神经解码模型中； 其中， 所述V1视觉皮层视觉信息神经解码模型是由神经信 号转换模块和自动编码模块构成的； 所述自动编码模块包含跳层结构， 所述跳层结构用于 在不同深度的神经网络层之间， 融合整个神经网络在不同层上提取 出来的特 征； 重构图像输出模块， 用于 输出所述双光子钙成像信号对应的重构图像。 9.一种计算机存储介质， 其特征在于， 所述计算机存储介质存储有多条指令， 所述指令 适于由处 理器加载并执 行如权利要求1 ‑7任意一项的方法步骤。 10.一种终端， 其特征在于， 包括： 处理器和存储器； 其中， 所述存储器存储有计算机程 序， 所述计算机程序适于由所述处 理器加载并执 行如权利要求1 ‑7任意一项的方法步骤。权　利　要　求　书 2/2 页 3 CN 114743078 A 3