(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210249062.0 (22)申请日 2022.03.14 (71)申请人 中南大学 地址 410083 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 唐朝晖　郭俊岑　林振烈　钟宇泽　 谢永芳　高小亮　田灿　 (74)专利代理 机构 广州市红荔专利代理有限公 司 44214 专利代理师 李婷 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种改进深度主动学习的锌浮选泡沫图像 分类算法及系统 (57)摘要 一种改进深度主动学习的锌浮选泡沫图像 分类算法及系统， 本发明针对类别不平衡的泡沫 图像提出一种改进深度主动学习的锌浮选泡沫 图像分类算法及系统。 利用有标签样本训练初始 卷积神经网络， 并利用卷积神经网络对无标签样 本进行类别预测， 基于一种带损耗预测模块的主 动学习方法， 计算无标签样本的信息量并排序， 再人工标注信息量最大的样本， 加入训练集更新 深度学习模型的参数， 逐步提高网络的性能； 使 用融合Inception ‑v2的Dense  Net新型网络结 构， 提出一种新颖的考虑类别之间的权重的损失 函数进行网络训练。 本发明在降低标记成本的同 时， 提高模型了不平衡数据集上的分类性能， 有 效建立锌浮选工况识别模型， 能稳定和优化生 产。 权利要求书3页 说明书7页 附图2页 CN 114627333 A 2022.06.14 CN 114627333 A 1.一种改进深度主动学习的锌浮选泡沫图像分类算法， 其特 征在于， 包括以下步骤： 步骤一： 数据准备； 采集锌快粗选过程中的泡沫图像， 组成泡沫图像数据集， 其中， 泡沫图像数据集包含带 有标签的样本集(XL， YL)与无标签的样本集XU； 步骤二： 数据预处 理； 将获得的泡沫图像样本进行旋转、 翻转， 数据增强处理得到样本图像集， 将所有样本图 像按比例划分为训练集和验证集； 步骤三： 搭建深度分类模型； 卷积神经网络结构以Dense  Net和Inception网络模型融合为基础， 其中包含1个 Inception模块、 3个den se_block模 块和3个tran sition层， 并且将Inc eption模块 设置在第 1个transition模块前面， 代替原 始的dense_bl ock模块； 步骤四： 训练初始网络模型； 从有标签的样本集(XL， YL)随机选择样本数量为n的初始训练集L＝(x1， x2， ......， xn)， 输入到训练模型， 对训练模型进行初始训练； 步骤五： 选择样本， 更新模型； 通过主动学习选择 无标签的样本集XU中的样本进行 标注， 对训练模型进行训练调节； 步骤六： 得到最终训练调节完毕的Dense  Net和Inception ‑V2模块融合卷积神 经网络 模型， 将待分类泡沫图像数据输入到网络模型中进行识别 分类， 获得泡沫图像最后的分类 结果。 2.根据权利要求1所述的一种改进深度主动学习的锌浮选泡沫图像分类算法， 其特征 在于， 在步骤一中， 泡沫图像数据集中的图像分为四类， 分别表示为Class  I、 Class II、 Class III、 Class  IV， 分别记为异常、 合格、 中等、 优秀四种情况， 其中品位值范围依次为 (‑， 53]、 (53， 54]、 (54， 5 5]、 (55，‑)。 3.根据权利要求1所述的一种改进深度主动学习的锌浮选泡沫图像分类算法， 其特征 在于， 在步骤二中， 采用随机的图像处理方法来对泡沫图像集进行扩充， 包括： 水平垂直翻 转、 左右旋转； 完成扩充后的数据集每一类中抽取出80％的数据作为训练集， 其余20％的数 据作为验证集。 4.根据权利要求1所述的一种改进深度主动学习的锌浮选泡沫图像分类算法， 其特征 在于， 步骤三中， 所述的使用训练集中的数据训练融合模型， 其中所述的融合模 型的结构如 下所示： block层接收数据层输入的512 ×512像素大小的泡沫图像， 利用1个7 ×7大小的卷积核 以2为步长， 对输入数据进行卷积， 经过批量归一化、 ReLU激活函数、 最大池化层， 得到了16 张128×128大小的特 征图， 并传递给I nception模块； Inception层由两个Inception ‑V2模块堆叠而 成， Inception ‑V2模块含有四条支 路， 各 支路的卷积感受野分别为1 ×1卷积、 3×3卷积、 3×3池化和2个3 ×3卷积； 同时在1 ×1、 3× 3、 2个3×3卷积核后紧跟着批量归一化操作， 之后将每个输出堆叠在一起； 经过两个 Inception‑V2模块， 再通过最大池化层， 提取 得到了8个128 ×128的特征图； transition1层通过1 ×1卷积层来减小通道数， 并使用步幅为2的平均池化层减半高和 宽， 得到4个64 ×64的特征图， 传递给dense_bl ock1层；权　利　要　求　书 1/3 页 2 CN 114627333 A 2dense_block1层由十二个layer模块堆叠而成， 每个layer层都接受前面所有层的特征 图的输入， 通过concat操作将当前层与前面所有层的特征拼接后传到下一层， 经过十二个 layer层， 提取 得到了388个64×64的特征图， 并输入给t ransition2层； transition2层通过1 ×1卷积层来减小通道数， 并使用步幅为2的平均池化层减半高和 宽， 得到194个32 ×32的特征图， 传递给dense_bl ock2层； dense_block2层由二十四个layer模块堆叠而成， 每个layer层都接 受前面所有层的特 征图的输入， 通过concat操作将当前层与前面所有层的特征拼接后传到下一层， 经过二十 四个layer层， 提取 得到了962个32 ×32的特征图， 并输入给t ransition3层； transition3层通过1 ×1卷积层来减小通道数， 并使用步幅为2的平均池化层减半高和 宽， 得到481个32 ×32的特征图， 传递给dense_bl ock3层； dense_block3层由十六个layer模块堆叠而成， 每个layer层都接受前面所有层的特征 图的输入， 通过concat操作将当前层与前面所有层的特征拼接后传到下一层， 经过十六个 layer层， 提取 得到了993个32×32的特征图； 将dense_block3层的输出结果经过一个global  AvgPooling层进行平均池化， 并将特 征图展开成为一个一维的向量传递到全连接层中， 全连接层使用Dropout随机舍弃一部分 神经元的输出， 以降低过拟合， 最后将全连接层的输出传入softmax分类 器得到分类结果。 5.根据权利要求1所述的一种改进深度主动学习的锌浮选泡沫图像分类算法， 其特征 在于， 步骤五中， 通过主动学习选择无标签的样本集XU中的样本进行标注， 对训练模型进行 训练调节的过程包括： 利用主动学习策略计算无标签的样本集XU中每一个无标签样本的信 息量， 并将信息量按照从大到小的顺序排序， 选择前K个(top ‑K)标签样 本进行标注， 产生样 本与标签对(x*， y*)， 将新标注样本(x*， y*)加入带有标签的样 本集(XL， YL)， 对训练模型进行 训练调节， 迭代循环执行以上操作， 直到网络达到指定性能或者未标注的样本集标注完为 止， 保存最终训练好的卷积神经网络模型。 6.根据权利要求1所述的一种改进深度主动学习的锌浮选泡沫图像分类算法， 其特征 在于， 步骤五中所述主动学习 策略是一种 带有损失预测模块的主动学习方法， 损失预测模 块附加在深度学习模型上， 用来预测不带标签的样本的损失值， 评估未标记池中的所有无 标签样本的信息量， 同时将预测损失top ‑K的样本标记后添加到训练集中。 7.根据权利要求1所述的一种改进深度主动学习的锌浮选泡沫图像分类算法， 其特征 在于， 模型训练过程中， 采用以考虑类别 之间的权重的损失函数和损失预测损失函数为基 础的加权损失函数， 其形式定义 为： 式中， 第一部分属于考虑类别之间的权重的损失， 而第二部分为损失预测损失， B为小 批量样本数， Bs为第s阶段主动学习的小批量样本数， γ为权重； 代表预测类别； y代表真实 的类别值， l代 表目标损失， 代表样本通过损耗预测模块的损耗预测； 式中， ny为训练集中类别为y的数量， 为权重因子， β 为超参数， β ∈[0， 1)， 其中引权　利　要　求　书 2/3 页 3 CN 114627333 A 3