Flue-cured tobacco grouping method and system based on characteristic channel weighting and dynamic loss regulation

具体实施方式

本申请实施例通过提供一种特征通道加权和动态损失调控的烤烟分组方法，用于针对解决现有的深度学习烤烟分组方法在高尺度特征中缺乏关键特征表达、类间辨别能力有限、模型在训练期间倾向学习多数类样本的技术问题。

实施例一

如图1所示，本申请实施例提供了一种特征通道加权和动态损失调控的烤烟分组方法，该方法应用于特征通道加权和动态损失调控的烤烟分组系统，该特征通道加权和动态损失调控的烤烟分组系统与图像采集装置通信连接，该方法包括：

步骤S100：通过图像采集装置采集获取N个主收组别的烤烟图像，建立烤烟分组数据集，其中，N为正整数；

具体而言，本申请实施例提供的一种特征通道加权和动态损失调控的烤烟分组方法应用于特征通道加权和动态损失调控的烤烟分组系统，该特征通道加权和动态损失调控的烤烟分组系统与图像采集装置通信连接，该图像采集装置用于采集烤烟样本的图像，优选地，本申请实施例选用工业面阵相机拍摄烤烟图像。

首先，所述用于图像采集的烤烟由十名以上的分级专家从收购烤烟中随机抽样获得。使用工业面阵传感器和500万像素摄像头，在运动传送带上拍摄烤烟图像，建立烤烟分组数据集。通过烤烟图像的采集，实现了对烤烟的初步掌握，为后续的烤烟分组打下基础。

步骤S200：对所述烤烟分组数据集进行数据预处理，获取预处理数据集；

具体而言，将工业摄像头输出烤烟图像转换为适合网络模型输入的大小，使用程序，将所有图像以一定比例随机划分，其中一部分的图像用于测试，为测试集，另外一部分的图像在模型训练期间以一定的比例随机分为训练集和验证集。每轮迭代后在验证集上测试模型的准确性，使用验证集上平均分类准确性最高的模型在测试集上进行测试，测试集的结果用于定义模型精度。

通过数据预处理，实现了有效减少不必要的数据冗余，降低系统中的存储和计算成本，从而提高使用数据的效率。

步骤S300：设计烤烟组别分类网络TGNet；

具体而言，针对由于网络深度增加而导致输出的高尺度特征缺乏关键信息表征能力的问题，使用改进模块CWstage替代基准网络Stage-S4中串联的Bottleneck模块，以提升网络输出的高尺度抽象特征对关键信息的表征能力，CWstage模块对应特征通道生成加权特征，以实现尺度特征的重编码，突出关键颜色与空间区域信息，避免原基准网络由于多次采样造成关键信息丢失的问题。

针对所建烤烟分组数据集存在长尾分布，模型训练偏向学习多数类样本的问题，引入类再平衡策略重构损失函数，通过在损失计算中赋予少数类样本更大的权重，提高少数类样本对损失计算的影响，提升少数类样本分类准确率。

针对所建烤烟组别分类数据集存在样本相似性问题，在损失计算中引入动态margin，为网络训练提供强约束条件，动态margin随网络输出而变化，在网络训练前期生成更大的margin，以提升网络对相似性样本的鉴别能力，而在网络训练前期生成的margin变小，以促进网络的收敛，通过引入动态margin，模型达到了更好的类精度平衡。

构建FADM loss，FADM loss在多分类交叉熵损失的基础上同时添加实现类再平衡策略的类权重因子和动态margin，在提升小样本分类的精度的同时实现了更好的类精度平衡。

融合通道加权和动态损失调控，设计烤烟组别分类网络TGNet。通过烤烟组别分类网络TGNet的设计，达到有效提高烤烟组分类效率的效果。

步骤S400：用所述烤烟组别分类网络TGNet训练所述预处理数据集，得到烤烟组别分类模型；

具体而言，预处理数据集包括训练集、验证集和测试集，其中，训练集是用来训练模型的，为了减少泛化误差，通过训练集不断的训练来使得模型能够更好的接近真实数据；验证集用来测试模型的准确性，将测试集应用于训练集训练好的模型，会得到一个模型的得分。使用训练集在TGNet网络上进行训练，每轮迭代后通过验证集测试模型的准确率及测试速度，将得到的多个模型的准确率输入数据大小比对模型进行大小数值的比对，继而获得准确率最高的模型，以此作为最终模型。

步骤S500：基于所述烤烟组别分类模型获取烤烟分组结果。

具体而言，调用最终模型及测试程序，对测试集中的烤烟样本图像进行测试，得到烤烟组别分类结果。解决了现有的深度学习烤烟分组方法在高尺度特征中缺乏关键特征表达、类间辨别能力有限、模型在训练期间倾向学习多数类样本的技术问题。实现了烤烟组别实时分类，达到有效提高烤烟组分类效率，降低人工分级成本。

进一步而言，如图2所示，本申请步骤S100还包括：

步骤S110：获取烤烟样本；

步骤S120：通过图像采集装置采集所述烤烟样本的图像，获取烤烟样本图像信息；

步骤S130：获取烤烟组别信息；

步骤S140：基于所述烤烟组别信息对所述烤烟样本图像信息进行分组，建立所述烤烟分组数据集。

具体而言，所述烤烟样本用于进行数据采集，由十名以上的分级专家从收购烤烟中随机抽样获得，并没有针对某个组别烤烟进行着重采样，因此，各组别烤烟的收集数量会与自然状态该组烤烟的出现概率相吻合。

在不同的色温条件下，烟草的显色性会存在偏差，需要在稳定的光源环境下采集图像，以保证颜色的恒常性，因此图像采集在暗箱中进行，以消除环境光源的干扰。优选地，整个图像采集系统包括工业面阵图像传感器、8mm定焦镜头、LED光源、传送带、传送带电机、计算机和PLC，共采集五个主收组别的烤烟样本图像，组别包括：橘黄烤烟F、柠檬黄烤烟L、杂色烤烟K、微带青烤烟V、青黄烤烟GY。

通过烤烟图像的采集，实现了对烤烟的初步掌握，为后续的烤烟分组打下基础。

进一步而言，如图3所示，本申请步骤S200还包括：

步骤S210：将所述烤烟样本图像信息转换为适合网络模型输入的尺寸，获取调整烤烟样本图像集合；

步骤S220：将所述调整烤烟样本图像集合进行随机划分，获取第一测试样本集、第一样本训练集和第一样本验证集；

步骤S230：将所述第一测试样本集、所述第一样本训练集和所述第一样本验证集作为所述预处理数据集。

具体而言，将工业摄像头输出的2384×1528烤烟样本图像信息转换为适合网络模型输入的224×224大小，并将输入特征转化为tensor格式，最后，对特征进行归一化，其中归一化使用的对应三通道的均值分别为0.485、0.456、0.406，标准差分别为0.229、0.224、0.225，以此作为调整烤烟样本图像集合。

将调整烤烟样本图像集合划分成第一测试样本集、第一样本训练集和第一样本验证集，使用程序，所有图像以9:1的比例随机划分，其中10％的图像作为测试集用于测试，另外90％的图像在模型训练期间以8:2的比例随机分为第一样本训练集和第一样本验证集。每轮迭代后在第一样本验证集上测试模型的准确性，在第一样本验证集上平均分类准确性最高的模型在第一测试样本集上进行测试，第一测试样本集的结果用于定义模型精度。

进一步而言，本申请步骤S300还包括：

步骤S310：通过特征通道加权模块CWstage生成对应特征通道的加权特征；

步骤S320：构建FADM loss模块；

步骤S330：融合所述特征通道的加权特征和所述FADM loss模块，构建所述烤烟组别分类网络TGNet。

具体而言，在CWstage模块中，输入特征被卷积层下采样到7×7。通过添加一个分支对输出的高尺度特征执行通道加权，以确保对高尺度特征进行编码以生成其自己的通道权重因子。添加分支的输入依赖于平均池化(Avgpool)层来获取全局信息，从而将高尺度特征从7×7压缩到1×1。随后，特征图由多层感知器(MLP)编码，以生成将分配给每个特征通道的通道权重因子。特别的是，通道权重因子与每个通道的高尺度特征相乘，通过这种方式，加权的大尺度特征将被用作CWstage模块的输出。

针对所建烤烟分组数据集存在长尾分布，模型训练偏向学习多数类样本的问题，引入类再平衡策略重构损失函数，通过在损失计算中赋予少数类样本更大的权重，提高少数类样本对损失计算的影响，提升少数类样本分类准确率。设置了超参数调节实验，通过评估不同的权重因子这一超参数设置，以使其适合针对所建数据集的烤烟分组任务。

针对各组别烤烟相似性强，网络对相似性样本辨识度低的问题，在分类损失函数计算中引入margin来减小网络相似性误判几率，设计一个动态margin项。考虑到数据集中的不同样本由于相似性而具有不同的误报率，固定一个恒定的margin来计算每个样本的损失是不合适的。因此，使用网络输出的类别判别概率差异作为当前类别与其他类别之间的相似度度量，并使用余弦函数将这种相似度编码为当前样本的margin来计算损失。由于每个样本的类别判别概率不同，margin可以根据每个样本的网络输出动态变化。具体来说，较大的margin会导致更严格的分类约束，方法是通过增加margin调整边距以在网络训练期间施加更强的惩罚。

建立的烤烟分组数据集呈现长尾分布，针对此问题设计了一种类再平衡策略，通过对少数类应用更大的权重来减少多数类在总损失计算中的比例。此外，基于AM-Softmax损失，为每个类定义了一个动态margin，对损失计算施加了惩罚，这有助于增加每个类与其他类的类间距离。通过在分类损失中引入类再平衡策略和动态边际，构建FADM loss。

进一步而言，本申请步骤S310还包括：

步骤S311：将来自stage-S3的特征馈送到ConvBNAct中，获得初始特征；

步骤S312：根据所述初始特征，获得高尺度特征；

步骤S313：通过Avgpool层和MLP层生成通道权重因子；

步骤S314：基于所述通道权重因子对所述高尺度特征进行通道加权，输出所述加权特征。

具体而言，使用模块CWstage替代了Stage_S4中串联的Bottleneck模块,模块只包含了ConvBNAct、Avgpool、MLP三个结构，并且只有一层，模型深度有了极大的压缩，Stage-S3输出特征经过ConvBNAc：使用步长2的1×1卷积进行特征下采样，同时通道扩张，特征尺寸变为7×7，通道扩张为368。卷积后依次经过BN层与ReLU层输出特征，经过ConvBNAct后，特征分为两个分支，分支一跨层连接后进行通道加权，分支二特征进行平均池化与多层感知机后生成通道加权因子。采样输出的计算过程如下所示：

其中，是stage-S3的输出，是后续进行通道加权的所述特征。

通过Avgpool层和MLP层生成通道权重因子，对所述特征进行通道加权输出加权特征，计算公式如下所示：

其中表示矩阵点积，是CWstage输出的加权特征，是通过Avgpool层和MLP层生成通道权重因子，Avgpool层可以提取特征的全局信息，这对于需要全局信息的烤烟组别很有帮助。MLP层由步长为1的1×1卷积和GELU组成，GELU是ReLU和Dropout的结合，GELU在激活函数中引入了更多的随机性，使模型训练过程更加鲁棒，而MLP在全局特征之间进行通道信息交互，增加了特征的非线性表达。

进一步而言，本申请步骤S320包括：

步骤S321：引入类再平衡策略重构损失函数，给定所述烤烟分组数据集在损失计算中不同的权重因子；

步骤S322：引入动态margin；

步骤S323：通过在分类损失中引入所述类再平衡策略重构损失函数和所述动态margin，得到FADM loss模块，公式如下所示：

其中，n是用于损失计算的样本数，C＝5对应所述烤烟分组数据集组数，a_yi对应于所述烤烟分组数据集的权重，λ是聚焦参数，s是比例因子。

具体而言，所建数据集使用的烤烟通过专家随机采样得到，并没有针对某个组别烤烟进行着重采样，因此，各组别烤烟的收集数量会与自然状态该组烤烟的出现概率相吻合。具体来说，采样烤烟中，正组烤烟橘黄F、柠檬黄L与副组烤烟K数量较多，副组烤烟微带青V、青黄GY数量较少。模型训练中，多数类样本主导了损失构成，模型偏向学习多数类样本，对此引入类再平衡策略，通过给定5组烤烟在损失计算中不同的权重因子来重构损失，给定少数类V、GY烤烟样本更大的权重，增大少数类样本对损失的贡献，相应减少多数类对损失计算的影响，使模型增加对少数类样本的关注。

设置了超参数调节实验，通过评估不同的权重因子这一超参数设置，以使其适合针对所建数据集的烤烟分组任务。

首先进行了九组实验，在第一组实验中，通过逆频率设置五个类别的权重因子，其他实验侧重于证明通过增加少数类的权重因子来提高少数类分类精度的可行性。以第一组实验权重因子设置为基准，从第二组实验开始，少数类的权重因子逐渐从0.25增加到0.95。权重因子设置和测试精度如表1所示：

表1权重因子调节实验1

通过逆类频率统一设置加权因子会降低性能，此外，烤烟的分类精度会受到权重因子设置的影响，当每组烤烟的权重因子设置相同时，多数类F的分类准确率会显着高于其他组别。作为比较，当少数类的权重因子增加时，F组的分类准确率下降，而少数类V的分类准确率显着增加。根据表1可知，通过增加少数类对应的权重因子来提高少数类的分类准确率是可行的，因此，将L组和K组的权重因子适当增加至0.40、0.30，并将少数类的权重因子增加至0.35，基于新的基线设置，进行了十组实验。实验结果如表2所示：

表2权重因子调节实验2

使用网络输出的类别判别概率差异作为当前类别与其他类别之间的相似度度量，并使用余弦函数将这种相似度编码为当前样本的margin来计算损失。由于每个样本的类别判别概率不同，所提出的动态margin可以根据每个样本的网络输出动态变化。

构建FADM loss，FADM loss在多分类交叉熵损失的基础上同时添加实现类再平衡策略的类权重因子和动态margin，在提升小样本分类的精度的同时实现了更好的类精度平衡。

针对所建数据集同时存在样本不平衡和相似性问题。设计了一种类再平衡策略，通过对尾部类应用更大的权重来减少头部类在总损失计算中的比例。同时每个类定义了一个动态margin，对损失计算施加了惩罚，有助于增加每个类与其他类的类间距离。通过在分类损失中引入类再平衡策略和动态边际，得到FADM loss如下所示：

其中，n是用于损失计算的样本数，C＝5对应所述烤烟分组数据集组数，a_yi对应于F、L、K、V和GY类烤烟的权重，λ是聚焦参数，s是比例因子，用于提高损失收敛速度。所述TGNet的Head模块对第i个样本的预测分数表示为cosθ_i∈R^1×5，cosθ_i通过对Head模块最后的linear层的输出特征进行特征归一化和权重归一化编码得到。在生成目标logit cosθ_i∈R的置信分数时，为目标logit添加了一个额外的边距m_yi∈R⁺，以在所述TGNet训练过程中施加更严格的约束cosθ_i-m_yi＞cosθ_j而不是cosθ_yi＞cosθ_j。比较Softmax、AM-Softmax和Focal loss三种损失，每一种损失都使用RegNet作为训练网络，所有损失都使用相同的超参数设置，不同损失对烤烟分组数据集的比较实验结果如表3所示：

表3烤烟分组数据集上不同损失的对比实验

基于上述实验可得，使用FADM训练基准网络RegNet可以显着提高少数类样本的分类准确度和达到更好的类精度平衡。

进一步而言，本申请步骤S322还包括：

步骤S3221：所述动态margin的生成公式如下所示：

其中，相似性度量目标置信度得分和其他置信度得分之间差异的绝对值，将预测得分cosθ_i输入到Softmax函数中，得到第i个样本的置信度向量P_i∈R^1×5，通过应用余弦函数对最小的P_j^SM编码得到动态

具体而言，使用网络输出的类别判别概率差异作为当前类别与其他类别之间的相似度度量，并使用余弦函数将这种相似度编码为当前样本的margin来计算损失。由于每个样本的类别判别概率不同，所提出的动态margin可以根据每个样本的网络输出动态变化,动态margin的生成公式如下所示：

其中，相似性度量目标置信度得分和其他置信度得分之间差异的绝对值，将预测得分cosθ_i输入到Softmax函数中，得到第i个样本的置信度向量P_i∈R^1×5，通过应用余弦函数对最小的P_j^SM编码得到动态

通过在损失计算中引入动态margin，为网络训练提供强约束条件，动态margin随网络输出而变化，在网络训练前期生成更大的margin，以提升网络对相似性样本的鉴别能力，而在网络训练前期生成的margin变小，以促进网络的收敛，通过引入动态margin，模型达到了更好的类精度平衡。

实施例二

基于与前述实施例中一种特征通道加权和动态损失调控的烤烟分组方法相同的发明构思，如图4所示，本申请提供了一种特征通道加权和动态损失调控的烤烟分组系统，系统包括：

烤烟图像获取模块10，所述烤烟图像获取模块10用于通过图像采集装置采集获取N个主收组别的烤烟图像，建立烤烟分组数据集，其中，N为正整数；

数据预处理模块20，所述数据预处理模块20用于对所述烤烟分组数据集进行数据预处理，获取预处理数据集；

分类网络构建模块30，所述分类网络构建模块30用于设计烤烟组别分类网络TGNet；

分类模型构建模块40，所述分类模型构建模块40用于用所述烤烟组别分类网络TGNet训练所述预处理数据集，得到烤烟组别分类模型；

分组结果获取模块50，所述分组结果获取模块50用于基于所述烤烟组别分类模型获取烤烟分组结果。

进一步而言，系统还包括：

烤烟样本获取模块，用于获取烤烟样本；

图像采集模块，用于通过图像采集装置采集所述烤烟样本的图像，获取烤烟样本图像信息；

组别信息获取模块，用于获取烤烟组别信息；

分组模块，用于基于所述烤烟组别信息对所述烤烟样本图像信息进行分组，建立所述烤烟分组数据集。

进一步而言，系统还包括：

图像信息转换模块，用于将所述烤烟样本图像信息转换为适合网络模型输入的尺寸，获取调整烤烟样本图像集合；

图像集合划分模块，用于将所述调整烤烟样本图像集合进行随机划分，获取第一测试样本集、第一样本训练集和第一样本验证集；

数据集获取模块，用于将所述第一测试样本集、所述第一样本训练集和所述第一样本验证集作为所述预处理数据集。

进一步而言，系统还包括：

加权特征生成模块，用于通过特征通道加权模块CWstage生成对应特征通道的加权特征；

模块构建模块，用于构建FADM loss模块；

组别分类网络构建模块，用于融合所述特征通道的加权特征和所述FADM loss模块，构建所述烤烟组别分类网络TGNet。

进一步而言，系统还包括：

初始特征获取模块，用于将来自stage-S3的特征馈送到ConvBNAct中，获得初始特征；

高尺度特征获取模块，用于根据所述初始特征，获得高尺度特征；

通道权重因子生成模块，用于通过Avgpool层和MLP层生成通道权重因子；

通道加权模块，用于基于所述通道权重因子对所述高尺度特征进行通道加权，输出所述加权特征。

进一步而言，系统还包括：

损失函数引入模块，用于引入类再平衡策略重构损失函数，给定所述烤烟分组数据集在损失计算中不同的权重因子；

动态margin引入模块，用于引入动态margin；

FADM loss模块获取模块，用于通过在分类损失中引入所述类再平衡策略重构损失函数和所述动态margin，得到FADM loss模块，公式如下所示：

其中，n是用于损失计算的样本数，C＝5对应所述烤烟分组数据集组数，a_yi对应于所述烤烟分组数据集的权重，λ是聚焦参数，s是比例因子。

进一步而言，系统还包括：

动态margin生成模块，用于所述动态margin的生成公式如下所示：

其中，相似性度量目标置信度得分和其他置信度得分之间差异的绝对值，将预测得分cosθ_i输入到Softmax函数中，得到第i个样本的置信度向量P_i∈R^1×5，通过应用余弦函数对最小的P_j^SM编码得到动态

本说明书通过前述对一种特征通道加权和动态损失调控的烤烟分组方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种特征通道加权和动态损失调控的烤烟分组方法及系统，对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。