FEATURE FUSION AND DENSE CONNECTION BASED INFRARED PLANE TARGET DETECTION METHOD

本发明属于图像处理技术领域，具体涉及一种基于特征融合和稠密连接的红外面目标检测方法。

目前，主要的目标检测方法可以大致分为两类，一类是基于背景建模的目标检测方法，一类是基于前景建模的方法，基于背景建模的方法通过构建背景模型，将图像中与背景差异大的区域判定为目标；由于背景的复杂性，此种方法的检测效果不够理想。基于前景建模的方法通过提取目标的特征信息，将与特征信息相符较多的区域判定为目标，其中，最具代表性的是基于深度学习的目标检测方法。基于深度学习的目标检测方法通过深层卷积神经网络，自动提取目标特征，检测目标种类与位置。然后与训练集中的标定信息进行对比，计算损失函数，通过梯度下降的方法，改进网络提取的特征，使其更符合目标的实际情况。同时，更新后续检测部分的参数，使检测结果更准确。不断重复训练，直到达到预期的检测效果。

发明内容

为了解决现有技术中的上述问题，本发明提供了一种基于特征融合和稠密块的目标检测方法。

本发明采用的技术方案如下：

本发明实施例提供一种基于特征融合和稠密连接的红外面目标检测方法，该方法通过如下步骤实现：

步骤1，构建包含所需识别目标的红外图像数据集，在所述红外图像数据集中标定所需识别目标的位置与种类，获得原有已知的标签图像；

步骤2，将所述红外图像数据集分为训练集和验证集两部分；

步骤3，对训练集中的图像进行图像增强的预处理；

步骤4，对预处理后的图像进行特征提取和特征融合，并通过回归网络获得分类结果和边界框；将所述分类结果和边界框与原有已知的标签图像进行损失函数计算，使用包含动量的随机梯度下降法在卷积神经网络中对预测误差进行反向传播，并更新卷积神经网络的参数值；

步骤5，重复步骤3、4对卷积神经网络参数进行迭代更新，直至误差足够小或迭代次数达到设定的上限为止；

步骤6，通过训练完成的卷积神经网络参数对验证集中的图像进行处理，获取目标检测的准确度和所需时间，以及最终目标检测结果图。

上述方案中，所述步骤4中对预处理后的图像进行特征提取和特征融合，并通过回归网络获得分类结果和边界框，具体通过以下步骤实现：

步骤401，在所述训练集中随机抽取固定数量的图像，对每一幅图像划分10×10的区域；

步骤402，将所述步骤401划分后的图像输入稠密连接网络进行特征提取；

步骤403，对提取的特征图进行特征融合，获得融合的特征图；

步骤404，对所述融合的特征图中每一个区域产生固定数量的建议框；

步骤405，将所述融合的特征图和建议框送入回归网络进行分类和边界框回归，并使用非极大值抑制方法去除冗余，获得分类结果和边界框。

上述方案中，所述步骤402中稠密连接网络的计算方法如公式：

d_l＝H_l([d₀,d₁,...,d_l-1])

其中，d_l表示稠密连接网络中第l个卷积层的输出结果，若稠密连接网络共包含B个卷积层，则l在0～B之间取值，H_l(*)是正则化、卷积和线性整流激活函数的组合操作，d₀为输入图像，d_l-1为第l-1层的输出结果。

上述方案中，所述步骤403中对提取的特征图进行特征融合是将所提取到的不同尺度的特征图通过池化方法进行直接融合。

上述方案中，所述步骤403中对提取的特征图进行特征融合，具体通过以下步骤实现：

步骤4031，将第一组特征图F₁通过池化运算，转换成新的较小的特征图， 再与第二组特征图F₂融合得到新的特征图F₂’；

步骤4032，将新的特征图F₂’通过池化运算，再与第三组特征图F₃融合得到新的特征图F₃’；

步骤4033，用新的特征图F₂’和F₃’代替第二组特征图F₂和第三组特征图F₃进入回归网络。

上述方案中，所述步骤405中将所述融合的特征图和建议框送入回归网络进行分类和边界框回归，并使用非极大值抑制方法去除冗余，获得分类结果和边界框，具体通过以下步骤实现：

步骤4051，将特征图划分为10×10个区域，输入回归检测网络；

步骤4051，对于每一个区域，回归检测网络将输出7个可能存在的目标的位置与种类；其中，目标种类共有A个，即输出对应A种目标的可能性，与训练集的设置有关；位置参数包含3个数据，包括目标边界框的中心位置坐标、宽、高；

步骤4052，非极大值抑制方法是对于获得的同一种类边界框，使用以下公式计算其交并比：

其中，S为计算所得的交并比，M，N表示同一类目标的两个边界框，M∩N表示边界框M与N的交集，M∪N表示边界框M与N的并集。对于S大于0.75的两个边界框，剔除其中分类结果值较小的边界框。

上述方案中，所述步骤4中将所述分类结果和边界框与原有已知的标签图像进行损失函数计算，使用包含动量的随机梯度下降法在卷积神经网络中对预测误差进行反向传播，并更新卷积神经网络的参数值，具体通过以下步骤实现：

步骤401，根据所述分类结果和边界框中目标的位置与种类以及训练集中标定的所需识别目标的位置与种类计算损失函数，损失函数的计算公式如下所示：

其中，100为区域数量，7为每个区域需要预测的建议框和最终生成的边界框数量，i为区域编号，j为建议框和边界框编号，loss为误差值，obj表示存在目标，noobj表示不存在目标，x和y分别为建议框和边界框中心的横坐标和纵坐标的预测值，w和h分别为建议框和边界框的宽和高的预测值，C为建议框和边界框是否包含目标的预测值，包含A个值，分别对应A类目标的可能性， 为对应的标注值， 和 分别表示目标落入和未落入区域i的第j个建议框和边界框内；

步骤402，根据损失函数计算结果，使用包含动量的随机梯度下降法对权重进行更新。

上述方案中，所述步骤3的预处理为通过随机旋转、镜像、翻转、缩放、平移、尺度变换、对比度变换、噪声扰动和颜色变化扩充训练集。

与现有的技术相比，本发明通过对红外图像进行学习，使目标检测网络获得对可见光与红外目标的识别能力，同时，通过改进网络结构，使本方法相对传统深度学习方法具有更好的检测效果。

图1为本发明的流程图；

图2为本发明的网络结构图；

图3为本发明的结果图。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种基于特征融合和稠密连接的红外面目标检测方法，如图1所示，该方法通过以下步骤实现：

步骤1、构建数据集

如果需要检测算法具有对红外图像进行识别的能力，需要在数据集中加入红外图像。本发明使用红外图像构建数据集，使用边界框对数据集中图像进行人工标记。

步骤2、扩充训练集

通过随机旋转、镜像、翻转、缩放、平移、尺度变换、对比度变换、噪声扰动和颜色变化等方法，扩充训练集。可以弥补数据集采集困难的缺点，提高小数据集的训练效果。

步骤3、划分10*10区域

将原图像划分为10*10的区域，每个区域分别负责检查中心落入该区域的目标，可以大大加快检测速度。

步骤4、使用稠密网络进行特征提取

特征提取过程包含以下步骤：

第一步，使用卷积核大小为3*3，数量为32的卷积层对输入图像进行计算，然后进行2*2的池化运算，得到特征图F₁。

第二步，使用包含64个3*3卷积核与64个1*1卷积核的稠密块对F₁进行特征提取，同时计算残差，然后进行2*2的池化运算，得到特征图F₂。

第三步，使用包含64个1*1卷积核与64个3*3卷积核的稠密块对F₂进行特征提取，同时计算残差，然后进行2*2的池化运算，得到特征图F₃。

第四步，使用包含64个1*1卷积核与64个3*3卷积核的稠密块对F₄进行特征提取，然后进行1*1的卷积，同时计算残差，最后进行2*2的池化运算，得到特征图F₄。

第五步，使用包含256个1*1卷积核与256个3*3卷积核的稠密块对F₄进行特征提取，然后进行1*1的卷积，同时计算残差，最后进行2*2的池化运算， 得到特征图F₅。

第六步，使用包含1024个1*1卷积核、1024个3*3卷积核和1024个1*1卷积核的稠密块对F₅进行特征提取，然后进行1*1的卷积，同时计算残差，得到特征图F₆。

步骤5、对特征提取结果进行特征融合

特征融合的方法包含以下步骤：

第一步，提取步骤3中所得的特征图F₄、F₅、F₆。

第二步，对特征图F₄进行4次2*2池化，分别取四领域中左上，右上，左下，右下的点，形成新的特征图F₄’，与特征图F₅组合成特征图组F₇。

第三步，对特征图F₇进行4次2*2池化，分别取四领域中左上，右上，左下，右下的点，形成新的特征图F₇’，与特征图F₆组合成特征图组F₈。

步骤6、回归检测得到分类结果和边界框

得到分类结果和边界框的方法如下：对于每一个区域，分类和回归检测网络将输出7个可能所存在的目标的位置与种类。其中，目标种类共有A个，即输出对应A种目标的可能性，与训练集的设置有关；位置参数包含3个数据，包括目标边界框的中心位置坐标、宽、高；

步骤7、计算损失函数与更新参数

根据第6步输出的目标的位置与种类与训练集中标定的所需识别目标的位置与种类计算损失函数，此步骤只在训练过程中进行。损失函数的计算公式如下所示：

其中，100为区域数量，7为每个区域需要预测的建议框和最终生成的编辑 框数量，i为区域编号，j为建议框和边界框编号，loss为误差值，obj表示存在目标，noobj表示不存在目标。x和y分别为建议框和边界框中心的横坐标和纵坐标的预测值，w和h分别为建议框和边界框的宽和高的预测值，C为建议框和边界框是否包含目标的预测值，包含A个值，分别对应A类目标的可能性， 为对应的标注值， 和 分别表示目标落入和未落入区域i的第j个建议框和边界框内。然后，根据损失函数计算结果，使用包含动量的随机梯度下降法对权重进行更新。

重复步骤3-7直到误差满足要求或迭代次数达到设定的上限。

步骤8、使用测试集进行测试

使用步骤7训练完成的目标检测网络对验证集中的图像进行处理，获取目标检测的准确度和所需时间，以及最终目标检测结果图。

下面结合图2对本发明的网络结构做进一步说明

1、网络层数设置

本发明所使用的神经网络分两部分，第一部分为特征提取网络，由5个稠密块组成，共包含25层卷积神经网络。第二部分为特征融合及回归检测网络，包含8层卷积神经网络及1层全卷积网络。

2、稠密块设置

特征提取网络部分所使用稠密块设置如下：

(1)稠密块1包含2层卷积神经网络，第一层所使用卷积核数量为64，大小为1*1，步长为1；第二层所使用卷积核数量为64，大小为3*3，步长为1。稠密块1使用1次。

(2)稠密块2包含2层卷积神经网络，第一层所使用卷积核数量为64，大小为3*3，步长为1；第二层所使用卷积核数量为64，大小为1*1，步长为1。稠密块2使用1次。

(3)稠密块3包含2层卷积神经网络，第一层所使用卷积核数量为64，大小为1*1，步长为1；第二层所使用卷积核数量为64，大小为3*3，步长为1。 稠密块3使用2次。

(4)稠密块4包含2层卷积神经网络，第一层所使用卷积核数量为256，大小为1*1，步长为1；第二层所使用卷积核数量为256，大小为3*3，步长为1。稠密块4使用4次。

(5)稠密块5包含3层卷积神经网络，第一层所使用卷积核数量为1024，大小为1*1，步长为1；第二层所使用卷积核数量为1024，大小为3*3，步长为1；第三层所使用卷积核数量为1024，大小为1*1，步长为1。稠密块5使用2次。

3、特征融合设置。

特征融合所使用的3组特征图来源于特征提取网络的第9层、第18层和第25层结果。然后将生成特征图通过卷积与上采样与浅层特征图结合。所得结果通过3*3卷积层与1*1卷积层进行进一步处理，然后将所得的三组新特征图进行特征融合。

下面结合图3对本发明的仿真效果做进一步说明。

1.仿真条件：

本发明的仿真所使用待检测的图像大小为480×640，包含行人和自行车。

2.仿真结果与分析：

图3是本发明的结果图，其中，图3(a)为待检测的图；图3(b)为提取得到的特征图；图2(c)为检测结果图。

使用稠密网络对图3(a)进行特征提取得到一系列特征图，因中间过程的特征图太多，只抽取其中两幅，即图3(b)和图3(c)。其中，图3(b)为较浅层网络提取得到的特征图，图像尺寸较大，含有的细节信息多，语义信息少；图3(c)为较深层网络提取得到的特征图，图像尺寸较小，含有的细节信息少，语义信息多。

对特征图进行融合及回归检测之后，可以得到行人和自行车的位置，将其在原图上进行标注，即得到最终的结果图3(c)。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范 围。