Land coverage detection method, system and equipment based on multi-scale position attention aggregation

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，一种多尺度位置注意聚合的土地覆盖辩识方法，包括：

训练数据集的获取：

数据集来自于Google Earth的分辨率为1600×900的地图，它包含了欧洲的乡村公园，中国的沿海居民区，北美的私人别墅等，具有空间跨度大、拍摄角度多样化、视角低、环境复杂等特点，因此该数据集对算法要求较高。本文将这些大图像分割成大小为224×224的图像，并对这些图片进行数据增强处理，获得10000对包含建筑物与水域的图像与标签。数据增强的策略包括三种类型：水平翻转(50％)、垂直翻转(50％)、随机旋转(-10°至10°)等。训练集和数据集的比例为8:2。这些图片被标记为3类对象：水域、建筑物和背景。该数据集具有以下特点：(1)如图5(a)和图5(d)所示，图像中的集装箱房屋的顶部以及一些杂物与水域和背景之间在像素值上有相似性，容易使模型产生误分类，对模型的检测能力具有挑战性；(2)如图5(a)和图5(c)所示，由于拍摄角度不同，图像中的建筑物有一定的位置偏差，而不是单一的视角图像；(3)土地覆盖的场景较多，能够真实的反映模型的分割能力；(4)房屋之间存在高度差，高层建筑阴影投影映射在低层建筑上会干扰模型分割；(5)我们使用的是人工标注，因此分割区域的信息较为精确。如图5所示，展示了LandCover数据集中的部分训练图像，图中第一行是原始彩色图像，第二行是对应的标签，其中白色区域代表建筑物，蓝色区域代表水域，黑色区域代表背景。

构建多尺度位置注意聚合网络

一种基于多尺度位置注意聚合网络的遥感图像土地覆盖的检测方法的结构如图1所示。整个网络是一个编码器-解码器的结构，采用端到端的训练方式，主要由位置通道注意模块，双支路多尺度模块和多尺度聚合模块构成。由于在对遥感图像中识别土地覆盖的过程中，是对图中特征信息的提取十分重要，选择合适的主干网络可以大大提高网络的检测效率，本发明选取的是残差网络作为主干网络来进行特征提取操作。

所述的一种多尺度位置注意聚合的土地覆盖检测方法，其特征在于，所述位置注意模块用于将位置信息嵌入通道注意与位置空间注意中，在位置注意中，分别沿着两个空间方向(H和W)进行聚合特征，即不仅专注的捕获特征图一个方向的远程依赖关系，同时也可以保留该方向精确的位置信息，加强了网络对于感兴趣对象的捕捉。位置全局注意模块实现了捕获像素位置之间的长距离依赖性关系，更好的获取全局信息。通道注意模块也有效的关注了建筑物与水域的边缘信息，获取有效的细节信息，最后将通道注意模块和位置空间注意模块的特征信息进行相加得到最后的输出；整个模块的计算过程如下：

F_out＝(M_S+(M_C+x_i))

其中F_out∈R^C×H×W表示最终输出，M_S()表示位置注意力操作，M_C()表示通道注意力操作；

通道注意力模块使用了全局平均池化和全局最大值池化两种池化层来提取高层特征。不同类型的全局池化层可以提取丰富的高层特征。特征信息经过两个全局池化层后，通过卷积核为1的卷积层进行通道转换，然后将两个支路的输出进行拼接。接下来，使用卷积核为1的卷积作为选择器，自适应地聚焦于两个全局池化的特征表示。它的计算公式如下：

y_out＝x_i·Sigmoid(Conv(Cat(x_max,x_avg))

其中Sigmoid表示激活函数，Cat表示对两个全局池化输出进行拼接，x_i为该模块的输入特征信息，x_max和x_avg分别代表全局最大值池化操作和全局平均池化操作，其计算公式如下：

x_max＝Conv(g_max(x_i))

x_avg＝Conv(g_avg(x_i))

位置空间注意力模块分别沿着两个空间方向聚合特征，即H和W方向。位置注意将输入特征通过自适应池化层分解为两个1D特征编码过程，以有效地将空间信息整合到生成的注意力特征图中。我们先将输入的特征信息分别沿着H和W方向做自适应平均池化操作，接着将H和W方向的特征信息进行融合，汇聚特征信息，计算过程如下：

x_i+1＝Conv{σ(Conv[Cat(x_avg(x_i),y_avg(x_i)^T])}

x_i表示输入特征，x_avg表示对x_i沿着H方向做自适应平均池化，压缩W的尺寸，y_avg表示对x_i沿着W方向做自适应平均池化，压缩H的尺寸，表示将y_avg进行转置，方便之后的融合操作，Cat表示将x_avg和y_avg进行融合，汇聚特征信息，σ(·)表示进行BatchNorm和激活函数为ReLU。

通过上述操作后的特征图将会被拆分，之后被分别送进H和W方向的全局注意力模块中。以H方向的位置注意为例，我们将输入进H方向的特征信息平均分为三个位置元素(Θ，Φ，g)，Θ和Φ分别进行通道合并及转置操作后，进行矩阵相乘，它们计算的结果经过Softmax后，再和经过通道变化后的g进行矩阵相乘。通过三个位置元素之间运算，我们可以实现位置信息的交互，同时通过Softmax操作对经过全局注意后的特征图重新加权，与带有原特征图信息的g相加，补全信息，从而捕捉特征图的长远距离依赖，并且保留了H方向的精确信息，W方向的位置注意操作也相同。最后，我们汇总H方向和W方向的位置信息，同时获取两个方向的长远距离依赖关系，也保留了两个方向的精确位置信息，之后和原来的输入特征图相结合，构成完整的残差位置空间注意模块；计算过程如下：

X_location＝X_out+X_i

其中h_i表示H方向的输入注意特征图，w_i表示W方向的输入注意特征图，Conv¹和Conv²表示卷积核为1的卷积运算，区别在于通道数不同，Softmax表示激活函数Softmax，σ(·)表示归一化函数BatchNorm，表示点乘，X_out表示H方向和W方向的汇总信息，X_location表示位置空间注意模块的输出，X_i表示该模块的输入特征图。

需要进一步进行说明的是，所述双支路多尺度模块用于提取目标的边缘信息与不同尺度的特征，并通过空洞卷积的方式增大感受野，进一步的提取多尺度上下文信息；并行的空洞卷积层使得每个采样率的特征图都能在单独的分支中得到进一步处理，互不干扰，这有利于最后多尺度信息的融合。另一方面，经过类似残差连接通道的特征图，在经过卷积核为1的卷积运算后，与完成并行空洞卷积的特征图融合，补充卷积运算后可能丢失的原始信息，从而实现精准分割；其计算方式如下：

x_i1＝Max(x_i)

x_i2＝Ds-Conv_r＝6(x_i)

x_i3＝Ds-Conv_r＝12(x_i)

x_i4＝Ds-Conv_r＝18(x_i)

x_i5＝Conv_1×1(x_i)

其中Max表示自适应最大值池化，DS-Conv_r＝分别表示空洞率r＝6,12,18的空洞卷积，Conv_1×1表示卷积核为1的卷积操作。

需要进一步进行说明的是，在具体实施过程中，所述的一种多尺度位置注意模块的土地覆盖检测方法，其特征在于，所述多尺度融合模块：本发明设计了多尺度融合模块用于高层语义信息和低层空间信息进行相互指导融合，满足土地覆盖分割任务中复杂的细小支流和房屋房檐边缘的分割要求，通过不同尺度的指导，增强通道之间的信息交互能力。首先对低层特征和高层特征使用3×3的深度可分离卷积来进一步挖掘特征信息得到U'₁和U'₂，加强了语义信息特征。对于高层特征，利用双线性插值方法将它采样到与低层特征图相同的大小U'₂₁，然后对低层特征进行加权得到H₁，生成对低层特征图增强语义信息的指导。同时，低层特征图经过平均池化下采样为高层特征图的尺寸U'₁₂，然后加权到高层特征图上，达到对高层特征地图空间信息增强的目的，接着，将受到指导的高层特征和低层特征在通道维度上进行融合，通过增加通道数来实现较好的性能，这样有利于增加描述图像本身的特征，计算过程如下：

U'₁＝DS-Conv(U₁)

U'₂＝DS-Conv(U₂)

U'₁₂＝Max_3×3(U'₁)

U'₂₁＝Upsample(U'₂)

其中，DS-Conv表示3×3的深度可分离卷积运算，Max_3×3是3×3的最大值池化操作，Upsample是两倍上采样操作，表示点乘，U₁为低层特征，U₂为高层特征，L₁为U'₂₂经过两倍上采样处理的高层特征。最后，将融合的特征输入进细化模块，该模块可以直接嵌入在多尺度融合模块中，实现端到端的训练，直接生成精细的分割图，同时减少了无关区域的干扰。特征图通过细化模块后再经过四倍的双线性插值上采样恢复成原图尺寸。

由于建筑物与水域的类型丰富，存在一些楼体中间镂空的建筑，水池中有观测塔，这些会造成网络的误分类。除此之外，一些建筑物的屋顶，比如蓝顶集装箱，它们在可见光谱中与水域具有相似的属性，这会干扰网络判断，造成误分类，这是由于缺失位置信息和全局信息导致的。在编码阶段，网络获取了足够的语义信息，但是底层的特征图因为多次的下采样以及卷积操作，损失了很多全局信息，导致网络丢失了水域或者建筑物的大尺度特征，因此会将蓝色屋顶的房屋和水域错误分类。为了获得更准确的分类效果，本文设计了一个位置通道注意模块(LCAM)，该模块可以将位置信息与全局信息结合。在位置信息中，LCAM增强了网络对房屋镂空边缘，房屋顶部游泳池边缘的关注。全局信息中，LCAM集中获取大型工厂、蓝色屋顶的集装箱房屋的整体特征，以此达到优秀的分割效果。

主干网络进行特征提取时，在网络的深层会产生大量的语义特征信息以及类别信息，但是却不是所有的信息都是有用的，如何提取深层语义信息并利用类别信息指导模型的分类对最终的分割结果会产生很大的影响。在土地覆盖检测任务中，传统的提取语义信息的方法对大尺度的会场、湖泊非常有效，但对于小的水域却不是很有效，大的卷积核会提取很多无关的信息，干扰模型的预测，除此之外，该模块的输出通道数过大，导致计算参数量过高，效率较低，基于以上问题，这里提出了一种双支路多尺度模块(DMAM)用于获取水域与建筑物的多尺度信息，并行的空洞卷积层使得每个采样率的特征图都能在单独的分支中得到进一步处理，互不干扰，有利于最后多尺度信息的融合。另一方面，经过类似残差连接通道的特征图，在经过卷积核为1的卷积运算后，与完成并行空洞卷积的特征图融合，补充卷积运算后可能丢失的原始信息，从而实现精准分割。

目前大多数的特征融合方法只是简单的维度拼接或者利用广播机制进行相加，这种粗糙的处理方式会导致低层空间信息和高层语义信息多样性的丢失。为了满足土地覆盖分割任务中复杂的细小支流和房屋房檐边缘的分割要求，需要多种特征信息进行融合，因此多尺度融合模块是必不可少的。针对以上的问题，我们提出了多尺度融合模块，高层特征具有丰富的类别信息，可以指导低层特征进行分类，而低层特征保留着大量的空间信息，在MFM中我们使用多尺度融合模块来完成不同尺度的相互指导，增强通道之间的信息交互能力，可以弥补高层对建筑物与水域整体把握的不足。

随着编码器部分输出特征图逐步上采样到原图大小的过程中，我们使用MFM中的细化卷积模块来实现端到端的训练，直接生成精细的分割图，同时减少了无关区域的干扰。特征图通过细化模块后再经过四倍的双线性插值上采样恢复成原图尺寸。

在解码过程中如果单一地对特征图进行上采样操作会损失许多特征，造成最终的分割结果的失败，但是简单的线性操作，例如求和或者串联却又不是最佳的选择，无法关注到融合信息中有用的部分。土地覆盖检测任务中各种杂物和建筑物、水域相似的浅层特征以及复杂背景的干扰都要求我们的网络在上采样恢复过程中能够准确提取不同粒度地特征，以融合更丰富的特征信息，从而最小化相似对象的影响。

在我们的网络中存在大量的通道连接操作，这样不仅可以融合不同层次的信息，还能提高模型的检测效率，避免信息的遗漏。

利用数据集进行网络模型的训练：

本发明采用有监督训练的方式，首先对数据集中的图像进行数据增强处理，然后再将原始图片和对应的标签转化为张量后输入到模型当中进行训练。采用的优化器为自适应矩估计(Adam)，学习率策略采用的是动态调整学习率“Poly”策略，其中将初始学习率设置为0.00015，衰减系数为0.98，每训练3次更新一次学习率，一共训练了300次，训练时批量大小为16。

使用训练好的网络模型进行预测并生成土地覆盖的掩膜图像：

在训练结束后会得到模型的权重，接下来进入模型的预测阶段，本发明在预测时，使用训练好的多尺度位置聚合网络进行预测，输入一张原始彩色图片，如图6所示为进行预测的原始彩色图片，这里我们选择的是一张大场景图片，经过训练好的权重提取特征进行编码解码操作后输出便得到土地覆盖的掩膜图像，如图7所示。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内容。