Compressed infrared image restoration method based on deep denoising device
附图说明 此处所说明的附图用来公开对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中： 图1为本发明的目标红外图像压缩测量过程。 图2为本发明的基于深度去噪器的压缩红外图像复原方法流程图。 图3为本发明的红外图像去噪器。 图4为本发明在四种下采样方式得到的下采样子图像集合及拼接过程。 图5为本发明得到的噪声水平图。 图6为本发明将下采样子图像集合和噪声水平图拼接过程。 图7为本发明复原效果图。 技术领域 本发明属于红外图像压缩和复原技术领域，具体涉及一种基于深度去噪器的压缩红外图像复原方法。 具体实施方式 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、物品或者装置中还存在另外的相同要素。 本发明对目标红外图像经过编码测量后获得压缩测量值，复原原始红外图像时在传统基于优化的算法中插入深度网络学习获得的深度去噪器，从而网络可以适用于不同输入图像噪声，并且同时具有基于模型的优化算法的可解释性和基于卷积神经网络的鲁棒性和快速性，因此降低了图像复原的难度，提高了图像复原的质量。 本发明实施例提供了一种基于深度去噪器的压缩红外图像复原方法，如图1所示，具体通过以下步骤实现： 步骤一、通过6553个不同的编码矩阵Φ对目标红外图像x进行压缩测量，获得压缩测量值y，其中Φ为256×256的高斯随机矩阵，值分布在[0，1]，x尺寸为256×256，y尺寸为6553×1，如图1依次为目标红外图像、编码矩阵以及压缩测量值示意图。红外图像复原过程就是当x是未知时，从y中恢复x，该红外图像复原过程为求解下式： 式中，θ为辅助参数，是x的近似值，argmin为求函数最小值操作，为求函数二范数操作，||·||1为求函数一范数操作，||θ||1为正则化项，α为正则化参数，包含了图像先验信息，ω(·)为噪声函数，具体为高斯白噪声。该红外图像复原过程的求解可分为两个子过程，即第一个子过程求解目标红外图像，第二个子过程求解辅助参数，如图2所示，为基于深度去噪器的压缩红外图像复原方法； 步骤二、所述第一子过程求解目标红外图像为给定辅助参数的初始值后，按照下式，通过第10次迭代的辅助参数θ10对第11次迭代的目标红外图像x11进行求解， x11＝θ10+ΦT(ΦΦT)-1(y-Φθ10) 式中，(·)T为确定矩阵转置，(·)-1为确定矩阵的逆，具体地k等于10； 步骤三、所述第二子过程求解辅助参数为按照下式确定第11次迭代的辅助参数θ11， θ11＝ξ(x11) 式中，ξ(·)为深度去噪器，具体去噪过程为步骤四到步骤十二，如图3为深度去噪器； 步骤四、通过x11分别确定四种下采样方式得到的下采样子图像F1(x11)、F2(x11)、F3(x11)、F4(x11)； 具体地，F1(x11)是基于最邻近插值法获得的下采样子图像，F2(x11)是基于双线性插值法获得的下采样图像，F3(x11)是基于双三次插值法获得的下采样图像，F4(x11)是基于最大池化法获得的下采样图像， F1(x11),F2(x11),F3(x11),F4(x11)尺寸均为128×128，如图4为四种下采样方式得到的下采样子图像； 步骤五、对所述下采样子图像F1(x11)、F2(x11)、F3(x11)、F4(x11)进行第三维度拼接，获得子图像集合Υ； 具体地，分别确定四张下采样子图像的方差，σ(F1)＝0.04，σ(F2)＝0.03，σ(F3)＝0.06，σ(F4)＝0.08，σ(F2)<σ(F1)<σ(F3)<σ(F4)，按照方差由小到大顺序对四张下采样子图像进行第三维度拼接，获得拼接结果子图像集合Υ，大小为128×128×4，如图4为四种下采样方式得到的下采样子图像集合及拼接过程； 步骤六、通过x11确定噪声水平图ψ，； 具体地，确定x11的方差σ，为0.01，通过ψ＝xk+1+σ获得噪声水平图ψ，如图5所示为噪声水平图，从而网络可以适用于不同输入图像噪声； 步骤七、对所述子图像集合Υ和噪声水平图ψ进行第三维度拼接，获得混合图X，大小为128×128×5，如图6所示为混合图； 具体地，将噪声水平图放在混合图后面。 步骤八、通过三维卷积核对X进行卷积操作，获得浅层特征图X1； 具体地，构造一个3×3×5的三维卷积核，然后与ReLU、BN顺序连接组成浅层特征提取层，通过浅层特征提取层对混合图X进行特征提取获得浅层特征图X1，此处为1层浅层特征提取层； 步骤九、通过浅层特征图X1确定空间注意力特征图Fspa(X1)，该过程为本领域公开操作； 步骤十、通过浅层特征图X1确定通道注意力特征图Fcha(X1)，该过程为本领域公开操作； 步骤十一、通过所述空间注意力特征图Fspa(X1)和通道注意力特征图Fcha(X1)确定融合特征图X2，再对融合特征图X2进行卷积，获得深度特征图X3； 具体地，分别获得空间注意力特征图Fspa(X1)和通道注意力特征图Fcha(X1)后，使用加权特征融合操作，获得融合特征图X2，即X2＝(1-λ)Fspa(X1)+λFcha(X1)，λ为约束参数，取值为0.3，即X2＝0.7Fspa(X1)+0.3Fcha(X1)，表示空间注意力特征图的贡献大于通道注意力特征图。再通过L层由3×3×3卷积核、ReLU、BN顺序连接组成的深度特征提取层对融合特征图X2进行深度特征提取,获得深度特征图X3，L取值为10； 步骤十二、对所述深度特征图X3进行上采样操作，即通过步骤四到步骤十二完成深度去噪器操作，获得第11次迭代的辅助参数θ11； 具体地，对浅层特征图X1和深度特征图X3进行残差连接，获得全尺度特征图X4，再对全尺度特征图X4进行亚像素卷积获得第11次迭代的辅助参数θ11，残差连接为输入和输入的非线性变化的叠加，为本领域公开操作。亚像素卷积为通过亚像素插值的方法实现从小矩阵到大矩阵的映射，从而提高分辨率，为本领域公开操作； 步骤十三、更新正则项α以及k，重复步骤二到步骤十二直到两个子过程收敛，获得收敛后的θ，即为复原的压缩红外图像，如图7所示为复原效果图。 具体地，通过α11＝∈α10+(1-∈)α9更新α，其中∈∈(0,1)为约束参数，通过结合现阶段参数和历史参数来加速迭代过程，∈取值为0.7，α9为0.2，α10为0.5，计算得到α11为0.41。迭代次数累加，直到第50次两个子过程收敛，收敛条件为 本发明通过在传统基于优化的复原算法中插入深度去噪器，从而通过深度去噪器的鲁棒性来提高图像复原质量。 设计的红外图像去噪网络将子图像和噪声水平图进行拼接后输入卷积神经网络，最后将去噪后的子图像进行上采样恢复获得目标图像，从而能够适应不同噪声水平的红外图像，实现快速灵活的图像去噪。 以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。 背景技术 红外成像是通过温差成像，相较于可见光成像能够全天时全天候工作，因而被广泛应用于军事，安防，遥感，医疗等领域。然而，由于探测器阵列造价昂贵，从而红外相机的空间分辨率受限，因此，以低成本的方式提高红外相机的空间分辨率是一项关键技术。 2006年，压缩感知被提出，相较于传统的采样理论遵循奈奎斯特采样定理，压缩感知能够将高维数据投影到低维空间上进行采集，再通过算法重建原始信号，从而提供了一种从低维信号中恢复原始信号的方式。 由于自然界中大多数信号可被压缩或者在某种稀疏基上可被压缩，即可以通过少量探测器阵列数采集压缩信号，再经过复原算法恢复目标的原始信号。经过对压缩感知理论的研究，基于该理论的单像素相机被研制，从硬件上实现了通过单光子探测器采集的数据复原获得目标图像的目的。 针对红外探测器造价昂贵，该方法可以在红外领域发挥最大的优势，即在减少红外相机的成本下提高空间分辨率，为保证红外图像复原质量，红外图像复原方法尤为重要。 发明内容 有鉴于此，本发明的主要目的在于提供一种基于深度去噪器的压缩红外图像复原方法。 为达到上述目的，本发明的技术方案是这样实现的： 本发明实施例提供一种基于深度去噪器的压缩红外图像复原方法，该方法包括以下步骤： 步骤一、通过编码矩阵Φ∈R1×M对目标红外图像x∈RM×N进行压缩测量，获得压缩测量值y∈R1×N，其中M为矩阵长，N为矩阵宽，R表示实数域，红外图像复原过程就是当x是未知时，从y中恢复x，该红外图像复原过程为求解下式： 式中，θ为辅助参数，argmin为求函数最小值操作，为求函数二范数操作，||·||1为求函数一范数操作，||θ||1为正则化项，α为正则化参数，ω(·)为噪声函数，该红外图像复原过程的求解可分为两个子过程，即第一个子过程求解目标红外图像，第二个子过程求解辅助参数； 步骤二、所述第一子过程求解目标红外图像为给定辅助参数的初始值后，按照下式，通过第k次迭代的辅助参数θk对第k+1次迭代的目标红外图像xk+1进行求解， xk+1＝θk+ΦT(ΦΦT)-1(y-Φθk) 式中，(·)T为确定矩阵转置，(·)-1为确定矩阵的逆，k是迭代次数； 步骤三、所述第二子过程求解辅助参数为按照下式确定第k+1次迭代的辅助参数θk+1， θk+1＝ξ(xk+1) 式中，ξ(·)为深度去噪器； 步骤四、通过xk+1∈RM×N分别确定四种下采样方式得到的下采样子图像F1(xk+1)、F2(xk+1)、F3(xk+1)、F4(xk+1)，其中 步骤五、对所述下采样子图像F1(xk+1)、F2(xk+1)、F3(xk+1)、F4(xk+1)进行第三维度拼接，获得子图像集合 步骤六、通过xk+1确定噪声水平图ψ； 步骤七、对所述子图像集合Υ和噪声水平图ψ进行第三维度拼接，获得混合图 步骤八、通过三维卷积核对混合图X进行卷积操作，获得浅层特征图X1； 步骤九、通过所述浅层特征图X1确定空间注意力特征图Fspa(X1)； 步骤十、通过所述浅层特征图X1确定通道注意力特征图Fcha(X1)； 步骤十一、通过所述空间注意力特征图Fspa(X1)和通道注意力特征图Fcha(X1)确定融合特征图X2，再对融合特征图X2进行卷积，获得深度特征图X3； 步骤十二、对所述深度特征图X3进行上采样操作，即通过步骤四到步骤十二完成深度去噪器操作，获得第k+1次迭代的辅助参数θk+1； 步骤十三、更新正则项α以及k，重复步骤二到步骤十二直到两个子过程收敛，获得收敛后的θk+1，即为复原的压缩红外图像。 上述方案中，所述步骤四具体为：F1(xk+1)是基于最邻近插值法获得的下采样子图像，F2(xk+1)是基于双线性插值法获得的下采样子图像，F3(xk+1)是基于双三次插值法获得的下采样子图像，F4(xk+1)是基于最大池化法获得的下采样子图像。 上述方案中，所述步骤五具体为：分别确定四张下采样子图像的方差，按照方差由小到大顺序对四张下采样子图像进行第三维度拼接，获得拼接结果子图像集合Υ。 上述方案中，所述步骤六具体为：确定xk+1的方差σ，通过ψ＝xk+1+σ获得噪声水平图ψ。 上述方案中，所述步骤八具体为：构造一个3×3×5的三维卷积核，然后与ReLU、BN顺序连接组成浅层特征提取层，通过浅层特征提取层对混合图X进行特征提取获得浅层特征图X1。 上述方案中，所述步骤十一具体为：对所述空间注意力特征图Fspa(X1)和通道注意力特征图Fspe(X1)进行加权特征融合操作，获得融合特征图X2，即X2＝(1-λ)Fspa(X1)+λFcha(X1)，λ为约束参数，再通过L层由3×3×3卷积核、ReLU、BN顺序连接组成的深度特征提取层对融合特征图X2进行深度特征提取,获得深度特征图X3。 上述方案中，所述步骤十二具体为：对浅层特征图X1和深度特征图X3进行残差连接，获得全尺度特征图X4，再对全尺度特征图X4进行亚像素卷积获得第k+1次迭代的辅助参数θk+1。 上述方案中，步骤十三所述的更新正则项α以及k具体为：通过 αk+1＝∈αk+(1-∈)αk-1更新α，其中∈∈(0,1)为正则项α的约束参数；对k进行加1操作。 与现有技术相比，本发明通过在传统基于优化的复原算法中插入深度去噪器，从而通过深度去噪器的鲁棒性来提高图像复原质量。 The invention discloses a compressed infrared image restoration method based on a deep denoising device, and the method comprises the steps: firstly, carrying out the coding measurement of an original infrared image, obtaining an original measurement value, and inserting a deep denoising device obtained through deep network learning in a conventional optimization-based algorithm when the original infrared image is restored, then, a deep de-noising device is obtained by designing a feature extraction network based on space attention and channel attention, and finally, the two sub-processes are iteratively solved to obtain a restored infrared image, so that the method has interpretability of a model-based optimization algorithm and robustness and rapidity of a convolutional neural network at the same time; and the image restoration quality is improved. 1.一种基于深度去噪器的压缩红外图像复原方法，其特征在于，该方法包括以下步骤： 步骤一、通过编码矩阵Φ∈R1×M对目标红外图像x∈RM×N进行压缩测量，获得压缩测量值y∈R1×N，其中M为矩阵长，N为矩阵宽，R表示实数域，红外图像复原过程就是当x是未知时，从y中恢复x，该红外图像复原过程为求解下式： 式中，θ为辅助参数，argmin为求函数最小值操作，为求函数二范数操作，||·||1为求函数一范数操作，||θ||1为正则化项，α为正则化参数，ω(·)为噪声函数，该红外图像复原过程的求解可分为两个子过程，即第一个子过程求解目标红外图像，第二个子过程求解辅助参数； 步骤二、所述第一子过程求解目标红外图像为给定辅助参数的初始值后，按照下式，通过第k次迭代的辅助参数θk对第k+1次迭代的目标红外图像xk+1进行求解， xk+1＝θk+ΦT(ΦΦT)-1(y-Φθk) 式中，(·）T为确定矩阵转置，(·)-1为确定矩阵的逆，k是迭代次数； 步骤三、所述第二子过程求解辅助参数为按照下式确定第k+1次迭代的辅助参数θk+1， θk+1＝ξ(xk+1) 式中，ξ(·)为深度去噪器； 步骤四、通过xk+1∈RM×N分别确定四种下采样方式得到的下采样子图像F1(xk+1)、F2(xk+1)、F3(xk+1)、F4(xk+1)，其中F1(xk+1),F2(xk+1),F3(xk+1), 步骤五、对所述下采样子图像F1(xk+1)、F2(xk+1)、F3(xk+1)、F4(xk+1)进行第三维度拼接，获得子图像集合 步骤六、通过xk+1确定噪声水平图ψ； 步骤七、对所述子图像集合Υ和噪声水平图ψ进行第三维度拼接，获得混合图 步骤八、通过三维卷积核对混合图X进行卷积操作，获得浅层特征图X1； 步骤九、通过所述浅层特征图X1确定空间注意力特征图Fspa(X1)； 步骤十、通过所述浅层特征图X1确定通道注意力特征图Fcha(X1)； 步骤十一、通过所述空间注意力特征图Fspa(X1)和通道注意力特征图Fcha(X1)确定融合特征图X2，再对融合特征图X2进行卷积，获得深度特征图X3； 步骤十二、对所述深度特征图X3进行上采样操作，即通过步骤四到步骤十二完成深度去噪器操作，获得第k+1次迭代的辅助参数θk+1； 步骤十三、更新正则项α以及k，重复步骤二到步骤十二直到两个子过程收敛，获得收敛后的θk+1，即为复原的压缩红外图像。 2.根据权利要求1所述的基于深度去噪器的压缩红外图像复原方法，其特征在于，所述步骤四具体为：F1(xk+1)是基于最邻近插值法获得的下采样子图像，F2(xk+1)是基于双线性插值法获得的下采样子图像，F3(xk+1)是基于双三次插值法获得的下采样子图像，F4(xk+1)是基于最大池化法获得的下采样子图像。 3.根据权利要求1或2所述的基于深度去噪器的压缩红外图像复原方法，其特征在于，所述步骤五具体为：分别确定四张下采样子图像的方差，按照方差由小到大顺序对四张下采样子图像进行第三维度拼接，获得拼接结果子图像集合Υ。 4.根据权利要求3所述的基于深度去噪器的压缩红外图像复原方法，其特征在于，所述步骤六具体为：确定xk+1的方差σ，通过ψ＝xk+1+σ获得噪声水平图ψ。 5.根据权利要求4所述的基于深度去噪器的压缩红外图像复原方法，其特征在于，所述步骤八具体为：构造一个3×3×5的三维卷积核，然后与ReLU、BN顺序连接组成浅层特征提取层，通过浅层特征提取层对混合图X进行特征提取获得浅层特征图X1。 6.根据权利要求5所述的基于深度去噪器的压缩红外图像复原方法，其特征在于，所述步骤十一具体为：对所述空间注意力特征图Fspa(X1)和通道注意力特征图Fspe(X1)进行加权特征融合操作，获得融合特征图X2，即X2＝(1-λ)Fspa(X1)+λFcha(X1)，λ为约束参数，再通过L层由3×3×3卷积核、ReLU、BN顺序连接组成的深度特征提取层对融合特征图X2进行深度特征提取,获得深度特征图X3。 7.根据权利要求6所述的基于深度去噪器的压缩红外图像复原方法，其特征在于，所述步骤十二具体为：对浅层特征图X1和深度特征图X3进行残差连接，获得全尺度特征图X4，再对全尺度特征图X4进行亚像素卷积获得第k+1次迭代的辅助参数θk+1。 8.根据权力要求1所述的基于深度去噪器的压缩红外图像复原方法，其特征在于，步骤十三所述的更新正则项α以及k具体为：通过αk+1＝∈αk+(1-∈αk-1更新α，其中∈∈(0,1)为正则项α的约束参数；对k进行加1操作。