Phase fringe image speckle noise suppression method based on deep learning

技术领域

本发明属于光学检测和图像处理技术领域，特别涉及一种基于深度学习的相位条纹图像散斑噪声抑制方法。

技术背景

近年来，随着计算机特别是高分辨率电荷耦合器件(CCD)的发展，数字全息技术及其应用受到越来越多的青睐，它已被广泛应用于三维成像领域、粒子测量领域等。但是由于激光器的强相干性，光路会受到光学元件缺陷(如灰尘、气泡、伤痕、凹凸缺陷等)或浑浊介质等影响，引起数字全息技术所获得的相位图像出现光强随机涨落的散斑颗粒，即散斑噪声，掩盖了物体的部分细节特征，进而影响了重构图像的测量精度。

传统的散斑噪声抑制算法包括全变差正则化、随机重采样掩模、三维块匹配算法(BM3D)、傅里叶滤波(WFF)算法、小波阈值等方法。这些基于滤波器的图像处理方法在抑制散斑噪声的同时，都会不同程度模糊图像细节，并难以对较大噪声等级的散斑噪声进行抑制。而目前使用的深度学习网络去噪算法，比如Gan、ResNet、DNCNN等网络，在抑制噪声时只能对单一噪声等级的散斑图像进行训练，无法适用于不同噪声等级散斑图像的处理，而且也存在图像过度平滑的现象，丢失了图像的细节信息。

随着深度学习和图像处理的深度结合，基于深度学习的散斑噪声抑制方法得到了广泛的应用。在实际散斑噪声抑制过程中，由于产生散斑噪声的原因与环境不同，使得散斑噪声模型复杂，噪声等级不一，因此，通过现有的深度学习散斑噪声抑制方法无法同时抑制不同噪声等级的散斑。

发明内容

本发明为了解决上述问题，提出了一种基于深度学习的相位条纹图像散斑噪声抑制方法。首先，该方法对数据集进行预处理，提高了模型的泛化能力；其次，为了获取散斑噪声图像更多特征信息，将空间金字塔池化与非局部注意力机制融合集成非对称融合非局部块，捕获图像上两个不同像素点间的联系，使得每个位置的输出都结合了整个图像上所有位置的特征，得到全局信息；然后，将获得的全局信息输入到FFDNet网络中对不同噪声等级的散斑噪声图像进行训练，并在FFDNet网络的输出端添加了边缘提取模块，提取不同尺度上的特征信息进行融合得到边缘图；最后，将得到的边缘图反向传播到FFDNet网络，引导网络的噪声抑制过程，利于图像恢复更多的细节特征。该方法有效提高了不同噪声等级的散斑噪声抑制能力，同时更多地保留了图像的边缘细节特征。

为实现上述目的，本发明采用的技术方案如下：一种基于深度学习的相位条纹图像散斑噪声抑制方法，包括以下步骤：

步骤S1，收集相位条纹图像数据集作为数据集样本，并对获得的数据集样本按照8:1:1的比例划分为训练集、验证集和测试集；

步骤S2，对经过步骤S1划分得到训练集添加不同等级的随机散斑噪声；

步骤S3，对经过步骤S2处理的训练集进行预处理；

步骤S4，将经过步骤S3预处理后的训练集输入非对称融合非局部块结构，将噪声图像的信息与全局信息相结合；

步骤S5，将经过步骤S4处理得到的结果输入到FFDNet网络；

步骤S6，将经过步骤S5得到的去噪结果输入边缘提取模块，提取相位条纹图像的边缘细节特征，将边缘细节特征反向传播到FFDNet网络中，使得网络保留更多的边缘细节特征；

步骤S7，搭建相位条纹图像的散斑噪声抑制网络模型，利用不同噪声等级的相位条纹图像训练网络；

步骤S8，对经过步骤S1划分得到的测试集按照步骤S2所述方法添加不同噪声等级的散斑噪声，并按照步骤S3所述方法进行归一化处理；

步骤S9，将步骤S8得到的测试集送入步骤S7训练得到的网络模型中，获得散斑噪声抑制结果。

优选的，所述步骤S1具体包括：

步骤S101，收集相位条纹图像数据集，构成改进的FFDNet网络模型所需的无噪声图像数据，作为数据集样本，图像尺寸大小统一为1024×1024像素。

步骤S102，数据划分，将数据集样本按照8:1:1的比例划分为训练集、验证集和测试集三个部分；其中，训练集用于模型拟合数据样本，在训练过程中对训练误差进行梯度下降和权重参数的训练；验证集用于调整模型的超参数和初步评估模型能力；测试集用来评估最终模型的泛化能力。

优选的，所述步骤S2具体包括：

将训练集中的相位条纹图像添加服从瑞利分布的乘性分量与高斯分布的加性分量的散斑噪声，作为训练模型所需的噪声模型；噪声模型可表示为：

n＝R(x)+N(0,δ²)                     (1)

式(1)中，n为添加散斑噪声后的图像；x为无噪声图像；R(x)为带有尺寸参数的瑞利分布；N(0,δ²)为期望值为0、方差为δ²的高斯分布；不同的标准差δ决定不同等级的噪声，将噪声等级设置为[0,75]，最终形成与原始相位条纹图像对应的噪声等级为[0,75]的噪声图像。

优选的，所述步骤S3具体包括：

步骤S301，对每条数据进行线性函数归一化操作，公式为：

式(2)中，p'为归一化后的像素值；p为原始像素值；min(p)为样本数据中的最小像素值；max(p)为样本数据中的最大像素值。

步骤S302，将训练图像随机裁剪成尺寸大小为160×160像素的图像块，并将其通过旋转进行数据增强，可以扩充图像数据和增强模型稳定性，同时提升网络的计算效率；数据增强方法如下：

旋转90：将图像块逆时针旋转90°；

旋转180：将图像块逆时针旋转180°；

旋转270：将图像块逆时针旋转270°；

翻转：将图像块沿x轴上下翻转；

翻转(旋转90)：将图像块逆时针旋转90°，再上下翻转；

翻转(旋转180)：将图像块逆时针旋转180°，再上下翻转；

翻转(旋转270)：将图像块逆时针旋转270°，再上下翻转。

步骤S303，将经过步骤S302处理的无噪声相位条纹图像块与相应位置上含有散斑噪声的相位条纹图像块组成训练图像对。

优选的，所述步骤S4具体包括：

步骤S401，在FFDNet网络前端引入非对称融合非局部块结构，非对称融合非局部块用于统计全局信息，捕获图像上两个不同像素点间的联系，将图像中每个像素点位置的响应计算为除该像素点外所有位置特征的加权总和，并将该响应值传递给FFDNet来增强网络的去噪效果。

步骤S402，非对称融合非局部块结构中加入了空间金字塔池化操作，提供足够的有关全局场景语义线索的特征统计信息，在减少计算量的同时，不会引起非局部块性能的下降。

优选的，所述步骤S5具体包括：

步骤S501，输入噪声图像通过像素逆重组方法进行降采样操作，重构出4个降采样子图像。带噪声的全局信息图像的尺寸为C×W×H，降采样子图像的尺寸为4C×W/2×H/2。降采样子图像可有效增加网络感受野，提高网络卷积效率，降低内存负担。

同时，将降采样子图像与一幅噪声等级为可调的图像串联，作为FFDNet网络的输入，尺寸为(4C+1)×W/2×H/2。

步骤S502，FFDNet网络深度设置为15层，第一层由卷积层和校正线性单元构成，即对输入图像卷积，然后使用校正线性单元进行激活处理；第二层到第十三层使用了卷积层、校正线性单元和批量归一化层的组合，也就是在卷积层和校正线性单元之间加了批量归一化层；第十五层仅使用图像卷积来重建输出层，卷积核大小为3×3像素。

步骤S503，通过像素重组方法进行上采样操作，将噪声残差图还原为原始尺寸大小；噪声残差图尺寸为(4C+1)×W/2×H/2，经过上采样操作的输出图像尺寸为C×W×H。

优选的，所述步骤S6具体包括：

步骤S601，边缘提取网络共有7个卷积层，卷积核大小为3×3像素；在第二层和第四层后面分别连接一个2×2像素的最大池化层，将第三层和第五层卷积的输入尺寸的宽和高变为上一层的一半。

步骤S602，在第二层、第四层和第七层卷积后分别引出侧输出，并通过双线性插值进行上采样操作，使侧输出图像尺寸与输入图像尺寸大小一致。最后，通过逐个像素相加的方式，将不同尺度的侧输出进行融合得到边缘图，并通过反向传播来引导网络的去噪过程。

优选的，所述步骤S7具体包括：

步骤S701，利用非对称融合非局部块结构统计获得的训练集数据全局信息并串联噪声等级图M，共同作为FFDNet网络的输入；将噪声图像作为标签来训练FFDNet网络，网络输出是经过残差学习得到的噪声残差图使用包含噪声的全局信息图像减去网络预测的噪声残差图得到去噪后的目标图像将去噪后的目标图像输入边缘提取模块，引导网络生成具有更多边缘细节信息和纹理特征的噪声抑制后图像y；

步骤S702，设置模型训练参数，模型优化方式为适应性矩估计；初始学习率为0.001，学习率调整方法为多步长衰减法，批大小为64；网络的代价函数是网络估计的噪声残差图与噪声图之间的平均绝对值误差：

式(3)中，为第j个输入的噪声图像；m为训练图像总数；为对应的噪声残差图；M_j为对应的噪声等级图；θ为网络参数；N_j为对应的噪声图；j为1.....m。

优选的，所述步骤S8具体包括：

给测试集中的相位条纹图像分别添加25、50和75三种不同噪声等级的散斑噪声，并进行归一化处理。

优选的，所述步骤S9具体包括：

将测试集图像输入训练好的模型中，得到去噪结果，计算其峰值信噪比、结构相似性、等效视数、散斑抑制指数四个评价参数。

步骤S901，峰值信噪比PSNR数学表达式为：

式(4)中，MSE为原始图像与去噪后图像的均方误差；式(5)中，x为无噪声图像；y为抑制噪声后图像；mn为大小为m×n的训练图像的像素总数；i，j为第i行第j列的像素值。

步骤S902，结构相似性SSIM数学表达式为：

式(6)中，u和v分别为无噪声图像和抑制噪声后图像中两个大小为W×W的局部性窗口；μ_u和μ_v分别是两个窗口中像素灰度的平均值；与分别是两个窗口中像素灰度的方差；δ_uv是u和v两个窗口的协方差；常数C₁＝2.55，C₂＝7.65。

步骤S903，等效视数ENL数学表达式为：

式(7)中，μ_y为抑制噪声后图像的平均值；δ_y为抑制噪声后图像的标准差。

步骤S904，散斑抑制指数SSI数学表达式为：

式(8)中，δ_y为抑制噪声后图像的标准差；δ_n为含噪声图像的标准差；μ_y为抑制噪声后图像的均值；μ_n为含噪声图像的均值。

与现有技术相比，本发明的有益效果是：

在实际散斑噪声抑制过程中，噪声模型复杂、噪声等级不一，由于传统算法和常规网络针对的是特定等级的噪声，所以难以同时对不同噪声等级的散斑噪声进行抑制，而且图像边缘细节信息损失严重，降低了数字全息图像的重构质量，限制了噪声抑制方法的应用。与传统算法和常规网络模型相比，本发明提出了一种新的网络结构来有效抑制相位条纹图像的散斑噪声，该方法在FFDNet网络的基础上，增加了一个非对称融合非局部块结构，以获取随机噪声等级图像上两个像素点之间的联系，弥补了常规网络模型针对不同等级噪声抑制能力的不足，并且很大程度上减少了内存负担。此外，该网络在FFDNet网络末端增加了一个边缘提取模块，通过逐个像素相加不同尺度的侧输出得到边缘图，反向传播引导网络去噪过程，使网络的输出更好地保留了图像的边缘细节信息。因此，提出的处理策略具有更强的去噪能力以及边缘恢复能力，较大程度抑制了不同噪声等级的散斑噪声，保留了更多的图像边缘细节信息，不仅提高了测量结果的精度，而且降低了硬件设备的负担。

所提出的散斑噪声抑制方法通过非对称融合非局部块(AFNB)有利于神经网络提取噪声图像的深层特征，适用于不同噪声等级的散斑噪声抑制，提升了噪声抑制效果，同时加入的边缘提取模块(VEM)保留了更多的图像边缘细节特征，该方法不仅扩大了噪声抑制的适用范围，而且提高了图像边缘细节的提取能力。