Image super-resolution reconstruction method and device

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供的一种图像超分辨率重建方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对电子设备的具体类型不作任何限制。

图1示出的是本申请实施例提供的一种第一生成网络的结构示意图。

示例性的，第一生成网络可以用于根据第一样本图像，提取并融合第一样本图像多个尺度的特征信息，生成第一样本图像对应的低分辨率图像。

应理解，第一样本图像对应的低分辨率图像的分辨率小于第一样本图像的分辨率。比如，第一样本图像的分辨率为32×32，第一样本图像对应的低分辨率图像的分辨率可以为26×26。比如，可以将第一样本图像输入第一生成网络，第一生成网络可以提取并融合第一样本图像多个尺度的特征信息，并输出第一样本图像对应的低分辨率图像。

又如，在将第一样本图像输入第一生成网络之前，可以先对第一样本图像进行下采样处理，例如通过双三次插值法对第一样本图像进行下采样处理，去除第一样本图像的噪声。然后，再将去除噪声后的第一样本图像输入第一生成网络，第一生成网络可以提取并融合该去除噪声后的第一样本图像多个尺度的特征信息，并输出该去除噪声后的第一样本图像对应的低分辨率图像。

示例性的，第一生成网络可以根据下述公式，对第一样本图像进行下采样，得到对应的低分辨率图像：

I_LR＝(I_HR*k)↓_s

其中，I_LR表示低分辨率图像，I_HR表示第二样本图像，*表示卷积操作，k表示卷积核，↓_s表示s倍的下采样。

示例性的，为了使得第一生成网络提取的图像特征更加全面，第一生成网络可以包括特征提取层和特征融合层。其中，特征提取层可以包括多个尺寸不同的依次层叠的卷积层，特征融合层用于提取第一样本图像不同尺度的特征。

示例性的，特征融合层可以包括多个依次层叠的卷积层，特征融合层所包括的卷积层用于融合特征提取层提取的第一样本图像不同尺度的特征。因为低层网络的感受野较小，提取样本图像的几何细节能力强，分辨率高；高层网络的感受野较大，提取样本图像的语义信息能力强，但图像分辨率较低，直接根据高层网络提取的特征生成图像会丢失样本图像的很多细节特征。因此，融合第一样本图像多个尺度的特征，能够得到更接近真实图像退化模式的下采样核。

举例来说，参见图1，每层卷积层都包括64个卷积核，前四层卷积层为特征提取层。卷积核1的尺寸为7×7、卷积核2的尺寸为5×5、卷积核3的尺寸为3×3、卷积核4的尺寸为1×1。前四层卷积层的感受野大小分别为：7×7、11×11、13×13、13×13，可以分别提取尺度为7×7、11×11、13×13的第一样本图像的特征信息和第一样本图像的高级语义信息。第五层和第六层卷积层为特征融合层，可以将特征提取层提取的不同尺度的语义信息和几何细节信息融合在一起，得到第一样本图像更全面的的特征信息。

图2示出了本申请提供的一种下采样核估计方法的示意性流程图。该方法可以应用于上述电子设备中。作为示例而非限定，方法200可以包括步骤S201-S202，下面对步骤S201-S202做以说明。

S201，将第一样本图像作为核估计模型的输入，训练核估计模型，得到训练完成的核估计模型。

示例性的，核估计模型可以包括第一生成网络(参见图1)和鉴别网络。

可选地，核估计模型可以是生成式对抗网络，例如KernerlGAN。

具体地，可以去除第一样本图像的噪声得到该第一样本图像对应的高分辨率图像。然后将高分辨率图像输入第一生成网络，或者，可以直接将第一样本图像输入第一生成网络。第一生成网络会模拟真实图像的退化模式对第一样本图像对应的高分辨图像或者第一样本图像进行下采样得到对应的低分辨率图像。然后将第一样本图像对应的高分辨率图像或者第一样本图像，还有低分辨率图像输入鉴别网络，鉴别网络可以判断该低分辨率图像的各个像素是否属于该高分辨率图像或者第一样本图像，然后输出识别结果。第一生成网络根据该识别结果调整参数，再次生成第一样本图像对应的低分辨率图像。通过不断重复上述步骤，交替训练第一生成网络和鉴别网络，得到训练完成的核估计模型。

应理解，第一样本图像对应的高分辨率图像的分辨率大于第一样本图像的分辨率。例如，第一样本图像的分辨率可以为64×64，第一样本图像对应的高分辨率图像的分辨率可以是80×80。

可选地，可以通过对第一样本图像进行下采样来去除第一样本图像的噪声，得到该第一样本图像对应的高分辨率图像。

S202，将训练完成的核估计模型中的第一生成网络的卷积核确定为下采样核。

具体地，可以将多个第一样本图像对应的高分辨率图像输入核估计模型，对核估计模型进行训练，得到多个训练完成的核估计模型，从而确定多个下采样核。然后基于该多个下采样核构建超分辨率模型的下采样池。

根据本申请提供的下采样核估计方法，通过将可以对第一样本图像进行多尺度特征提取的第一生成网络的卷积核确定为下采样核，能够增强由该下采样核训练得到的超分辨率模型表征真实图像退化模式的能力。

图3示出了本申请提供的一种超分辨率模型训练方法的示意性流程图。该方法可以应用于上述电子设备中。作为示例而非限定，方法300可以包括步骤S301-S303，下面对步骤S301-S303做以说明。

S301，将第二样本图像输入超分辨率模型，得到第二样本图像对应的低分辨率图像。

示例性的，第二样本图像可以和第一样本图像相同，也可以和第一样本图像不同。

具体地，超分辨率模型可以从下采样池中获取一个下采样核对第二样本图像进行下采样，得到第二样本图像对应的低分辨率图像。

可选地，也可以去除第二样本图像的噪声，然后将去除噪声后的第二样本图像输入超分辨模型，得到该去除噪声后的第二样本图像对应的低分辨率图像。

示例性的，下采样核是根据上述方法200中的第一生成网络得到的。

可选地，可以从下采样池中随机获取一个下采样核。

可选地，还可以根据原始图像的类别、特征等，从下采样池中获取一个下采样核。

S302，获取超分辨率模型的损失函数。

示例性的，损失函数满足下述公式：

L_total＝λ₁×L₁+λ_per×L_per+λ_adv×L_adv+λ_interp×L_interp

其中，L_total为超分辨率模型的损失函数，L₁为像素损失，λ₁为像素损失的权重值，L_per为感知损失，λ_per为感知损失的权重值，L_adv为对抗性损失，λ_adv为对抗性损失的权重值，L_interp为掩蔽插值损失，λ_interp为掩蔽插值损失的权重值。掩蔽插值损失在图像高频区的数值小于掩蔽插值损失在图像低频区的数值。

示例性的，像素损失的权重值可以为0.01。

示例性的，感知损失的权重值可以为1。

示例性的，对抗性损失的权重值可以为0.005。

示例性的，掩蔽插值损失的权重值可以为0.01。

具体的，像素损失是通过计算生成的超分辨率图像和真实图像的均方误差得到的，能够使超分辨率模型得到超分辨率图像中各像素更合理的均值。感知损失是根通过对比第二样本图像卷积得到的特征和第一超分辨率图像卷积得到的特征得到的，能够使超分辨率模型得到超分辨率图像的图像内容和全局结构更接近真实图像。对抗性损失能够增强超分辨率模型生成的超分辨率图像的纹理细节效果。掩蔽插值损失可以使得超分辨率模型在进行图像超分辨率重建时，只在图像的低频部分进行双三次上采样，避免得到的超分辨率图像出现伪影。

在一个示例中，可以根据第一超分辨率图像和第二超分辨率图像确定掩蔽插值损失。掩蔽插值损失可以满足下述公式：

L_interp＝E_X||[Generate(x)-Bicubic(x)]×(1-Sobel(Bicubic(x)))||

其中，Bicubic(x)为第二超分辨率图像，Generate(x)为第一超分辨率图像，Sobel为索贝尔算子，E_X表示期望值，||||表示范数。

示例性的，第一超分辨率图像是超分辨率模型根据第二样本图像得到的，第二超分辨率图像是对第二样本图像进行双三次上采样放大四倍后得到的。

S303，根据损失函数、第二样本图像及第二样本图像对应的低分辨率图像，训练所述超分辨率模型，得到训练完成的超分辨率模型。

具体地，可以将第二样本图像或去除噪声后的第二样本图像作为超分辨率模型的输入，超分辨率模型获取下采样池中的一个下采样核，对第二样本图像或去除噪声后的第二样本图像进行下采样得到第二样本图像对应的低分辨率图像。然后超分辨率模型可以通过学习第二样本图像-第二样本图像对应的低分辨率图像对中与真实图像更为相似的退化模式，得到第二样本图像对应的超分辨率图像，即第一超分辨率图像。然后根据第一超分辨率图像和第二超分辨率图像确定损失函数，根据损失函数继续训练超分辨率模型。最终得到的训练完成的超分辨率模型，能够优化图像超分辨率重建的效果，得到更清晰的超分辨率图像。

应理解，超分辨率图像的分辨率大于原始图像的分辨率，比如，超分辨率图像的分辨率可以为原始图像分辨率的2倍或4倍。

根据本申请提供的超分辨率模型训练方法，通过由更接近真实图像退化模式的下采样核训练得到的训练完成的超分辨率模型重建原始图像，能够更好的模拟真实图像的退化模式，优化得到的超分辨率图像的效果。

图4示出了本申请提供的一种图像超分辨率重建方法的示意性流程图，该方法可以应用于上述电子设备中。作为示例而非限定，方法400可以包括步骤S401-S402，下面对步骤S401-S402做以说明。

S401，获取原始图像。

示例性的，原始图像可以是存储空间中存储的待重建的图像，也可以是遥感设备获取到的原始遥感图像。

S402，将原始图像输入训练完成的超分辨率模型，得到原始图像对应的超分辨率图像。

示例性的，训练完成的超分辨率模型可以是上述方法300中的训练完成的超分辨率模型。

示例性的，超分辨率模型可以是RealSR模型。

示例性的，超分辨率模型是通过下采样池中的多个下采样核训练得到的。

根据本申请提供的图像超分辨率重建方法，通过由更接近真实图像退化模式的下采样核训练得到的训练完成的超分辨率模型重建原始图像，能够更好的模拟真实图像的退化模式，优化得到的超分辨率图像的效果。进一步的，通过掩蔽插值损失训练超分辨率模型，能够避免训练完成的超分辨率模型得到的超分辨率图像出现伪影。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的图像超分辨率重建方法，图5示出了本申请实施例提供的图像超分辨率重建装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图5，该装置包括：图像处理单元510；

图像处理单元510用于：获取原始图像；将原始图像输入训练完成的超分辨率模型，得到原始图像对应的超分辨率图像。

示例性的，训练完成的超分辨率模型是根据下采样池中的多个下采样核对超分辨率模型进行训练得到的。

示例性的，下采样核是根据核估计模型中的第一生成网络得到的。

示例性的，第一网络包括特征提取层和特征融合层，特征提取层用于提取第一样本图像的多个尺度的特征，特征融合层用于融合特征提取层提取的第一样本图像的多个尺度的特征。

在一个示例中，图像超分辨率重建装置还可以包括模型训练单元520，模型训练单元520可以用于将第二样本图像输入所述超分辨率模型，得到所述第二样本图像对应的低分辨率图像，然后获取超分辨率模型的损失函数，根据损失函数、第二样本图像及第二样本图像对应的低分辨率图像，训练超分辨率模型，得到训练完成的超分辨率模型。

示例性的，损失函数满足下述公式：

L_total＝λ₁×L₁+λ_per×L_per+λ_adv×L_adv+λ_interp×L_interp

其中，L_total为超分辨率模型的损失函数，L₁为像素损失，λ₁为像素损失的权重值，L_per为感知损失，λ_per为感知损失的权重值，L_adv为对抗性损失，λ_adv为对抗性损失的权重值，L_interp为掩蔽插值损失，λ_interp为掩蔽插值损失的权重值，掩蔽插值损失在图像高频区的数值小于所述掩蔽插值损失在图像低频区的数值。

在一个示例中，模型训练单元520还可以用于根据第一超分辨率图像和第二超分辨率图像，确定所述掩蔽插值损失。

示例性的，第一超分辨率图像是超分辨率模型根据第二样本图像得到的。

示例性的，第二超分辨率图像是对第二样本图像进行双三次上采样得到的。

示例性的，掩蔽插值损失满足下述公式：

L_interp＝E_X||[Generate(x)-Bicubic(x)]×(1-Sobel(Bicubic(x)))||

其中，Bicubic(x)为所述第二超分辨率图像，Generate(x)为所述第一超分辨率图像，Sobel为索贝尔算子，E_X表示期望值，||||表示范数。

在一个示例中，图像超分辨率重建装置还可以包括核估计单元530；核估计单元530可以用于：

将第一样本图像作为核估计模型的输入，训练核估计模型，得到训练完成的核估计模型。然后将训练完成的核估计模型中的第一生成网络的卷积核确定为下采样核。

示例性的，核估计模型包括第一生成网络和鉴别网络。

因为由第一生成网络提取第一样本图像的多个尺度的特征并融合后生成的下采样核能够更好的表征真实图像的退化模式。因此，根据本申请提供的图像超分辨率重建方法，通过由下采样核训练得到的训练完成的超分辨率模型重建原始图像，能够更好的模拟真实图像的退化模式，优化得到的超分辨率图像的效果。进一步的，通过掩蔽插值损失训练超分辨率模型，能够避免训练完成的超分辨率模型得到的超分辨率图像出现伪影。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图6示出的是本申请一实施例提供的处理设备的结构示意图。如图6所示的处理设备600可以包括：至少一个处理器610(图6中仅示出一个处理器)、存储器620以及存储在所述存储器620中并可在所述至少一个处理器610上运行的计算机程序630，所述处理器610执行所述计算机程序630时实现上述任意各个方法实施例中的步骤。

所述处理设备600可以是机器人等能够实现上述方法的处理设备，本申请实施例对处理设备的具体类型不作任何限制。

本领域技术人员可以理解，图6仅仅是处理设备600的举例，并不构成对处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。比如，该处理设备600还可以包括输入输出接口。

所称处理器610可以是中央处理单元(Central Processing Unit，CPU)，该处理器610还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器620在一些实施例中可以是内部存储单元，例如硬盘或内存。所述存储器620在另一些实施例中也可以是外部存储设备，例如插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器620还可以既包括内部存储单元也包括外部存储设备。所述存储器620用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器620还可以用于暂时地存储已经输出或者将要输出的数据。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在图像超分辨率重建装置上运行时，使得像超分辨率重建装置执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。