Weak and small target detection method based on neighborhood spatio-temporal information and multi-frame motion association

04-08-2023 дата публикации
Номер:
CN116543010A
Контакты:
Номер заявки: 28-10-20231811.2
Дата заявки: 22-03-2023

基于邻域时空信息和多帧运动关联的弱小目标检测方法

附图说明

[0037]

附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。

[0038]

在附图中:

[0039]

图1为本发明基于邻域时空信息和多帧运动关联的弱小目标检测方法的整体技术流程示意图;

[0040]

图2为本发明基于邻域时空信息和多帧运动关联的弱小目标检测方法的实施例1的所构造的多尺度滤波模板示意图;

[0041]

图3为实验场景中本发明基于邻域时空信息和多帧运动关联的弱小目标检测方法的背景建模结果以及运动关联模型检测结果。

技术领域

[0001]

本发明涉及计算机图像处理领域,尤其涉及基于邻域时空信息和多帧运动关联的弱小目标检测方法。

具体实施方式

[0042]

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施方式,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅用以解释本发明,并不用于限定本发明。

[0043]

实施例1

[0044]

请参阅图1,本发明基于邻域时空信息和多帧运动关联的弱小目标检测方法提供的技术方案如下:

[0045]

步骤S1:构建多尺度滤波模板,所述多尺度滤波模板适应不同目标尺度大小的变化,以减少目标信息的丢失;

[0046]

步骤S2:构建多尺度邻近区域块的均值信息,利用所述均值信息建立图像区域块的灰度和空间位置信息,以获得相应的滤波系数,所述相应的滤波系数用于解决双边滤波无法体现目标与邻近区域块的差异、邻域信息利用不充分的问题;

[0047]

步骤S3:将多尺度滤波模板与相应的滤波系数进行相乘,以获得背景预测的像素值;

[0048]

步骤S4:将背景预测的像素值进行运算,以获得最终的背景预测图像;

[0049]

步骤S5:依据背景预测图像,构建序列图像间的运动关联模型来完成目标的提取,以输出目标的运动轨迹。

[0050]

具体的,如图2所示,步骤S1中的多尺度滤波模板包括3*3滤波模板(a)和5*5滤波模板(b)。

[0051]

具体的,步骤S2中不同尺度的邻近区域块包括9*9区域块和25*25区域块,9*9区域块分成9个3*3的子区域,25*25区域块分成25个5*5的子区域,以实现邻域信息的更充分利用;

[0052]

具体的,步骤S2中,3*3区子域块中获取相应的滤波系数的表达式为:

[0053]

[0054]

[0055]

[0056]

其中,I代表区域均值代替单个像元灰度值的结果,I0-I8分别代表所述9*9区域块中九个区域的结果,m和n是求和式子中的哑变量,i,j代表像元的坐标,k代表两个区域块中心像元的距离,f代表输入图像,I′(i,j)代表滤波窗口内所有区域块的均值的均值,IZ代表区域块均值的序号,区域块所在位置与单个像元的位置一致。

[0057]

具体的,步骤S2中,5*5子区域块中获取相应的滤波系数的表达式为:

[0058]

[0059]

[0060]

[0061]

其中,I代表区域均值代替单个像元灰度值的结果,I0-I24分别代表所述25*25区域块中二十五个区域的结果,m和n是求和式子中的哑变量,i,j代表像元的坐标,k代表两个区域块中心像元的距离,f代表输入图像,I′(i,j)代表滤波窗口内所有区域块的均值的均值,IZ代表区域块均值的序号,区域块所在位置与单个像元的位置一致。

[0062]

具体的,步骤S3中将滤波模板与相应的滤波系数进行相乘,以获得背景预测的像素值,表达式为:

[0063]

[0064]

Pt(i,j)代表取区域均值代替单个像元灰度值后,与不同尺度大小的模板Mt相乘的结果,C为双边滤波系数,NΩ代表滤波窗口,x,y分别代表滤波窗口内的像元坐标,σd为空间域标准差,σr为值域标准差,I′(i,j)代表滤波窗口内所有区域块的均值的均值。

[0065]

具体的,的步骤S4中,将从不同尺度大小滤波模板中得到的背景预测的像素值进行运算,以获得最终的背景预测图像的表达式为:

[0066]

P(i,j)=P1&P2     (6)

[0067]

式中,P为所述最终背景预测图像,P1代表所述3*3滤波模板进行滤波的结果,P2代表所述5*5滤波模板进行滤波的结果。

[0068]

具体的,步骤S5中,构建序列图像间的运动关联模型的步骤为,

[0069]

首先计算目标在序列二值图像中出现的次数,根据次数计算出分割后每帧目标的平均灰度值;然后构建运动关联函数结合出现次数对平均灰度值进行平均,得到的灰度值即为目标点的相近灰度值,以实现目标的提取。

[0070]

具体的,构建所述序列图像间的运动关联模型运算公式如下:

[0071]

[0072]

式中Ts表示图中目标的移动次数总和,M表示图像序列从1开始到M的总帧数,Fg(x,y,n)表示在最终背景预测图像P上进行分割后的二值图像,(x,y),t分别表示图像中目标的坐标位置和图像帧数号,Gb表示目标局部范围内的灰度值,表示图像的平均灰度值,为Gb和与序列图像数的比值,EGS表示运动关联函数,其通过求取多帧图像的相关度与目标移动次数的比值得到。

[0073]

如图3所示,从左到右依次是,场景图、背景建模结果和运动关联模型检测结果,从图中看出本发明基于邻域时空信息和多帧运动关联的弱小目标检测方法能准确实现红外弱小目标的检测。

[0074]

最后应说明的是:以上仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

背景技术

[0002]

弱小目标检测在国防军事及民用领域等领域具有广泛应用前景,但由于目标距离成像设备较远容易导致目标在图像上产生不同程度的噪声,另外图像的背景也越来越复杂,综合各方面因素的影响,毫无疑问会增加弱小目标检测的难度。

[0003]

在实际应用中,较常用的方法主要是背景估计的方法,这些方法在平稳背景中具有较好的背景预测效果,原因在于目标与背景之间的对比度较大,容易区分。然而,当前的成像设备所获取到的图像背景更加复杂,尤其是云层边缘轮廓更多,其灰度甚至高于目标灰度,此时采用传统的背景预测方法,会产生较高的虚警率,从而导致误检。

发明内容

[0004]

本发明的目的是为了解决现有技术中存在的缺点,提供了基于邻域时空信息和多帧运动关联的弱小目标检测方法,包括:

[0005]

步骤S1:构建多尺度滤波模板,所述多尺度滤波模板适应不同目标尺度大小的变化,以减少目标信息的丢失;

[0006]

步骤S2:构建多尺度邻近区域块的均值信息,利用所述均值信息建立图像区域块的灰度和空间位置信息,以获得相应的滤波系数,所述相应的滤波系数用于解决双边滤波无法体现目标与邻近区域块的差异、邻域信息利用不充分的问题;

[0007]

步骤S3:将所述多尺度滤波模板与所述相应的滤波系数进行相乘,以获得背景预测的像素值;

[0008]

步骤S4:将所述背景预测的像素值进行运算,以获得最终的背景预测图像;

[0009]

步骤S5:依据所述背景预测图像,构建序列图像间的运动关联模型来完成目标的提取,以输出目标的运动轨迹。

[0010]

进一步地,所述步骤S1中的所述多尺度滤波模板包括3*3滤波模板和5*5滤波模板。

[0011]

进一步地,所述步骤S2中所述多尺度邻近区域块包括9*9区域块和25*25区域块,所述9*9区域块分成9个3*3的子区域,所述25*25区域块分成25个5*5的子区域,以实现邻域信息的更充分利用。

[0012]

进一步地,所述步骤S2中,所述3*3区子域块中获取所述相应的滤波系数的表达式为:

[0013]

[0014]

[0015]

其中,I代表区域均值代替单个像元灰度值的结果,I0-I8分别代表所述9*9区域块中九个区域的结果,m和n是求和式子中的哑变量,i,j代表像元的坐标,k代表两个区域块中心像元的距离,f代表输入图像,I′(i,j)代表滤波窗口内所有区域块的均值的均值,IZ代表区域块均值的序号,区域块所在位置与单个像元的位置一致。

[0016]

进一步地,所述步骤S2中,所述5*5子区域块中获取所述相应的滤波系数的表达式为:

[0017]

[0018]

[0019]

[0020]

其中,I代表区域均值代替单个像元灰度值的结果,I0-I24分别代表所述25*25区域块中二十五个区域的结果,m和n是求和式子中的哑变量,i,j代表像元的坐标,k代表两个区域块中心像元的距离,f代表输入图像,I′(i,j)代表滤波窗口内所有区域块的均值的均值,IZ代表区域块均值的序号,区域块所在位置与单个像元的位置一致。

[0021]

进一步地,所述步骤S3中将所述多尺度滤波模板与所述相应的滤波系数进行相乘,以获得所述背景预测的像素值,表达式为:

[0022]

[0023]

Pt(i,j)代表取区域均值代替单个像元灰度值后,与不同尺度大小的模板Mt相乘的结果,C为双边滤波系数,NΩ代表滤波窗口,x,y分别代表滤波窗口内的像元坐标,σd为空间域标准差,σr为值域标准差,I′(i,j)代表滤波窗口内所有区域块的均值的均值。

[0024]

进一步地,所述的步骤S4中,将从不同尺度大小所述多尺度滤波模板中得到的所述背景预测的像素值进行运算,以获得所述最终的背景预测图像的表达式为:

[0025]

P(i,j)=P1&P2    (6)

[0026]

式中,P为所述最终背景预测图像,P1代表所述3*3滤波模板进行滤波的结果,P2代表所述5*5滤波模板进行滤波的结果。

[0027]

进一步地,所述步骤S5中,构建序列图像间的运动关联模型的步骤为,

[0028]

首先计算目标在序列二值图像中出现的次数,根据次数计算出分割后每帧目标的平均灰度值;然后构建运动关联函数结合出现次数对平均灰度值进行平均,得到的灰度值即为目标点的相近灰度值,以实现目标的提取。

[0029]

进一步地,构建所述序列图像间的运动关联模型运算公式如下:

[0030]

[0031]

式中Ts表示图中目标的移动次数总和,M表示图像序列从1开始到M的总帧数,Fg(x,y,n)表示在所述最终背景预测图像P上进行分割后的二值图像,(x,y),t分别表示图像中目标的坐标位置和图像帧数号,Gb表示目标局部范围内的灰度值,表示图像的平均灰度值,为Gb和与序列图像数的比值,EGS表示运动关联函数,其通过求取多帧图像的相关度与目标移动次数的比值得到。

[0032]

进一步地,一种计算机设备,包括存储器和一个或多个处理器,所述存储器中存储有计算机代码,所述计算机代码被所述一个或多个处理器执行时,使得所述一个或多个处理器执行上述中任一项所述的方法。

[0033]

与现有技术相比,本发明的有益效果是:

[0034]

1)本发明充分考虑到不同尺度的邻近区域块的均值信息,来建立图像区域块的灰度和空间位置信息获取相应的滤波系数,充分融合了目标与邻近区域块的差异,在多边缘轮廓的图像背景中,通过求区域均值的方式代替传统算法仅考虑单个像元的计算方式,能更有效地将目标从背景中区分开来。

[0035]

2)本发明构造了多尺度滤波模板,其目的是考虑到目标在不同时刻尺度有可能发生变化,仅靠单一的滤波模板有可能造成目标信息的丢失,而多尺度模板则能够适应不同目标尺度大小的变化。

[0036]

3)本发明构造了序列图像的运动关联模型,其首先计算目标在序列二值图像中出现的次数,根据次数计算出分割后每帧目标的平均灰度值,然后构建运动关联函数结合出现次数对平均灰度值再进行平均,得到的灰度值即为目标点的相近灰度值,以实现目标的提取。



The invention relates to the field of computer image processing, in particular to a weak and small target detection method based on neighborhood spatio-temporal information and multi-frame motion association, which comprises the following steps of: constructing a multi-scale filtering template for effectively reserving a target signal and furthest reserving background information at the same time; constructing mean information of adjacent region blocks, and establishing gray and spatial position information of the image region blocks by using the mean information to obtain corresponding filter coefficients, so as to solve the problems that bilateral filtering cannot reflect the difference between a target and the adjacent region blocks and the neighborhood information is not fully utilized; multiplying the filtering template by a corresponding filtering coefficient to obtain a pixel value of background prediction; calculating the pixel value of the background prediction to obtain a final background prediction image; and according to the background prediction image, constructing a motion correlation model between the sequence images to complete extraction of the target so as to output a motion track of the target.



1.基于邻域时空信息和多帧运动关联的弱小目标检测方法,其特征在于,包括:

步骤S1:构建多尺度滤波模板,所述多尺度滤波模板适应不同目标尺度大小的变化,以减少目标信息的丢失;

步骤S2:构建多尺度邻近区域块的均值信息,利用所述均值信息建立图像区域块的灰度和空间位置信息,以获得相应的滤波系数,所述相应的滤波系数是与滤波效果相关的参数;

步骤S3:将所述多尺度滤波模板与所述相应的滤波系数进行相乘,以获得背景预测的像素值;

步骤S4:将所述背景预测的像素值进行运算,以获得最终的背景预测图像;

步骤S5:依据所述背景预测图像,构建序列图像间的运动关联模型来完成目标的提取,以输出目标的运动轨迹。

2.如权利要求1所述的基于邻域时空信息和多帧运动关联的弱小目标检测方法,其特征在于,包括:所述步骤S1中的所述多尺度滤波模板包括3*3滤波模板和5*5滤波模板。

3.如权利要求1所述的基于邻域时空信息和多帧运动关联的弱小目标检测方法,其特征在于,包括:所述步骤S2中所述多尺度邻近区域块包括9*9区域块和25*25区域块,所述9*9区域块分成9个3*3的子区域,所述25*25区域块分成25个5*5的子区域,以实现邻域信息的更充分利用。

4.如权利要求3所述的基于邻域时空信息和多帧运动关联的弱小目标检测方法,其特征在于,包括:所述步骤S2中,所述9*9区域块中获取所述相应的滤波系数的表达式为:

其中,I代表区域均值代替单个像元灰度值的结果,I0-I8分别代表所述9*9区域块中九个区域的结果,m和n是求和式子中的哑变量,i,j代表像元的坐标,k代表两个区域块中心像元的距离,f代表输入图像,I′(i,j)代表滤波窗口内所有区域块的均值的均值,IZ代表区域块均值的序号,区域块所在位置与单个像元的位置一致。

5.如权利要求3所述的基于邻域时空信息和多帧运动关联的弱小目标检测方法,其特征在于,包括:所述步骤S2中,所述25*25区域块中获取所述相应的滤波系数的表达式为:

其中,I代表区域均值代替单个像元灰度值的结果,I0-I24分别代表所述25*25区域块中二十五个区域的结果,m和n是求和式子中的哑变量,i,j代表像元的坐标,k代表两个区域块中心像元的距离,f代表输入图像,I′(i,j)代表滤波窗口内所有区域块的均值的均值,IZ代表区域块均值的序号,区域块所在位置与单个像元的位置一致。

6.如权利要求1所述的基于邻域时空信息和多帧运动关联的弱小目标检测方法,其特征在于,包括:所述步骤S3中将所述多尺度滤波模板与所述相应的滤波系数进行相乘,以获得所述背景预测的像素值,表达式为:

Pt(i,j)代表取区域均值代替单个像元灰度值后,与不同尺度大小的模板Mt相乘的结果,C为双边滤波系数,NΩ代表滤波窗口,x,y分别代表滤波窗口内的像元坐标,σd为空间域标准差,σr为值域标准差,I′(i,j)代表滤波窗口内所有区域块的均值的均值。

7.如权利要求1所述的基于邻域时空信息和多帧运动关联的弱小目标检测方法,其特征在于,包括:所述的步骤S4中,将从所述多尺度滤波模板中得到的所述背景预测的像素值进行运算,以获得所述最终的背景预测图像的表达式为:

P(i,j)=P1&P2     (6)

式中,P为所述最终背景预测图像,P1代表所述3*3滤波模板进行滤波的结果,P2代表所述5*5滤波模板进行滤波的结果。

8.如权利要求1所述的基于邻域时空信息和多帧运动关联的弱小目标检测方法,其特征在于,包括:所述步骤S5中,构建序列图像间的运动关联模型的步骤为,

首先计算目标在序列二值图像中出现的次数,根据次数计算出分割后每帧目标的平均灰度值,然后构建运动关联函数结合出现次数对平均灰度值再进行平均,得到的灰度值即为目标点的相近灰度值,以实现目标的提取。

9.如权利要求8所述的基于邻域时空信息和多帧运动关联的弱小目标检测方法,其特征在于,包括:构建所述序列图像间的运动关联模型运算公式如下:

式中Ts表示图中目标的移动次数总和,M表示图像序列从1开始到M的总帧数,Fg(x,y,n)表示在所述最终背景预测图像P上进行分割后的二值图像,(x,y),t分别表示图像中目标的坐标位置和图像帧数号,Gb表示目标局部范围内的灰度值,表示图像的平均灰度值,为Gb和与序列图像数的比值,EGS表示运动关联函数,其通过求取多帧图像的相关度与目标移动次数的比值得到。

10.一种计算机设备,包括存储器和一个或多个处理器,所述存储器中存储有计算机代码,所述计算机代码被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1至9中任一项所述的方法。