Robot inspection part defect detection method and application thereof

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

一种机器人巡检部件缺陷检测方法，如图1所示，包括：

将由每张巡检图像经目标识别网络所对应得到的部件识别结果转换为二维测试结果语义点云；基于每张巡检图像的采集位置，利用位置约束映射确定预采集的一张标准图像，将该标准图像中所有标注框转为二维标准语义点云；确定两个点云的相似变换，以将两者进行点云配准，对配准之后的点云，计算二维标准语义点云中每个点与其对应的二维测试结果语义点云中的点之间的距离，若距离大于阈值，则视为孤立点；将孤立点对应的标注框信息作为丢失部件的类型和位置，完成部件丢失缺陷诊断；

和/或，

对每张巡检图像的部件识别结果中各边界框进行裁剪，并输入部件异常精细类别分类网络，得到该张巡检图像中各边界框对应的部件异常精细类别结果；其中，用于训练所述分类网络的训练样本包括通过以下方式得到的样本：以训练用巡检图像中每一种部件的标注框为基础，在图像上随机裁剪若干区域，得到该种部件的精细类别训练样本，精细类别包括正常类别、异常类别以及非部件背景类别。

需要说明的是，由于同一种复杂器械(如动车组)的零部件的制造安装均遵守严格的规范，相同车型的相同采集点位下拍摄的图像中部件空间结构一致，巡检图像和标准图像均是巡检机器人在几个特定位置拍照采集，因此，可以基于巡检图像的采集位置根据位置约束映射唯一的一张标准图像。上述的标准图像和训练用巡检图像均可由机器人在固定点位通过机械臂末端3D相机进行采集得到。关于映射的实现方式，可采用以下方式：

将巡检图像和标准图像的映射关系体现在图像文件的命名上，巡检图像的命名包含拍摄的时间信息和拍摄的位置信息，而标准图像的命名可以只有位置信息，命名举例如下：

标准图像：1#-abc,2#-abb等；

巡检图像：20230101-1#-abc,20230101-2#-abb等；

巡检图像20230101-1#-abc对应的标准图像是1#-abc，巡检图像20230101-2#-abb对应的标准图像是2#-abb。那么，任意巡检图像都可以通过位置信息得到唯一的标准图像。

对于训练样本的标注，使用矩形标注框在图像上标注部件和缺陷即可完成训练样本的构建。标准图像需要使用LabelImg进行部件标注，但是和构造训练用的巡检图像有不一样的标注规范，也就是，标准图像可以不标注图像上出现的所有部件目标，只标注图像上的重点目标，所谓重点目标，是指基于部件识别的后续任务(如缺陷检测任务)所关注的目标。这些目标在采集点位中拥有清晰的视野，同时不分布在图像边缘区域，以免机器人和机械臂的定位误差使其消失在视野中。需要说明的是，重点目标和非重点目标是对于单个部件来说的，因此，某部件类型在同一标准图像可能既有重点目标也有非重点目标。

针对部件异常精细类别分类检测，本方法在目标识别网络后级联一个分类网络，分类网络以部件识别网络预测的关注类别边界框作为兴趣区域，对其进行二次分类，输出更精细的类别。例如，关于螺栓的精细类别可为正常螺栓、松动螺栓、丢失螺栓(螺栓孔)、非螺栓类。

总的来说，本实施例方法，针对部件丢失和部件异常精细类别分类两种缺陷，设计了包含两个缺陷诊断分支的机器人巡检部件缺陷检测方法用于诊断，可以有效地利用零部件识别结果有针对的对各部件进行缺陷诊断，大大提高了缺陷诊断效率。

其中，针对部件丢失缺陷，本方法通过结合类别约束和尺度变换的迭代最近点方法进行标准图和测试图的二维语义点云的配准，得到标准图点云中的孤立点，从而诊断出部件的丢失。相比于其它部件丢失缺陷检测方法，本方法通过加入类别约束和尺度变换，有效地解决了零部件配准中错误匹配以及拍摄照片位置的误差问题。针对部件异常精细类别分类，在缺少训练样本的条件下，本方法设计基于随机剪裁生成分类网络训练样本的方法，拓宽了分类样本的分布，可以有效地提高分类网络的训练效果，提高分类网络预测的准确度。

可作为优选的实施方式，上述部件识别结果采用以下方式得到：

采集车间内复杂器械上各区域的巡检图像，基于每张巡检图像的采集位置，利用位置约束映射确定预采集的一张标准图像，获取由该标准图像得到的对应区域的多通道先验语义图像，其中，多通道先验语义图像的构建方式为：对该标准图像的部件标注信息进行信息转换，得到能够在图像上表达部件先验概率的信息形式；初始化通道数与复杂器械中所有部件类型总数一致的多通道灰度图像；将上述信息形式叠加在多通道灰度图像上，生成多通道先验语义图像，作为张量化的先验结构知识，每个通道的先验语义图像以像素值代表概率的形式表征某一种部件类型在该标准图像中的先验位置和大小；采用预先构建的多通道语义图像输入分支，将已训练的巡检图像特征提取网络对每张巡检图像所生成的最后两层高语义性特征图像和该张巡检图像对应的所述多通道先验语义图像进行融合，实现先验结构知识对巡检图像特征的增强；其中，上述多通道语义图像输入分支是通过结合Resnet的Bottleneck模块和可变形卷积算子构造得到；基于融合后的特征图像以及巡检图像特征提取网络其它输出层所输出的特征图像，通过回归与分类，得到部件目标识别结果。

多通道先验语义图像表征标准图像中目标部件的先验语义(包括类型、位置与长宽信息)，为了使得多通道先验语义图像能对高语义性特征图像中的特征起到正确的调制作用，需要将多通道先验语义图像和特征提取网络所输出的低分辨率、高语义性的特征图像结合在一起，提供目标识别的精度。因此，是一种融合先验结构知识的部件目标识别方法。

该方法首先在不同位置采集巡检图像，基于位置约束，确定每张巡检图像对应预采集的标准图像，以确定每张巡检图像采集位置和视角下对应的先验语义结构知识。后续本方法采用巡检图像特征提取网络对每张巡检图像进行特征提取，同时引入多通道语义图像输入分支，以用于对巡检图像特征提取网络得到的最后两层高语义性特征图像进行调整，将先验语义结构知识融入到两层高语义性特征图像中再输入后续的回归与分类网络，实现先验结构知识对巡检图像特征的增强，能够有效地提高部件识别精度。

上述信息转换的方式可优选为高斯概率椭圆语义信息提取。高斯概率椭圆语义指示了目标的长、宽、中心点等信息，能够保证提取到完整的先验语义分布且分布曲线平滑。

可作为优选的实施方式，利用改进的迭代最近点方法计算相似变换，如图2所示，具体计算方式为：

执行CS-ICP方法：如图3所示，采用初始相似变换对二维标准语义点云进行变换，为每个变换后的二维标准语义点云中的点进行带有类别约束的最近邻匹配，找到对应的二维测试结果语义点云中的点，得到多组匹配点；通过所述多组匹配点，求解新的相似变换；基于新的相似变换，迭代上述过程，直至达到迭代终止条件，得到第一相似变换；

执行CS-ICP-mono方法：采用所述初始相似变换对二维标准语义点云进行变换，为每个变换后的二维标准语义点云中的点进行带有类别约束的最近邻匹配，找到对应的二维测试结果语义点云中的点，得到多组匹配点；从所述多组匹配点中剔除掉多对一匹配关系中距离最大的匹配关系，再根据经过剔除操作后的多组匹配点，求解新的相似变换；基于新的相似变换，迭代上述过程，直至达到迭代终止条件，得到第二相似变换；

从第一相似变换和第二相似变换中选取相似变换：将第一相似变换和第二相似变换分别带入最小化配准残差f，求得对应的最小化配准残差值；将较小的最小化配准残差值所对应的相似变换作为最终的相似变换；其中，所述最小化配准残差f表示为：

[x_ti y_ti 1]^T＝A·[x_i y_i 1]^T；

式中，A表示相似变换，将第一相似变换和第二相似变换分别作为A带入；x_i,y_i表示二维标准语义点云中的某一点二维坐标，(x_di,y_di)表示点(x_i,y_i)的最近邻匹配点。

也就是，本实施例在迭代最近点(Iterative Closest Point,ICP)方法计算的相似变换矩阵中平面平移、旋转3个自由度的基础上，添加尺度这一自由度，同时以每个点的类别进行约束得到CS-ICP方法，在CS-ICP的基础上提出CS-ICP-mono方法，即在CS-ICP步骤二后剔除掉多对一匹配关系中距离更大的匹配关系，在实际诊断中，CS-ICP方法在没有部件丢失的情况下得到更精准的相似变换，而CS-ICP-mono方法在有部件丢失的情况下得到更精准的相似变换，因此需要从这两种改进方式得到的相似变换中，通过相应指标选择最优相似变换。

针对相似变换的确定，进一步相关说明如下：

相似变换通常有奇异值分解和非线性优化两种方法求解，本实施例采用非线性优化的方法。二维相似变换齐次矩阵如公式(1)所示：

其中，s表示尺度因子，θ表示旋转角，t_x和t_y表示x轴和y轴的平移。由此构建非线性优化的待求解参数P，如公式(2)所示：

P＝[t_xt_yθs]^T                (2)

对于二维标准语义点云(即src点云)中的某点(x_i,y_i)和二维测试结果语义点云(即dst点云中的最近邻匹配点(x_di,y_di)，首先将当前的变换T用于(x_i,y_i)得到变换后的点(x_ti,y_ti)，如公式(3)所示：

[x_ti y_ti 1]^T＝A·[x_i y_i 1]^T           (3)

将欧氏距离作为残差构建最小化目标函数f，其中f如公式(5)所示：

由于巡检图像和标准图像的语义点云非常稀疏，因此采用信赖域法求得精确全局最优解。信赖域法采用构建局部模型子问题近似的思路来逐步逼近全局最优解，子问题通过构建最小化近似函数取得待求解参数P，最小化近似函数如公式(6)所示：

其中G为目标函数f关于参数集合P中各项的一阶偏导数，即雅可比(Jacobi)矩阵。H为G关于P中各项的二阶偏导数，即海森(Hessian)矩阵。

由于标准图像的标注是不完备的，测试语义点云通常会比标准语义点云有更多的冗余。因此，在使用CS-ICP方法配准时，将标准语义点云作为src点云，测试语义点云作为dst点云，进行最近邻匹配时，为src点寻找最近邻dst点，即允许dst点不形成匹配，而需要src点则需要尽量匹配dst点，未能形成匹配的src点则指示部件的丢失。

另外，src和dst可能形成多对一的匹配关系，当测试图中有部件丢失时，src点云中可能会有孤立点，若dst中还有别的同类点，按照语义类别进行匹配时，孤立点会与同类dst点形成错误的匹配关系，错误匹配关系可能影响计算相似变换的精度。因此，在CS-ICP的基础上本实施例方法提出CS-ICP-mono方法，即在CS-ICP求得最近邻匹配步骤后剔除掉多对一匹配关系中距离更大的匹配关系。CS-ICP方法和CS-ICP-mono方法适用于不同的场景。当不存在部件丢失，或者测试图像和标准图像之间的拍摄位置相对变化越大时，CS-ICP方法仍然更精准。在实际诊断中，这两种改进方式得到的相似变换通过将相似变换A带入公式(5)即可求得对应的最小化配准残差；通过比较最小化配准残差选择最优相似变换。

对测试语义点云和标准语义点云利用最优相似变换A配准后，提取孤立的标准语义点作为关键点，生成部件丢失缺陷目标。具体方式可为：

(1)对标准语义点云std_pc应用相似变换A，得到std_pc_A；

(2)设置最大距离阈值threshold＝200，为每个std_pc_A点找到测试语义点云test_pc中与其距离最小且距离小于threshold的匹配点；

(3)两两比较每个std_pc_A点的匹配点，将匹配点相同且距离更大的std_pc_A点设置为匹配无效，匹配无效的std_pc_A点重新在threshold范围内寻找距离最小、类型相符的点作为匹配点；

(4)所有没有成功匹配的std_pc_A点视为部件丢失的关键点，以该std_pc_A点为中心，生成长宽为该点对应标准图标注框的长宽1.5倍的边界框，作为最终的部件丢失目标。

可作为优选的实施方式，当上述部件异常精细类别分类网络输出有正常螺栓或松动螺栓的精细类别结果时，采用3D点云测量算法，进一步确认螺栓是否确实松动，也就是经分类网络对螺栓类别分类后，采用两次Ransac方法分割3D点云平面计算螺栓高度以提高螺栓松动缺陷诊断精度，具体为：

3D相机为每一张图像都生成对应的3D点云信息，将分类网络得到的正常或松动类的螺栓的预测边界框映射至3D点云中，得到螺栓区域对应点云信息，对螺栓点云使用带有法向量约束的Ransac算法分割出第一平面，然后排除第一平面的点，继续用Ransac算法分割出第二平面，设定第一平面和第二平面为螺栓的顶部和底部平面；

得到平面参数后利用近似法计算平面距离：计算第二平面内的所有点至第一平面的距离，将距离排序后，取设定距离区间的均值作为第二平面至第一平面的距离，即螺栓的高度。

巡检机器人的机械臂末端所搭载的高精度3D相机能够同时输出RGB图像与3D点云信息。其通过光机向被测物体按一定规则和模式编码的图像投影，编码图案受到物体表面形状的调制而产生形变。带有形变的结构光被固定位置的面阵相机拍摄到，通过面阵相机与光源之间的位置关系和结构光形变的程度进行物体三维重建。在生成3D点云的同时，也能生成与RGB图像匹配的深度信息图像。

具体的，带有法向量约束的Ransac方法流程为：

(1)输入剔除了第一平面点的螺栓区域对应点云信息和第一平面法向量(即约束法向量NVcons)；

(2)随机从点云中选择3个点确定一个平面，并计算该随机平面的法向量NVcur；

(3)使用内积计算NVcons和NVcur的夹角cos值，若夹角cos值大于预设阈值0.9，则满足约束条件，表明两法向量的平面近似平行；

(4)若不满足约束，则直接舍弃该平面，回到(2)，否则将所有与该随机平面的距离小于阈值的点都划分为平面内点；

(5)迭代若干次，将平面内点最多的随机平面作为分割得到的最大平面。

得到平面参数后需要计算两个平面间的距离作为螺栓高度。然而，分割出来的两个平面不可能绝对平行，因此采用近似法计算平面距离。计算第二平面内的所有点至第一平面的距离，将距离排序后，取中间30％到70％的距离求均值作为第二平面至第一平面的距离，即螺栓的高度。

可作为优选的实施方式，用于训练上述分类网络的训练样本包括采用以下方式构建得到的样本：

将每张训练用巡检图像的每个标注框作为裁剪框，直接得到该标注框对应精细类别置信度为1.0的正样本；

统计各部件在该张巡检图像上的最大、最小面积，以及最大、最小长宽比；在该张巡检图像上为各部件每个精细类别随机设置若干个裁剪框，即先在图像区域上以均匀分布采样得到裁剪框的中心点，然后在统计的最大、最小面积之间以均匀分布采样得到裁剪框的面积，最后在统计的最大、最小长宽比之间以均匀分布采样得到裁剪框的长宽比，通过长宽比和面积解算具体的长宽值，得到随机的裁剪框；

若每个裁剪框和巡检图像上对应精细类别的某一个标注框有重叠区域，则计算该标注框和该裁剪框的并交比IoU；若每个裁剪框和巡检图像上对应精细类别的多个标注框有重叠区域，则计算IoU之后取其中的最大值；若每个裁剪框和巡检图像上对应精细类别的各标注框均无重叠区域，令IoU等于0；若IoU大于等于预设值，则以该裁剪框区域作为对应精细类别置信度为1.0的正样本，否则以该裁剪框区域作为负类置信度为(1-IoU)的负样本；

统计正负样本的数量，并通过追加采样，以均衡样本，完成样本标注的生成。

该种训练样本的构建方式可以扩充样本的分布范围，增强了分类网络的稳健性(鲁棒性)。

对于螺栓类型样本，分类网络的训练样本还包括通过以下增强方式得到的样本：

步骤一、分类训练样本的每个精细类别都按特定比例分割训练集和测试集；

步骤二、对训练集和测试集中部件各精细类别样本按照设定增强倍数进行数据集样本增强。

也就是，获得分类用训练样本后，需要对样本进行增强以扩充样本数量。由于在数据集中正常、松动、丢失的螺栓标注框比例约为50:4:1，为均衡样本数量，采用不同增强倍数的离线增强方式扩充训练样本，其中，离线增强方式包括：平移变换、旋转变换、尺度变换、高斯模糊、色相调整、亮度调整、饱和度调整、RGB通道像素值调整、添加噪声等。这些数据增强方式与巡检图像采集时的实际情况相适应，包括：应对机器人与机械臂的定位误差：平移、旋转、尺度变换；应对机械臂在拍照时的略微抖动：高斯模糊；应对环境光和相机曝光的动态变化：色相、亮度、饱和度、RGB像素调整；应对相机的本底噪声：添加高斯和椒盐噪声。具体的每一项增强参数范围根据对实际采集的样本进行观察而制定，如表1所示。将分类训练样本的每个精细类别都按照4:1的比例分出训练集和测试集。同时对训练集和测试集，螺栓正常、松动、丢失类型样本的增强倍数分别为2、5、20；保证每个异常类别的扩充后样本数量不小于正常类别的20％。负类样本不进行增强。

表1数据增强参数范围设置

利用上述方式制作的数据集对分类网络进行训练后，即可得到训练好的分类网络。将分类结果中的螺栓和螺栓松动两种类别利用两次Ransac方法分割3D点云平面来计算螺栓高度，以提高螺栓松动缺陷的检测精度。

可作为优选的实施方式，针对超限缺陷诊断，本实施例针对刹车闸片和扫石器高度两种部件不同的特点，提出了不同的测量方法。

对于刹车闸片厚度测量，采集图像大多出现多个刹车闸片，由于它们在刹车状态下会被刹车夹钳施加压力紧密贴合轮轴刹车盘，磨损状态一致，因此只需要测量其中之一的厚度。为了提高测量的效果，通常选取视野最清晰的最外侧的闸片。刹车闸片的图像存在明显的上下边缘，因此本实施例优选采用边缘检测算法检测出边缘，其具体实现方式为：

步骤一、截取闸片的图像区域，初始化双阈值分别为(250,180)；

步骤二、使用当前的双阈值进行Canny边缘检测，得到边缘响应；

步骤三、记录竖直中轴线(该中轴线与Y轴平行)上的边缘点坐标。在边缘响应的X轴(图像水平方向)中点处，以Y轴方向从上至下记录边缘点的坐标；

步骤四、若竖直中轴线上的边缘点数量不少于两个，则进入步骤五计算厚度；否则，双阈值都降低60，并回到步骤二；

步骤五、以Y值最小和最大的竖直中轴线边缘点分别作为闸片的上边缘点和下边缘点，将上下边缘点的坐标映射至相机生成的3D点云中，得到在真实世界坐标系中的Y值，以上下边缘点Y值的差作为最终的厚度测量结果。

本方法的Canny算法使用，只要能够满足闸片测量的需要即可，不是一定要获得清晰的边缘，因此，只要得到竖直中轴线上至少两个边缘点，实现闸片厚度测量即可。

对于扫石器高度测量，由于扫石器所处的视野中背景较为单一，轨道平面的直线特征明显，因此可以将巡检图像预处理后进行基于直线拟合获取测量基准线，进而得到高度值。

其中对于扫石器图像预处理流程为：将整张图像灰度化，并设置18为分割阈值，将灰度图二值化。得到对应二值化图像后使用5×5的中值滤波，初步去除孤立的黑白噪点；使用操作核大小为3的形态学开运算，进一步去除白色噪点；使用操作核大小为11的形态学闭运算，进一步去除黑色噪点，得到平滑后的二值图像，之后预处理流程结束。

进一步地，在平滑后的二值图像上，基于部件识别网路预测的扫石器边界框，寻找扫石器和轨道平面的边界线，流程为：

步骤一、将扫石器边界框映射到二值图像上，从扫石器边界框的中心点向下(即图像的Y轴正方向)寻找第一个黑色像素点，作为扫石器的下边界，然后继续向下寻找第一个白色像素点，作为轨道平面的上边界，将这两个边界点(坐标信息)与其高度差H加入集合Thickness(即高度差集合)中。

步骤二、从扫石器中心点向X轴方向左右偏移，每次移动2个坐标，然后重复步骤一。

步骤三、令步骤二遍历扫石器中心点X轴±50坐标的范围，最终Thickness中有51组边界点和高度差H。

步骤四、对Thickness按照高度差H排序，并去除H最小和最大的两组边界点，剩余49组。

步骤五、通过高度差H的均值和中位数去除离群点。计算H的均值Mean和中位数Median，若某一组边界点的高度差H符合或则该组边界点视为离群点，从Thickness中剔除。

步骤六、取当前Thickness中按高度差H排序后较小的四分位数索引Quarter_index，并以取Quarter_index±5范围内的索引对应的边界点，采用最小二乘法分别拟合扫石器下边界的直线和轨道平面上边界的直线。将两条直线的斜率取均值，得到统一拟合斜率k。

步骤七、四分位数索引Quarter_index对应的上边界点为(x₀,y_top)，下边界点为(x₀,y_bottom)，分别过此二点，以斜率k作最终斜率一致的上下边界拟合直线，截距如公式(7)所示：

步骤八、求最终上下边界拟合直线的距离，作为最终扫石器至轨面的高度。

例如，以Quarter_index对应上下边界点的中点至最终上下边界拟合直线的垂足f_top和f_bottom作为计算距离的两点，它们的坐标如公式(8)所示：

将f_top和f_bottom映射至3D点云求得现实坐标系的Y轴高度，取差值得到扫石器距离轨面的高度。

本申请所提分类网络采用的为Resnet50网络，其他网络模型如AlexNet、VGG16、Inception-Resnet-v2等分类模型也可以替代本申请方法。

实施例二

一种机器人巡检部件缺陷检测设备，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如实施例一所述的一种机器人巡检部件缺陷检测方法。

相关技术方案同实施例一，在此不再赘述。

实施例三

一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如实施例一所述的一种机器人巡检部件缺陷检测方法。

相关技术方案同实施例一，在此不再赘述。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。