Spatial pose recognition system and method for structural member

具体实施方式

下面结合实施方式对本发明作进一步描述。以下实施方式仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明实施例提供一种结构件的空间位姿识别系统，参见图1及图2，包括机械手2、工件支撑装置、结构光轨迹扫查仪10、焊枪和控制器。具体的，工件支撑装置用于夹持工件；结构光轨迹扫查仪10与机械手2连接，用于拍摄工件的待焊接头图片并将工件的待焊接头的图片发送至控制器；焊枪与机械手连接；控制器用于，控制机械手带动结构光轨迹扫查仪沿工件的待焊接头移动并使结构光轨迹扫查仪与工件的待焊接头保持预设距离及预设夹角，根据工件的待焊接头的图片识别工件的待焊接头的中心线的坐标，以及，控制机械手带动焊枪沿着待焊接头的中心线移动进行焊接。

在本发明的可选实施例中，参见图1及图2，结构件的空间位姿识别系统还包括移动滑台9、移动滑台悬梁1和基座6，移动滑台9位于工件一侧，移动滑台9通过移动滑台立柱8固定在基座上。移动滑台悬梁1和移动滑台9滑动连接，机械手2基座与移动滑台悬梁1底面固定连接，倒立放置，机械手2可沿移动滑台9进行移动。使用时，通过控制器控制移动滑台悬梁1沿移动滑台9平移的速度，即控制机械手沿工件平移的速度。工件支撑装置包括固定在基座6上的工件变位机底板5、固定于工件变位机底板5上的工件变位机立柱4和固定于工件变位机立柱4上的工件变位机3；工件变位机3的变位夹头与工件7连接，通过变位夹头的位姿变换实现工件7的空间位姿变换，由此实现对不同空间位置的工件7的轨迹扫查。基座可以为地面，也可以单独设置。移动滑台可以水平设置，也可以倾斜设置，可以设计成曲线型，可根据工件的形状灵活旋转。机械手可选6轴机械手。

在本发明的可选实施例中，参见图2，结构光轨迹扫查仪10为非接触式视觉检测设备，包括固定支架、CCD相机12和激光发生器11；固定支架与机械手2的最外端连接；CCD相机12固定在固定支架上，CCD相机12的中轴线与工件的待焊接头所在平面垂直；激光发生器固定在固定支架上，参见图3及图4，A为扫查方向，B为焊缝横向方向，当对待焊对接焊缝进行扫查时，激光发生器11发出的激光与CCD相机12的中轴线位于同一平面且该平面与工件的待焊接头垂直，CCD相机12的中轴线垂直于扫查面，激光发生器11发出的激光与CCD相机12的中轴线成20-40°夹角。

在本发明的可选实施例中，结构光轨迹扫查仪与工件的待焊接头之间的预设距离为100mm～200mm，结构光轨迹扫查仪沿工件的待焊接头即沿扫查方向A移动速度为15mm/s～30mm/s。

具体的，控制器按下述步骤识别工件的待焊接头的中心线的坐标：

采用RNN神经网络提取每一帧工件的待焊接头的图片中包含待焊区域的核心区域(图7中方框所围区域)，见图8，通过直线检测法提取核心区域内激光条纹的中心线，获取激光条纹的中心线的交点得到第i帧工件的待焊接头的图片中焊缝坡口边缘第一特征点的像素坐标(u_i1,v_i1)和第二特征点的像素坐标(u_i2,v_i2)以及焊缝坡口底部的特征点像素坐标(u_i3，v_i3)，i＝1,2,…,n，n为工件的待焊接头的图片的总数；

将焊缝坡口边缘第一特征点的像素坐标(u_i1,v_i1)和第二特征点的像素坐标(u_i2,v_i2)转化为结构光轨迹扫查仪下的三维坐标(x_i1,y_i1,z_i1)、(x_i2,y_i2,z_i2)；

对焊缝坡口边缘第一特征点的三维坐标(x_i1,y_i1,z_i1)的集合进行曲线拟合得到样条曲线B₁的坐标；对焊缝坡口边缘第二特征点的三维坐标(x_i2,y_i2,z_i2)的集合进行曲线拟合得到样条曲线B₂的坐标：

其中，为样条曲线B₁的坐标，B_i1,k(u)为求取样条曲线B₁时的第i个k阶拟合参数，由焊缝坡口边缘第一特征点的三维坐标(x_i1,y_i1,z_i1)通过B样条曲线插值算法计算得到；为样条曲线B₂的坐标，B_i2,k(u)为求取样条曲线B₂时的第i个k阶拟合参数，由焊缝坡口边缘第二特征点的三维坐标(x_i2,y_i2,z_i2)通过B样条曲线插值算法计算得到；

通过样条曲线B₁的坐标、样条轨迹曲线B₂的坐标求取工件的待焊接头的中心线的坐标。工件的待焊接头的中心为待焊焊缝坡口边缘第一特征点和第二特征点的中点，即工件的待焊接头的中心线为焊缝坡口边缘第一特征点和第二特征点的中点所在曲线。

图5为将所有照片中的激光曲线按照拍摄顺序及位置进行排列后组成的工件表面示意图。

具体的，结构光轨迹扫查仪还用于，拍摄工件的已焊焊缝图片并将工件的已焊焊缝图片发送至控制器；

控制器还用于，

控制机械手带动结构光轨迹扫查仪沿工件的已焊焊缝移动并使结构光轨迹扫查仪与工件的已焊焊缝保持预设距离及预设夹角，以及，按照下述步骤根据工件的已焊焊缝的图片识别工件的焊缝质检中心线的坐标和焊缝最高点所在直线的坐标：

采用RNN神经网络提取每一帧工件的已焊焊缝图片中包含焊缝的核心区域(图9中方框所围区域)，参见图10，通过直线检测法提取核心区域内激光条纹的中心线，获取激光条纹的中心线的交点得到第m帧工件的已焊焊缝图片中焊趾边缘第一特征点的像素坐标(u^m1,v^m1)和第二特征点的像素坐标(u^m2,v^m2)，获取激光条纹的中心线上二阶导数为零的点得到焊缝最高点的像素坐标(u^m3,v^m3)，m＝1,2,…,o，o为工件的已焊焊缝图片的总数；

将工件的已焊焊缝图片中焊趾边缘第一特征点的像素坐标(u^m1,v^m1)和第二特征点的像素坐标(u^m2,v^m2)以及工件的焊缝最高点的像素坐标(u^m3,v^m3)转化为CCD相机坐标系下的三维坐标(x^m1,y^m1,z^m1)、(x^m2,y^m2,z^m2)、(x^m3,y^m3,z^m3)；

对工件的已焊焊缝图片中焊趾边缘第一特征点的像素坐标(x^m1,y^m1,z^m1)的集合进行曲线拟合得到样条曲线B₄的坐标；对工件的已焊焊缝图片中焊趾边缘第二特征点的像素坐标(x^m2,y^m2,z^m2)的集合进行曲线拟合得到样条曲线B₅的坐标；对工件的焊缝最高点的像素坐标(x^m3,y^m3,z^m3)的集合进行曲线拟合得到样条曲线B₆的坐标：

其中，为样条曲线B₄的坐标，B_m4,k(u)为求取样条曲线B₄时的第m个k阶拟合参数，由焊趾第一特征点的三维坐标(x^m1,y^m1,z^m1)通过B样条曲线插值算法计算得到；为样条曲线B₅的坐标，B_m5,k(u)为求取样条曲线B₅时的第m个k阶拟合参数，由焊趾第二特征点的三维坐标(x^m2,y^m2,z^m2)通过B样条曲线插值算法计算得到；为样条曲线B₆的坐标，B_m6,k(u)为求取样条曲线B₆时的第m个k阶拟合参数，由工件的焊缝最高点的三维坐标(x^m3,y^m3,z^m3)通过B样条曲线插值算法计算得到；

样条曲线B₆的坐标工件为焊缝最高点所在直线的坐标；通过样条曲线B₄的坐标、样条轨迹B₅的坐标求取焊缝质检中心线的坐标。焊缝质检中心点为焊趾第一特征点和第二特征点的中点，即焊缝质检中心线为焊趾第一特征点和第二特征点中点所在曲线。

图6为将所有照片中的激光曲线按照拍摄顺序及位置进行排列后组成的工件表面已焊焊缝的示意图。

在本发明的可选实施例中，结构件的空间位姿识别系统还包括质检探头，控制器还用于控制所述机械手带动所述质检探头根据所述焊缝质检中心线移动对焊缝进行质检。获取焊缝质检中心线后，以此为行动轨迹，使质检探头与焊缝中心线保持一定距离对焊缝进行质检，实现对于焊后相控阵探头质检轨迹的实时控制。

在本发明的可选实施例中，结构件的空间位姿识别系统还包括打磨磨头；控制器还用于控制机械手带动打磨磨头沿焊缝最高点所在直线移动对已焊缝进行打磨。

在本发明中，焊枪、结构光轨迹扫查仪、打磨磨头和质检探头等部件均有机械手带动，均与机械手相连，空间允许下，可将部件同时与机械手进行组装，也可以选用可拆卸的方式将焊枪、结构光轨迹扫查仪、打磨磨头和质检探头等部件与机械手进行组装，在进行相应工序前进行替换安装即可。

本发明实施例还提供一种结构件的空间位姿识别方法，以挖机动臂斗杆工装为例，包括，

S1.1：挖机动臂斗杆工装安装：挖机动臂斗杆工件安装在工件变位机之上，焊接之前坡口表面进行清理除锈打磨等处理；

S1.2：将待检测焊缝编号：1......n；按顺序检测待焊接头，通过工件变位机运动将待检测焊缝旋转至水平面；

S1.3：见图3，对待焊接头扫查准备，机械手夹持结构光轨迹扫查仪，调整结构光轨迹扫查仪空间位姿使机械手控制结构光轨迹扫查仪的底端与检测焊缝的距离为100mm～200mm，且激光发生器与CCD相机成20-40°夹角，CCD相机的中轴线垂直于扫查面，激光发生器与CCD相机构成的面垂直于待焊接头；移动结构光轨迹扫查仪使激光线到起弧点；

S1.4：启动CCD相机，通过控制器控制机械手带动结构光轨迹扫查仪沿着工件进行扫描，配置传感器采集的帧率30帧/s，以扫描速度V_s(15mm/s～30mm/s)开始向向熄弧弧点移动；移动过程中线激光发生器产生的线激光不断扫掠未施焊的焊缝，CCD相机不断拍摄带有激光线的待焊接头图片并将工件的待焊接头的图片上传至控制器；

S1.5：控制器根据工件的待焊接头的图片识别工件的待焊接头的中心线的坐标：

采用RNN神经网络提取每一帧工件的待焊接头的图片中包含待焊区域的核心区域，通过直线检测法提取核心区域内激光条纹的中心线，获取激光条纹的中心线的交点得到第i帧工件的待焊接头的图片中焊缝坡口边缘第一特征点的像素坐标(u_i1,v_i1)和第二特征点的像素坐标(u_i2,v_i2)；i＝1,2,…,n，n为工件的待焊接头的图片的总数；

将焊缝坡口边缘第一特征点的像素坐标(u_i1,v_i1)和第二特征点的像素坐标(u_i2,v_i2)转化为结构光轨迹扫查仪下的三维坐标(x_i1,y_i1,z_i1)、(x_i2,y_i2,z_i2)；

对焊缝坡口边缘第一特征点的三维坐标(x_i1,y_i1,z_i1)的集合进行曲线拟合得到样条曲线B₁的坐标；对焊缝坡口边缘第二特征点的三维坐标(x_i2,y_i2,z_i2)的集合进行曲线拟合得到样条曲线B₂的坐标：

其中，为样条曲线B₁的坐标，B_i1,k(u)为求取样条曲线B₁时的第i个k阶拟合参数；为样条曲线B₂的坐标，B_i2,k(u)为求取样条曲线B₂时的第i个k阶拟合参数；

通过样条曲线B₁的坐标、样条轨迹曲线B₂的坐标求取工件的待焊接头的中心线的坐标。

S1.6：控制器控制机械手带动焊枪沿工件的待焊接头的中心线移动，焊枪沿待焊接头的中心线移动的同时对焊缝施焊，实现自动化焊接轨迹。

S2：已焊焊缝相控阵探头扫查轨迹智能化控制

S2.1：挖机动臂斗杆工装安装：

S2.2：将待检测焊缝编号：1......n；按顺序检测焊缝，通过工件变位机运动将待检测焊缝旋转至水平面；

S2.3：对已焊焊缝扫查准备，机械手夹持结构光轨迹扫查仪，调整结构光轨迹扫查仪空间位姿使机械手控制结构光轨迹扫查仪的底端与检测焊缝的距离为100mm～200mm，且激光发生器与CCD相机成20-40°夹角(图4)，CCD相机的中轴线垂直于扫查面，激光发生器与工业CCD相机构成的面垂直于焊缝；移动结构光轨迹扫查仪使激光线到起点；

S2.4：启动CCD相机，控制器控制机械手带动结构光轨迹扫查仪沿着工件进行扫描，配置传感器采集的帧率30帧/s，以扫描速度V_s(15mm/s～30mm/s)开始向向熄弧弧点移动；移动过程中线激光发生器产生的线激光不断扫掠焊缝，CCD相机不断拍摄带有激光线的已焊焊缝图片并将工件的已焊焊缝的图片上传至控制器；

S2.5：控制器根据工件的已焊焊缝的图片识别工件的焊缝质检中心线的坐标和焊缝最高点所在直线的坐标：

采用RNN神经网络提取每一帧工件的已焊焊缝图片中包含焊缝的核心区域，通过直线检测法提取核心区域内激光条纹的中心线，获取激光条纹的中心线的交点得到第m帧工件的已焊焊缝图片中焊趾边缘第一特征点的像素坐标(u^m1,v^m1)和第二特征点的像素坐标(u^m2,v^m2)，获取激光条纹的中心线上二阶导数为零的点得到焊缝最高点的像素坐标(u^m3,v^m3)，m＝1,2,…,o，o为工件的已焊焊缝图片的总数；

将工件的已焊焊缝图片中焊趾边缘第一特征点的像素坐标(u^m1,v^m1)和第二特征点的像素坐标(u^m2,v^m2)以及工件的焊缝最高点的像素坐标(u^m3,v^m3)转化为CCD相机坐标系下的三维坐标(x^m1,y^m1,z^m1)、(x^m2,y^m2,z^m2)、(x^m3,y^m3,z^m3)；

对工件的已焊焊缝图片中焊趾边缘第一特征点的像素坐标(x^m1,y^m1,z^m1)的集合进行曲线拟合得到样条曲线B₄的坐标；对工件的已焊焊缝图片中焊趾边缘第二特征点的像素坐标(x^m2,y^m2,z^m2)的集合进行曲线拟合得到样条曲线B₅的坐标；对工件的焊缝最高点的像素坐标(x^m3,y^m3,z^m3)的集合进行曲线拟合得到样条曲线B₆的坐标：

其中，为样条曲线B₄的坐标，B_m4,k(u)为求取样条曲线B₄时的第m个k阶拟合参数；为样条曲线B₅的坐标，B_m5,k(u)为求取样条曲线B₅时的第m个k阶拟合参数；为样条曲线B₆的坐标，B_m6,k(u)为求取样条曲线B₆时的第m个k阶拟合参数；

样条曲线B₆的坐标工件为焊缝最高点所在直线的坐标；通过样条曲线B₄的坐标、样条轨迹B₅的坐标求取焊缝质检中心线的坐标。

S2.6：控制器控制机械手带动质检探头根据所述焊缝质检中心线移动对焊缝进行质检；

S2.7：控制器控制机械手带动打磨磨头沿所述焊缝最高点所在直线移动对已焊缝进行打磨。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。