上海交通大学学报, 2022, 56(6): 794-800 doi: 10.16183/j.cnki.jsjtu.2020.362

机械与动力工程

大型箱型梁高速GMAW三维位姿快速估计方法

李高阳, 贾爱亭, 洪波,, 李湘文, 高佳篷

湘潭大学 机械工程学院,湖南 湘潭 411105

Fast 3D Pose Estimation Method for High Speed GMAW of Large Box Girders

LI Gaoyang, JIA Aiting, HONG Bo,, LI Xiangwen, GAO Jiapeng

School of Mechanical Engineering, Xiangtan University, Xiangtan 411105, Hunan, China

通讯作者: 洪波,男,教授, 博士生导师;E-mail:hongbo@xtu.edu.cn.

责任编辑: 孙伟

收稿日期: 2020-11-6  

基金资助: 国家自然科学基金(51575468)
长株潭标志性工程计划重大标志性创新示范工程项目(2019XK2303)
湘潭市科技计划项目(ZD-ZD20191007)
湖南省自然科学基金(2020JJ4089)
湖南省研究生科研创新项目(XDCX2019B099)

Received: 2020-11-6  

作者简介 About authors

李高阳(1968-),男,湖南省湘潭市人,博士,高级工程师,从事焊接设备及自动化研究.

摘要

大型箱型梁在高速熔化极气体保护焊(GMAW)过程中存在定位焊缝、装配精度低,难以通过工装严格保证工件位姿,以及焊缝三维位姿实时变化等复杂工况.基于视觉的焊缝识别方法计算量大,且均不针对存在定位焊缝的工件,难以快速获取大型箱型梁的三维位姿.对此,提出一种基于激光位移传感和点云聚类快速分割的大型箱型梁高速GMAW三维位姿快速估计方法.利用该方法,通过点云快速分割得出大型箱型梁焊缝的立板平面和平板平面,进而解算出焊缝位姿信息.对多种不同位姿的焊缝进行位姿信息估计试验,结果表明:当焊接速度为1200 mm/min时,焊缝位姿误差分别在0.25 mm和1.8° 以内;增强了大型箱型梁自动焊接对定位焊缝、装配精度低等复杂工况的鲁棒性,提升了焊接质量.

关键词: 大型箱型梁; 熔化极气体保护焊; 三维位姿估计; 点云分割

Abstract

In the process of high speed gas metal arc welding (GMAW), large box girder has many complex working conditions, such as positioning weld, low assembly accuracy, difficulty in strictly ensuring the pose of workpiece through tooling, real-time change of 3D pose of weld, etc. The vision based weld recognition method has a large amount of calculation and is not aimed at the workpiece with positioning weld, making it difficult to obtain the 3D pose of large box girders quickly. Aimed at this problem, a fast 3D pose estimation method for large box girder based on laser displacement sensing and point cloud clustering was proposed. Using this method, the vertical plane and flat plane of the welding seam of large box girders were obtained by fast segmentation of point cloud. Then, the pose information of welding seam was calculated. A pose information estimation test was conducted for welds with different poses. The results show that when the welding speed is up to 1200 mm/min, the pose error of the weld is less than 0.25 mm and 1.8°respectively. The robustness of the automatic welding of large box girders to complex conditions of positioning weld and low assembly accuracy is enhanced, which greatly improves the welding quality.

Keywords: large box girder; gas metal arc welding (GMAW); 3D pose estimation; point cloud segmentation

PDF (10448KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

李高阳, 贾爱亭, 洪波, 李湘文, 高佳篷. 大型箱型梁高速GMAW三维位姿快速估计方法[J]. 上海交通大学学报, 2022, 56(6): 794-800 doi:10.16183/j.cnki.jsjtu.2020.362

LI Gaoyang, JIA Aiting, HONG Bo, LI Xiangwen, GAO Jiapeng. Fast 3D Pose Estimation Method for High Speed GMAW of Large Box Girders[J]. Journal of Shanghai Jiaotong University, 2022, 56(6): 794-800 doi:10.16183/j.cnki.jsjtu.2020.362

大型箱型梁工件大量应用于海工装备、大型起重装备等领域中[1].目前,主要采用手工焊接方式,严重影响焊接的效率和质量.利用机器人焊缝自动跟踪焊接作业是提高制造效率和质量一致性的重要途径,其中,实现焊缝三维位姿信息的快速准确估计是关键.

焊缝跟踪传感器是智能焊接机器人的关键部分,已开发并应用了多种传感器[2-4],例如电弧传感器[5]、视觉传感器[6]等.目前,视觉传感器由于测量精度高且可以获得丰富的环境信息成为了研究热点. Xu等[7]为提高机器人气体保护焊的焊接质量,基于专用视觉传感器开发了焊缝跟踪系统,并根据机器人熔化极气体保护焊(GMAW)的特点,开发了一种新型焊缝跟踪软件;所提出的焊缝跟踪方法能够在大多数焊接应用中获得良好的跟踪精度.Zou等[8]为实现焊缝的实时跟踪,设计了一套基于视觉传感器的6轴机器人焊缝跟踪系统.焊接前,利用形态学方法获得特征点的初始坐标值;焊接过程中,采用基于高斯核的目标跟踪方法提取焊缝的实时特征点;焊接过程中焊炬末端运行平稳,焊缝跟踪精度小于0.32 mm,可以实现精确焊缝跟踪.但上述方法算法复杂、计算量大,不适用于角焊缝的三维位姿实时跟踪,且都不针对存在定位焊缝的工件,难以快速获取大型箱型梁焊缝的位姿信息.

大型箱型梁工件焊缝是通过定位焊缝将立板和平板装配而成的角焊缝,大量应用于海工装备、大型起重装备等领域中.大型箱型梁工件难以通过高精度的工装夹具保证其位姿的稳定性,工件的每次更换均会引起焊缝位姿信息在三维空间中发生变化,甚至引起焊接过程中焊缝位姿的变动.定位焊缝对焊缝位姿信息的获取造成干扰,引起焊缝识别错误从而造成偏焊.为解决这些难题,提高大型箱型梁自动焊接的质量和效率,本文提出一种基于激光位移传感和点云聚类快速分割的大型箱型梁高速GMAW三维位姿快速估计方法.

1 大型箱型梁焊缝三维位姿快速估计方法

大型箱型梁工件如图1所示.在焊接过程中,激光位移传感器对箱型梁焊缝进行扫描获取其点云数据,通过点云数据处理实现其位姿信息快速估计,箱型梁焊缝位姿信息快速估计方法流程如下:点云获取;点云分割;局部异常因子(LOF)点云滤波;焊缝位姿估计.

图1

图1   大型箱型梁工件

Fig.1   Workpiece of a large box girder


1.1 点云获取

焊缝点云数据获取如图2所示.激光位移传感器测得的每一帧数据共有800个点,每个值都是工件测量点高度的测量值.每一帧测量点存储在二维矩阵中.矩阵的列对应一次测量的一帧数据,不同列对应不同时间获得的测量数据.相邻列之间的距离为Δy,一帧数据中相邻数据之间的距离为Δx,测量高度Hz轴坐标值.通过下式将二维高度矩阵转换为三维笛卡尔坐标Oxyz.为提高算法运行速率,利用均匀降采样法减小点云数据密度.

x=rΔxy=cΔyz=Hr,c

式中:rc分别为点云数据矩阵的行和列.

图2

图2   点云数据获取

Fig.2   Acquisition of point cloud data


1.2 点云分割

角焊缝点云数据由两个相交的平面点云数据集组成,估计焊缝位姿时,须分割出两个平面的点云数据.首先利用KD-Tree[9](一种平衡二叉树)近邻搜索,找到所有点的邻域,计算出每个点邻域的法向量,并将法向量归一化;然后对法向量进行欧式聚类[10]分割,分割出焊缝的立板和平板点云数据.

1.2.1 建立点云近邻法向量矩阵

首先建立KD-Tree数据结构,然后对数据进行K最近邻(KNN)近邻搜索建立每个点的近邻矩阵,最后建立点云近邻法向量矩阵.其建立流程如下.

(1) 利用下式计算出点云数据集合(D)中K维数据方差的最大值,并记录最大方差值的维度K.

Max{ (x-μx)2Nx, (y-μy)2Ny, (z-μz)2Nz, …}

式中:μiNi(i=x, y, z)分别为集合Di维的平均数和数据量.

(2) 将D中第K维度上的数据按顺序排列,得到数据集合{K1, K2, …,KNk},其中K1<K2<…<KNk,NkD中第K维数据的个数.计算第K维数据的中值:

m= KNk+12,NkKNk2+KNk2+12,Nk

(3) 根据下式得出两个数据集合KlowKhigh,并建立一个树结点.

x<m,xKlowxm,xKhigh

(4) 对子集合KlowKhigh重复进行上述操作,直至所有子集合都不能再进行划分;若某个子集合不能再进行划分,则将该子集合中的数据保存到没有子节点的叶子节点中.

(5) 对数据集KD-Tree进行KNN近邻搜索,得到D中的K近邻矩阵K.

(6) 建立每个数据点的法向量:

C= K(i,1)-PK(i,2)-PK(i,K)-PTK(i,1)-PK(i,2)-PK(i,K)-P

式中:C为数据点D(i,: )对应的协方差矩阵;K(i,:) 为D(i,:)的K个近邻数据;PK(i,:)点集的几何中心.C最小特征值对应的特征向量为 D(i,:)邻域平面法向向量.焊缝点云近邻法向量如图3所示.

图3

图3   焊缝点云邻域法向量

Fig.3   Neighborhood normal vector of point cloud of weld


1.2.2 基于欧式聚类的焊缝点云分割

图3可见,同一平面的点云近邻法向量是紧邻的,不同平面的点云近邻法向量之间存在间距.因此,可以采用点云聚类算法对点云数据近邻法向量进行平面分割.对于焊缝点云近邻法向量集中的焊缝立板和平板两个平面点云近邻法向量集P1P2,其中P1P2=⌀,若满足下式,则两组点云近邻法向量数据属于不同类别.

minP1,iP1,P2,jP2P1,i-P2,j2≥d

式中:d为聚类欧氏距离阈值.焊缝点云聚类结果如图45所示.

图4

图4   焊缝点云邻域法向量聚类结果

Fig.4   Clustering results of point cloud neighborhood normal vector of weld


图5

图5   焊缝点云数据分割结果

Fig.5   Segmentation results of point cloud data of weld


1.3 基于LOF算法的焊缝点云滤波

欧式聚类分割存在过度分割或欠分割的现象(见图5).为了改善焊缝点云分割效果,须剔除欧式聚类后邻域法向量的异常值.LOF算法是一种经典的异常数据检测算法,通过每个数据的异常程度值来确定该点是否是异常点[11].涉及到的几个定义如下.

定义1 k距离.数据集中到数据对象点q距离最近的第k个点到q的距离,记作dk(q).该距离指欧氏距离,即直线距离.

定义2 k距离邻域.数据集中与q之间的距离不大于k距离的数据点组成的集合.

定义3 可达距离.数据集中任意两点pq的可达距离定义为

dr(p,q)=maxd(p,q),dk(q)

其中:d(p,q)为pq之间的欧氏距离.

定义4 局部可达密度.q到其邻域内所有点的平均可达距离的倒数,常用密度表示,计算方法如下:

ρ(q)= Nk(q)pNk(q)dr(p,q)

式中:Nk(q)为qk邻域内的点,Nk(q)为其个数.由于可能存在若干个点到q的距离相等,k近邻的点可能不止一个,所以有Nk(q)k.ρ(q)值越大,表明q的密度越大,点q越正常.

定义5 局部异常因子.表征数据的离群程度,计算方法如下:

LOFk(q)= pNk(q)ρ(p)ρ(q)Nk(q)

若LOF值远远大于1,则表明点q的密度与整体数据密度差异较大,被视为离群点.LOF值越接近于1,表明点q越正常.分别对欧式聚类后的焊缝点云近邻法向量进行LOF剔除异常值,结果如图67所示.

图6

图6   LOF值

Fig.6   Values of LOF


图7

图7   LOF滤波后点云数据

Fig.7   Point cloud data after LOF filtering


1.4 焊缝位姿信息估计

针对立板平面和平板平面的点云数据,利用最小二乘法,并通过平面模型A1x+B1y+C1z=D1A2x+B2y+C2z=D2拟合得出平面方程.焊缝轨迹如下:

f(x, y, z)= A1x+B1y+C1z=D1A2x+B2y+C2z=D2

焊缝法向向量和焊缝方向向量如下:

o= P1+P2P1+P2
n= dfxti+dfytj+dfztkdfxti+dfytj+dfztk

式中:P1=(A1, B1, C1);P2=(A2, B2, C2).焊缝位姿模型如图8所示.

图8

图8   箱型梁焊缝位姿模型

Fig.8   Welding pose model of a box girder


2 试验与分析

2.1 系统平台

系统平台如图9所示.该系统由机器人系统、点云数据处理计算机Intel® CoreTMi5-7300HQ CPU@2.5 GHz 8G(RAM)和激光位移传感器(传感器头LJ-G200、控制器LJ-G5001)组成.机器人具有5个自由度,分别为3个移动轴(x轴、y轴、z轴)和2个旋转轴(旋转轴1和旋转轴2).在焊接过程中,焊枪的位置可以在xyz方向调整,焊枪姿态通过旋转轴1和旋转轴2进行调节.为保证测量点云数据的准确性,采用文献[12]中描述的方法,对激光位移传感器和旋转轴1之间的坐标换算关系进行标定.可以通过坐标变换模型建立传感器坐标系中的一点与机器人基底坐标系中对应点的映射矩阵:

xByBzB1=TBRTRCxCyCzC1

式中:OBxByBzB为机器人基座坐标系;OCxCyCzC为传感器坐标系;TBROBxByBzB和旋转轴坐标系ORxRyRzR之间的转换矩阵,由机器人控制器得到;TRCORxRyRzROCxCyCzC之间的变换矩阵,通过标定得到.

图9

图9   试验系统结构

Fig.9   Structure of test system


为便于分析试验误差,对与箱型梁具有类似焊缝结构的不同位姿的角焊缝进行三维位姿信息估计试验.工件材料牌号为Q235, 板厚5 mm,工件表面具有轻微划痕和锈迹.利用GMAW方法,设焊速为 1200 mm/min,采用激光位移传感器获得角焊缝点云数据,每一个点云数据处理周期采样25帧数据,两次采样之间在y轴行走方向间隔1 mm.所用传感器的主要参数如下:测量范围(200±50) mm,线性度±0.1%,激光波长655 nm,光斑尺寸 200 μm×80 mm,每条激光条纹的采样点数为800.

2.2 不同位姿的角焊缝位姿信息估计试验

对不同位姿的角焊缝进行位姿信息在线估计试验,结果如图10所示.

图10

图10   不同位姿焊缝位姿估计结果

Fig.10   Identification results of weld seam with different positions and poses


在焊接前,大型箱型梁焊接工件的表面存在划痕、飞溅、油漆等杂物,影响焊缝位姿检测精度.所提方法通过LOF算法滤除焊缝平面上杂物的干扰,保证了焊缝立板平面与平板平面的真实性;通过立板平面法向量与平板法向量的和确定焊缝法向量,通过焊缝轨迹的切向量确定焊缝的方向向量,通过立板平面与平板平面的交线确定焊缝位置,保证了焊缝位姿的准确性.由图10可知,对于不同位姿以及存在锈迹、划痕的角焊缝,所提方法均可很好地实现焊缝位姿信息估计.

2.3 定位焊缝对焊缝位姿信息估计的影响

在焊接前,箱型梁焊缝通过定位焊缝进行装配.为验证所提方法对定位焊缝的适应性,对存在焊角为10 mm、焊缝长度为10 mm典型定位焊缝的工件进行焊缝位姿估计试验,结果如图11所示.试验结果表明:定位焊缝作为噪声数据被滤除,不会影响角焊缝位姿信息在线估计精度.所提位姿估计方法具有很好的鲁棒性.

图11

图11   定位焊点对焊缝位姿估计的影响

Fig.11   Effect of spot welding on pose estimation of weld


2.4 误差分析

在试验前,通过机器人精确示教确定工件的精确位姿信息.以机器人精确示教读取的焊缝位姿数据为基准,与计算值对应点进行对比得出不同位姿角焊缝位姿信息估计偏差,如图1213所示.

图12

图12   焊缝位置估计偏差

Fig.12   Estimated deviation of weld position


图13

图13   焊缝姿态估计偏差

Fig.13   Estimated deviation of weld attitude


以试验中偏差的最大值为试验误差,通过下式计算:

xME=maxi[1,β]xc,i-xt,iyME=maxi[1,β]yc,i-yt,izME=maxi[1,β]zc,i-zt,i
nME=maxi[1,β]arccosnc,int,inc,int,ioME=maxi[1,β]arccosoc,iot,ioc,iot,i

式中:xMEyMEzME为焊缝位置估计偏差参数;nMEoME为焊缝姿态估计偏差参数;β为点数;(xc,i, yc,i, zc,i)为第i个点的计算坐标;nc,i为计算方向向量;oc,i为计算法向向量.(xt,i, yt,i, zt,i)、nt,iot,i为第i点的位姿精确测量值.试验结果表明,位置误差小于0.25 mm,姿态误差不超过1.8°,满足箱型梁焊缝自动跟踪的要求.

2.5 算法效率

为测试算法的有效性,在计算机上以MATLAB2019为测试平台,测试箱型梁焊缝位姿信息估计的主要算法效率.以主要算法多次运行时间的最大值为算法的运行时间,欧式聚类、LOF滤波和平面拟合算法的运行时间分别为21、23、55 ms,总时间为188 ms.

实现箱型梁焊缝位姿信息在线提取,算法运行时间须小于焊接完成一个激光位移传感器前置距离所需时间(t)的一半,t为激光位移传感器前置距离与焊接速度之比.为了获取足够的用于焊缝位姿信息估计的点云数据和保证完成焊缝位姿估计以及通信延时的时间,设激光位移传感器的前置距离为50 mm、焊接速度为 1200 mm/min,则t/2=1250 ms.可知,所提算法的运行时间满足箱型梁焊缝位姿信息快速估计的要求.

3 结论

提出一种基于激光位移传感和点云聚类快速分割的大型箱型梁高速GMAW三维位姿快速估计方法,主要得出以下结论:

(1) 提出的三维焊缝位姿快速估计方法能够实现大型箱型梁焊缝三维位姿快速估计.

(2) 提出的基于法向量欧式聚类的焊缝点云快速分割方法能够实现箱型梁焊缝点云数据更快分割;基于LOF算法的点云滤波方法能够实现箱型梁焊缝点云数据滤波,具有更好的鲁棒性.

(3) 对大量焊缝进行三维位姿信息估计试验,试验结果表明在焊速高达 1200 mm/min时,焊缝三维位姿估计误差分别在0.25 mm和1.8° 以内.所提方法增强了大型箱型梁自动焊接对定位焊缝、装配精度低等复杂工况的鲁棒性,提升了焊接质量,有望在海工装备、大型起重装备等制造领域得到广泛应用.

参考文献

LI G Y, HONG Y X, GAO J P, et al.

Welding seam trajectory recognition for automated skip welding guidance of a spatially intermittent welding seam based on laser vision sensor

[J]. Sensors, 2020, 20(13): 3657.

DOI:10.3390/s20133657      URL     [本文引用: 1]

ZOU Y B, CHEN J X, WEI X Z.

Research on a real-time pose estimation method for a seam tracking system

[J]. Optics and Lasers in Engineering, 2020, 127: 105947.

DOI:10.1016/j.optlaseng.2019.105947      URL     [本文引用: 1]

XUE B C, CHANG B H, PENG G D, et al.

A vision based detection method for narrow butt joints and a robotic seam tracking system

[J]. Sensors, 2019, 19(5): 1144.

DOI:10.3390/s19051144      URL     [本文引用: 1]

GAO X D, HUANG G X, YOU D Y, et al.

Magneto-optical imaging deviation model of micro-gap weld joint

[J]. Journal of Manufacturing Systems, 2017, 42: 82-92.

DOI:10.1016/j.jmsy.2016.11.005      URL     [本文引用: 1]

乐健, 张华, 叶艳辉, .

基于旋转电弧传感机器人立焊焊缝的跟踪

[J]. 上海交通大学学报, 2015, 49(3): 348-352.

[本文引用: 1]

LE Jian, ZHANG Hua, YE Yanhui, et al.

Robot tracking of vertical welding seam based on rotating arc sensor

[J]. Journal of Shanghai Jiao Tong University, 2015, 49(3): 348-352.

[本文引用: 1]

XIAO R Q, XU Y L, HOU Z, et al.

An adaptive feature extraction algorithm for multiple typical seam tracking based on vision sensor in robotic arc welding

[J]. Sensors and Actuators A: Physical, 2019, 297: 111533.

DOI:10.1016/j.sna.2019.111533      URL     [本文引用: 1]

XU Y L, LV N, FANG G, et al.

Welding seam tracking in robotic gas metal arc welding

[J]. Journal of Materials Processing Technology, 2017, 248: 18-30.

DOI:10.1016/j.jmatprotec.2017.04.025      URL     [本文引用: 1]

ZOU Y B, WANG Y B, ZHOU W L, et al.

Real-time seam tracking control system based on line laser visions

[J]. Optics & Laser Technology, 2018, 103: 182-192.

[本文引用: 1]

万家山, 陈蕾, 吴锦华, .

基于KD-Tree聚类的社交用户画像建模

[J]. 计算机科学, 2019, 46(Sup.1): 442-445.

[本文引用: 1]

WAN Jiashan, CHEN Lei, WU Jinhua, et al.

Persona based social user modeling using KD-tree

[J]. Computer Science, 2019, 46(Sup.1): 442-445.

[本文引用: 1]

薛连杰, 齐臣坤, 张彪, .

基于3维点云欧氏聚类和RANSAC边界拟合的目标物体尺寸和方位识别

[J]. 机械设计与研究, 2018, 34(5): 44-48.

[本文引用: 1]

XUE Lianjie, QI Chenkun, ZHANG Biao, et al.

Object size and orientation recognition based on 3D point cloud euclideam clustering and RANSAC boundary fitting

[J]. Machine Design & Research, 2018, 34(5): 44-48.

[本文引用: 1]

周鹏, 程艳云.

一种改进的LOF异常点检测算法

[J]. 计算机技术与发展, 2017, 27(12): 115-118.

[本文引用: 1]

ZHOU Peng, CHENG Yanyun.

An improved LOF outlier detection algorithm

[J]. Computer Technology and Development, 2017, 27(12): 115-118.

[本文引用: 1]

郑健, 张轲, 罗志锋, .

基于空间直线约束的焊接机器人手眼标定

[J]. 焊接学报, 2018, 39(8): 108-113.

[本文引用: 1]

ZHENG Jian, ZHANG Ke, LUO Zhifeng, et al.

Hand-eye calibration of welding robot based on the constraint of spatial line

[J]. Transactions of the China Welding Institution, 2018, 39(8): 108-113.

[本文引用: 1]

/