基于双目视觉的焊缝隐性损伤跟踪定位方法
【摘要】 针对传统方法在焊缝隐性损伤定位准确性不佳、定位效果不好等问题，提出一种双目视觉的焊缝隐性损伤跟踪定位方法。通过双目视觉中的一个摄像机坐标系，构建世界坐标系;根据双摄像机外部参数与坐标系间变换关系，标定双目视觉旋转矩阵与平移向量参数;利用识别集合信度函数的基本可信度分配，识别出焊缝隐性损伤;采用图像采集卡转换损伤图像，得到焊缝空间方位;依据模拟输出卡输出控制量，实现焊缝隐性损伤的跟踪定位。应用棋盘格间距的测量方法分析双目视觉偏差。根据各长度测量结果可知，双目视觉测量偏差与棋盘格长度成正比，经模拟损伤扫描速度对各方向跟踪准度的影响，发现扫描速度为4mm/S时具有更综合的性能。通过仿真焊缝隐性损伤的跟踪轨迹与定位结果，验证出所提方法的跟踪定位准度有显著优势。关键词:叹目视觉;焊缝;隐性损伤;跟踪定位;世界坐标系中图分类号:TG409文献标识码:BBinocularVision-BasedTrackingandPositioningMethodforWeldHiddenDamageYUZhi-cheng，CHENFu-an(HenanUniversityofTechnology,ZhengzhouHenan450000,China)ABSTRACT:Generally,thetraditionalweldrecessivedamagemethodhasdefects,suchaspooraccuracyandpositioningeffect.Therefore,thispaperproposesabinocularvisionmethodtotrackandlocatethehiddendamageofweldingseam.Theworldcoordinatesystemwasconstructedbyacameracoordinatesysteminbinocularvision.Therotationmatrixandtranslationvectorparametersofbinocularvisionarecalibratedbasedonthetransformationrelationshipbetweenexternalparametersandcoordinatesystem.Theweldhiddendamagewasidentifiedwiththeutilizationofthebasicreliabilitydistributionoftherecognitionsetreliabilityfunction.Theimageacquisitioncardwasa-doptedtoconvertthedamageimagetoobtaintheweldingseamspatialorientation.Thetrackingandpositioningofthehiddendamageoftheweldwasrealizedaccordingtotheoutputcontrolquantityoftheanalogoutputcard.Thebinocularvisiondeviationwasanalyzedviatheapplicationofchessboardspacemeasurementmethod.Theresultsofeachlengthmeasurementsuggestthatthemeasurementerrorofbinocularvisionisproportionaltothelengthofcheckerboard.Thesimulationresultsoftheinfluenceofdamagescanningspeedonthetrackingaccuracyinalldirectionsshowthatthescanningspeedof4mm/shascomprehensiveperformance.Thesimulationresultsshowthatthetrackingandpositioningaccuracyofthismethodishigher.KEYWORDS:Binocularvision;weldseam;hiddendamage;trackingandpositioning;worldcoordinatesystem;i引言焊接结构[1]工件的应用范围与前景越来越广阔，比如船舶、航天以及汽车制造等工业领域，与此同时，对焊接质量与效金属制造行业的一种重要加工策略是焊接，其凭借可率的要求也日益提升，因此，对焊缝隐性损伤跟踪定位的研靠、精确、低成本连接材料等诸多优势,在金属连接领域得到究具有重要的现实意义。广泛应用。随着计算机技术的普及与工业水平的飞速发展,文献[2]针对V型坡口的焊接识别定位，构建一种激光收稿日期:2020-05-26-458-视觉传感下局部区域的分步式定位方案，采用架构的模板匹配取得焊缝初始范围，经过阈值分割、边缘提取，得到激光条纹边缘线，利用Shi-Tomasi算法获取边缘线的亚像素角点性。以其中一个摄像机的坐标系为基准，构建世界坐标系方位，通过最小二乘法拟合出边缘直线，求取上下边界线的〇»-m，假设两摄像机的对应关系为矩阵与对2,则均值,完成激光条纹中心线与坡口轮廓拐点信息提取;文献基于各摄像机坐标系的空间点P坐标分别如下所示[3]针对连接焊缝的易损伤问题，提出一种网架结构节点焊缝损伤识别方法,求解焊缝损伤发生时节点的加速度响应值后，利用小波变换探索节点高频分量奇异值，并依此判定损伤的影响区域，通过传感器布置测得加速度响应，最后经应变模态分析策略，完成损伤定位。由于上述文献方法抗干扰能力较差，在跟踪定位焊缝隐性损伤时效果欠佳，因此，本文采用一种非接触测量方式，设计出基于双目视觉的焊缝隐性损伤跟踪定位方法。以双目-X-YZ匕1」-丨-YZ(1)(2)视觉较高的检测精度与较强的抑制性能为基础，构建世界坐式中，两摄像机下空间点P的图像齐次坐标分别是（u,3,,标系，统一双目视觉与损伤坐标系,提升定位准度，同时利用l)、（u2,t;2,l)，基于双目视觉的投影矩阵元素为模拟输出卡，降低焊缝误差。[1,4]),世界坐标系下空间点的图像齐次坐标为u,y,z,1)。根据上列两个矩阵表达式推导出各方向的线性方程组，如下所示+(f3313)之一饥14-以I34-m'n)Z=m'u-Vlm'M⑶+(ii2m"33_=m"l4_u2m"34如(t^2爪33~"爪123)之-24―衫2饥34经过求解该方程组，即可得到空间点P的坐标。用集合0指代焊缝的全部识别结果，且集合函数m:2沒2双目视觉下焊缝隐性损伤跟踪定位2.1双目视觉模型标定-m'2l)X+(vtm'}2-m'n)Y采用双目视觉观察空间点时，其空间点坐标具有唯一|(u,m'3l-m'n)X+(u,m'32-m'n)Y通过标定双摄像机即可完成双目视觉系统标定。依据(u2m"3l-m"ll)X+(u2m"32-m"n)Y(v2m"3,-m"21)X+(r2m"32-m"22)Y机的坐标系间变换关系。假设基于双摄像机坐标系以及世界坐标系的P点坐标分别是P1(沿，n,Zl)、P2(汜，K2,取得的双摄像机外部参数、/?2、7\以及r2，计算出双摄像Z2)与P«;Uu>,畑，■?«;)，则得到下列关系表达式PI=RxPw+r,PI=R2Pw+T2(4)(5)经过改写可推导出下列表达式PI=R-'RtP2+f,-R2'«,r2=RPr+T(6)上式里,ft表示双摄像机间的旋转矩阵表示双摄像机间的平移向量利用下列计算公式完成双目视觉旋转矩阵《与平移向量r的参数标定R=T=T,-R2lRJ2(7)(8)2.2焊缝隐性损伤识别假设待识别隐性损伤的最大似然值[7]与期望值间距为4,贴近度为k,表达式如下所示^-Ej(9)^=1'4+4+4+4(10)上式里，待识别的焊缝损伤最大似然概率为&，期望概率为-[〇，1]使下列方程式成立m((t>)=0^m(A)=1(11)(12)假定集合0信度函数与的基本可信度分配[8]为m,、m2，切向与法向信号的损伤状态焦元分别为C、Z),则得到下列表达式X<1(13)由此可采用下列表达式对基本可信度分配做出界定.0,C=(pm(C)YCi(uSj*CfC^(14)W-K,C^式中，不一致因子为K，表达式如下所示A:=(X^.(C,)m2(Z);))(15)当下列各式成立时,c,即为得到的识别结果m(C,)=max(7n(C^)，CC0)m(C2)=max(m(C,),CC0,C,^C,)(16)(17)(18)上式里，不确定度为m(0)，所设门限值分别为心、&。-459-m(S)m(S)|m(C,)-m(C2)>2.3焊缝隐性损伤跟踪定位采用焊接机器人[9]、双目视觉传感器、送丝机、PC机、ADLinkI/O控制卡、图像采集卡CG400以及十字滑块机构等，针对双目视觉技术获取识别出来的焊缝隐性损伤信息，利用图像采集卡将焊缝损伤图像信息转换成可识别的数据后输人计算机，经过对图像特征信息进行处理，得到焊缝空间方位，完成焊接机器人与焊缝损伤位置姿态的坐标变换，结合软件协调的控制指令，利用模拟输出卡把多路控制量输测量次数方位一方位二678910(45,27,157)(45,37,182)(40,27,155)(40,37,180)(38,26,152)(38,36,179)(35,26,149)(34,36,178)(31,26,147)(29,36,176)表218mm双目视觉测置数据出至电机驱动器,降低焊缝误差，实现焊缝隐性损伤的跟踪测量次数方位一方位二定位。在跟踪定位法的框架流程中，爬行模块与十字滑块模块的功能分别为机器人跟踪定位动力与误差补偿，焊缝识别模块由双目视觉部分与计算机处理部分架构而成，主要用于识别焊缝隐性损伤，而损伤的跟踪定位则通过控制电路模块与计算机控制模块共同实现。跟踪定位方法的实现步骤描述如下:1)先对焊缝控制参数做初始化处理;2)利用双目视觉采集并预处理识别出的焊缝隐性损伤图像，提取焊缝信息;123456789(83,52,293)(111,65,297)(79,52,289)(107,65,292)(75,52,285)(102,65,286)(71,50,284)(97,65,284)(67,50,280)(95,65,281)(62,50,278)(92,65,280)(58,47,277)(88,65,276)(53,47,274)(84,65,273)(49,47,268)(81,64,270)3)若未提取到焊缝信息，则返回第二步重新进行图像采10(43,45,267)(76,64,268)集;反之，则进人下一步;表330_双目视觉测量数据4)求取拐点等损伤信息匹配点;5)恢复焊缝损伤三维数据，获取控制量;6)利用运动控制卡输出控制电机，完成焊缝跟踪定位。3跟踪定位方法实验实验环境主要为WindowsXP操作系统、酷睿2.1GHz512M内存处理器，采用由Intel公司研发的计算机视觉类代码openCV与VC++语言编程软件，处理图像，完成视觉算法与焊缝损伤跟踪定位。3.1双目视觉采集偏差基于设定的双目视觉结构参数，利用棋盘格间距的测量测量次数方位一方位二123456789(123,77,429)(156,103,495)(120,77,428)(151,103,492)(118,77,426)(147,103,491)(117,76,425)(145,103,489)(115,76,423)(142,103,488)(112,76,422)(139,103,486)(108,75,420)(138,102,485)(103,75,418)(136,102,484)(98,75,416)(133,102,482)方法分析双目视觉偏差。按照固定间距测量棋盘格，该棋盘10(92,75,415)(130,102,481)格规格是6*6毫米，选取1格、3格、5格的棋盘格长度进行测量,6mm、18mm以及30mm为测得的标准距离。针对两个方位的双目视觉棋盘格图像，测量6mm、18mm以及30mm的棋盘格长度，得到如下列各表所示的测量结果。表16_双目视觉测量数据测量次数方位一方位二12345-460-(58,29,167)(68,37,196)(56,29,166)(65,37,194)(53,29,164)(56,37,190)(50,27,160)(53,37,187)(47,27,158)(48,37,185)整理各表中的数据后，得到各棋盘格长度的双目视觉测量误差，如下表4所示。表4测置偏差统计表棋盘格子数长度距离/mm间距平均值/mm偏差/mm135618305.9317.7929.460.070.210.54根据表4可知，双目视觉的测量偏差随着棋盘格长度的递增而变大，但增加测量长度会减小双目视觉的测量误差波动幅度，使误差值变化范围更加平稳，因此，在跟踪定位焊缝隐形损伤的过程中，应选取适宜的长度距离参数，以满足损伤跟踪定位的初步要求，所以，将3个棋盘格数的18mm长度作为标准测量距离，既符合实际测量需求，又满足跟踪定下，结合损伤扫描效率的考虑，可将扫描速度选定为4mm/s。位效率。3.2焊缝损伤扫描速度影响3.3焊缝隐性损伤跟踪定位效果下表5所示为恢复的焊缝隐性损伤方位与控制信号。焊缝扫描是不间断的测量阶段，生成的波动将直接影响表5损伤方位与控制信号跟踪定位准度，下图1所示为各跟踪方向在不同扫描速度下序号________________________步差控制电压/V的平均偏差。EE-2EE-^1435扫描速度/(mm/sj(a)X方向误差435扫描速度/(mm/s)(b)Y方向误差01234567891011121314151603.035.357.9811.1213.3514.4415.8716.3815.8714.4413.3511.127.985.353.03/3.063.012.972.542.131.921.230.81-0.81-1.23-1.92-2.13-2.54-2.97-3.01-3.06/9.349.128.887.656.985.543.831.35-1.35-3.83-5.54-6.98-7.65-8.88-9.12-9.340为验证方法的可行性与有效性，采用文献[2]、[3]方法以及本文方法，对焊缝隐性损伤展开跟踪定位，跟踪定位轨迹如下图2所示。435扫描速度/(mm/s)(c)Z方向误差图1焊缝损伤扫描速度与跟踪定位准度关系101520253035x方向/mm_实际焊缝■"损伤轨迹........-文献[2]-文献[3]图2各方法损伤跟踪轨迹示意图从上图中各曲线走势可以看出，各跟踪方向的平均偏差随着扫描速度的加快而持续上升，但上升过程中存在一个转折点,在扫描速度到达该数值之前，偏差波动幅度较小，一旦超过该速度值，偏差曲线斜率便大幅度增加，所以，为获取更准确的焊缝跟踪定位效果，需将扫描速度控制在4mm/s以由上图2中各方法的跟踪轨迹可以看出，对比文献[2]、[3]方法，本文方法具有较为显著的跟踪优越性，与实际焊缝隐性损伤的拟合度更髙，这是因为本文方法建立了世界坐标系，并统一了双目视觉坐标系、运动轴坐标系与工件坐标系，利用双目视觉重建了焊缝损伤的三维坐标，通过精准控制跟-461-踪的线速度与运动方向，提升了跟踪准度。下表6所示为各方法取得的几组定位坐标与实际坐标的对比结果。表6定位结果统计表序号文献[2]文献[3]本文方法实际坐标(57,35,182)(59,30,173)(55,39,175)(55,40,176)(57,50,186)(56,53,180)(60,48,184)(61,48,183)(59,51,192)(61,49,185)(65,53,196)(66,53,196)参考文献:[1]李向伟，方吉，赵尚超.焊接结构主S-N曲线拟合方法及软件开发[J].焊接学报，2020,41(1):86-91+107.[2]甘文龙，罗会信，刘海生，等•基于机器视觉的管道焊接跟踪技术研究[J]•机床与液压，2019,47(4):110-114+147.[3]刘晖，王钱，陈世超，等.网架结构节点焊缝损伤识别2步法[J].中国安全科学学报，2018,28(12):7-13.[4]王向军，张佳丽，刘峰，等.野外空间坐标测量中的任意姿态多目相机快速标定[J].光学精密工程，2018,26(2):503-510.12345(68,62,220)(68,61,211)(73,58,220)(73,58,218)[5]赵显庭，王晋疆，王陈光.基于转轴参数的多自由度双目视觉(81,68,223)(80,69,231)(85,65,227)(85,63,227)系统标定[J].光学技术，2018,44(2):140-146.[6]刘一凡,蔡振江.基于ICP与SFM的双目立体视觉三维重构算根据上表6中的对比数据可以看出，相比文献[2]、[3]法[J].激光与光电子学进展，2018,55(9):303-311.方法，由于本文方法利用双目视觉采集并预处理了识别出的[7]柳静，连冬艳，胡双年.非对称耦合传感网络同步控制数学建焊缝隐性损伤图像，提取出了焊缝信息，取得了拐点等损伤模仿真[J]•计算机仿真，2019,36(10):265-268,284.信息匹配点与控制量，因此，定位精准度更加理想。[8]智鹏鹏，李永华，陈秉智.考虑不确定性因素的不锈钢点焊车体焊点强度评估[J].中国工程机械学报，2019，17(2):694结论-75.由于当前焊缝隐性损伤的识别与定位方面存在一定的难度与挑战性，所以，本文以双目立体视觉为技术背景，提出一种焊缝隐性损伤跟踪定位方法。在标定双目视觉模型的过程中，流程又多又复杂，极有可能产生误差传递，故在今后的工作中应探索一种更有效、更稳定、更可靠、更髙精度的标定算法，令操作更加简易，误差传递更小，预处理图像阶段可引用缩放处理来减少运算时长，但如何在确保图像精度的同时降低分辨率、缩减匹配点个数，将是下一个亟待解决的重难点。[9]陈海初，罗威，李强，等.一种一体化焊接机器人示教控制器的设计[J].热加工工艺，2018,47(3):174-177.[作者简介]余志程（1990-)，男（汉族），河南郑州人，在读硕士研究生，研究方向:机器视觉技术。陈富安（1962-)，男（汉族），河南驻马店人，博士，教授，研究方向:自动化控制技术、电力系统自动化技术。(上接第377页）结果与实际结果的拟合度较高，可以准确的实现评估，验证[7]安慧，孟益,蒙锦涛.基于AHP-GEM-FCA模型的水电PPP项目脆弱性评价[J].水电能源科学，2018,36(09):149了提出模型的有效性。提出模型还可以应用在农产品质量-153.[8]丁少倩，林涛，徐遐龄，等.基于改进的AHP-熵权法的电网综合脆弱性评估方法研究[J].电测与仪表，2017,54(4):28-33.[9]左欣，江涛，张岱伟.基于农业生产胁迫下的地下水脆弱性评价与分析[J]•环境污染与防治，2017,39(5):472-479.[10]马媛媛，何高峰，张波.电力资源网络对攻击信息优化识别仿真研究[J]•计算机仿真，2017,34(6):104-107.[作者简介]高亚瑞（1982-)，女（回族），河南郑州人，硕士，副S授，酿抓子商理系统。评估的研究中。参考文献:[1]刘清清，赵江平，刘冬华.基于DEA对抗交叉评价模型的化工园区脆弱性评价[J].中国安全生产科学技术，2016，12(1):56-60.[2]王羽佳，李华强，刘沛清，等.基于改进DEAHP模型的支路综合脆弱性评估方法[J].电网技术，2016，40(4):1249-1256.[3]秦庭荣，丁宁，胡勤友，等.基于证据理论的船舶应急脆弱性评估[J].中国航海，2016,39(2):35-39.[4]税伟，陈志淳，邓捷铭，等.耦合适应力的福州市髙温脆弱性评估[J].地理学报，2017,72(5):830-849.[5]曾鑫，杨琦，任建文.基于组合赋权法的输电线路脆弱性评估[J]•电力系统及其自动化学报，2016,28(8):44_48.[6]周业旺.基于ISM的鲜活农产品供应链脆弱性影响因素分析[J]•商业经济研究，2017,(11):115-117.-462-
