基于平行激光测距的图像自标定方法
An Image Self-Calibration Method Based on Parallel Laser Ranging
责任编辑: 石易文
收稿日期: 2021-11-3
基金资助: |
|
Received: 2021-11-3
作者简介 About authors
程斌(1979-),男,江西省上饶市人,教授,博士生导师,主要从事桥梁智能监测研究.电话(Tel.):021-34204068;E-mail:
针对现有照相机图像标定方法存在的依赖外部图像特征、要求照相机特殊位姿、需要标定物、操作复杂等不足之处,提出了一种基于平行激光测距的实时自标定方法.该方法在图像拍摄过程中,利用高精度激光测距仪连续测量以获得被测物表面的实时位置信息.在此基础上,对物面方程进行求解,选取物面和像面上至少4组对应点的二维坐标,求解得到表示两个平面之间变换关系的单应性矩阵,从而简便快速地完成标定.采用自主研制的标定装置,开展了不同场景下的图像自标定精度测试.结果表明,图像中各线段长度的测量误差介于-0.49%~0.15%,平均误差仅为-0.14%,验证了所提平行激光测距自标定方法具有很高的准确性和稳定性.对标定误差来源进行进一步分析,得到了激光测距误差、激光倾角误差、偏置误差等因素的定量影响规律,并给出了相应的误差规避方法,为该自标定方法在图像测量领域中的应用提供参考.
关键词:
Regarding the disadvantages of existing camera calibration methods, such as external information relative, special camera poses,the need for calibration targets, and complex operations, this paper proposes a real-time self-calibration method based on parallel laser ranging by employing high-precision laser rangefinders to synchronously measure the position of the measured object plane when taking pictures, so that the object plane equation can be solved. The 2D coordinates of at least four sets of corresponding points on object plane and image planes are selected to obtain the homography matrix, which represents the mapping relationship between object and image planes, so as to complete the calibration simply and quickly. A calibration device is developed to validate the accuracy of the proposed self-calibration method in different testing scenarios. The results show that the measurement error of line segments length in the image are between -0.49% and 0.15%, and the average errors are merely -0.14%, which indicates that the parallel laser ranging self-calibration method proposed in this paper is accurate and robust. The causes of measurement error are further investigated by analyzing the influences of laser ranging, laser inclination, and device offset. The error eliminating suggestions are provided to give references for the application of the proposed self-calibration method in the field of image measurement.
Keywords:
本文引用格式
程斌, 黄斌, 李得睿.
CHENG Bin, HUANG Bin, LI Derui.
国内外对标定技术的研究取得了一定的成果,但也存在一定的局限.以针孔模型为基础,照相机标定的方法总体上可以分为3种:传统照相机标定方法、基于主动视觉的照相机标定方法和自标定方法.传统照相机标定方法需要使用尺寸确定的标定物,通过建立标定物上的已知点与其图像点间的对应关系来计算成像参数.该方法包括经典的基于径向约束的Tsai两步标定法[5],以及被广泛使用的基于平面标定目标到图像平面单应性求解标定参数的张正友标定法[6].该方法通常具有较高的准确性和鲁棒性,但算法复杂且需要使用专门的标定物,在应用场景上具有一定的局限性.基于主动视觉的照相机标定方法需要控制照相机做旋转或平移等高精度特殊运动,利用特殊运动对参数方程提供的新约束进行求解[7-8].该方法的算法较为简单,但实验条件要求的高精度标定平台成本高,不适用于运动参数未知或无法控制运动的情形.照相机自标定方法不需要特定的定标物,而是利用拍摄场景中的特征点、平行线、平面等特殊的场景特征对照相机进行标定.文献[9]提出的照相机自标定方法主要基于Kruppa方程对标定参数进行求解,但该方法和文献[10]提出的方法均针对内参进行标定,缺少简易便捷的外参标定方法.文献[11]利用绝对二次曲面标定照相机内外参数,文献[12]基于图像特征分布优化标定外参,文献[13]利用双神经网络标定内外参,但上述3个标定方法均需借助图像特征进行标定,且求解过程较为复杂.
照相机标定应用场景存在较大的复杂性和多样性.文献[14]以严格的正交三面体场景角作为标定条件,在深度照相机与二维激光雷达标定的基础上实现了单目照相机的标定.文献[15]提出了基于二维激光雷达的可见光照相机外参标定,借助镂空标定板定位激光雷达数据点在图像中的具体位置,且其外参标定估计的是两个或者更多传感器之间的刚体变换过程.文献[16]借助钢轨等物体的特征约束,采用线激光辅助标定求得关键点的世界坐标,进而测量铁路侵限异物的尺寸,不针对一般平面和图像之间映射关系的确定.文献[17]采用线激光移动平台,实现了图像特征无关的线结构光系统自标定,但该标定方法需借助较复杂的机械装置及线激光仪器,不便于工程现场的实地标定.文献[18]借助三点激光测距辅助标定,测量结构表面裂缝尺寸,但该方法假设照相机光轴与被测平面垂直,实际应用时满足该条件有一定难度,需要考虑进行标定修正.以上研究均采用激光、激光雷达辅助与外部场景、图像特征相结合的方式进行标定.
本文提出一种基于平行激光测距的图像自标定方法,该方法原理清晰、硬件结构简单,且不依赖于外部图像特征以及照相机标定时的特殊位姿,能够推广应用于多场景下的实时二维标定.通过对标定原理、计算过程和实施方法进行详细介绍,并研制专用装置开展不同情景下的图像标定试验,验证本文自标定方法的准确性和有效性.
1 激光测距自标定方法
图像自标定方法也称为单目照相机自标定方法,其目的在于自动标定得到单目照相机像面至物面的单应性矩阵Hp2w,该矩阵表示像面至物面的映射关系.
1.1 基本原理
照相机摄像时,空间中的物体在照相机感光元件所在的像面形成图像.照相机成像可用针孔成像模型来描述,该模型包括4个坐标系,世界坐标系Ow-xwywzw是一个位置可自由确定的三维直角坐标系,照相机坐标系Oc-xcyczc是一个原点为照相机光心的三维直角坐标系,图像坐标系xpOpyp是一个位于成像平面的二维直角坐标系,像素坐标系uOv是一个同样位于成像平面且单位为像素的二维直角坐标系.该模型的数学表达如下式所示:
式中:[xwywzw 1]T为物点在世界坐标系中的齐次坐标向量;[u v 1]T为像点在像素坐标系uOv中的齐次坐标向量;K为只与照相机有关的内部参数矩阵;R和t分别为旋转矩阵和平移矩阵,两阵合为外部参数矩阵,其对每幅图像均为唯一确定;s为尺度因子.可见,式(1)描述的是物点与像点之间的变换关系,包括旋转、平移、放缩等一系列变换.
设物面位于世界坐标系的zw=0平面,则式(1)可转化为
式中:[xwyw 1]T为物面上点在世界坐标系中的齐次坐标向量;Hw2p能够将物面上各点的世界坐标转化为点在像面上对应点的像素坐标.要完成图像自标定,需要求解单应性矩阵.
1.2 物面方程求解
在照相机坐标系Oc-xcyczc中,设物面xwOwyw的平面方程为
式中:m1、m2、m3为物面方程系数; x、y、z为物面上一般点的照相机坐标值.
照相机摄像时,从同个平面内的不少于3个点发射平行于光轴zc的激光,对激光发射点至被测物面的距离进行连续测量.以图1中的第i个激光发射点ci (xi, yi, 0)为例,从其发射激光并照射在物面上形成点pi,设激光测距值为di,激光发射平面与照相机光心之间的距离为doff,则pi坐标为(xi, yi, di+doff),将其代入式(3)可得:
式中:i∈[1, 2, …, N1]且N1≥3.
将线性方程组式(4)简化表示为
且有
解得系数矩阵M,即可求得方程参数m1、m2、m3,完成物面方程求解.物面方程求解示意如图1所示,其中:激光发射平面xlOlyl为激光发射点所在平面.
图1
1.3 单应性矩阵求解
由于以任意尺度缩放齐次坐标并不改变其表示的实际点位,所以单应性矩阵Hw2p的9个参数中实际仅包含8个未知量,通过解至少8个方程可得.由式(2)可知,通过物面与像面上的1组对应点的二维坐标可得到2个方程,因此求解单应性矩阵Hw2p需要获取物面与像面上至少4组对应点的二维坐标.
从工业照相机所拍摄的图像中获取像面上至少4个计算点在像素坐标系uOv中的二维坐标.以第n个计算点jn为例,其在像素坐标系uOv中的二维坐标为(un, vn),并根据焦距f等照相机内部参数将其转化为点jn在照相机坐标系Oc-xcyczc中的三维坐标(xn, yn, f).由几何关系可得,点jn在物面xwOwyw的对应点j'n在照相机坐标系Oc-xcyczc下的坐标为(xnz'n/f, ynz'n/f, z'n),n∈[1, 2, …, N2]且N2≥4.将点j'n坐标代入式(3)可得:
解得式(7)中的唯一变量z'n,即可分别求得至少4个点j'n在照相机坐标系中的三维坐标,进而可得各j'n点在物面上的二维坐标.将所求得的物面和像面上至少4组对应点的二维坐标分别代入式(2),即可解得单应性矩阵Hw2p.求解示意图如图2所示.
图2
基于单应性矩阵Hw2p,可实现物面上世界坐标系的任意布置.假设将世界坐标系旋转角度α,并平移Δxw和Δyw,可得:
对H'w2p取逆得到Hp2w,Hp2w即为最终所得图像自标定结果.参考式(2),运用Hp2w可将图像中各点的像素坐标转化为像点在物面上对应实际物点的世界坐标.
1.4 方法流程
本文基于平行激光测距的图像自标定流程如图3所示.首先采用照相机获取物面的图像信息,同时通过激光测距仪连续测量得到物面的实时位置信息,并求解物面方程;选取物面和像面的计算点,获取两个平面上至少4组对应点的二维坐标,求解单应性矩阵,实现标定结果可视化,完成实时图像自标定.该方法在无需借助标定物、无需照相机做高精度特殊运动的情况下,可快速、准确地实现照相机图像自标定.
图3
2 标定试验设计
2.1 试验系统
自主研制一套图像自标定试验系统,对本文提出的激光测距自标定方法进行验证.该试验系统由自标定装置和计算程序两部分组成.
自标定装置负责对被测物面进行图像获取和激光测距,由照相机、激光测距仪、组合模块、底座等硬件组成,如图4所示.其中,照相机采用星光级高清工业照相机,具备通用串行总线 (USB)2.0接口和互补性氧化金属半导体 (CMOS)感光芯片,其他参数为分辨率 1920 像素×1080 像素,像素个数为2×106,像元尺寸为2.9 μm×2.9 μm,帧率为 30 Hz,焦距为6 mm;3个小型激光测距仪采用非球面准直聚焦镜,发射标准2级激光,并以聚甲基丙烯酸甲酯(PMMA)高透光接收镜片接收,测量精度为±3 mm、测量范围为0.03~40 m、测量时间为 0.1~3 s,具备电子水平功能、自助校准和连续测距功能;底座采用铝合金三脚支架,可实现稳定支撑,并灵活调节装置位姿;组合模块由高韧性树脂材料以0.01 mm的高精度指标3D打印而成,组合模块的安装槽表面与照相机光轴保持平行.高精度组合模块将照相机与激光测距仪高精度地组合为整体,并使照相机光轴与激光方向平行.照相机光心Oc在激光发射平面xlOlyl上的投影点Ol与3个激光发射点cR、cT、cL之间的位置关系如图5所示.
图4
图5
计算程序则基于Windows平台的Visual Studio开发环境,根据本文图像自标定算法编写而成,实现对相关数据信息的处理分析,快速完成图像标定.
2.2 测试场景
图6
图7
3 标定试验结果
表1 不同试验场景下的激光测距值
Tab.1
场景 | 各点激光测距值/mm | ||
---|---|---|---|
CL | CT | CR | |
I | 245 | 245 | 244 |
II | 345 | 345 | 344 |
III | 445 | 446 | 443 |
IV | 545 | 545 | 543 |
V | 645 | 646 | 644 |
表2 线段长度测量结果
Tab.2
线段 | 场景I | 场景II | 场景III | 场景IV | 场景V | |||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
测量值/ mm | 相对 误差/% | 测量值/ mm | 相对 误差/% | 测量值/ mm | 相对 误差/% | 测量值/ mm | 相对 误差/% | 测量值/ mm | 相对 误差/% | |||||
lA3A7 | 95.857 | -0.15 | 95.610 | -0.41 | 96.088 | 0.09 | 96.057 | 0.06 | 95.678 | -0.34 | ||||
lA4A8 | 95.785 | -0.22 | 95.582 | -0.44 | 95.923 | -0.08 | 96.148 | 0.15 | 95.834 | -0.17 | ||||
lA5A9 | 95.532 | -0.49 | 95.577 | -0.44 | 95.928 | -0.08 | 96.084 | 0.09 | 95.779 | -0.23 | ||||
lA6A10 | 95.666 | -0.35 | 95.661 | -0.35 | 95.717 | -0.29 | 96.127 | 0.13 | 95.984 | -0.02 | ||||
lA1A2 | 96.088 | 0.09 | 95.978 | -0.02 | 96.027 | 0.03 | 95.975 | -0.03 | 95.879 | -0.13 |
4 误差分析
本文自标定方法在实际使用过程中,由于硬件装置不可避免地存在制作安装偏差,可能导致物面方程和标定结果不准确.经分析,可能引起标定误差的因素主要有3类,即激光测距误差、激光倾角误差和偏置误差.因此,通过数学建模对这3类误差的定量影响情况进行分析.误差分析模型中,设定3个激光发射点为等边三角形排列,三角形的边长为 60 mm,三角形重心与照相机光心重合,被测物面上有一条长度为140 mm的水平线段,照相机光轴与被测物面垂直且通过该水平线段的中点,激光测距仪与被测物面之间的距离为300 mm,设ΔCL、ΔCT、ΔCR分别为3个激光发射点对应的测距误差,其他条件与试验一致.将以上数据代入式(4),可得:
求解上式即可确定平面方程.基于本文理论推导过程可知,平面方程参数 m'1、m'2、m'3 确定后,即可求解相应的单应性矩阵.此时m'1、m'2、m'3 为存在测距误差情况下所求解得到的平面方程参数,m1、m2、m3为不存在测距误差情况下所求解得到的平面方程参数真值.此时有:
式中:Hom函数为单应性矩阵求解;P'为基于m'1、m'2、m'3求解所得传递误差后的单应性矩阵;P为基于m1、m2、m3求解所得的单应性矩阵真值.
设像面上存在两个像点ja、jb,经过P'或P映射至物面后,其物点间距分别为D'与D,此时则有:
式中:Dist函数所求为欧氏距离.
由此可得,误差模型为
基于标定结果,可以由像面中线段端点坐标求得物面中对应线段端点坐标,实现线段长度的测量.将3个激光发射点对应测距误差ΔCL、ΔCT、ΔCR为0的无误差情况下的线段真实值与有误差情况下的线段测量值对比并进行误差分析.实际误差分析过程中,前述误差模型的解析表达式较为复杂,本文采用编程方式求解数值误差.
4.1 激光测距误差
激光测距误差主要取决于激光测距仪的测量精度,当求解物面方程所用的激光测距值不准确时,必然导致标定结果产生误差.考虑3个激光测距点出现测距误差的不同组合,得到测距误差值对标定结果的定量影响规律如图8所示.其中:SL、SR、ST为单个激光测距仪出现测距误差;SLR、SLT、SRT为两个激光测距仪出现同等测距误差;SLRT为3个激光测距仪均出现同等测距误差.由图8可见,在相同测距误差水平下,SL或SR或ST的标定误差最小,SLRT的标定误差最大,可见产生测距误差的激光发射点越少,则标定结果越准确.明显地,SL或SR产生正误差的影响比负误差大,这是由拍摄视角固定时距离越远拍摄范围越大所导致的.无论何种误差组合方式,标定结果误差均随激光测距误差值的增大而增长.因此,采用高精度的激光测距仪,将有效提升标定结果的准确性.
图8
4.2 激光倾角误差
图9
4.3 偏置误差
偏置误差由激光测距仪的位置误差所引起,主要包括两类:第1类为激光发射点所在平面与照相机光心之间沿照相机光轴方向上的偏差,即图1中的距离doff;第2类为3个激光发射点在其自身平面内的位置偏差.
理想情况下,当照相机光轴和激光方向平行且均与物面相垂直时,第2类偏置误差不会引起激光测距值的变化,其对标定结果没有影响,因此不再进行单独分析.对于第1类偏置误差,其影响机理与激光测距误差相类似,且相当于3点同时出现同等测距误差的SLRT情形,因此第1类偏置误差的影响不能忽略.但对于组装完成的自标定系统,实际的doff值也是固定的,因此可对仪器系统进行一次初始标定,计算确定实际doff值,并在后续拍摄测量时将此值代入式(4),从而完成图像自标定.总之,偏置误差仅与标定装置的构造相关,装置固化之后只需对偏置误差修正一次.
5 结语
本文提出了一种基于平行激光测距的图像自标定方法.该方法在拍摄图像的同时,采用高精度激光测距仪对物面距离进行连续测量,完成物面方程和单应性矩阵的求解,实现不依赖外部图像信息、无需借助标定物、无需照相机做高精度特殊运动的图像自标定.
通过研制激光测距自标定装置系统并开展不同测试场景下的标定试验,验证了方法的准确性和有效性,同时对标定误差来源进行了量化分析.与现有其他标定方法相比,本文方法在准确性、方便性、稳定性等方面具有明显优势,且标定过程可实现高度自动化,适合在机器视觉测量中推广应用.
参考文献
一种弧焊机器人熔池图像的快速标定方法
[J].
A fast calibration method of molten pool image from arc welding robot
[J].
Artificial intelligence based camera calibration
[C]
臂载线结构激光手眼矩阵的精确标定: 多坐标系转换法
[J].
High-accuracy calibration of hand-eye matrix of line-structured laser sensor: Multiple coordinates transformation
[J].
基于非线性逆透视变换的摄像机畸变参数标定
[J].
A nonlinear inverse perspective transform based method for camera distortion calibration
[J].
A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses
[J].DOI:10.1109/JRA.1987.1087109 URL [本文引用: 1]
A flexible new technique for camera calibration
[J].DOI:10.1109/34.888718 URL [本文引用: 1]
About the self-calibration of a rotating and zooming camera: Theory and practice
[C]
Vision based manipulator self-calibration with motion estimation
[C]
Camera self-calibration: Theory and experiments
[M]
一种基于共线特征点的线阵相机内参标定方法
[J].
A novel method for calibrating intrinsic parameters of linear array cameras based on collinear feature points
[J].
Autocalibration from planar scenes
[M]
基于图像特征分布优化的相机外参自标定
[J].
External parameter calibration based on image feature distribution optimization
[J].
利用双神经网络的相机标定方法
[J].
Camera calibration method based on double neural network
[J].
Extrinsic calibration of a 2D laser-rangefinder and a camera based on scene corners
[C]
二维激光雷达与可见光相机外参标定方法研究
[J].
Research on extrinsic parameter calibration method of 2D laser rangefinder (LRF) and visible light camera
[J].
线激光辅助单目视觉测量铁路侵限异物尺寸
[J].
A size measurement method for the foreign objects in railway lines using monocular vision and linear laser
[J].
Self-calibration for linear structured light 3D measurement system based on quantum genetic algorithm and feature matching
[J].DOI:10.1016/j.ijleo.2020.165749 URL [本文引用: 1]
基于无人飞机成像的桥梁裂缝宽度识别可行性研究
[J].
Study on the feasibility of identifying concrete crack width with images acquired by unmanned aerial vehicles
[J].
A non-contact vision-based system for multipoint displacement monitoring in a cable-stayed footbridge
[J].
Dynamic testing of a laboratory model via vision-based sensing
[J].DOI:10.1016/j.engstruct.2013.12.002 URL [本文引用: 1]
Monocular vision-based displacement measurement system robust to angle and distance using homography
[C]
/
〈 |
|
〉 |
