Processing math: 100%

上海交通大学学报, 2025, 59(5): 691-702 doi: 10.16183/j.cnki.jsjtu.2023.276

机械与动力工程

基于自适应阈值的型钢精确角点FAST检测算法

包家汉, 孙德尚, 黄建中,, 胡政

安徽工业大学 机械工程学院,安徽 马鞍山 243032

FAST Algorithm for Accurate Corner Points Detection of Section Steel Based on Adaptive Threshold

BAO Jiahan, SUN Deshang, HUANG Jianzhong,, HU Zheng

School of Mechanical Engineering, Anhui University of Technology, Maanshan 243032, Anhui, China

通讯作者: 黄建中,讲师;E-mail:13955586254@139.com.

责任编辑: 王一凡

收稿日期: 2023-06-28   修回日期: 2023-08-25   接受日期: 2023-09-18  

Received: 2023-06-28   Revised: 2023-08-25   Accepted: 2023-09-18  

作者简介 About authors

包家汉(1971—),教授,主要从事智能检测与精密测量研究.

摘要

基于机器视觉的在线型钢平直度检测中,对型钢图像关键角点快速、准确地提取是实现精确检测的关键技术问题.针对加速分割检验特征提取(FAST)算法需要人工设定角点筛选阈值和角点提取存在大量伪角点的问题,提出一种自适应阈值生成及校正策略,能够在自动获取初始阈值的基础上,根据角点数是否达到初始角点集要求对阈值实时校正直至达到适当值,以减少关键角点遗漏.在采用FAST提取角点的基础上,利用最小核心值相似区域(SUSAN)算法剔除伪角点,以保证关键角点提取的有效性.试验证明,这种基于自适应阈值的FAST角点检测算法(FAST-A),在检测环境和对象特性发生变化时,仍然可以准确、快速地检测到型钢关键角点,在为型钢平直度检测实时提供精确角点的基础上,提高角点提取的自适应性.

关键词: 型钢; 角点检测; 加速分割检验特征提取算法; 最小核心值相似区域算法; 自适应阈值

Abstract

The on-line flatness detection of section steel based on machine vision is a key technical problem for quickly and accurately extracting key corner points from section steel images to enable accurate detection. Aiming at the problem that the features from accelerated segment test (FAST) algorithm needs to manually set the corner points screening threshold and there are numerous false corner points in corner point extraction, this paper proposes an adaptive threshold generation and correction strategy. Based on the automatic determination of the initial threshold, this strategy can adjust the threshold in real time until an appropriate value is reached according to the requirements of the initial corner points set, thereby to reduce the risk of missing key corner points. In addition to using FAST algorithm to extract corner points, the smallest univalue segment assimilating nucleus (SUSAN) algorithm is employed to eliminate false corner points ensuring the effectiveness of key corner points extraction. The experiments prove that the FAST corner detection algorithm based on adaptive threshold (FAST-A) can still accurately and quickly detect key corner points even when the detection environment and object characteristics change. Furthermore, the algorithm proposed provides accurate corner points for real-time section steel flatness detection, and improves the adaptability of corner points extraction.

Keywords: section steel; corner points detection; features from accelerated segment test (FAST) algorithm; smallest univalue segment assimilating nucleus (SUSAN) algorithm; adaptive threshold

PDF (24681KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

包家汉, 孙德尚, 黄建中, 胡政. 基于自适应阈值的型钢精确角点FAST检测算法[J]. 上海交通大学学报, 2025, 59(5): 691-702 doi:10.16183/j.cnki.jsjtu.2023.276

BAO Jiahan, SUN Deshang, HUANG Jianzhong, HU Zheng. FAST Algorithm for Accurate Corner Points Detection of Section Steel Based on Adaptive Threshold[J]. Journal of Shanghai Jiaotong University, 2025, 59(5): 691-702 doi:10.16183/j.cnki.jsjtu.2023.276

型钢产品(工字钢、H型钢等)热轧后置于步进冷床冷却,由于型钢轧制工艺及环境等因素,其平直度不可避免会出现纵向和横向弯曲,需进行产品的矫正.型钢矫正一般在平直度变化处采用大挠度弯曲法,平直度变化数值不准确,会造成能量消耗过大或者多次矫直不达标.针对型钢的平直度检测及精准矫正已成为重要生产环节[1],型钢平直度检测主要采用人工模式和激光测量,人工方式存在效率低、精度差等问题,难以满足高效精准的型钢矫正需求[2];使用激光轮廓仪的钢铁产品平直度检测具有非接触、精度高等优点,但是存在系统过大、测量及反应速度慢,只能检测钢铁成品,无法边检测边矫正[3].近年来,由于图像测量技术具有高效率、高精度和非接触等优点,基于机器视觉的钢铁产品质量检测技术得到广泛研究和应用[4].因此,开发一种快速、高效获取型钢翼板和腹板变形参数的视觉检测算法成为必要.

图像测量技术的基本原理是处理被测物体图像的边缘纹理,通过提取图像轮廓、直线、角点等信息获得物体的几何参数[5].其中,型钢腹板图像由于缺少明显的外部轮廓,轮廓信息提取难度大.角点特征在图像检测中也被称为“特征点”,其局部灰度值通常发生巨大变化,或是多条边缘线的交叉点[6].角点包含图像关键位置和形状等信息,基于关键角点计算型钢平直度变化值,具有提取过程简单、速度快、结果稳定和信息丰富等优点.

角点检测常用于图像匹配[7]、相机标定[8]、目标识别[9]、图像拼接[10]和在线检测[11].在上述视觉应用中,角点检测作为关键预处理方法能够有效提取信息减少计算,角点检测结果是否精准能影响到整个程序后续结果是否精准[12].根据角点在图像中应用场景的不同,将角点检测方法大致分为3类:① 基于模板的特征点检测,如最小核心值相似区域(smallest univalue segment assimilating nucleus,SUSAN)算法[13],此类方法的优点是稳定、抗干扰能力强,但是检测速度过慢,复杂角点检测不完全;② 基于边缘的特征点检测算法,如边界链码跟踪以及基于Radon变换的方法,此类方法容易受边缘检测效果的影响;③ 基于亮度变化的特征点检测方法,此类算法整体计算速度快,对复杂图像有良好检测效果,包括加速分割检验特征提取(features from accelerated segment test,FAST)算法[14]、Harris算法[15]、稳定特征加速(speeded up robust features,SURF)算法[16]和尺度不变特征转换(scale-Invariant feature transform, SIFT)算法[17]等.其中,FAST算法的优势是速度快,但是存在合适阈值较难确定,过多伪角点等缺陷;Harris算法无法满足实时性要求,且会产生大量伪角;SURF算法是对SIFT算法的一种改进,它们都具有尺度不变性和良好的抗干扰能力,但是存在检测速度慢、实时性弱等问题,主要用于图像匹配方面.

针对上述几种特征点检测方法的不足,高礼圳等[18]采用Harris算法与SUSAN算法相结合的角点检测算法,提高了SUSAN算法的检测速度;张立亭等[19]采用灰度差与模板相结合的方法进行角点筛选,解决了Harris算法伪角点过多及检测时间过长问题;邓淇元等[20]采用Harris算法进行角点检测,再使用灰度变化信息及构建圆环模板进行伪角点删减,解决了Harris算法伪角点过多的缺点;Chen等[21]使用图像灰度最大值与最小值作差的方法实现角点的自适应提取,再采用双圆环模板提高SUSAN算法对复杂角点的检测能力;Wang等[22]通过比较像素周围信息获取部分角点,再基于阈值对角点进行分类处理,以减少伪角点;Wang等[23]基于Shearlet系数构造多向结构张量进行角点检测,并加入多尺度角点测量函数剔除伪角点,在复杂的噪声环境下具有更好的鲁棒性;Wang等[24]利用FAST算法的快速性及Harris算法的高精度性提取角点,再使用非极大值抑制法减少角点堆积,提高了FAST算法的精度;Xiong等[25]通过万有引力定律法将FAST检测到的角点给予方向性和旋转不变性,以增强鲁棒性和减少角点堆积;Zhang等[26]为提高算法检测效率,采用自适应调整步骤的FAST算法,通过模板对图像逐步缩减搜索范围,最后通过计算得分确定最终角点.

综上所述,目前的角点检测算法具有不同的优势与不足.其中,FAST算法具有检测速度快的显著优点,但是存在阈值选定需要人为调整、漏检角点和伪角点过多等问题.同时,由于型钢本身结构复杂,实时采集的图像具有较大噪声和较为复杂的灰度信息,易产生大量干扰角点,增加了提取其关键特征角点的难度[27].针对上述问题,为实现型钢平直度的在线检测,本文提出了基于自适应阈值的FAST角点检测算法(FAST corner detection algorithm based on adaptive threshold,FAST-A),用于适应型钢生产线中复杂多变的生产环境.FAST-A基于FAST算法角点提取的基本原理,开发了一种角点筛选自适应阈值的生成与非线性调节策略,提高初始角点集提取效率.增加了针对内部伪角点和角点堆积的剔除流程,减少噪声和干扰角点的影响.在此基础上,结合SUSAN算法对于边缘伪角点进行剔除,获取所需关键特征点.最后,基于构建的型钢视觉检测试验系统,展开不同场景下型钢不同区域的角点提取对比试验,以证明该算法的环境自适应能力和鲁棒性,并进行不同算法的对比试验,进一步证明FAST-A的角点提取性能.

1 型钢角点检测算法流程

1.1 型钢平直度检测的角点提取

在型钢平直度视觉检测系统中,摄像机与型钢相对位置保持不变时,选取图像中型钢所在区域设置一个固定的型钢检测窗口.以工字钢为具体试验对象,平直度视觉检测所需关键角点如图1所示,红色框为型钢检测窗口,绿色圆点为所需关键角点位置.

图1

图1   型钢平直度检测所需关键角点位置

Fig.1   Position of key corner points for section steel flatness detection


基于图1可知,型钢的平直度检测需要测算其两侧翼板和中间腹板的平直度变化.通过提取翼板和腹板上的关键角点,计算相邻关键角点坐标偏移量,作为平直度变化值.例如,计算点1和点2之间的垂直偏移量,可以反映出腹板的纵向形变.为此,针对翼板1、翼板2和腹板的平直度计算,需要准确定位提取图1所示的8个关键角点.

1.2 FAST角点检测算法基本原理

在FAST角点检测算法中,定义了一个16个像素点的圆形窗口,将中心点P与周围的16个像素点的灰度值比较,如果有不低于N个像素点,且它们的灰度值都小于或者大于P点灰度值,则P点可能是角点,窗口模板如图2所示.

图2

图2   FAST模板

Fig.2   Template of FAST


基于图2所示原理,FAST角点检测算法具体步骤如下.

第1步 把图像转换为灰度图像,在图像中任选一点为p点,假设这个像素点的灰度值为I(p).

第2步 以 R为半径画圆圈,圆环上有M个像素,R=3,M=16, 如图2所示.

第3步 根据经验设置一个合适的筛选阈值t.

第4步图2所示,设圆环上任意一像素点的灰度值为 I(x),与中心像素点P(即待检测点)的灰度值I(p)作差再与阈值t比较.根据角点筛选式进行计算,如果有超过N个相邻点的灰度值大于I(p)+t或者小于I(p)-t, 则可判断为角点.角点筛选式如下:

N=|I(x)-I(p)|t
(1)

1.3 FAST算法的不足

在型钢产品质量在线检测中,基于FAST算法产生的角点集如图3所示,其中,平直度检测的关键角点为多条边缘线交叉点.此外,角点集还包括了内部伪角点和边缘伪角点,并存在角点堆积现象.

图3

图3   伪角点与关键角点示意图

Fig.3   Schematic diagram of false corner points and key corner points


图3可知,FAST算法产生的伪角点和角点堆积,会显著影响型钢平直度检测的计算精度.同时,基于式(1)的FAST角点筛选算法,其阈值t设定是采用人工调整,较难快速找到合适的阈值,且当检测环境出现变化时,会导致原阈值无法有效筛选正确角点,从而影响型钢平直度检测的有效性.

1.4 型钢角点检测的改进策略

针对阈值t设定对于型钢平直度检测精度和环境适应性,以及伪角点、角点堆积产生的影响,提出FAST-A,该算法基本流程如图4所示.

图4

图4   FAST-A基本流程图

Fig.4   Basic flow chart of FAST-A


FAST算法作为运行最快的角点检测算法[28],能快速为角点检测提供初始角点.由图4可知,输入图像后,先根据图像信息自动生成阈值,然后利用自适应阈值FAST角点筛选算法,获取初始角点集,再剔除角点集中内部伪角点及减少角点堆积;最后,使用SUSAN伪角点剔除算法,剔除待测物体边缘伪角点,以求快速、准确地获取型钢平直度检测所需关键角点.下文将详细介绍本文提出的改进策略和FAST-A的基本原理.

2 基于自适应阈值的FAST角点筛选算法

针对FAST角点筛选阈值t的确定,提出一种阈值自动生成及反馈校正策略,实现角点筛选阈值的自适应调节,在此基础上减少角点堆积和剔除内部伪角点.

2.1 角点筛选阈值生成计算方法

为提取所需的型钢关键角点,采用提取当前检测对象的图像信息,自动生成角点筛选的初始阈值.初始阈值取型钢检测窗口左右两边界两列像素进行计算,以减少角点筛选阈值生成的计算量,如图5所示.

图5

图5   型钢图形检测区域原理图

Fig.5   Graphic inspection area of section steel


图5中,红色线条为型钢检测窗口左右两边界的两列像素,蓝区域为图像中型钢区域,绿色圆点为所需关键角点位置.对左右两边界中像素灰度值进行比较,取两列像素中最大灰度值和最小灰度值各k个,最大灰度值之和减去最小灰度值之和然后除以2k得到角点筛选阈值:

ts,0=z2k|ki=1Ii-max-ki=1Ii-min|
(2)

式中: ts, 0为角点筛选初始阈值;z为初始阈值调节系数;Ii-max和Ii-min 分别代表两列中某个最大和最小灰度值.

2.2 角点筛选阈值的反馈校正

基于相关研究可知,在边缘角点未剔除之前,角点集角点过多,会造成伪角点剔除不完全;角点集角点过少,则会导致关键角点输出不完全,为有效筛选关键角点,需要保留一定范围的角点数[19].在角点筛选初始阈值ts,0生成后,基于实时检测到的角点数作为反馈信息,以所需角点数范围为判断条件,实现角点筛选阈值的自适应调节.

在角点筛选阈值的反馈校正算法中,当经过内部剔除后的角点集角点数在设定范围内时,则输出角点集并保存阈值用于下一帧图像;角点集角点数不满足要求时,则需要对阈值进行调节.由式(1)可知,角点筛选阈值减小,则筛选后的角点数增加;反之,则角点数减少.基于该原理,角点筛选阈值校正公式为

ts, n={ts, n-1+f(x)p,Mn-1>bts, n-1,aMn-1bts, n-1-f(x)p,Mn-1<a
(3)

式中: a和b分别为所需角点集范围下限和上限值;n为反馈校正次数;ts,n为第n次反馈校正后的阈值;p为阈值调整值;f(x)为p的调整系数;Mn-1为第n-1次反馈校正后的内部剔除角点集角点数.当n=1时,ts, n-1=ts, 0.

为提升筛选阈值 ts, n的调整速度与精度,本文提出了一种基于非线性函数的阈值调整方法.式(3)中的f(x)是根据反馈当前角点集角点数与所需角点集目标范围上下限差值,实现对阈值调整值的实时改变,阈值调整值系数f(x) 计算如下:

f(x)={R,xheg(x-h)+0.2,x<h
(4)

式中: R为固定常数值;g为调整函数系数;h为非线性调节阈值;x 为实时角点数与所需范围上下限的绝对差值,

x={|Mn-1-a|,Mn-1<a|Mn-1-b|,Mn-1>b
(5)

基于式(4)和式(5)的筛选阈值调节系数函数曲线,如图6所示.

图6

图6   筛选阈值调节系数函数图

Fig.6   Function plot of screening threshold adjustment coefficient


分析图6可知,当基于式(5)计算的差值绝对值较大时即 x≥h,使阈值ts,n保持最大变化速度(f(x)p=Rp是固定值),保证阈值调节速度,使角点集快速接近所需范围;当x<h时,即当前角点数距所需范围较小时,随着x 越来越小,采用非线性函数逐步减小阈值调节速度,实现对阈值实时微调,以防止阈值调节过大,使角点集角点数变化过大跳出目标范围.

基于式(3)~(5),角点筛选阈值的反馈校正原理如图7所示.首先,判别初始角点集 Mn-1所在范围,若在所需范围内,则输出角点集;若不在,则基于式(4)和式(5)对角点数Mn-1进一步判别;最后通过式(3)对阈值ts,n进行调整,以实现对角点集角点数Mn-1 的调整.

图7

图7   角点筛选阈值的反馈校正原理图

Fig.7   Schematic diagram of feedback correction for corner points screening threshold


将式(3)代入式(1),则可得FAST-A原理为

N=|I(x)-I(p)|ts, n
(6)

反馈校正算法根据角点集角点数的变化对阈值ts,0校正,直至角点集角点数符合要求.此外,在阈值反馈校正过程中,若角点数发生异常变化,说明检测对象或环境发生变化,当前阈值无法有效筛选角点,此时需基于式(2)重新计算初始阈值ts,0.

基于FAST算法基本原理,由式(1)分析可知角点数变化异常情况判断,如表1所示.

表1   角点数异常变化判定

Tab.1  Determination abnormal change of corner points

阈值变化Mn-1变化状态判断
增大减少正常
减少增大正常
增大增大异常
减少减少异常
增大或减少Mb异常

新窗口打开| 下载CSV


表1可知,若出现角点集角点数显著超出角点集范围上限值b的情况(即Mb),表明当前阈值对于角点筛选失效,则同样判定为角点数发生异常变化.

2.3 堆积角点及内部伪角点剔除

针对FAST算法获取的初始角点集,先使用非极大值抑制法减少角点堆积,再使用八链码搜索法搜索剔除内部伪角点.

图3所示,在一定范围内检测到多个角点被称为角点堆积.为此,使用非极大值抑制法进行筛减.首先计算角点集中所有角点分数V,即角点与圆环模板(见图2)上16个像素点灰度值之间的绝对差之和:

V=|I(x)-I(p)|
(7)

再以每个角点为中心建立一个奇数窗口,如果窗口内出现其他角点,则比较窗口内每个角点分数,只保留窗口内分数最大的角点[14].

剔除伪角点的八链码搜索法原理如图8所示,红色区域为待测角点,待测角点8个方向中每个方向上连续两个像素点灰度值都大于阈值,则判定该角点为内部伪角点并予以剔除.

图8

图8   八链码原理图

Fig.8   Schematic diagram of eight chain code


八链码搜索法具体步骤如下.

第1步 设置判别阈值T,T为待测角点灰度值一半.

第2步 将待测角点8个方向中每个方向上连续两个像素点灰度值与阈值T比较,判别公式为

U={1,Fi-j-T>00,Fi-j-T0
(8)

式中: Fi-j为待测角点第i个方向上第j个像素点的灰度值,i∈[0,7],j∈[0,1].

在对8个方向上的像素点搜索判别过程中,若出现U=0,则停止搜索直接判别该点为角点并给予保留;若在搜索中只有U=1,则判别该点为伪角点并给予剔除.

2.4 基于SUSAN的边缘伪角点剔除算法

在完成角点初步筛选,以及堆积角点和内部伪角点剔除的基础上,针对内部剔除角点集中的边缘伪角点,使用SUSAN边缘伪角点剔除算法进行剔除,以保证最后输出的角点为所需角点.SUSAN算法是一种基于灰度模板的特征点获取方法,采用的模板遍历策略使其鲁棒性强不易受噪声影响[12].将该算法仅用于情况单一的边缘伪角点剔除,不存在特殊角点导致SUSAN算法误检的情况.

SUSAN算法选用圆形模板进行角点检测,如图9所示,主要通过圆形模板遍历内部角点集中的角点,将圆形模板的中心放在待测角点上,若模板内的像素点灰度值与模板中心点(即待测角点O)灰度值的差值小于阈值,则认为该像素与中心点有相同亮度.在圆形模板内,满足上述条件的像素点所组成的集合称为核值相似区(univalue segment assimilating nucleus,USAN).

图9

图9   圆形模板

Fig.9   Circular template


USAN的典型区域如图10所示,模板在图像上移动,当圆形模板完全在背景或者目标区域时,其USAN区域最大,见图10(a);当核心在边缘位置时, USAN区域减少一半,见图10(c);当核心在角点位置时, USAN区域最小,见图10(d).

图10

图10   USAN典型区域

Fig.10   USAN typical area


在实际操作时,SUSAN角点检测算法的具体步骤如下.

第1步 在图像上放置一个37像素的圆形模板(见图9),模板在图像上滑动,依次对模板内任意一个像素点灰度值与模板中心像素点O灰度值作差获取差值,差值与给定的阈值S比较得到模板中像素点是否在USAN区域内,其判别函数为

C(r, r0)={1,|I(r)-I(r0)|S0,|I(r)-I(r0)|>S
(9)

式中: r为模板中心点坐标;r0为模板其他点坐标;I(r)为模板中非中心点其他像素点灰度值;I(r0) 为模板中心点灰度值.

第2步 统计以点F为中心的圆形模板内 USAN 区域的面积大小为

S(F, R) = ∑rC(r, r0)
(10)

第3步 通过角点响应函数判别角点,角点响应函数为

U={q-S(F, R),S(F, R)<q0,S(F, R)q
(11)

S(F, R)与预先给定的面积阈值q比较,q取USAN最大面积的一半[29].当S(F,R)≥q时,该点为角点给予保留;当S(F,R)<q时, 该点为边缘伪角点给予剔除.

3 自适应阈值FAST角点筛选算法流程

基于角点筛选阈值自适应调节策略,结合非极大值抑制法、八链码搜索法及SUSAN算法的自适应阈值FAST角点筛选算法流程如图11所示.

图11

图11   自适应阈值FAST角点检测算法流程图

Fig.11   Flow chart of adaptive threshold FAST corner points detection algorithm


图11可知,首先,在输入图像中选取型钢所在区域设置一个固定的型钢检测窗口,避免外界因素对后续检测干扰;然后,使用角点筛选阈值生成算法获取初始阈值ts,0,基于FAST算法筛选获得初始角点集;最后,进行堆积角点和内部伪角点剔除,获得内部剔除角点集.在进行角点筛选的过程中,基于角点集实时反馈信息,实现角点筛选阈值反馈校正,以获得满足下一步处理要求的角点集.在此基础上,由SUSAN算法完成边缘伪角点剔除,输出所需的全部关键角点.

4 型钢角点检测试验与结果分析

构建型钢平直度视觉检测系统,针对型钢样品进行角点检测,对比不同算法的检测性能,验证本文提出的基于自适应阈值的FAST角点检测算法在钢铁制品平直度检测中的有效性.

4.1 型钢视觉检测试验系统

试验所用摄像机为Stereolabs公司生产的ZED2摄像机,分辨率为 1 920 像素×1 080 像素,试验对象是一段1 m的型钢.试验环境是一台Intel(R)Core(TM)i5-7300HQ CPU@2.50 GHz、8 GB内存的计算机和Windows 10及C++,型钢平直度视觉检测系统如图12所示.

图12

图12   型钢平直度视觉检测系统

Fig.12   Visual detection system for section steel flatness


基于该测量系统,针对基于自适应阈值的型钢精确角点FAST检测算法展开性能测试,并和其他角点算法的检测性能进行对比.

4.2 角点算法对比试验

采用不同角点检测算法对同一型钢对象进行角点检测试验对比,并统计对比各算法的角点数目,提取角点精度和各算法运行时间.

4.2.1 角点提取效果对比试验

分别采用Harris算法、SUSAN算法、FAST算法与FAST-A在白色地面背景中对型钢中段部分进行角点检测试验对比,试验结果如图13所示.图中红色方框是型钢实际角点位置,黑色图是红色方框部分角点检测算法效果放大图,白色圆点表示角点,下同.

图13

图13   各算法角点检测结果

Fig.13   Corner point detection results of each algorithm


对比图13可知,Harris算法能找到关键角点,但是对不明显角点位置检测不完全,遗漏了部分关键角点;SUSAN算法和FAST算法均存在大量的伪角点;FAST-A找到所有所需关键角点.为对比不同算法针对型钢图像关键角点提取的效果,进一步统计角点提取的性能参数,并分析其产生的算法机理.

4.2.2 角点提取性能参数对比

上述4种算法的角点提取性能参数详见图14图15.

图14

图14   角点数柱状图

Fig.14   Histogram of the number of corner points


图15

图15   角点比例对照

Fig.15   Comparison of corner point scale


图14可知,Harris算法检测到4个角点,SUSAN 算法和FAST算法分别检测到16和14个角点,FAST-A检测到所需8个关键角点.

在此基础上,计算伪角点比例和关键角点比例.伪角点比例为角点检测算法获取的伪角点数与所检测角点总数的比值,关键角点比例为检测的角点总数中关键角点数与8个关键角点数的比值,如图15所示.

图15可知,Harris算法虽然伪角点比例为0%,但是该算法遗漏了50%的关键角点,这是由于该算法不具有尺度不变性,对图像明暗程度敏感,导致无法检测亮度不明显区域的角点[30];FAST算法找出了型钢平直度计算所需全部(8个)关键角点,但是有接近一半的伪角点未能剔除,因为FAST算法鲁棒性较差,容易受到噪声影响[30];SUSAN算法不仅有大量(81.25%)伪角点未能剔除,并且关键角点也未能寻找完全,因为该算法只以USAN的区域大小为检测判据,在检测特殊或复杂形状的角点时易出现漏检误检情况[31];FAST-A伪角点比例为0%,关键角点比例为100%,证明该算法不仅剔除了全部伪角点,而且保留8个所需关键角点.

4.2.3 角点算法检测实时性对比

为了更进一步比较Harris算法、SUSAN算法、FAST算法与FAST-A的实时性能,对这4种算法的运行时间进行统计对比,如图16所示.

图16

图16   算法运行时间柱状图

Fig.16   Histogram of algorithm runtime


图16可知,SUSAN算法由于采用圆形模板对图像中每个像素点进行逐步角点判别[30],导致其在角点提取中运行时间最长;FAST算法通过计算像素点周围灰度变化判断角点[30],这一策略检测时间最短;Harris算法的速度仅次于FAST,因为其在计算每个像素点的自相关矩阵过程中乘法的运算次数比较多[32];对比基本的FAST算法,改进后的FAST-A检测时间略长,这是由算法自主生成初始阈值造成的.

综上所述,FAST-A与其他算法相比不仅能精准定位所需角点,还能有效剔除伪角点,同时保持了较快的运算速度,说明该算法能同时满足精确度和实时性的要求.

4.3 FAST-A自适应性能试验验证

为了验证FAST-A的自适应能力,选取在不同背景下的型钢不同部分做对比试验,并且统计不同背景中首段型钢的阈值反馈校正次数及各段型钢反馈最终阈值,以此验证阈值反馈校正算法是否具有有效性.

4.3.1 检测环境变化的FAST-A试验对比

为了验证FAST-A在测量环境发生变化时自适应性能,选取4个背景中型钢的3个不同部位进行角点检测试验,场景分别为室内白色地面背景、绿色地面背景、黄色木板背景和不同光照条件的交叉背景,如图17所示.

图17

图17   不同背景型钢检测效果

Fig.17   Effect of section steel detection in different scenes


图17(a)~图17(d)中,可以看出FAST-A在不同背景和型钢不同部位都能有效检测出所需关键角点.其中,图17(d)增加了背景颜色的复杂性,模拟生产环境中设备、地面等不同背景色彩交叉的情况.在此基础上,针对交叉背景,进一步展开了不同光线条件下的角点提取试验.由图17(e)可知,在光线条件下降的状态下,FAST-A依然可以提取平直度计算所需的全部8个角点.上述试验结果证明,该算法具有良好的鲁棒性和环境适应性.

4.3.2 反馈校正算法数据对比试验

为了验证FAST-A中阈值反馈校正算法在不同背景中对初始阈值的校正能力,选取图17中各背景下的型钢首段进行检测,统计其初始阈值ts,0和每次反馈校正阈值ts,n,结果如图18所示.

图18

图18   各背景型钢首段阈值反馈校正次数

Fig.18   Number of threshold feedback correction times for the first segment of section steel in different scenes


分析图18可知,角点筛选初始阈值ts,0反馈校正次数一般不超过5次;①、②、③和④分别在前3次和前2次中反馈校正时线性下降,说明此时角点集角点数目距离所需范围较远,需保持阈值调节速度,使角点集快速接近所需范围;③在第3次反馈校正及①、②、④在第4次反馈校正后变得平缓,说明此时角点集角点数距所需范围已较小,需快速降低阈值ts,n变化速度,实现阈值微调,防止角点集角点数变化过大不满足要求.

同时,为验证同一背景下其余型钢部分的阈值能基于首段型钢最终阈值 ts,n 进行微调,对图17中不同背景各段型钢反馈校正的最终阈值 ts,n 进行统计,结果如表2所示.

表2   不同背景型钢各段反馈校正最终阈值

Tab.2  Final threshold for feedback correction of section steel segments in different scenes

型钢检测
位置
ts,n
白色地面
背景
绿色地面
背景
黄色模板
背景
交叉背景
(白天)
首段39214332
中段37203927
尾段36244030

新窗口打开| 下载CSV


分析表2可知,同一检测环境下各段型钢反馈校正后最终阈值相差不大,由此可以说明,中段和尾段的阈值可在首段型钢检测窗口最终阈值ts, n的基础上微调,有利于提高算法的检测效率.

5 结论

针对FAST算法角点筛选阈值难以确定以及存在大量伪角点的问题,提出一种FAST-A,并完成了该算法的相关试验,基于试验结果分析可知:

(1) 通过图像灰度信息自动生成角点筛选阈值的方法,可避免手动调节阈值,提高了FAST算法角点筛选的智能化水平.

(2) 阈值调节曲线证明,论文提出的阈值反馈校正策略可以实时根据角点数调整阈值,有效解决了同一背景下各段型钢检测阈值变化问题,提高了检测系统的效率,增强了实时性.

(3) 与FAST算法、SUSAN算法和Harris算法对比,FAST-A能够准确地定位型钢平直度计算所需的8个角点并剔除伪角点,排除干扰角点的影响,同时保持了FAST算法速率快的优点.

(4) FAST-A能够针对不同环境和型钢不同部位进行检测,在检测环境发生变化时,可以实现角点筛选阈值自主调整,具有更强的适应性和鲁棒性.

(5) 完成了静态型钢角点提取试验,后续研究需搭建辊道运动平台,进一步展开算法在型钢运动状态下的角点筛选试验,分析运动状态对于角点提取所产生的影响.

参考文献

段永强, 王琨, 刘宏波.

H型钢矫裂缺陷的原因分析及对策

[J]. 包钢科技, 2017, 43(6): 23-25.

[本文引用: 1]

DUAN Yongqiang, WANG Kun, LIU Hongbo.

Cause analysis and countermeasures for straightening crack defects of H-beam

[J]. Science and Technology of Baotou Steel, 2017, 43(6): 23-25.

[本文引用: 1]

杨海马, 江斌, 钱隆平, .

基于轨型重建的平直度提取算法研究

[J]. 电子测量与仪器学报, 2022, 36(9): 1-11.

[本文引用: 1]

YANG Haima, JIANG Bin, QIAN Longping, et al.

Research on flatness extraction algorithm based on rail type reconstruction

[J]. Journal of Electronic Measurement and Instrument, 2022, 36(9): 1-11.

[本文引用: 1]

肖尧, 刘瑾, 杨海马, .

非接触式钢轨类大构件平直度检测算法研究

[J]. 传感器与微系统, 2020, 39(9): 56-59.

[本文引用: 1]

XIAO Yao, LIU Jin, YANG Haima, et al.

Study on flatness and straightness measurement algorithm of non-contact rail type large components

[J]. Transducer and Microsystem Technologies, 2020, 39(9): 56-59.

[本文引用: 1]

刘庆纲, 樊志国, 刘超, .

H型钢端面尺寸的精密视觉检测方法

[J]. 光电工程, 2013, 40(11): 1-7.

[本文引用: 1]

LIU Qinggang, FAN Zhiguo, LIU Chao, et al.

Precision visual inspection method for the end face dimension of H-shaped steel

[J]. Opto-Electronic Engineering, 2013, 40(11): 1-7.

[本文引用: 1]

张伟, 韩宗旺, 程祥, .

基于机器视觉零件轴线直线度误差测量的研究

[J]. 光学精密工程, 2021, 29(9): 2168-2177.

[本文引用: 1]

ZHANG Wei, HAN Zongwang, CHENG Xiang, et al.

Research on straightness error measurement of part axis based on machine vision

[J]. Optical Precision Engineering, 2021, 29(9): 2168-2177.

[本文引用: 1]

章为川, 孔祥楠, 宋文.

图像的角点检测研究综述

[J]. 电子学报, 2015, 43(11): 2315-2321.

DOI:10.3969/j.issn.0372-2112.2015.11.026      [本文引用: 1]

角点检测是图像处理和模式识别领域的基本课题,它在运动估计、形状分析、3D重建等方面都有重要的应用.本文对角点检测方法进行了详细阐述及分类&mdash;&mdash;基于灰度强度的方法、基于边缘轮廓的方法、基于角点模型的方法,并将现有方法的优缺点进行了总结,指出了存在的问题及进一步的研究方向,预期为图像角点检测提供参考和借鉴.

ZHANG Weichuan, KONG Xiangnan, SONG Wen.

Review of image corner detection algorithms

[J]. Acta Electronica Sinica, 2015, 43(11): 2315-2321.

DOI:10.3969/j.issn.0372-2112.2015.11.026      [本文引用: 1]

Corner detection is one of the fundamental topics in the field of image processing and pattern recognition,which have been used in object tracking,shape analysis,3D reconstruction.Intensity-based methods,model-based methods and edge contour-based methods are studied on this paper,and its development history,current and feature challenge are reviewed in details,which offer constructive reference to the research of the image corner detection.

崔建国, 孙长库, 李玉鹏, .

基于SURF的快速图像匹配改进算法

[J]. 仪器仪表学报, 2022, 43(8): 47-53.

[本文引用: 1]

CUI Jianguo, SUN Changku, LI Yupeng, et al.

An improved algorithm for fast image matching based on SURF

[J]. Chinese Journal of Scientific Instrument, 2022, 43(8): 47-53.

[本文引用: 1]

赵斌, 周军.

基于改进棋盘的角点自动检测与排序

[J]. 光学精密工程, 2015, 23(1): 237-244.

[本文引用: 1]

ZHAO Bin, ZHOU Jun.

Automatic detection and sorting of corners by improved chessboard pattern

[J]. Optical Precision Engineering, 2015, 23(1): 237-244.

[本文引用: 1]

薛梦霞, 刘士荣, 王坚.

基于机器视觉的动态多目标识别

[J]. 上海交通大学学报, 2017, 51(6): 727-733.

[本文引用: 1]

&nbsp;提出了一种基于机器视觉的实时动态多目标识别的方法.该方法首先根据前后帧之间像素的变化,分割出运动目标和样本图像,然后使用Gabor滤波器提取图像的特征,得到特征向量.最后使用Fisher判别准则分类识别,将得到的分类识别结果自动标注在输出图像中,并且将其连续输出,便能获得已经识别完成的输出视频.实验结果表明,在多个动态目标的情况下,综合运用Gabor特征与帧间差分法的动态目标识别方法能准确检测到动态目标区域,并能准确分类、识别和标注.

XUE Mengxia, LIU Shirong, WANG Jian.

Dynamic multi-target recognition based on machine vision

[J]. Journal of Shanghai Jiao Tong University, 2017, 51(6): 727-733.

[本文引用: 1]

周志艳, 闫梦璐, 陈盛德, .

Harris角点自适应检测的水稻低空遥感图像配准与拼接算法

[J]. 农业工程学报, 2015, 31(14): 186-193.

[本文引用: 1]

ZHOU Zhiyan, YAN Menglu, CHEN Shengde, et al.

Image registration and stitching algorithm of rice low-altitude remote sensing based on Harris corner self-adaptive detection

[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(14): 186-193.

[本文引用: 1]

牛牧, 许黎明, 赵达, .

基于工件轮廓图像的砂轮磨损在线检测方法

[J]. 上海交通大学学报, 2021, 55(3): 221-228.

DOI:10.16183/j.cnki.jsjtu.2019.285      [本文引用: 1]

研究一种基于机器视觉的砂轮磨损在线检测和补偿方法,介绍基于工件局部轮廓图像的砂轮磨损在线检测原理,分析了由砂轮磨损引起的轮廓误差在线补偿方法.在此基础上,在所开发的复杂轮廓磨削平台上进行了试验研究.研究结果表明:所提出的砂轮磨损检测和误差补偿方法可以有效地进行实时在线检测砂轮的磨损程度,并能补偿主要由砂轮磨损引起的轮廓加工误差,提高工件的加工精度,为砂轮磨损的在线检测以及砂轮修整预报提供了一种新的方法.

NIU Mu, XU Liming, ZHAO Da, et al.

Workpiece-contour-image based wheel wear online detection methodology

[J]. Journal of Shanghai Jiao Tong University, 2021, 55(3): 221-228.

[本文引用: 1]

王巍, 赵红蕊.

面向影像匹配的SUSAN角点检测

[J]. 遥感学报, 2011, 15(5): 940-956.

[本文引用: 2]

WANG Wei, ZHAO Hongrui.

The improvement of SUSAN for image matching

[J]. National Remote Sensing Bulletin, 2011, 15(5): 940-956.

[本文引用: 2]

SMITH S M, BRADY J M.

SUSAN—A new approach to low level image processing

[J]. International Journal of Computer Vision, 1997, 23(1): 45-78.

[本文引用: 1]

ROSTEN E, DRUMMOND T.

Machine learning for high-speed corner detection

[C]// Computer Vision-ECCV 2006: 9th European Conference on Computer Vision. Graz, Austria: Springer Berlin Heidelberg, 2006: 430-443.

[本文引用: 2]

HARRIS C, STEPHENS M.

A combined corner and edge detector

[C]// Proceedings of the Alvey Vision Conference. Manchester, UK: Alvety Vision Club, 1988: 147-152.

[本文引用: 1]

BAY H, TUYTELAARS T, VAN GOOL L.

SURF: Speeded up robust features

[J]. Lecture Notes in Computer Science, 2006, 3951: 404-417.

[本文引用: 1]

JIANG M, WU Y, ZHAO T, et al. Pointsift:A sift-like network module for 3d point cloud semantic segmentation[DB/OL]. (2018-11-24) [2023-09-26]. https://doi.org/10.48550/arXiv.1807.00652.

[本文引用: 1]

高礼圳, 刘书桂, 韩振华.

零件的角点提取及匹配定位

[J]. 中国光学, 2016, 9(4): 397-404.

[本文引用: 1]

GAO Lizhen, LIU Shugui, HAN Zhenhua.

Corner extraction and matching location of parts

[J]. China Optics, 2016, 9(4): 397-404.

[本文引用: 1]

张立亭, 黄晓浪, 鹿琳琳, .

基于灰度差分与模板的Harris角点检测快速算法

[J]. 仪器仪表学报, 2018, 39(2): 218-224.

[本文引用: 2]

ZHANG Liting, HUANG Xiaolang, LU Linlin, et al.

Fast Harris corner detection based on gray difference and template

[J]. Chinese Journal of Scientific Instrument, 2018, 39(2): 218-224.

[本文引用: 2]

邓淇元, 曲长文, 江源.

基于圆环模板的改进Harris角点检测算法

[J]. 系统工程与电子技术, 2016, 38(4): 949-954.

[本文引用: 1]

DENG Qiyuan, QU Changwen, JIANG Yuan.

Improved corner detection algorithm based on circle mask via Harris

[J]. Systems Engineering and Electronics, 2016, 38(4): 949-954.

DOI:10.3969/j.issn.1001-506X.2016.04.32      [本文引用: 1]

Harris corner detection is a classical algorithm, but the detection result is closely related to selection of the Gaussian window length and the threshold value. Aiming at the problems, an improved algorithm for Harris corner detection is proposed. To begin with, scan the whole image with a lower threshold to extract the suspected corners. And then, a new circle mask is presented to evaluate the gray difference of pixels in the outside circle and the inside circle. The fake corners are eliminated by evaluating every suspected corner with the new circle mask and get the result. The proposed algorithm, avoiding derivative, is stable and robust. The experimental results of a series of images show the effectiveness and feasibility of the proposed method.

CHEN X, LIU L, SONG J, et al.

Corner detection and matching for infrared image based on double ring mask and adaptive SUSAN algorithm

[J]. Optical and Quantum Electronics, 2018, 50: 1-10.

[本文引用: 1]

WANG Y, TANG X, XIA M, et al.

An improved self-adapting corner detection algorithm for low-contrast images

[C]// 2022 5th International Symposium on Autonomous Systems. Hangzhou, China: IEEE, 2022: 1-4.

[本文引用: 1]

WANG M Y, ZHANG W, SUN C, et al.

Corner detection based on shearlet transform and multi-directional structure tensor

[J]. Pattern Recognition, 2020, 103: 107299.

[本文引用: 1]

WANG Y, LI Y, WANG J, et al.

A target corner detection algorithm based on the fusion of FAST and Harris

[J]. Mathematical Problems in Engineering, 2022, 2022: 1-16.

[本文引用: 1]

XIONG W, TIAN W, YANG Z, et al.

Improved FAST corner-detection method

[J]. The Journal of Engineering, 2019, 2019(19): 5493-5497.

[本文引用: 1]

ZHANG H, XIAO L, XU G.

A novel tracking method based on improved FAST corner detection and pyramid LK optical flow

[C]// 2020 Chinese Control and Decision Conference. Hefei, China: IEEE, 2020: 1871-1876.

[本文引用: 1]

刘国华, 李亮玉.

基于机器视觉的分钢机械手定位及运动轨迹分析

[J]. 机械设计, 2015, 32(4): 40-45.

[本文引用: 1]

LIU Guohua, LI Liangyu.

Positioning and trajectory planning of steel-bar-splitting manipulator based on machine vision

[J]. Journal of Machine Design, 2015, 32(4): 40-45.

[本文引用: 1]

张懿, 刘艺.

基于FAST特征的快速图像拼接系统研究

[J]. 计算机工程与应用, 2016, 52(10): 167-170.

[本文引用: 1]

随着应用需求的增多,图像拼接技术已经成为虚拟现实技术、计算机视觉技术、计算机图形学以及视频处理等领域的一个重要研究课题。主要以FAST特征为核心,提出了一种基于FAST特征的快速图像配准系统。该系统首先通过FAST特征进行配准,然后通过改进的RANSAC算法增加配准准确率,最后通过加权融合完成图像拼接。实验表明,该系统有较好的适应性和稳定性,对图像的旋转、仿射变换均不敏感,能够较好地完成有重叠区域图像的拼接工作;同时该系统有较大的速度优势。

ZHANG Yi, LIU Yi.

Study of image registration system based on FAST feature

[J]. Computer Engineering and Applications, 2016, 52(10): 167-170.

[本文引用: 1]

With the increasing application demands, image mosaic technology has become an important research topic in virtual reality technology, computer vision, computer graphics, video processing and other fields. This paper proposes a new image registration system based on the FAST feature. The system first uses FAST features to match both images, then uses the improved RANSAC algorithm to increase the registration accuracy. At last, it mosaics the both image by weighted fusion. Experiments show this system is more adaptive and stable. And it also not sensitive to rotation and affine transformation for the image. It can splice images which have overlap region. This system has a better speed performance than any other systems.

刘丹, 王运宏.

限制型自适应SUSAN边缘检测算法

[J]. 计算机辅助设计与图形学学报, 2020, 32(6): 971-978.

[本文引用: 1]

LIU Dan, WANG Yunhong.

Constraint self-adaptive SUSAN algorithm for edge detection

[J]. Journal of Computer-Aided Design & Computer Graphics, 2020, 32(6): 971-978.

[本文引用: 1]

朱思聪, 周德龙.

角点检测技术综述

[J]. 计算机系统应用, 2020, 29(1): 22-28.

[本文引用: 4]

ZHU Sicong, ZHOU Delong.

Review on image corner detection

[J]. Computer Systems & Applications, 2020, 29(1): 22-28.

[本文引用: 4]

杨幸芳, 黄玉美, 李艳, .

一种基于USAN的特征点检测算法

[J]. 机械科学与技术, 2011, 30(7): 1120-1123.

[本文引用: 1]

YANG Xingfang, HUANG Yumei, LI Yan, et al.

An algorithm for feature points detection based on univalue segment assimilating nucleus

[J]. Mechanical Science and Technology for Aerospace Engineering, 2011, 30(7): 1120-1123.

[本文引用: 1]

王民, 周兆镇, 李昌华, .

基于像素点灰度差的Harris角点检测算法

[J]. 计算机工程, 2015, 41(6): 227-230.

DOI:10.3969/j.issn.1000-3428.2015.06.041      [本文引用: 1]

针对Harris 算法在图像处理过程中特征点提取实时性和抗噪能力较差、计算量大的问题,提出一种结合像素点灰度差的Harris 角点检测算法。将被检测点与半径为3 的邻近圆周上16 个像素点作对比,以此计算非相似像素点的个数来确定候选角点,通过Harris 角点响应函数提取角点,并结合SUSAN 算法的思想去除伪角点。实验结果表明,改进算法提高了原算法的实时性,增加了角点提取的数量,并且能有效去除大多数伪角点,提高图像角点检测的速度和正确性。

WANG Min, ZHOU Zhaozhen, LI Changhua, et al.

Harris corner detection algorithm based on pixel point gray difference

[J]. Computer Engineering, 2015, 41(6): 227-230.

DOI:10.3969/j.issn.1000-3428.2015.06.041      [本文引用: 1]

<p>Against the issues of Harris algorithm for image processing for extracting feature points less real-time,the <br>calculation is larger,and sensitive to noises. This paper proposes a Harris corner detection algorithm combined with <br>pixels&rsquo; gray level difference. In this algorithm,the point is detected taking contradistinction from adjacent 16 pixels on <br>the circumference of a circle that radius equals to 3. The number of non-similar pixels is calculated and judged as a <br>candidate corner and then the Harris corner response function is calculated to extract corner,combing with the idea of <br>SUSAN algorithm to remove false corners. Experimental results show that the algorithm improves original algorithm&rsquo;s <br>real-time while increasing the number of corner extraction and removing most of the false corners effectively,and helps to <br>improve the speed and accuracy of image corner extracting.</p>

/