基于改进YOLOX-s的机场跑道冰雪状态感知

doi:10.16183/j.cnki.jsjtu.2022.303

基于改进YOLOX-s的机场跑道冰雪状态感知

邢志伟¹, 阚犇¹, 刘子硕², 李彪^,¹, 罗谦³

1.中国民航大学电子信息与自动化学院, 天津 300300

2.天津航空机电有限公司, 天津 300308

3.中国民航局第二研究所工程技术研究中心, 成都 610041

Airport Pavement Snow and Ice State Perception Based on Improved YOLOX-s

XING Zhiwei¹, KAN Ben¹, LIU Zishuo², LI Biao^,¹, LUO Qian³

1. School of Electronic Information and Automation, Civil Aviation University of China, Tianjin 300300, China

2. AVIC Tianjin Aviation Machinery and Electricity Co., Ltd., Tianjin 300308, China

3. Engineering Technology Research Centre, Second Research Institute of Civil Aviation Administration of China, Chengdu 610041, China

通讯作者: 李彪,助理教授;E-mail:1833022770@163.com.

责任编辑: 王一凡

收稿日期: 2022-08-4 修回日期: 2022-11-23 接受日期: 2022-12-1

基金资助:

国家重点研发计划(2018YFB1601200)

Received: 2022-08-4 Revised: 2022-11-23 Accepted: 2022-12-1

作者简介 About authors

邢志伟(1970-),教授,从事机场运行控制,民航装备与系统的应用研究.

摘要

针对机场冰雪跑道安全性和适航性状态感知能力不足及跑道表面状况报告交互的新需求,提出一种面向多尺度特征融合的机场跑道冰雪状态感知模型.以YOLOX-s模型为基础,在主干特征提取网络中引入全局上下文模块,获取更丰富的浅层与深层特征;将颈部结构中路径聚合网络替换为双向特征金字塔,以提升特征融合能力;在加强特征提取网络尾部添加自适应空间特征融合结构,进一步增强特征融合效果;使用α-EIoU优化损失函数,提高模型收敛速度与精度.实验结果表明,改进后的YOLOX-s模型在跑道冰雪实验系统所得的冰雪污染物数据集上平均精度达到了91.53%,比原始的YOLOX-s模型提高了4.68%,能够为机场跑道除冰雪作业提供决策支持.

关键词： 跑道冰雪状态感知; YOLOX-s; 全局上下文模块; 双向特征金字塔网络; 自适应空间特征融合结构; α-EIoU损失函数

Abstract

Aimed at the lack of awarness of safety and airworthiness state perception ability of airport ice runway and the new demand of interaction of runway surface condition report, a multi-scale feature fusion based ice and snow state perception model of airport runway is proposed. Based on the YOLOX-s model, first, the global context block (GC block) is introduced into the backbone feature extraction network to obtain more abundant shallow and deep features. Then, the PANet networks in neck are replaced with the bi-directional feature pyramid network (BiFPN) to improve the feature fusion ability. Afterwards, an adaptive spatial feature fusion (ASFF) structure is added to the tail of the enhanced feature extraction network to further enhance the feature fusion effect. Finally, α-EIoU is used to optimize the loss function to improve the convergence speed and accuracy of the model. The experimental results show that the improved YOLOX-s model has an average accuracy of 91.53% in the snow and ice pollutant data set obtained from the runway snow and ice experimental system, which is 4.68% higher than the original YOLOX-s model, and can provide decision-making support for airport runway snow removal operations.

Keywords： pavement snow and ice state perception; YOLOX-s; global context block (GC block); bi-directional feature pyramid network (BiFPN); adaptive spatial feature fusion (ASFF); α-EIoU loss function

PDF (30812KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

邢志伟, 阚犇, 刘子硕, 李彪, 罗谦. 基于改进YOLOX-s的机场跑道冰雪状态感知[J]. 上海交通大学学报, 2023, 57(10): 1292-1304 doi:10.16183/j.cnki.jsjtu.2022.303

XING Zhiwei, KAN Ben, LIU Zishuo, LI Biao, LUO Qian. Airport Pavement Snow and Ice State Perception Based on Improved YOLOX-s[J]. Journal of Shanghai Jiaotong University, 2023, 57(10): 1292-1304 doi:10.16183/j.cnki.jsjtu.2022.303

2021年11月4日,国际民航组织(International Civil Aviation Organization, ICAO)要求按照统一的全球跑道表面状况报告格式(Global Reporting Format,GRF)^[1]评估和报告跑道表面状况.按照新的模式,跑道摩擦系数仅用于干跑道表面状况的日常监测和道面维护,不再作为跑道适航性的认定标准.对于有冰雪覆盖物污染的跑道,机场运行方应根据跑道道面污染物的种类、覆盖范围、深度等跑道表面状况,确定跑道状况代码,提供给管制和航空情报服务部门.因此,如何科学精确地感知跑道表面状态及演化规律,确保跑道运行的适航性,是冬季冰雪气象条件下机场不停航运行需要突破的核心关键技术.

目前,国内外学者针对ICAO提出的跑道运行新标准,展开了多方面的研究:一是道面冰雪污染物的状态识别,如Kim等^[2]提出一种利用毫米波传感器和人工神经网络(Artificial Neural Network, ANN)接收信号强度统计特征来识别冰雪种类;Ma等^[3]利用多波长非接触光学技术,发现黑冰、结冰和下雪条件下的归一化反射率不同,用于辨识路面冰雪状态;Baby等^[4]基于电容传感原理,提出一种可以集成到远程操作车辆(Remotely Operated Vehicle, ROV)中的电容式传感器,用于自动检查跑道等重要位置的冰层及形态;Troiano等^[5]设计了一种用于估计路况的低成本电容式传感器,建立了一种当水或冰覆盖其表面时传感器的电容变化模型,并评估环境温度变化对道面冰雪厚度及状态的影响.二是道面冰雪污染物的厚度、界限检测,如Hoshino等^[6]针对跑道受冰雪污染问题,在道面嵌入检测冰雪的激光传感器,通过光散射理论检测冰雪厚度;任宏宇等^[7]针对复阻抗式结冰检测技术,提出一种温度漂移补偿方法,提升冰雪厚度测量精度以及稳定性;Hong等^[8]利用系统动力学理论,建立随时间变化的道路结冰的界限和位置检测模型;勾一等^[9]基于红外热波检测技术,搭建了闪光红外热波检测系统,并提出将高斯-拉普拉斯金字塔算法与面积滤波算法两者相融合识别冰雪界限.三是道面冰雪污染物的演化规律研究,如Qin等^[10-11]基于Bessel函数提出一种描述冰膜演化动力学的热传导数学模型,通过该模型计算地温分布,研究冰膜的状态演化规律;Chen等^[12]利用改进粒子群优化算法对最小二乘支持向量机的核函数和惩罚函数进行优化,实现道面冰雪厚度与多气象因子的非线性映射演化模型;Costa等^[13]提出一种基于道面温度、湿度等气象因子的ANN模型,模拟路面积冰状态演化过程.

上述在跑道埋设传感器等接触式冰雪检测方法受环境影响大,且多传感器间的数据难以实现深度融合,无法实现对道面冰雪状态的精确感知,但是基于图像理解的冰雪状态感知受气象条件影响很小,无需庞大的数据融合,可在不接触道面冰雪的前提下对冰雪状态进行感知;与上述利用电磁波、光波等非接触式冰雪检测方法相比,以图像作为状态感知的依据,几乎不受环境限制,对黑冰、雪水混合物、冰水混合物等污染物复杂情况感知精确、可信度高.

1 实验系统与数据采集

1.1 跑道冰雪实验系统

跑道模型结构分解如图1所示,在距道面10 cm处铺设电热线,向上以2.5 cm为间隔分别埋设3层PT-100,每层均匀埋设8个PT-100.电热线层主要用于对道面进行加热,控制道面温度,使冰雪呈现不同状态,模拟道面冰雪状态演化的过程.3层PT-100用来监测跑道每层温度分布,利用传热学研究跑道导热效率对道面冰雪状态的影响.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 跑道模型结构分解(cm)

Fig.1 Structure decomposition of runway model (cm)

跑道冰雪实验系统如图2所示,当实验系统实际运行时,将跑道模型置于高低温试验箱或者冬季户外冰雪环境中,模拟冬季机场跑道表面实际情况,运行状态如图3所示.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 跑道冰雪实验系统

Fig.2 Runway ice and snow experiment system

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 实验系统实际运行

Fig.3 Actual operation of experimental system

1.2 数据采集与分类

通过实验系统模拟冬季机场道面环境,共采集到 2 592 像素×1 944 像素的图片 5 668 张,并根据北海道大学低温科学研究所对冰雪的分类方式^[15-16]与ICAO发布的GRF标准中的跑道表面污染物分类,结合文献[17]中的冰雪状态图像灰度区分表,得到如表1所示的道面冰雪状态分类标准.将由实验系统采集的 5 668 张冰雪污染物图片划分为6类:雪、雪浆、融雪、冻冰、湿冰、水,如图4所示.使用Labelimg工具对图像进行标注,生成xml类型的标签文件.

表1 跑道冰雪状态分类

Tab.1 Classification of ice and snow state of runway

状态	特点	晶体状态	灰度区间
雪	颗粒状,遇热变形	粒径0.05 mm以上互不相连的圆粒	48~80
雪浆	雪半融解产物	粒径0.5~1 mm的圆粒相互成网状连接	81~111
融雪	雪融解后产物	粒径1 mm以上互不相连的颗粒	235~255
冻冰	雨雪冻结而成	粒径0.05~2 mm的多结晶冰,含粒径0.01~0.1 mm气泡	112~144
湿冰	冻冰半融解产物	粒径0.1~0.4 mm的多结晶冰,含粒径0.1~0.5 mm气泡	145~207
水	冰雪完全融解产物含杂质	透明且流动不止,含有大量气泡	—

新窗口打开| 下载CSV

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 冰雪状态

Fig.4 Ice and snow state

2 基于多尺度特征的冰雪状态感知模型

YOLOX-s算法是2021年旷视科技研究院提出的高性能One-Stage目标检测网络^[14].它巧妙地将解耦头、数据增强、无锚点等目标检测领域优秀进展应用到YOLO上,其网络结构由3个部分组成,如图5所示.其中Backbone部分即主干特征提取网络使用的是CSPDarknet53网络,Neck部分加强特征提取网络使用的是路径聚合网络(Path-Aggregation Network,PANet),Prediction部分即检测头使用了3个解耦头(Decoupled Head).Backbone部分对输入图片进行浅层特征提取得到3个特征层,Neck部分再对3个特征层进行深层特征提取,最终再分别传入3个Decoupled Head进行目标框检测,得到检测结果^[14].

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 YOLOX-s网络结构

Fig.5 Structure of YOLOX-s network

基于YOLOX-s框架,在CSPDarknet53主干特征提取网络中引入GC block,将提取后的3个特征图经过BiFPN加强特征提取,得到3个具有不同尺度信息的特征图,再引入ASFF自适应地学习各尺度特征,增强特征融合效果,最后使用α-EIoU损失函数代替原有的IoU损失函数,提高模型精度和加快收敛速度.改进后的YOLOX-s(Improved YOLOX-s,IYOLOX-s)网络结构如图6所示.

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 IYOLOX-s网络结构

Fig.6 Structure of IYOLOX-s network

2.1 基于GC block的主干特征提取网络

主干网络提取特征的能力可以直接影响目标检测效果,在对图片浅层特征提取阶段使用改进的CSPDarknet53作为主干网络.由于卷积受限于局部感知的特点,只可以对局部区域进行上下文建模,限制感受野的大小.并且在道面冰雪污染物图像中,冰雪晶体状态呈现大小和形状不同的特点,且有灰尘等杂质以及相干斑噪声的干扰,不易进行状态感知.所以引入GC block到CSPDarknet53特征提取网络的CSP结构后,不仅可以提取全局上下文信息,以此获得更丰富的浅层和深层特征,还可以大大降低计算量.

如图7所示,GC block^[18]由非局部均值模块(Non-Local block,NL block)^[19]、压缩激励模块(Squeeze-Excitation block,SE block)^[20]组合而成,组合过程及机理如下.图中:C为特征层的通道数;H为特征层高度;W为特征层宽度;r为缩减比例.

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 组合机理

Fig.7 Mechanism of combination

Step 1 简化并融合NL block.

图7中,x_i为输出信号代表当前位置的像素,x_j为所有与x_i位置特征相似、大小相等的像素,NL block利用嵌入高斯计算w_ij,其表示x_i与x_j之间的归一化注意力权重即两者位置的相关性,可以使两者相隔一定距离的x_i与x_j建立联系来增强识别效果,同时还可以明显降低图像中的噪声,计算公式为

(1)w_ij=

\frac{f (x_{i}, x_{j})}{C (x)}

\frac{e x p (< W_{q} x_{i}, W_{k} x_{j} >)}{\sum_{\forall m} e x p (< W_{q} x_{i}, W_{k} x_{m} >)}

式中:f(x_i,x_j)为x_i与x_j的关联系数;C(x)为归一化因子;m为任意位置像素点;x_m为任意位置的像素;W_q、W_k为卷积操作.

由于NL block以其他位置x_j的信息为基础去增强当前x_i的信息,x_i均需计算与其他x_j的关系,导致计算量激增^[18].所以,GC block对其先简化再融合.如图7所示,简化后的NL block(Simplified Non-Local block,SNL block)不再对x_i进行操作,将原始NL block中的W_q卷积模块移除,以节省计算成本,此外再将W_v卷积模块移至下方乘法运算后来替换W_z,形成Context Modeling模块.GC block将该模块融合,继承了NL block适应特征之间长距离依赖的性能.w_ij由式(1)简化如下,即GC block中的全局注意力池化的权重α_j:

(2)w_ij=α_j=

\frac{e x p (W_{k} x_{j})}{\overset{N_{p}}{\sum_{m = 1}} e x p (W_{k} x_{m})}

式中:N_p=H×W表示特征层中位置的数量.

Context Modeling模块数学表达式∑_∀jα_jx_j如下:

(3)∑_∀jα_jx_j=∑_∀j

\frac{e x p (W_{k} x_{j})}{\overset{N_{p}}{\sum_{m = 1}} e x p (W_{k} x_{m})}

x_j

Step 2 引入SE block.

GC block在融合NL block的过程中对其进行了简化,在减少计算量的同时,会牺牲一定的准确率,为此引入SE block中Transform模块.

GC block引入SE block中Transform模块,并在线性激活函数ReLU非线性激活前加入层标准化LN(Layer Normalization,LayerNorm),可以降低优化难度,提高网络泛化能力,弥补主干特征提取网络重复堆叠相同函数导致提取的特征缺乏多样性的问题,进而填补步骤一所损失的准确率,改进后的Transform模块数学表达式δ(·)为

(4)δ(·)=W_v₂ReLU(LN(W_v₁(·)))

式中:W_v1、W_vw分别为两次卷积操作.

Step 3 特征融合.

如图7所示,GC block融合SNL block中Context Modeling模块,引入SE block中添加层标准化的Transform模块,再使用相加操作进行特征融合,得到最终输出结果:

(5)z_i=F(x_i,δ(∑_jα_jx_j))=x_i+W_v₂ReLU

(\frac{L N}{} (W_{v 1} \overset{N_{p}}{\sum_{j = 1}} \frac{e x p (W_{k} x_{j})}{\overset{N_{p}}{\sum_{m = 1}} e x p (W_{k} x_{m})} x_{j}))

2.2 基于BiFPN的加强特征提取网络

YOLO架构的加强特征提取网络经历了从类FPN到FPN,再到PANet的不断进化演变,从原理来看,浅层网络分辨率更高且包含更加准确的位置信息;深层网络拥有更大的感受野且涵盖大量的高维语义信息.因此,优化多尺度特征融合效果就成为提升网络精度的一种手段.YOLOX-s在Neck部分使用PANet作为加强特征提取网络用于多尺度特征融合,其网络结构如图8所示.图中:P为层;下标表示层数;上标in、td、out分别表示输入、从上到下、输出.PANet特点是在 $P_{3}^{o u t}$ 到 $P_{7}^{o u t}$ 层建立了自下而上的路径增强链路,对底层强定位特征的向上传递过程进行增强.2019年Google团队发表的EfficientDet算法中首次提到了BiFPN^[21],其网络结构如图9所示.相较于PANet,BiFPN新增跨尺度连接,移除部分只有一个输入且对特征融合贡献极小的节点,并且在输入层与输出层之间增加跳跃链接,使输出层不仅可以得到自下而上已参与特征融合的信息,还可以保留原始节点未参与特征融合的信息^[22].

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 PANet网络结构

Fig.8 Structure of PANet

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 BiFPN网络结构

Fig.9 Structure of BiFPN

改进之后的加强特征提取网络如图10所示.

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 改进后网络结构

Fig.10 Improved network structure

图中:ω₁~ω₉表示可学习的参数.YOLOX-s通过CSPDarknet53主干网络提取出3个有效特征层,然后输入PANet,但是PANet有5个输入特征层,因此将PANet简化为3个输入特征层(记作PANet-s),网络结构如图10(a)所示,同理也对BiFPN做上述简化操作(记作BiFPN-s),以此来减少计算量,提高精度,并与YOLOX-s网络结构相匹配,网络结构如图10(b)所示.

对不同尺度特征进行融合时,通常将所有尺度特征视作同等重要,赋予相同特征权重,再进行相加等融合操作,但是不同尺度特征对融合的贡献是不一样的,在融合过程中会丢失一些有用的信息.BiFPN为每个尺度的特征赋予不同权重,让网络自主学习不同尺度特征的重要性^[23].加权特征融合表达式为

(6)O=∑_i

\frac{ω_{i}}{ε + \sum_{j} ω_{j}}

I_i

式中:I_i、O分别为融合前和融合后的特征;ω_i和ω_j为可学习的权重;ε为远小于1的极小量,用来保证数值稳定.

当输入图片大小为(640, 640, 3)时,主干网络提取出的3个特征层分别为 $P_{3}^{i n}$ =(80, 80, 256), $P_{4}^{i n}$ =(40, 40, 512), $P_{5}^{i n}$ =(20, 20, 1 024),通过BiFPN-s的跨尺度连接和加权特征融合,得到各融合节点特征为

(7)

P_{4}^{t d}

=Conv

(\frac{ω_{1} P_{4}^{i n} + ω_{2} R e s i z e (P_{5}^{i n})}{ω_{1} + ω_{2} + ε})

(8)

P_{3}^{o u t}

=Conv

(\frac{ω_{3} P_{3}^{i n} + ω_{4} R e s i z e (P_{4}^{t d})}{ω_{3} + ω_{4} + ε})

(9)

P_{4}^{o u t}

=Conv

(\frac{ω_{5} P_{4}^{i n} + ω_{6} P_{4}^{t d} + ω_{7} R e s i z e (P_{3}^{o u t})}{ω_{5} + ω_{6} + ω_{7} + ε})

(10)

P_{5}^{o u t}

=Conv

(\frac{ω_{8} P_{5}^{i n} + ω_{9} R e s i z e (P_{4}^{o u t})}{ω_{8} + ω_{9} + ε})

式中:Resize是对输入特征进行上采样(Upsample)或下采样(Downsample)操作.

2.3 引入自适应空间特征融合结构

本文使用BiFPN-s代替原有的PANet-s,以此提高网络对多尺度特征的提取能力,同时在BiFPN-s的尾部添加ASFF结构^[23],进一步增强多尺度特征融合效果.其本质是自适应地学习各尺度特征融合的空间权重,以此来抑制加强特征提取网络中不同尺度的不一致性缺点,使得多尺度的特征被自适应地融合,达到最优融合效果.ASFF结构如图11所示.

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11 ASFF结构

Fig.11 Structure of ASFF

如图11所示,Level 1、Level 2、Level 3分别是通过BiFPN-s提取得到的加强特征层,以ASFF-3为例,经过BiFPN-s得到的特征层Level 1、Level 2,对其进行1*1卷积操作将其通道数压缩成与Level 3相同,再分别对其进行4倍、2倍上采样形成与Level 3相同维度的特征图,记作Resize_Level 1与Resize_Level 2,接着对Resize_Level 1、Resize_Level 2和Level 3进行1*1卷积操作得到权重参数α_ij、β_ij、γ_ij,最后将权重参数与Resize_Level 1、Resize_Level 2和Level 3相乘并求和得到特征融合后的ASFF-3,上述过程可由下式来描述:

式中: $y_{i j}^{(l)}$ 为通过ASFF特征融合得到的新特征图; $x_{i j}^{(1 \to l)}$ 、 $x_{i j}^{(2 \to l)}$ 、 $x_{i j}^{(3 \to l)}$ 分别为第1、2、3层到第l层特征层的特征向量; $α_{i j}^{(l)}$ 、 $β_{i j}^{(l)}$ 、 $γ_{i j}^{(l)}$ 分别为3个不同特征层的权重参数,通过Softmax函数使得 $α_{i j}^{(l)}$ + $β_{i j}^{(l)}$ + $γ_{i j}^{(l)}$ =1( $α_{i j}^{(l)}$ 、 $β_{i j}^{(l)}$ 、 $γ_{i j}^{(l)}$ ∈[0,1]).

对于通过道面冰雪污染物微观晶体状态来对其状态进行感知,需要底层特征中的细粒度特征来辨识,通过在BiFPN-s的尾部引入ASFF结构,使每一层的权重参数与特征相乘再相加来实现融合,学习了空间滤波冲突信息以抑制不同尺度的不一致性,从而使得提取的特征更加层次化,并且几乎没有引入推理开销,提升了模型的训练效率.

2.4 损失函数

YOLOX-s的损失函数由3个部分组成:边界框定位损失函数L_loc、分类损失函数L_cls、置信度损失函数L_conf,本文的损失函数为L=L_loc+L_cls+L_conf.对于定位损失函数L_loc,YOLO系列最早使用的是IoU损失函数L_IoU,其原理为1减去预测框和真实框的交集与预测框和真实框的并集之比,计算公式为

(12)L_IoU=1-

\frac{|A ⋂ B|}{|A ⋃ B|}

式中:A为预测框的面积;B为真实框的面积.IoU损失函数具有尺度不变性、非负性、同一性等特点,且输出值在0~1之间,能够较好地体现预测框和真实框的检测效果.但实际会存在预测框与真实框没有相交的情况,此时L_IoU恒为1,因此没有梯度的回传将无法继续学习,而且IoU损失函数针对预测框和真实框的位置关系无法做出判断,更无法反映预测框和真实框的相交情况.

因此文献[24]中提出使用GIoU损失函数L_GIoU,在IoU损失函数的基础上引入预测框和真实框的最小外接矩形,计算公式为

(13)L_GIoU=L_IoU+

\frac{| C' - A ⋃ B|}{| C' |}

式中:C'为最小外接矩形的面积.引入最小外接矩形不仅可以反映重叠区域的面积,还可以计算非重叠区域的比例,因此GIoU损失函数能够更好地反映预测框和真实框的重合程度与远近距离.此外由于最小外接矩形的存在,使得GIoU损失函数在两个矩形框不重合时,也可以继续计算回传梯度,模型进而可以继续学习.GIoU损失函数虽然解决了IoU损失函数的上述两个问题,但是当两框相互包含时,GIoU损失函数会退化成IoU损失函数,在水平和垂直方向上,误差很大,导致收敛速度大大减缓.

所以本文采用EIoU损失函数^[25]来替换GIoU损失函数,并根据文献[26]对EIoU损失函数增加幂指数α且α=3,变成α-EIoU损失函数L_α_-EIoU,以加快收敛速度,其计算原理如图12所示.图中:b和b^gt分别为预测框和真实框的中心点;ρ(·)为两个中心点的欧氏距离;c、c_w、c_h分别为预测框和真实框最小外接矩形的对角线距离以及宽度和高度;w、w^gt、h、h^gt分别为预测框和真实框的宽度和高度.α-EIoU损失函数使用最小化两个框中心点的欧氏距离替代GIoU损失函数中最小外接矩形,同时分开计算目标框的长和宽.α-EIoU损失函数包含3个部分:重叠损失L_IoU、中心距离损失L_dis、宽高损失L_asp,计算公式为

(14)L_α-_EIoU=

L_{I o U}^{α}

L_{d i s}^{α}

L_{a s p}^{α}

L_{I o U}^{α}

\frac{ρ^{2 α} (b, b^{g t})}{c^{2 α}}

\frac{ρ^{2 α} (w, w^{g t})}{c_{w}^{2 α}}

\frac{ρ^{2 α} (h, h^{g t})}{c_{h}^{2 α}}

图12

新窗口打开| 下载原图ZIP| 生成PPT

图12 α-EIoU计算原理

Fig.12 Principle of calculation of α-EIoU

图13

新窗口打开| 下载原图ZIP| 生成PPT

图13 4种损失函数效果对比

Fig.13 Comparison of four loss functions

3 实验验证

3.1 模型环境设置

在训练环境方面,操作系统为Windows10,CPU为Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40 GHz,内存为64 GB,GPU为NVIDIA GeForce RTX 3080Ti,显存为12 GB.使用Pytorch 1.7.1深度学习框架,底层使用CUDA 11.0作为并行计算框架.

在训练策略方面,将数据集图片按照8∶1∶1的比例划分为训练集、测试集和验证集,为防止工作站性能不足,将训练分为两个阶段,分别是冻结阶段和解冻阶段,冻结阶段、解冻阶段迭代次数均为75次,批处理量(batchsize)为64,图片尺寸为640 像素×640 像素.

3.2 评价指标

(1) 平均准确率(Average Precision,φ_AP),

(15)$\begin{array}{l}P=\frac{\mu_{\mathrm{TP}}}{\mu_{\mathrm{TP}}+\nu_{\mathrm{FP}}} | \\\varphi_{\mathrm{AP}}={ }_{0}^{1} P(R) \mathrm{d} R |\end{array}$

式中:μ_TP(True Positive)为感知正确的正样本;ν_FP(False Positive)为感知错误的正样本;P(R)为PR曲线中P(Precision)值即准确率值,R(Recall)为召回率.

(2) 平均准确率均值(mean Average Precision,ψ_mAP),

(16)ψ_mAP=

\frac{\overset{M}{\sum_{i = 1}} φ_{A P} (i)}{M}

式中:M为冰雪污染物的种类数;φ_AP(i)为第i类冰雪污染物的平均准确率.

(3) 平均召回率均值(mean Recall,ϕ_mR),

(17) $\begin{array}{c}R=\frac{\mu_{\mathrm{TP}}}{\mu_{\mathrm{TP}}+\theta_{\mathrm{FN}}} | \\\phi_{\mathrm{mR}}=R_{i=1}^{M} R_{i} / M |\end{array}$

式中:θ_FN(False Negative)为感知错误的负样本;R_i为第i类冰雪污染物的召回率.

(4) 检测速度,使用每秒帧数(Frames Per Second, FPS)作为检测速度评估指标.

3.3 实验结果

3.3.1 对比实验结果及分析

目标检测算法主要分为两种:① Two-Stage目标检测算法,最具代表性的有R-CNN、Fast R-CNN、Faster R-CNN等;② One-Stage目标检测算法,最具代表性的有YOLO和单次多边框检测(SSD)等.将IYOLOX-s与其中部分算法进行性能对比,如表2 所示.可以看出算法IYOLOX-s对于道面冰雪状态感知获得了较好的效果,与Faster R-CNN相比,使得雪、雪浆、融雪、冻冰、湿冰、水6种冰雪状态的φ_AP分别提高了8.13%、7.33%、10.99%、8.24%、8.96%、5.94%,ψ_mAP提高了8.26%,ϕ_mR提高了13.2%,检测速度提高了5 帧/s,由于IYOLOX-s算法在速度、精度和召回率都比Faster R-CNN高,由此可见One-Stage目标检测算法更适合于道面冰雪状态的感知;与SSD相比,使得6种冰雪状态的φ_AP均有7%~12%不同程度的增幅,此外ψ_mAP提高了10.16%,ϕ_mR提高了15.11%,检测速度提高了7 帧/s;与YOLOv5-s和YOLOX-s相比,雪的φ_AP分别提高了7.55%、6.04%,雪浆的φ_AP分别提高了6.12%、3.29%,融雪的φ_AP分别提高了9.81%、4.76%,冻冰的φ_AP分别提高了6.26%、4.70%,湿冰的φ_AP分别提高了8.13%、5.75%,水的φ_AP分别提高了5.06%、3.54%,ψ_mAP分别提高了7.15%、4.68%,ϕ_mR分别提高了10.83%、4.43%,但是检测速度分别降低了2、1 帧/s,IYOLOX-s相较于YOLOX-s在损失1 帧/s的基础上,ψ_mAP、ϕ_mR分别提高了4.68%、4.43%是可以接受的.此外,不同网络模型训练结果对比如图14所示.IYOLOX-s训练150次的ψ_mAP曲线均在另4种目标检测算法之上,可见IYOLOX-s算法在道面冰雪状态感知中比其他主流目标检测算法有着一定的优势.

表2 不同网络模型测试结果对比

Tab.2 Comparision of test results of different network models

算法	φ_AP						ψ_mAP	ϕ_mR	FPS/ (帧·s^-1)
算法	雪	雪浆	融雪	冻冰	湿冰	水	ψ_mAP	ϕ_mR	FPS/ (帧·s^-1)
Faster R-CNN	0.789 8	0.842 1	0.814 0	0.833 4	0.794 2	0.922 5	0.832 7	0.702 5	18
SSD	0.764 3	0.820 1	0.801 0	0.805 6	0.779 5	0.911 5	0.813 7	0.683 4	16
YOLOv5-s	0.795 6	0.854 2	0.825 8	0.853 2	0.802 5	0.931 3	0.843 8	0.726 2	25
YOLOX-s	0.810 7	0.882 5	0.876 3	0.868 8	0.826 3	0.946 5	0.868 5	0.790 2	24
IYOLOX-s	0.871 1	0.915 4	0.923 9	0.915 8	0.883 8	0.981 9	0.915 3	0.834 5	23

新窗口打开| 下载CSV

图14

新窗口打开| 下载原图ZIP| 生成PPT

图14 不同网络模型训练结果对比

Fig.14 Comparison of training results of different network models

3.3.2 消融实验结果及分析

消融实验可以用来检验各种改进的有效性.为了验证IYOLOX-s算法中各改进的有效性,将其分为5组进行训练测试.第1组(G1)为原始YOLOX-s算法,第2组(G2)为在主干特征提取网络中添加GC block,第3组(G3)是在G2的基础上将原始的加强特征提取网络PANet改成BiFPN-s,第4组(G4)是在G3的基础上引入ASFF结构,第5组是在G4的基础上使用α-EIoU损失函数.表3为5组消融实验结果,表中“√”代表使用该改进方法,“×”代表不使用改进方法.在表3中,通过G2与G1相比较,在主干特征提取网络中添加GC block,ψ_mAP、ϕ_mR分别提高了1.29%、1.10%,这是因为冰雪晶体状态大小不一、形状不同,且图像中有相干斑噪声干扰,影响CSPDarknet53主干网络提取特征,通过加入GC block,实现对全局上下文的建模获取全局信息,获得更丰富的浅层和深层特征,使得感知效果变好;通过G3与G2相比较,使用BiFPN-s代替原始PANet-s,在输入层与输出层之间增加跳跃链接,使输出层不仅可以得到自下而上已参与特征融合的信息,还可以保留原始节点未参与特征融合的信息,进一步加强特征提取,使得ψ_mAP、ϕ_mR分别提高了1.07%、1.11%;通过G4与G3相比较,在BiFPN-s得到的3个加强特征层中,大、小目标分别在高层、底层被检测到,因此引入ASFF结构,自适应地学习各尺度特征映射融合的空间权重,通过学习权重参数将各层的特征融合到一起,使得ψ_mAP、ϕ_mR分别提高了1.08%、1.16%;通过G5与G4相比较,使用α-EIoU代替IoU更好地反映真实框与预测框的重合程度与远近距离,进一步提高收敛速度,使得ψ_mAP、ϕ_mR分别提高了1.24%、1.06%,表明α-EIoU损失函数提高了感知精度.

表3 消融实验对比

Tab.3 Comparison of ablation experiments

组别	GC	BiFPN	ASFF	α-EIoU	ψ_mAP	ϕ_mR
G1	×	×	×	×	0.868 5	0.790 2
G2	√	×	×	×	0.881 4	0.801 2
G3	√	√	×	×	0.892 1	0.812 3
G4	√	√	√	×	0.902 9	0.823 9
G5	√	√	√	√	0.915 3	0.834 5

新窗口打开| 下载CSV

3.3.3 感知效果对比及分析

图15和16分别为使用YOLOX-s和IYOLOX-s感知出来的结果.通过两者的对比,可以看出对于雪、雪浆、融雪、冻冰、湿冰这5种冰雪晶体状态,YOLOX-s均存在1处漏检,并且感知精度基本上都要比IYOLOX-s低,说明对于冰雪晶体状态图像而言,IYOLOX-s感知效果要优于YOLOX-s感知效果.

图15

新窗口打开| 下载原图ZIP| 生成PPT

图15 YOLOX-s感知结果

Fig.15 Results perceived by YOLOX-s

图16

新窗口打开| 下载原图ZIP| 生成PPT

图16 IYOLOX-s感知结果

Fig.16 Results perceived by IYOLOX-s

4 结语

通过搭建跑道冰雪实验平台模拟冬季机场跑道环境,采集道面冰雪状态微观图像,并根据冰雪状态分类制作数据集.基于YOLOX-s提出IYOLOX-s模型,把GC block应用到CSPDarknet53中,在保持精度的同时增强全局建模,减少计算量;使用BiFPN-s作为加强特征提取网络,保证较高推理速度前提下,提高感知精度;在BiFPN-s的基础上引入ASFF结构,自适应地学习空间权重参数,让特征更好地进行融合,提高了状态感知准确率;使用α-EIoU损失函数,更好地反映预测框与真实框的重合度与远近距离,提高收敛速度.实验结果表明,使用IYOLOX-s模型,在每个冰雪状态类别的感知都有较好的表现,雪、雪浆、融雪、冻冰、湿冰、水6种状态的精度分别提高了6.04%、3.29%、4.76%、4.70%、5.75%、3.54%,平均精度达到了91.53%,为新模式下保障冬季民航机场的安全高效运行提供决策依据.

目前,机场跑道冰雪状态感知依旧存在许多不足,如冰雪状态图像分类仍存在很大的细分空间;通过实验平台采集图像,易受冰雪表面灰尘、道面凹凸不平以及不良光照干扰,对微观冰雪结构识别造成困难.以上问题需要对图像进行有针对性的预处理,完成图像增强和重建等工作.此外,改进后的感知模型相比改进前在检测速度上略有下降,说明检测速度还有提升空间,以上问题均是后续工作的重点研究方向.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[6]

HOSHINO

, HASHIMOTO

, TATEYAMA

, et al.

Snow and ice monitoring technique for the contaminated runway[C]// AIAA SciTech 2020 Forum. New York, USA: AIAA, 2020: 767-777.