基于自适应特征增强和融合的舰载机着舰拉制状态识别

doi:10.16183/j.cnki.jsjtu.2023.263

基于自适应特征增强和融合的舰载机着舰拉制状态识别

王可¹^,²^,³, 刘奕阳¹, 杨杰¹, 鲁爱国⁴, 李哲¹, 徐明亮^,¹^,²^,³

1.郑州大学计算机与人工智能学院,郑州 450001

2.国家超级计算郑州中心,郑州 450001

3.智能集群系统教育部工程研究中心,郑州 450001

4.武汉数字工程研究所,武汉 430074

Landing State Recognition of Carrier-Based Aircraft Based on Adaptive Feature Enhancement and Fusion

WANG Ke¹^,²^,³, LIU Yiyang¹, YANG Jie¹, LU Aiguo⁴, LI Zhe¹, XU Mingliang^,¹^,²^,³

1. School of Computer and Artificial Intelligence, Zhengzhou University, Zhengzhou 450001, China

2. National Supercomputing Center in Zhengzhou, Zhengzhou 450001, China

3. Intelligent Swarm System Engineering Research Center of the Ministry of Education, Zhengzhou 450001, China

4. Wuhan Digital Engineering Institute, Wuhan 430074, China

通讯作者: 徐明亮,教授,博士生导师,电话(Tel.):0371-67781257;E-mail:iexumingliang@zzu.edu.cn.

收稿日期: 2023-06-25 修回日期: 2023-06-28 接受日期: 2023-07-11

基金资助:

国家自然科学基金(62036010)
国防科技工业海洋防务技术创新中心创新基金(JJ-2022-709-01)
中国博士后科学基金(2020M682348)
河南省自然科学基金(232300421235)

Received: 2023-06-25 Revised: 2023-06-28 Accepted: 2023-07-11

作者简介 About authors

王可(1985—),博士,讲师,从事机器学习、神经计算理论与应用研究.

摘要

拉制状态识别能辅助着舰信号官及时准确地形成后续指挥决策,是舰载机着舰引导的重要环节.提出一种基于自适应特征增强和融合的拉制状态识别方法,包含基于注意力机制的特征增强模块,通过分割特征图、串联空间域和通道域增强视觉表征能力;利用多尺度特征融合模块,将高分辨率浅层特征与语义信息丰富的深层特征进行融合,充分利用上下文语义信息.基于所提方法,设计基于可穿戴增强现实设备的着舰拉制状态识别原型系统;构建着舰作业虚实融合数据集以评估方法性能.结果表明,所提算法综合性能优于基线算法,能满足拉制状态识别的应用需求.

关键词： 舰载机; 阻拦着舰; 特征融合; 注意力机制; 状态识别

Abstract

The recognition of engagement state aids landing signal officers in formulating command decisions promptly and precisely, which is crucial for guiding carrier-based aircraft landings. A method is proposed for recognizing the engagement state, leveraging adaptive feature enhancement and fusion, which includes an attention mechanism-based feature enhancement module and a multi-scale feature fusion module. The front module enhances visual representation by segmenting feature maps and concatenating spatial and channel domains, and the back module merges high-resolution shallow features with semantically rich deep features to fully utilize contextual information. A prototype system is developed to recognize landing engagement states based on the wearable augmented reality devices. To evaluate the performance of the method proposed, hybrid datasets of landing operations are constructed. The results show that the proposed algorithm outperforms baseline algorithms and meets the application requirements of engagement state recognition.

Keywords： carrier-based aircraft; arrested landing; feature fusion; attention mechanism; state recognition

PDF (20611KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

王可, 刘奕阳, 杨杰, 鲁爱国, 李哲, 徐明亮. 基于自适应特征增强和融合的舰载机着舰拉制状态识别[J]. 上海交通大学学报, 2025, 59(2): 274-282 doi:10.16183/j.cnki.jsjtu.2023.263

WANG Ke, LIU Yiyang, YANG Jie, LU Aiguo, LI Zhe, XU Mingliang. Landing State Recognition of Carrier-Based Aircraft Based on Adaptive Feature Enhancement and Fusion[J]. Journal of Shanghai Jiaotong University, 2025, 59(2): 274-282 doi:10.16183/j.cnki.jsjtu.2023.263

航母搭载投放的舰载机是航母战斗群的核心攻防力量,是航母编队实施海上封锁、反潜作战、两栖突击、反导作战、保卫海基核力量、支撑海上联合作战等任务的主体之一.舰载机的出动回收能力是影响航母作战效能的核心要素,而舰载机着舰是影响舰载机出动回收能力的关键环节^[1⇓⇓-4].

舰载机返航着舰是一个非常复杂的作业流程,根据与航母间的距离可分为引导、待机、进近与着舰4个阶段^[5].由于航母飞行甲板长度远小于陆基机场,所以舰载机在着舰阶段需要借助拦阻系统进行拉制减速^[6].现代中大型航母的液压拦阻系统一般设置有4道拦阻索,首道拦阻索位于距舰尾约50 m处,每道拦阻索之间相隔12~18 m,与甲板的垂直距离为30~50 cm.理想状态下,舰载机尾钩、主起落架3点同时着舰,尾钩运动方向对准跑道中轴线,并钩住第3道拦阻索.

为了保证着舰的安全性,目前着舰作业中设置有多名着舰信号官(landing signal officer,LSO)向飞行员发出指令,引导其安全着舰.着舰信号官通常在位于甲板着舰区后部左舷的着舰信号官工作站中,通过无线电、灯光等方式引导舰载机飞行员完成一系列精准操作.在着舰的最后阶段,舰载机航迹偏差、尾钩故障、损坏等原因可能导致尾钩挂不上拦阻索,如果着舰信号官认为舰载机超出着舰安全边界或拉制失败,则飞行员必须快速执行逃逸复飞操作.舰载机着舰是强实时、高动态下的高复杂度作业,在某些情况下存在着舰信号官不能及时发出正确的引导指令或飞行员来不及执行指令的可能.因此,通过自动化、智能化的方式协助着舰信号官进行高效、可靠的拉制状态识别,尽早形成并发出引导指令,有助于提高着舰引导的效率及安全性.

拉制状态识别可通过基于力学传感器的侵入式和基于视觉信息的非侵入式两种方式实现.侵入式识别虽然实现思路简单,但需要对装备进行改造升级,影响现役装备的可靠性,且时敏性差.与之相比,基于视觉信息的非侵入式识别对现役装备影响小,具有较好的实时性甚至超前性,可行性较强.另外,影响舰载机着舰拉制状态的多种因素,包括舰载机着舰点、尾钩与拦阻索的几何构型、舰载机姿态及航速等都可以通过视觉信息进行有效识别和量化.

基于视觉信息的舰载机阻拦拉制状态的识别涉及多种舰面关键目标,包括阻拦索和舰载机尾钩等,因此对舰面关键目标的准确识别是实现阻拦拉制状态识别的基础.此外,舰载机尾钩与阻拦索啮合区域相对于整张图像的面积比例较小,因此阻拦拉制状态视觉识别可归为小目标识别问题.

针对舰面复杂场景下的目标识别问题,一些学者对传统目标识别算法和模型进行了优化改进.汪丁等^[7]提出一种舰面多目标识别算法,在YOLOv4-tiny中引入卷积注意力和空间金字塔池化结构,并改用Mish激活函数提升泛化能力.范加利等^[8]提出一种舰面多尺度目标识别算法,通过构建多尺度区域建议网络提取特征,使用K-means聚类算法生成锚框.朱兴动等^[9]提出适用于舰面目标识别的改进YOLOv3算法,使用聚类算法确定先验锚框的尺寸和宽高比等参数,并在输出网络中改进函数的参数设定.针对小目标识别问题,目前已有多种提升识别性能的方法.一种方法是利用特征上下文信息,例如Xu等^[10]提出一种基于双模块特征提取的学习网络,该网络增加了感受野的多样性,融合了网络中间层的多尺度特征.另一种方法是利用多尺度特性,例如Lin等^[11]提出的特征金字塔网络,使用具有横向连接的架构,通过生成多尺寸图片并提取多尺度的特征进行识别.此外,改进锚点框设计也是提升识别性能的关键,例如Zhang等^[12]通过合锚点框检测和关键点检测,优化了锚点探测器的性能.优化损失函数亦能提高小目标识别性能,例如Guo等^[13]提出一种基于边界的度量指标,测量物体类别之间的空间相邻程度,并通过量化空间邻接项比率消除目标尺寸引入的偏差,从而优化小目标的损失计算过程.

从已有研究可以看出,采用深度学习模型进行小目标识别能显著提高识别精度.然而,目前缺乏针对舰面相关场景中目标识别任务的公共数据集.因此,有必要构建专用数据集进行模型训练与评估.另外,实际着舰作业中,受海上复杂天气、能见度及数据采集手段等因素影响,舰载机着舰拉制状态识别具有数据采集质量低、难度高以及啮合区域尺度小、纹理特征弱等难点,现有基于深度学习的目标识别方法难以直接满足舰载机尾钩及其与拦阻索啮合状态识别的需求.因此,有必要结合舰面目标及拉制状态识别问题的特点,有针对性地对模型进行优化和改进.

本文主要研究基于视觉信息的舰载机拉制状态识别,通过对舰载机尾钩及其与拦阻索的啮合状态的识别实现拉制状态的判定.设计了包含特征增强(feature enhancement,FE)和多尺度特征融合(multi-scale feature fusion,MSFF)的识别模型,通过特征增强模块,提高模型对小目标的特征表征能力,抑制复杂环境中的干扰目标特征;通过多尺度特征融合模块,实现低层空间信息和高层语义信息的有效融合,优化目标的识别性能.此外,构建了舰载机尾钩识别任务和钩索啮合状态识别任务的虚实融合数据集,验证了所提方法的有效性.

1 本文模型

模型采用VGG-16作为骨干网络,并根据识别任务的特点设计了特征增强及融合模块,模型架构如图1所示.骨干网络学习到的6个特征图分别输入FE模块,通过注意力机制自适应增强特征图对关键信息的表征能力.增强后的特征图输入MSFF模块,进行深层和浅层特征的融合并保留底层细节和高层语义信息,以提高模型对于小目标的识别精度.融合后的特征图输入到检测层,由检测层输出识别结果、位置及置信度.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 模型网络架构

Fig.1 Network architecture of model proposed

1.1 基于注意力机制的特征增强

特征增强模块结构如图2所示,输入特征图为X(c, w, h),c、h、w分别为通道数、高度和宽度,C_i、H_i、W_i (i=0, 1, 2, 3)分别为输出特征图的通道数、高度和宽度,K_j和G_j (j=1, 2, 3, 4)分别为卷积核大小和步长.在该模块中,首先将输入的特征图沿通道维度分成4部分,分割后的特征图表示为F_i.特征图F_i通过多尺度卷积核生成不同空间分辨率的特征图 F'_i,多尺度卷积核的大小分别为1、3、5、7.其中,卷积核大小为1和3的卷积在图中表示为“Conv1”和“Conv2”.为了提高运算效率,采用一种替代策略,将卷积核大小为5和7的卷积替换为大小为3、空洞率分别为2和3的空洞卷积,在图中表示为“Conv3”和“Conv4”.输出的特征图定义如下:

$\boldsymbol{F}_{i}^{\prime}=W_{k \times k, s, d}\left(\boldsymbol{F}_{i}\right), \quad i=0,1,2,3$

(1)

式中:W_k_×_k_,_s_,_d表示大小为k、步长为s、空洞率为d的卷积核.卷积后的特征图经过通道维度上的拼接形成新的特征图

$\boldsymbol{Y}=\operatorname{Concat}\left(\boldsymbol{F}_{1}^{\prime}, \boldsymbol{F}_{2}^{\prime}, \boldsymbol{F}_{3}^{\prime}, \boldsymbol{F}_{4}^{\prime}\right)$

(2)

式中:Concat表示拼接.之后,通过空间注意力激励或抑制特征图Y不同空间位置上的信息.将特征图Y沿通道维度进行全局平均池化(global average pooling, GAP)和全局最大池化(global max pooling, GMP),聚合通道信息后形成两个二维空间特征图Y_a、Y_m.再将两个空间特征图经过拼接、卷积生成空间特征向量.空间注意力的计算方式为

$A_{\mathrm{s}}=\sigma\left(W_{5 \times 5,4}\left(\text { Concat }\left(\boldsymbol{Y}_{a}, \boldsymbol{Y}_{m}\right)\right)\right)$

(3)

式中:σ表示sigmoid激活函数.输出的空间特征图再利用通道注意力生成一维通道特征图.具体地,采用GAP和GMP两种池化将特征图沿空间维度聚合后生成两个通道特征Y'_a、Y'_m,对两个通道特征分别进行卷积,并经过一个共享的卷积生成两个新特征,通过特征合并获得通道特征向量.通道注意力计算方式为

$A_{\mathrm{c}}=\sigma\left(W_{3}\left(\delta\left(W_{1}\left(\boldsymbol{Y}_{a}^{\prime}\right)\right)+\delta\left(W_{2}\left(\boldsymbol{Y}_{m}^{\prime}\right)\right)\right)\right)$

(4)

式中:δ为ReLU函数;W₁、W₂为两个输入通道数为C、输出通道数为C/16的1×1卷积;W₃为输入通道数为C/16、输出通道数为C的1×1卷积.得到空间与通道特征向量后,将其与特征图Y相乘得到特征图

$\boldsymbol{Z}=\boldsymbol{Y} \odot A_{\mathrm{c}}\left(\boldsymbol{Y} \odot A_{\mathrm{s}}(\boldsymbol{Y})\right)$

(5)

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 特征增强模块架构

Fig.2 Architecture of feature enhancement module

从上述计算过程不难看出,最终的特征图Z融合了两种注意力机制的优点,通过训练可以自适应地激励或抑制不同维度上的信息.通过对比图3中的热图,可以观察到特征增强前后的显著差异.结果表明,在应用本文FE模块进行特征增强后,关键目标信息更加突出,同时抑制了背景的响应.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 特征增强前后的热图对比

Fig.3 Comparison of heat map before and after feature enhancement

图4展示了嵌入FE模块前后的骨干网络多层输出特征图的对比结果.上半部分为原始骨干网络学习到的特征图,下半部分为嵌入FE模块后学习到的特征图.从对比结果中可以看出,在嵌入FE模块之前的特征图中,目标与背景之间的差异相对较小,目标区域没有得到很好的突出.在嵌入FE模块后的特征图中目标与背景之间的差异得到了显著的增强,特征图中的目标区域更加清晰、明显,与背景区域形成了更加明显的对比.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 特征增强前后的特征图对比

Fig.4 Comparison of feature maps before and after feature enhancement

1.2 多尺度特征融合

多尺度特征融合模块的结构如图5所示,其中Atrous Conv表示空洞卷积.该模块接收所有FE模块中输出的6个特征图作为输入,每个特征图的维度表示为(w_n, h_n, c_n).首先通过1×1卷积将所有特征图的通道维度统一为256,卷积后的特征图记为z_n (n=0,1,…,6).然后通过采样或池化操作,使特征图z_n生成多尺度上下文信息,并将该信息映射到其余5个尺度的特征图.对于z₁,利用自适应平均池化将其缩小到6个尺度的特征图,输出的特征定义为

$T_{1}^{m}$ =α(z₁)=downscale(z₁),m=1, 2, …, 6

(6)

式中:downscale函数表示自适应平均池化操作;α(z₁)指相应尺度的特征图.对于z₆,特征融合模块将其上采样为6个尺度的特征图,输出的特征定义为

$\begin{array}{c}\boldsymbol{T}_{6}^{m}=\beta\left(\boldsymbol{z}_{6}\right)=\delta\left(\operatorname{upsample}\left(\boldsymbol{z}_{6}\right)\right), \\m=1,2, \cdots, 6\end{array}$

(7)

式中:upsample函数表示反卷积;β(z₆)指该尺度下的特征图.对于z₂、z₃、z₄、z₅,特征融合模块同时采用downscale和upsample将其采样至6个尺度,输出特征定义为

$\begin{array}{c}\boldsymbol{T}_{n}^{m}\left(\boldsymbol{z}_{n}\right)=\alpha\left(\boldsymbol{z}_{n}\right) \cap \beta\left(\boldsymbol{z}_{n}\right), \\m=1,2, \cdots, 6 ; n=2,3,4,5\end{array}$

(8)

最后,将具有相同维度的特征相加,再通过卷积将融合后的特征图还原成原始的通道数和尺度.新生成的融合特征图定义为

t_m=σ(W_{2×2, 1, 2}(W_{1×1, 1}(

$T_{1}^{m}$ +

$T_{2}^{m}$ +…+

$T_{6}^{m}$ ))),m=1, 2, …, 6

(9)

式中:W_{1×1, 1}表示大小为1、步长为1的卷积核;W_{2×2, 1, 2}表示大小为2、步长为1、空洞率为2的空洞卷积核.

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 多尺度特征融合模块架构

Fig.5 Architecture of multi-scale feature fusion module

2 实验

2.1 数据集构建

为了验证所提方法,通过可视仿真构建了舰载机着舰数据集.为简化计算,将舰载机视为一个质点,不考虑其外观形状,并忽略甲板风、空气涡流等环境影响因素.基于以上假设,可建立如下质点模型^[14]:

$\begin{array}{l} x = v c o s γ c o s ψ \\ y = v c o s γ c o s ψ \\ z = v s i n γ \\ v = g (n_{x} - s i n γ) \\ γ = \frac{g}{v} (n_{z} c o s μ - c o s γ) \\ ψ = \frac{g}{v c o s γ} n_{z} s i n μ \end{array}\}$

(10)

式中:x、y和z为舰载机的三维坐标;v为舰载机速度;γ为爬升角;ψ为航向角;μ为滚转角;n_x为水平过载;n_z为纵向过载;g为重力加速度.

利用着舰模型生成的航迹坐标,结合Unity 3D仿真引擎,构建舰载机着舰作业可视仿真平台.基于该平台生成了舰载机尾钩识别数据集和钩索啮合状态识别数据集,评估所提方法在舰载机着舰拉制识别任务中的性能.

2.1.1 舰载机尾钩识别数据集

舰载机尾钩识别数据集(CATHR-DET)主要用于评估所提方法在舰载机尾钩识别任务上的性能.该数据集由真实和可视仿真两类样本构成,对数据集中包含舰载机尾钩的样本,通过人工方式标注出尾钩的边界框.真实样本来自通过公开渠道收集的多型舰载机的着舰作业视频、图片,在考虑光照、视角、背景等方面多样性的基础上,对收集到的原始图像进行成像质量、目标尺寸等方面的筛选,共计400张彩色图像,尺寸统一为 1 300 像素×600像素.针对仿真样本,首先对舰载机着舰作业进行可视建模和仿真,然后从仿真场景中获取图像样本.仿真样本涵盖了不同颜色、纹理特征的尾钩,晴天、阴天、雨天3种气象条件以及亮光、暗场两种光照条件,不同环境条件下的样本数量如表1所示,不同光照条件下的样本实例如图6所示.仿真样本共计 3 600 张彩色图像,尺寸统一为 1 300 像素×600像素.舰载机尾钩数据集的部分样本实例如图7所示,其中晴天、阴天和雨天为仿真样本,实景为真实样本,下同.

表1 CATHR-DET数据集的仿真样本数量

Tab.1 Number of simulation samples in CATHR-DET

因素	类别	样本数量
气象条件	晴天	1600
	阴天	1000
	雨天	1000
光照条件	亮场	2300
	暗场	1300

新窗口打开| 下载CSV

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 不同光照条件下的样本实例

Fig.6 Examples of samples in different lighting conditions

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 CATHR-DET样本实例

Fig.7 Sample of CATHR-DET

2.1.2 钩索啮合状态识别数据集

钩索啮合状态识别数据集(HCESI-DET)主要用于评估所提方法在舰载机尾钩与拦阻索的啮合状态识别任务上的性能.该数据集同样由真实和可视仿真两类样本构成,构建方式与舰载机尾钩数据集类似.该数据集的样本也包括晴、阴、雨3种气象条件以及亮光、暗场两种光照条件,不同环境条件下的样本数量如表2所示.样本图像中除作业舰载机外,还包括航母舰面保障人员、舰载机牵引车等其他常见干扰对象.该数据集包含700个真实样本和 4 200 个仿真样本,样本图像尺寸统一为 1 300 像素×600像素,部分样本实例如图8所示.该数据集通过人工方式标注出钩索啮合处,啮合状态分为成功和失败两种.

表2 HCESI-DET数据集的仿真样本数量

Tab.2 Number of simulation samples in HCESI-DET

因素	类别	样本数量
气象条件	晴天	2400
	阴天	1000
	雨天	800
光照条件	亮场	2200
	暗场	2000

新窗口打开| 下载CSV

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 HCESI-DET样本实例

Fig.8 Sample of HCESI-DET

2.2 实验设置

对于舰载机尾钩识别数据集,随机挑选 2 800 张图像作为训练集,剩余 1 200 张图像作为测试集.对于钩锁啮合状态识别数据集,随机挑选 3 430 张图像作为训练集,剩余 1 470 张图像作为测试集.为了提升模型训练速度,样本图像尺寸统一调整为300像素×300像素.实验的批处理大小为32,正则化系数为 0.000 5,初始学习率为0.001,动量为0.9,优化方法为随机梯度下降法(SGD).实验中选取的基线算法包括SSD300^[15]、SSD512^[15]、RetinaNet^[16]、YOLOv3^[17]、DSSD^[18]等具有代表性的识别算法.

实验选用精度(P)、召回率(R)、F值作为模型识别性能评估指标,计算如下:

$\frac{N_{T P}}{N_{T P} + N_{T P}}$

(11)

$\frac{N_{T P}}{N_{T P} + N_{F N}}$

(12)

$\frac{2 P}{P + R}$

(13)

式中:N_TP、N_FP、N_FN分别表示预测为正的正样本、预测为正的负样本、预测为负的正样本.此外,实验还选取了常用的平均精度均值(mean average precision, mAP)、帧频(frames per second, FPS)作为模型目标识别性能的评价指标.

2.3 实验结果与分析

2.3.1 性能评估

本文方法与基线方法在两个自构数据集上的性能对比实验结果如表3和表4所示.由表3可见,所提方法在CATHR-DET数据集上的识别精度低于最优算法SSD512,但小目标识别的召回率和综合指标F值均取得最优.由表4可见,所提方法在HCESI-DET数据集上的3个评价指标均取得最优.针对模型的识别性能,从表3和表4可以看出,所提方法在两个数据集上均取得最优性能.相较于SSD300、SSD512和DSSD等方法,本文算法在识别精度上有明显提升,证明了FE模块和MSFF模块在两个识别任务上的有效性. 相较于RetinaNet、 YOLOv3, 所提算法在识别精度上具有明显优势,虽然检测帧率下降,但单张图片的识别时间仍小于飞行员的反应时间,能够满足实时识别的要求.

表3 CATHR-DET数据集实验结果对比

Tab.3 Comparative experimental results of CATHR-DET

方法	分类			检测
方法	P/%	R/%	F/%	mAP/%	FPS/(帧·s^-1)
SSD300	77.8	33.2	46.5	56.6	57.1
SSD512	93.2	27.2	42.1	62.2	31.2
RetinaNet	67.7	79.5	73.1	65.2	33.2
YOLOv3	67.2	80.5	73.3	74.2	41.2
DSSD	84.2	53.8	65.6	73.5	19.7
本文方法	84.4	81.1	82.4	76.8	26.8

新窗口打开| 下载CSV

表4 HCESI-DET数据集实验结果对比

Tab.4 Comparative experimental results of HCESI-DET

方法	分类			检测
方法	P/%	R/%	F/%	mAP/%	FPS/(帧·s^-1)
SSD300	67.2	22.2	33.4	54.1	57.1
SSD512	66.3	38.4	42.5	58.5	31.2
RetinaNet	61.8	60.5	61.1	59.3	33.2
YOLOv3	61.1	71.4	65.8	61.4	41.2
DSSD	64.2	32.2	42.9	57.1	19.7
本文方法	72.4	71.9	72.3	64.2	26.8

新窗口打开| 下载CSV

本文算法在部分样本上的识别结果如图9所示,其中图9(a)、9(b)的第2行为部分识别错误的样本.通过分析发现,识别错误的原因主要包括以下几种:①距离、光照、能见度等因素造成模型很难从模糊图像中识别出尾钩,例如图9(a)中第2行的前两列;②在某些拍摄角度下,拦阻索与尾钩具有高度相似性,造成误识别,例如图9(a)中第2行的第3列;③干扰目标与拦阻索形成类似钩锁啮合的构型,造成误识别,例如图9(b)中第2行的第1列;④在某些视角下钩索啮合难以判断,造成误识别,例如图9(b)中第2行的后两列.

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 本文方法在自构数据集上的结果

Fig.9 Results of method proposed in self-constructed datasets

此外,为了证明算法对小目标识别的有效性和通用性,对比了SSD算法与本文改进算法在VOC (visual object classes)数据集上的小目标识别结果,对比结果如表5所示.其中,4个类别分别为鸟(bird)、瓶子(bottle)、船(boat)和椅子(chair).由识别结果的对比可以看出,改进算法对小目标识别的准确率优于其他算法,验证了所提算法在小目标识别上的有效性.

表5 在VOC小目标数据集上的平均精度对比

Tab.5 Average accuracy values of different algorithms in small objects of VOC data set

方法	平均精度/%
方法	鸟	瓶子	船	椅子
SSD300	70.3	45.3	63.2	54.3
SSD512	74.4	50.1	70.3	57.1
RetinaNet	75.8	54.8	71.5	59.2
YOLOv3	78.3	57.2	70.9	60.2
DSSD	79.8	53.9	67.5	58.2
本文	80.3	59.2	75.4	61.5

新窗口打开| 下载CSV

2.3.2 消融实验

为验证本文设计的FE模块和MSFF模块的有效性,在VOC数据集上对所提算法进行消融实验,定量分析了两个模块对模型识别精度的影响.实验的基线方法为SSD算法,实验结果如表6所示.

表6 VOC数据集上的的消融实验结果

Tab.6 Results of ablation experiment in VOC

基线算法	FE	MSFF	mAP/%	FPS/(帧·s^-1)
√			64.7	55.2
√	√		66.2	28.4
√		√	66.8	43.8
√	√	√	67.1	26.6

注:√表示模型中包含此模块或算法.

新窗口打开| 下载CSV

由表6可知,通过在基线算法中引入FE模块,模型平均精度提升了1.5百分点,帧率下降了26.8 帧/s;通过引入MSFF模块,模型平均精度提升了2.1百分点,帧率下降了11.4 帧/s;同时引入 MSFF 模块和FE模块,模型平均精度则提升了2.4百分点,帧率下降了28.6 帧/s.

3 基于可穿戴增强现实设备的着舰拉制状态识别原型系统

针对舰载机阻拦着舰引导任务中LSO的工作场景,设计和构建了基于可穿戴增强现实设备的着舰拉制状态识别半实物原型系统.该系统的设计和设备实物图如图10所示,包括增强现实眼镜、边缘计算盒以及着舰作业视频显示屏.

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 着舰拉制状态识别原型系统设备实拍图

Fig.10 Design and equipment of arrested landing state awareness system

增强现实眼镜既是数据采集终端又提供用户交互界面,边缘计算盒用于部署采用本文方法离线训练的识别模型,增强现实眼镜与边缘计算盒之间可通过Wi-Fi或有线的方式进行通信.拉制状态识别的结果(如尾钩识别与钩锁啮合状态识别的结果及置信度)和决策提示信息(如正常着舰、逃逸、复飞等)通过增强现实眼镜的光学组件叠加到参与着舰引导作业的LSO视场中,实现高效、即时人机交互与协同.

4 结语

研究基于视觉信息的舰载机阻拦着舰拉制状态识别,通过对舰载机尾钩及其与拦阻索的啮合状态识别实现拉制状态判定.针对舰载机着舰作业场景中小尺寸目标的识别任务,设计了基于自适应特征增强和融合的识别模型,通过引入特征增强模块和多尺度特征融合模块,更好地捕捉图像中的关键目标信息,有效提高了对识别目标的表征能力,提升了模型对小目标的识别性能.在自构的虚实融合着舰作业数据集上,评估了方法在舰载机尾钩识别任务和钩索啮合状态识别任务上的性能,结果证明本文方法在舰载机着舰拉制状态识别任务上的有效性.同时设计研发了面向着舰引导与指控作业场景的基于可穿戴增强现实设备的着舰拉制状态识别系统.未来将继续在算法的效率方面进行优化,扩展到更复杂的任务中,设计面向舰载机着舰态势识别与引导的人机协同的学习与决策计算框架,实现基于混合增强智能的舰载机着舰可信引导决策.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

王可, 徐明亮, 李亚飞,

等.

一种面向航空母舰甲板运动状态预估的鲁棒学习模型

[J]. 自动化学报, 2024, 50(9): 1785-1793.