基于无人机航拍的绝缘子掉串实时检测研究

图1 YOLOv5网络模型基本结构(像素级)

Fig.1 Structure of YOLOv5 network model(pixel level)

首先在网络输入部分,利用马赛克数据增强技术随机选取4张图片,随机缩放后进行拼接,产生一个即将输入网络的训练图片,与原始的以4张图片为输入相比,该方法增加了小目标数量,非常适合无人机视角下的绝缘子掉串故障检测场景,并能提升训练效率.马赛克数据增强技术处理前后效果如图2和图3所示.其中,标签0和1分别代表标记的绝缘子本体和掉串故障处.在此基础上还包括光度变换、几何变换和模拟遮挡等增强手段;在实际检测过程中,加入了自适应图片缩放技术,自动计算图片的最佳缩放系数,对原始图片自适应添加最少黑边(本文缩放至640像素×640像素),效果如图4所示.

图2

图2 马赛克数据增强处理之前效果

Fig.2 Effect before mosaic data enhancement processing

图3

图3 马赛克数据增强处理之后效果

Fig.3 Effect after mosaic data enhancement processing

图4

图4 自适应图片缩放技术

Fig.4 Adaptive image scaling technology

骨干部分负责提取特征映射,通过多次的卷积和池化操作,从输入中提取不同尺寸的特征图像.其中切片处理对3层640像素×640像素的输入图片进行切片操作,最终获得32层160像素×160像素的特征图,切片操作处理效果如图5所示.该结构可以提高网络的运行速度.Yolov5设计了两种CSP结构,以Yolov5s网络为例,CSP1_X结构应用于骨干的主干网络,另一种CSP2_X结构则应用于颈部^[15].CSP结构增强了网络的学习能力,减少了计算和内存消耗.骨干部分通过卷积操作,生成了大小分别为80像素×80像素、40像素×40像素和20像素×20像素的特征图,颈部结构融合这3种特征图后可获得更多上下层信息并减少信息丢失.在融合过程中,采用PANet的特征金字塔结构,如图6所示.其中,FPN为特征图金字塔网络,PAN为像素聚合网络.

图5

图5 切片操作处理

Fig.5 Processing of slicing operation

图6

图6 PANet结构(像素级)

Fig.6 Structure of PANet(pixel level)

卷积的层数越深,特征提取程度越深,该层携带的语义信息越强,位置信息越弱,如图7所示.假设在7像素×7像素的特征图上,每单元的感受野为1,经卷积层1后感受野为3,经卷积层2后感受野为5,此时每个单元能感受原图中5×5的区域范围,因此适合检测图像中较大的物体,但对相对位置信息的感知变差.所以,FPN结构将强语义特征从深层传递至浅层,同时PAN结构将强位置特征从浅层传递到深层,这两种结构共同加强了颈部结构的特征融合能力.在预测部分的检测过程中,YOLOv5以GIoU为损失函数^[16].IoU函数的示意图如图8所示,计算公式如下.

(1)f_IoU=

\frac{A ⋂ B}{A ⋃ B}

式中:A和B分别为真实标注框和算法预测框,当A与B不相交时,f_IoU=0,在很大范围内(不相交的区域),损失函数没有梯度,可用GIoU函数解决该问题.假设找到一个最小的封闭形状C,使得C可以把A和B包含在内,计算C中不含A和B的面积占C总面积的比率,令IoU值减去这个比率,表示为

(2)f_GIoU=f_IoU-

\frac{|C / (A ⋃ B) |}{|C|}

图7

图7 卷积对语义信息和位置信息的影响

Fig.7 Influence of convolution on semantic information and location information

图8

图8 IoU示意图

Fig.8 Schematic diagram of IoU

2 算法改进

为同时提升检测算法的速度、精度以及减小模型体积,本文以轻量的YOLOv5s网络模型为基础,采用BiFPN特征融合、DIoU损失函数优化,进行γ系数通道剪枝和微调技术优化网络,改进原生网络的综合性能,在最后输出层加入图像增强技术提升可视化效果,提高算法的实用性.

2.1 BiFPN特征融合和损失函数

算法将PANet结构替换为效果更佳的BiFPN结构,以更好平衡不同尺度的特征信息,PANet只有一条“由上至下”路径和一条“由下至上”路径,而BiFPN重复堆叠,获得更高级的特征融合方式,如果输入和输出的结点是同一尺度,则添加一条额外通道,在不损失信息的同时融合更多特征.BiFPN结构如图9所示^[17],其中P₃~P₇为路径.

图9

图9 BiFPN效果图^[17]

Fig.9 Rendering of BiFPN ^[17]

DIoU将目标与目标先验框之间的距离、重叠率和尺度都考虑在内,使得目标框回归变得更稳定.与IoU和GIoU不同,DIoU在训练过程中不会出现发散等问题,更加符合目标框回归的机制,效果如图10所示^[18].其中,b和b^gt分别为预测框(绿色虚线框)和真实框(黑色虚线框)的中心点,d为预测框和真实框的距离,最外围的灰色虚线框为能够同时包含预测框和真实框的最小包闭区域,c为该包闭区域的对角线距离.此时,DIoU的计算公式为

(3)f_DIoU=f_IoU-

\frac{ρ^{2} (b, b^{g t})}{c^{2}}

式中:ρ为计算两个中心点间欧氏距离的函数.当两个绝缘子过于接近时,其中一个绝缘子的预测框很可能被滤除,利用DIoU可在一定程度上提升对于靠近物体的检测效果.

图10

图10 DIoU效果图^[18]

Fig.10 Rendering of DIoU^[18]

2.2 基于γ系数的通道剪枝和微调

基于YOLOv5s绝缘子掉串检测模型在算力较低的上位机端运行时,检测速度无法满足要求.通过缩减输入图片尺寸可以提升检测速度,减少运算量,但是这将极大降低检测效果,同时模型体积依然在14 MB左右,因此需要对模型进行压缩.在检测算法的压缩处理中,基于缩放因子γ的通道剪枝是一种十分经典的方法,该方案可以减小模型体积和运行时的内存占用,在不影响检测精度的同时,降低模型计算量.该方法的基本原理如下:首先对输入网络初始化,在训练期间不断甄别BN层中不重要的网络通道,将和这个通道有关联的所有输入和输出的连接都剪切,实现通道的稀疏化,进而在几乎没有损失的情况下获得一个紧凑的网络,基本流程如图11所示.

图11

图11 基于γ系数的通道剪枝基本步骤

Fig.11 Basic steps of channel pruning for γ coefficient

在通道稀疏正则化训练时,需要将其强加到训练的目标函数中,目标函数为

(4)L=

\sum_{(x, y)}

l(f(x, W), y)+λ

\sum_{γ \in Γ} |γ|

式中:第一项中的l为正常训练下卷积神经网络的损失函数,(x, y)为训练的输入和目标,W为网络中可训练权重;第二项作为惩罚项,其中λ为正则系数,起到平衡这两项的作用,可根据数据集调整, $\sum_{γ \in Γ} |γ|$ 为所有BN层的L₁范数.训练的过程即为优化L并使之最小化的过程,依据梯度下降算法对L求导:

(5)L'=∑l'+λ∑γsign(γ)

式中:sign为符号函数,此时即可获取L的最小值.对缩放因子γ经过L1正则化并与权重损失函数联合优化处理后,进入修剪通道阶段.

在根据缩放因子γ修剪通道时,本质上是要剪切所有与该通道相关的输入和输出连接关系,获得一个更窄的网络,逻辑如图12所示^[19].

图12

图12 裁剪BN层中不重要的通道^[19]

Fig.12 Prune unimportant channels in BN layer^[19]

图12中,缩放因子γ起到通道选择的作用,通过γ的正则项和权重损失函数联合优化,网络会自动鉴别不重要的通道(小于阈值),然后将其移除掉,几乎不影响网络的泛化性能.目前,大部分卷积神经网络采用BN层使得网络快速收敛并获得更好的性能^[20],通常BN层使用Mini-batch梯度下降法的统计特性将内部激活值归一化,与缩放因子γ结合后,即产生如下所示的转化:

(6)z_out=

\frac{γ (z_{i n} - μ_{β})}{\sqrt{σ_{β}^{2} + ε}}

+β

式中:z_in和z_out分别为输入和输出;μ_β和σ_β分别为输入激活的平均值和标准偏差值;ε和β为可训练的仿射变换参数(标度和移位),可将归一化的线性激活转换成任何标度,β对应偏置量.每个通道激活大小,即z_out和系数γ正相关,如果γ接近于0,则激活值也非常小,即可判定该通道为不重要的通道而修剪掉.γ值的界定取决于人为在整个网络中所有层设置的全局阈值,即剪枝率,被定义为所有缩放因子γ的一个比率.例如,当要剪掉整个网络40%的通道时,首先需要对所有缩放因子γ进行排序,以从小到大的顺序排列,将缩放因子γ增长序列中处在40%处的γ值定为阈值.

修剪不重要的通道后,检测网络的精度会有所下降,下降程度取决于剪枝率,一般可以通过微调剪枝之后的模型后再训练使其精度恢复^[21].微调网络是指将预训练模型网络中的全连接层换成实验数据集类别数的全连接层,且采用预训练好的网络参数为训练的初始值,并在该网络中采用相对较小的数据集即绝缘子掉串故障数据集进行再训练,这将节约大量的训练时间且有助于网络性能的提高.通过上述方法,便可将通道稀疏正则化、根据缩放因子γ和微调修剪网络3个步骤迭代使用,在精度无法提高时结束迭代,此时即可输出一个紧凑高效的绝缘子掉串故障检测网络模型.

2.3 图像增强

在无人机实际航拍中,实时检测时的图像会出现亮度过大、因天气原因导致图像不清晰以及背景复杂等问题,为减轻巡检人员的视觉负担,同时在一定程度上弥补故障部位检测精度相对较低的问题,在改进的检测算法输出处进行图像增强处理.将检测到的绝缘子抠选出来,在其他窗口并行展示.对其进行插值放大处理后,分别采用自动色阶算法、反色处理和拉普拉斯算子锐化等方法进行处理.采用上述方法在几乎不影响实时检测性能的同时优化缺陷部位的显示效果,效果如图13所示.绝缘子本体相对于掉串部位更易检测,将绝缘子抠选并进行多种图像增强处理,以此应对可能出现的由多种情况导致的图像显示不清晰问题,缓解监控压力,提升巡检工作效率.

图13

图13 图像增强处理

Fig.13 Processing of image enhancement

3 消融实验

本文的训练环境为Windows10系统,搭载i7-10700FCPU@2.90 GHz、GeForce RTX 3060 GPU和32 GB的随机存取存储器,代码基于PyTorch深度学习框架,Python版本为3.8,编译所用的集成开发环境为PyCharm.

3.1 数据集扩增

数据集来自上海市电力公司电力科学研究院,从 5 000 张无人机航拍绝缘子照片中人工筛选出501张,其中包括完整绝缘子和出现掉串故障的绝缘子.使用Labelimg工具重新打标,分为绝缘子整体和掉串故障两类,标签分别为“Insulator”和“defect”.另外考虑到可能存在特殊天气下的巡检问题,使用Imgaug工具包将数据集扩增4倍,包括特殊天气条件如小雨、积雪和雾霾,效果如图14所示.最终获得数据集图片 2 004 张,图片分辨率从 1 656 像素×926像素到 5 184 像素×3 456 像素不等.将所有图片按照约6∶2∶2随机划分为训练集、验证集和测试集,3个集合的图片均不相同.

图14

图14 特殊天气下的数据扩增

Fig.14 Data amplification in special weather

在检测过程中,大于阈值则算作正确,否则算作错误.其中,真阳性(TP)即正确样本预测为正;假阳性(FP)即错误样本预测为正;假阴性(FN)即正确样本预测为负,没有检测到框;真阴性(TN)即错误样本预测为负.准确率(P)和召回率(R)计算如下:

(7)P=

\frac{T P}{T P + F P}

(8)R=

\frac{T P}{T P + F N}

以R为横轴,以P为纵轴,即可获取PR曲线,而平均精准度(AP)即为对PR曲线上的P求均值.对于PR曲线,AP的积分计算如下:

(9)AP=

\int_{0}^{1}

P(R)dR

AP值越大,模型效果越好.现阶段,大多目标检测采用mAP(所有检测类别的AP取均值即得到mAP作为衡量标准,本文采用mAP(50%),即阈值为0.5时的mAP值,检测速度以每张图片的检测时间为标准.

3.2 测试结果

采用消融实验验证算法性能,共测试了6组网络,分别在有无数据集扩增、DIoU损失函数、BiFPN结构以及γ系数的剪枝微调方面开展.所有网络的输入尺寸均为640像素×640像素,预训练模型均为官方提供的COCO数据集下的训练结果,超参数设置相同,训练、验证与测试均在本文自制数据集进行,以保证结果的有效性.所有训练结果均达到收敛状态,从网络模型的速度、精度和体积3个方面进行对比.

第1组测试使用扩增前的数据集,模型为YOLOv5s的原始网络;第2组使用扩充后的数据集,其他与第1组相同;第3~5组均在第2组的基础上,单独或同时添加BiFPN 和DIoU改进方法;第6组在第5组基础上增加基于γ系数的剪枝微调.在第6组实验过程中,首先进行稀疏训练,将本来趋于正态分布的BN层权重向0收敛,极小值越多,说明网络越稀疏.根据迭代情况调整学习率,稀疏训练前后的BN层权重分布如图15所示.其中,γ_G为BN层γ权重值,N为训练次数.

图15

图15 稀疏训练结果

Fig.15 Results of sparse training

可知,稀疏训练之前各层权重总体上在1附近正态分布,当学习率设为0.005,稀疏训练至N=200后的各层权重总体上向0靠拢,证明网络存在冗余,0附近的权重对网络检测效果的作用很低,因此可以剪掉其对应的通道,基本不影响网络检测能力,且减少计算量.值得注意的是,稀疏训练后网络的各项指标会有所下降,最后的微调操作会在一定程度恢复甚至提升网络模型的性能.通过循环稀疏、剪枝和微调3个操作,最终可以发现各层权重已经无法密集分布在0附近,达到饱和状态,如图16所示.将所有网络模型的测试结果汇总于表1.其中, $\bar{t}$ 为检测单张图片所需的时间,N_RAM为模型中需训练的参数所占内存.

表1 所有网络模型的测试结果汇总

Tab.1 Summary of test results of all network models

组别	网络模型	mAP(50%)			$\bar{t}$ /ms	N_RAM/MB	体积/MB
组别	网络模型	绝缘子整体	掉串故障位置	平均值	$\bar{t}$ /ms	N_RAM/MB	体积/MB
1	YOLOv5s	0.908	0.798	0.853	12.4	7.02	13.7
2	YOLOv5s+数据集扩充	0.927	0.861	0.894	12.5	7.02	13.7
3	YOLOv5s+数据集扩充+DIoU	0.939	0.862	0.901	12.5	7.02	13.7
4	YOLOv5s+数据集扩充+BiFPN	0.929	0.847	0.888	12.2	7.08	13.9
5	YOLOv5s+数据集扩充+ BiFPN +DIoU	0.945	0.868	0.907	12.7	7.08	13.9
6	YOLOv5s+数据集扩充+ BiFPN + DIoU+γ系数剪枝微调	0.951	0.906	0.929	9.3	2.79	5.60

新窗口打开| 下载CSV

根据表1结果分析可知,数据集扩充对平均检测精度影响较大,在原有网络模型的基础上提升了7.3%;在此基础上,DIoU在精度平均值上小幅提升了0.78%,BiFPN在速度上提升了2.5%,当两者同时引入时,精度平均值提升了1.5%,但速度却下降了1.6%,在追求高网络特征提取能力时损失了部分检测速度;最后对模型进行γ系数剪枝微调处理,精简冗余的网络参数,精度平均值提升了3.91%,速度提升了25.6%,体积下降了59.1%.

图16

图16 稀疏训练饱和

Fig.16 Saturation of sparse training

在本文数据集下,将所提模型与YOLOv5n、YOLOv3-tiny^[22]、YOLOv5s和YOLOXs^[23]轻量检测网络模型进行对比,训练结果和测试数据如图17和表2所示.可知,改进算法在精度、速度和体积方面均有提升,综合表现最佳.

图17

图17 轻量网络训练结果对比

Fig.17 Training results of lightweight networks

表2 轻量网络测试数据对比汇总

Tab.2 Summary of test data of lightweight networks

网络模型	mAP(50%)			$\bar{t}$ /ms	N_RAM/ MB	体积/ MB
网络模型	绝缘子整体	掉串故障位置	平均值	$\bar{t}$ /ms	N_RAM/ MB	体积/ MB
YOLOv3-tiny	0.901	0.897	0.899	5.4	8.67	16.6
YOLOv5n	0.883	0.636	0.760	9.5	1.76	3.74
YOLOv5s	0.927	0.861	0.894	12.5	7.02	13.7
YOLOXs	0.977	0.909	0.943	12.7	8.94	68.5
本文	0.951	0.906	0.929	9.3	2.79	5.60

新窗口打开| 下载CSV

此外,所提算法可正常检测绝大部分目标,部分检测结果如图18所示(未经图像增强处理).

图18

图18 不同场景下的检测效果

Fig.18 Detection effects in different scenarios

4 结语

提出一种改进YOLOv5s绝缘子掉串实时检测算法,方便巡线人员对绝缘子掉串故障快速定位,提升巡线效率.首先将特征融合结构替换为性能更佳的BiFPN结构,引入DIoU函数对损失函数进行优化;其次对模型进行基于γ系数的通道剪枝轻量化处理,并微调回准;最后在网络输出部分增加图像增强处理,缓解巡检人员的监测压力.实验结果表明,与其他轻量网络模型相比,该改进算法综合性能更佳;相较于原始的YOLOv5s,模型精度平均值提升了3.91%,速度提升了25.6%,体积下降了59.1%,具有较高的实际意义.另外,针对平台算力不足问题和便携性较差等问题,将来考虑引入5G通信技术,将处理工作放在云端,巡检人员仅需携带显示设备即可,实现智能实时检测.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

方挺, 董冲, 胡兴柳, 等.

航拍图像中绝缘子串的轮廓提取和故障检测

[J]. 上海交通大学学报, 2013, 47(12): 1818-1822.

FANG

Ting

, DONG

Chong

, HU

Xingliu

, et al.

Contour extraction and fault detection of insulator strings in aerial images

[J]. Journal of Shanghai Jiao Tong University, 2013, 47(12): 1818-1822.

[2]

李映国, 杨宏, 徐郁, 等.

基于Alexnet网络的绝缘子自爆无人机巡检技术研究

[J]. 智慧电力, 2021, 49(8): 104-109.

Yingguo

, YANG

Hong

, XU

, et al.

Insulator self-explosive inspection technology based on alexnet network in UAV grid inspection

[J]. Smart Power, 2021, 49(8): 104-109.

[3]

王卓, 王玉静, 王庆岩, 等.

基于协同深度学习的二阶段绝缘子故障检测方法

[J]. 电工技术学报, 2021, 36(17): 3594-3604.

WANG

Zhuo

, WANG

Yujing

, WANG

Qingyan

, et al.

Two stage insulator fault detection method based on collaborative deep learning

[J]. Transactions of China Electrotechnical Society, 2021, 36(17): 3594-3604.

[4]

李彬, 汪诚, 丁相玉, 等.

改进YOLOv4的表面缺陷检测算法

[J/OL].(2021-11-15)[2021-12-06]. https://doi.org/10.13700/j.bh.1001-5965.2021.0301.

Bin

, WANG

Cheng

, DING

Xiangyu

, et al.

Surface defect detection algorithm based on improved YOLOv4

[J/OL].(2021-11-15)[2021-12-06]. https://doi.org/10.13700/j.bh.1001-5965.2021.0301.

[5]

毛昭勇, 王亦晨, 王鑫, 等.

面向高速公路的车辆视频监控分析系统

[J]. 西安电子科技大学学报, 2021, 48(5): 178-189.

MAO

Zhaoyong

, WANG

Yichen

, WANG

Xin

, et al.

Vehicle video surveillance and analysis system for the expressway

[J]. Journal of Xidian University, 2021, 48(5): 178-189.

[6]

符惠桐, 王鹏, 李晓艳, 等.

面向移动目标识别的轻量化网络模型

[J]. 西安交通大学学报, 2021, 55(7): 124-131.

Huitong

, WANG

Peng

, LI

Xiaoyan

, et al.

Lightweight network model for moving object recognition

[J]. Journal of Xi'an Jiaotong University, 2021, 55(7): 124-131.

[7]

JOCHER

Yolov5

[DB/OL]. (2021-10-28)[2021-12-06]. https://github.com/ultralytics/yolov5.

[8]

REDMON

, DIVVALA

, GIRSHICK

, et al.

You only look once: Unified, real-time object detection

[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 779-788.

[9]

REDMON

, FARHADI

YOLO9000: Better, faster, stronger

[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 6517-6525.

[10]

REDMON

, FARHADI

YOLOv3: An incremental improvement

[EB/OL]. (2018-04-08)[2021-12-06]. https://arxiv.org/abs/1804.02767.

[11]

BOCHKOVSKIY

, WANG

C Y

, LIAO

H Y

YOLOv4: Optimal speed and accuracy of object detection

[J/OL]. (2020-04-23)[2021-12-06]. https://arxiv.org/abs/2004.10934v1.

[12]

FACEBOOK

AI RESEARCH

PASCAL visual object classes challenge

[EB/OL]. (2012-01-01) [2021-08-20]. https://paperswithcode.com/dataset/pascal-voc.

[13]

GOOGLE

Global wheat detection

[EB/OL]. (2020-08-05)[2021-08-20]. https://www.kaggle.com/c/global-wheat-detection.

[14]

LIN

T Y

, MAIRE

, BELONGIE

, et al.

Microsoft COCO: Common objects in context

[M]// Computer vision-ECCV 2014. Germany: Springer, 2014: 740-755.

[15]

WANG

C Y

, MARK

LIAO H Y

, WU

Y H

, et al.

CSPNet: A new backbone that can enhance learning capability of CNN

[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Seattle, WA, USA: IEEE, 2020: 1571-1580.

[16]

REZATOFIGHI

, TSOI

, GWAK

, et al.

Generalized intersection over union: A metric and a loss for bounding box regression

[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE, 2019: 658-666.

DOI:10.1609/aaai.v34i07.6999 URL [本文引用: 3]

[17]

TAN

M X

, PANG

R M

, LE

Q V

EfficientDet: Scalable and efficient object detection

[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, WA, USA: IEEE, 2020: 10778-10787.

[本文引用: 3]

[18]

ZHENG

Z H

, WANG

, LIU

, et al.

Distance-IoU loss: Faster and better learning for bounding box regression

[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 12993-13000.

[19]

LIU

, LI

J G

, SHEN

Z Q

, et al.

Learning efficient convolutional networks through network slimming

[C]// 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE, 2017: 2755-2763.

[本文引用: 3]

[20]

HAN

, MAO

H Z

, DALLY

W J

Deep compression: Compressing deep neural network with pruning, trained quantization and huffman coding

[J]. Fiber, 2015, 56(4): 3-7.

[21]

孙文宇, 曹健, 李普, 等.

基于全局信息的卷积神经网络模型剪枝微调优化方法

[J]. 北京大学学报(自然科学版), 2021, 57(4): 790-794.

SUN

Wenyu

, CAO

Jian

, LI

, et al.

Pruning and fine-tuning optimization method of convolutional neural network based on global information

[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2021, 57(4): 790-794.

[22]

GONG

, LI

, XU

, et al.

Object detection based on improved YOLOv3-tiny

[C]// 2019 Chinese Automation Congress. Hangzhou, China: IEEE, 2019: 3240-3245.

[23]

, LIU

S T

, WANG

, et al.

YOLOX: Exceeding YOLO series in 2021

[J/OL].(2021-07-18)[2021-12-06]. https://arxiv.org/abs/2107.08430.