上海交通大学学报

上海交通大学学报, 2023, 57(10): 1316-1328 doi: 10.16183/j.cnki.jsjtu.2022.202

机械与动力工程

基于泊松融合数据增强的焊缝金相组织缺陷分类研究

白雄飞1, 龚水成1, 李雪松,1,3, 许博2, 杨晓力3, 王明彦3

1.上海交通大学 机械与动力工程学院, 上海 200240

2.上汽大众汽车有限公司, 上海 201805

3.湖南华研实验室有限公司, 湖南 湘潭 411000

Defect Classification of Weld Metallographic Structure Based on Data Augmentation of Poisson Fusion

BAI Xiongfei1, GONG Shuicheng1, LI Xuesong,1,3, XU Bo2, YANG Xiaoli3, WANG Mingyan3

1. School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China

2. SAIC Volkswagen Automotive Co., Ltd., Shanghai 201805, China

3. Hunan Huayan Laboratory Co., Ltd., Xiangtan 411000, Hunan, China

通讯作者: 李雪松,副教授,博士生导师,电话(Tel.):021-34206069;E-mail:xuesonl@sjtu.edu.cn.

责任编辑: 李博文

收稿日期: 2022-05-31   修回日期: 2022-08-4   接受日期: 2022-08-26  

基金资助: 国家自然科学基金(E52006140)
湖南省科技创新计划资助项目(2020RC5021)

Received: 2022-05-31   Revised: 2022-08-4   Accepted: 2022-08-26  

作者简介 About authors

白雄飞(1999-),硕士生,从事目标检测与目标分割研究.

摘要

基于焊缝金相组织图像对焊缝内部缺陷进行分类,是工业焊接质量检测的重要一环.为提高小样本(样本数不大于30)焊缝金相组织图像中缺陷的分类效果,采用泊松融合方法对缺陷图像进行数据增强,提出ResNet18_PRO分类网络模型,显著提升缺陷分类精度.数据增强方面,通过数字图像处理的方法提取出原缺陷样本中的缺陷区域,后利用泊松融合方法将缺陷区域与正常样本进行融合从而生成新的缺陷样本,以此扩充缺陷样本数据;网络模型方面,在ResNet18网络模型基础上,对其下采样结构进行改进,以减少原下采样结构带来的信息损失,同时在网络末端增加改进的空间金字塔池化(ISPP)结构,以整合多尺度的特征信息.通过多个分类模型对样本扩充前后的缺陷分类效果进行对比,验证了该数据增强方法对分类效果的提升具有较为显著的作用,同时对ResNet18_PRO网络模型进行消融实验,验证了网络各改进部分及训练策略改进的有效性.ResNet18_PRO模型对增强后的数据平均分类准确度达到98.83%,平均F1分数达到98.76%,显著提高了金相组织缺陷的分类效果,将该模型运用于其他工业缺陷数据集取得了较好的分类效果.实验结果表明,该模型有良好的鲁棒性,具有较好的实用价值.

关键词： 焊缝金相组织; 数据增强; 泊松融合; 缺陷分类

Abstract

The classification of the defects in welding applications based on the metallographic structure images plays an important part in industrial welding quality inspections. In order to improve the classification performance of defects in the weld metallographic structure images with a small sample dataset available (the amount of samples being less than 30), a Poisson fusion method is used for data augmentation of the defect images and the ResNet18_PRO network is proposed. Both of the methods notably improve the defects classification performance. During data augmentation, the defect area is extracted from original defect samples via digital image processing, and the defect area is fused with normal samples by the Poisson fusion method to generate new defect samples, thus increasing the number of defect samples. The model in this paper is improved based on the ResNet18 network. The downsampling structure is improved to reduce the information loss in the original downsampling structure, and an improved space pyramid pooling structure is added at the end of the network to integrate multi-scale feature information. The classification performance before and after data augmentation is compared by different classification models, which verifies the significant effect of the data augmentation on the classification performance. Meanwhile, the ablation experiment of the ResNet18_PRO is conducted to verify the effectiveness of the improved network structure and the training strategy. It is found that the average classification accuracy of ResNet18_PRO reaches 98.83% and the average F1-score reaches 98.76%, which greatly improves the classification accuracy of metallographic structure defects. Finally, the network is trained and tested with another industrial defect dataset and obtains good classification results. These results show that the proposed network has a good robustness and practical application value.

Keywords： weld metallographic structure; data augmentation; Poisson fusion; defect classification

PDF (10332KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

白雄飞, 龚水成, 李雪松, 许博, 杨晓力, 王明彦. 基于泊松融合数据增强的焊缝金相组织缺陷分类研究[J]. 上海交通大学学报, 2023, 57(10): 1316-1328 doi:10.16183/j.cnki.jsjtu.2022.202

BAI Xiongfei, GONG Shuicheng, LI Xuesong, XU Bo, YANG Xiaoli, WANG Mingyan. Defect Classification of Weld Metallographic Structure Based on Data Augmentation of Poisson Fusion[J]. Journal of Shanghai Jiaotong University, 2023, 57(10): 1316-1328 doi:10.16183/j.cnki.jsjtu.2022.202

在工业生产过程中,焊接工艺被广泛运用,是工业制造过程的重要一环[1].由于焊接操作不当及焊件本身材料特性等原因,焊缝表面及内部可能会产生一定的缺陷,焊缝内部缺陷包括气孔、裂纹、焊穿及未熔合等[2],这些缺陷会严重影响焊接部位的疲劳强度和使用寿命[3],进而降低产品的整体质量,带来较大的安全隐患,因此需要对焊接部位进行严格的质量检测.焊缝内部缺陷常用的检测方法有射线探测法[4],为了更精准地了解焊缝内部缺陷情况,可以对焊缝横截面处的金相组织进行缺陷检测[5].许多场景都需要对焊缝进行缺陷分类,但目前对金相组织图片进行自动化缺陷分类的研究较少,而对焊缝X射线图片进行缺陷分类的研究已有一定基础[6⇓-8],这些缺陷分类方法也可较好地应用于金相组织图片分类.

传统焊缝缺陷分类通常由人工完成,劳动强度大、效率低且易因视觉疲劳造成一定的误检[9].随着机器学习及计算机视觉技术的快速发展, 基于机器学习的计算机视觉技术已被广泛运用于焊缝缺陷分类,极大提高了缺陷分类的效率及准确度.罗爱民等[10]将二叉树与支持向量机(SVM)结合,对6类且每类含130张图片的焊缝X射线图像进行分类,最终每类的分类准确度均在87%以上;Duan等[6]利用机器学习之自适应增强(AdaBoost)对5类焊缝X射线图像缺陷进行分类,取得了85.5%的分类准确度和91.66%的真阳性率(True Positive Rate);刘欢等[11]提出了CC-ResNet对焊缝X射线图像进行缺陷分类,将ResNet每一层卷积变为两个不同尺度的卷积,将结果在深度方向进行拼接,充分利用多尺度信息,取得了98.52%的平均召回率及95.23%的平均准确度;谷静等[12]提出了SINet模型,将Inception模块和SE模块进行组合,以提高网络对特征的提取及组合能力,最终得到了96.77%的分类准确度.上述论文中的训练数据均较多且不平衡程度较低,模型能有足够的数据学习相应的缺陷特征.

深度学习训练需要数量较大且较平衡的数据[13⇓-15],对于样本数量较少的数据,容易使模型对数据产生过拟合,从而大大降低模型的泛化性能[16],故通常需要进行数据增强.李钧正等[14]通过梯度惩罚生成对抗网络(WGAN-GP)模型极大地扩充了钢板表面缺陷样本的数量,使缺陷分类准确度达到95%;马玲等[17]通过深度卷积生成对抗网络(DCGAN)生成了液晶显示器(LCD)表面缺陷样本数据,并使用迁移学习的方法提高了缺陷分类精度.针对分辨率较低的缺陷图片,用生成式模型可取得一定效果,但对分辨率较高的图片,很难生成高质量图片.

因焊缝金相组织图像数据中缺陷样本数量很少、图片分辨率较高且缺陷较为复杂,故很难通过生成对抗网络(GAN)模型进行数据扩充.针对这些问题,使用泊松融合的方法合成新的缺陷样本,从而达到数据增强的目的.同时,在ResNet18分类网络模型的基础上进行改进,提出ResNet18_PRO网络模型.具体安排如下:首先,具体介绍泊松融合的相关原理;其次,介绍ResNet18网络模型结构及ResNet18_PRO的相关设计,在此基础上阐述相关实验,包括缺陷样本合成实验及缺陷分类实验,并对实验结果进行相应分析,以此验证该数据增强方法对分类效果的提升作用,通过对ResNet18_PRO网络模型进行消融实验,分析网络各改进部分对分类效果的影响以验证各改进部分的有效性;最后,将ResNet18_PRO网络模型运用于其他工业缺陷数据集,以验证该模型的鲁棒性.

1 研究方法与原理

1.1 泊松融合原理

泊松融合主要利用融合区域的散度与源图像的散度相等及融合区域边界的像素值与目标图像在边界处的像素值相等两个条件,通过拉普拉斯算子构建相应的拉普拉斯方程,利用方程的解对融合区域各位置进行插值,如图1所示.图中,g为源图像函数(已知);v为g的引导场;D为合成后的整体图像区域;S为融合区域;∂S为融合区域边界;t为S区域的图像函数(未知待求);t*为目标图像在区域(D-S)的函数(已知).为使融合区S尽可能保持原来图像g的纹理信息,需要最小化S区域的梯度与v之间的差距.由于图像梯度可以较好地反映图像纹理信息,所以以g的梯度场Δg作为引导场,同时为保证融合区边界无明显过渡痕迹,使t*与t在边界∂S处保持相等,得到方程[18]如下:

mint∫∫SΔt-v2= mint∫∫SΔt-Δg2, t*|∂S=t|∂S

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1   泊松融合原理图

Fig.1   Diagram of Poisson fusion theory


为便于表示,定义J=Δt-Δg2并化简,tx及ty分别表示函数t在x及y方向的梯度.

J= Δt-Δg2= (tx,ty)-(gx,gy)2= (tx-gx)2+(ty-gy)2

式(2)的最优解t必须满足相应的欧拉-拉格朗日方程[19]:

∂J∂t-∂∂x∂J∂tx-∂∂y∂J∂ty=00-∂∂x[2(tx-gx)]-∂∂y[2(ty-gy)]=　2∂2g∂x2+∂2g∂y2-2∂2t∂x2+∂2t∂y2=0

得到最优解t满足的条件[18]为

Δt=Δg, t*|∂S=t|∂S

由式(4)可知,要使S区域纹理信息与g中的纹理信息保持一致,两者的散度需要保持相等.图像f在(x,y)位置处的散度Δf(x,y)的计算公式为

Δf(x,y)=f(x-1,y)+f(x+1,y)+f(x,y-1)+f(x,y+1)-4f(x,y)

缺陷融合具体步骤如下.

(1) 求解梯度场:求解目标图像和源图像的梯度场.

(2) 重建梯度场:用源图像梯度场对目标图像在融合位置处的梯度场进行置换,得到重建的梯度场.

(3) 重建散度场:对重建的梯度场进行求导,得到相应的散度场.

(4) 构建拉普拉斯方程:根据式(5)在融合区域用待求的像素值计算散度,与散度场中的值建立等式关系,同时令融合边界上的像素值直接等于目标区域在边界上的像素值,构建拉普拉斯方程.

(5) 对融合区域进行插值:求解拉普拉斯方程,并将方程的解赋值到融合区域的相应位置,得到融合图像.

1.2 ResNet18网络原理

ResNet网络由He等[20]于2015年提出,主要利用残差结构解决因网络过深导致网络难以训练的问题.残差结构是利用捷径(shortcut)连接使神经网络学习对应的残差函数F(x)=G(x)-x,有效缓解因网络太深造成的梯度消失问题,如图2所示.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2   残差结构

Fig.2   Residual structure


1.3 可学习的双池化结构

如图3中的红色虚线所示,每个层之间都需要对上一层输出的特征进行下采样以降低特征图尺寸,具体结构如图4(a)所示.Shortcut连接部分通过核尺寸(kernel size)为1×1的卷积并设置卷积步长(stride)为2来达到下采样目的,此过程中会损失较多细节信息,一定程度上会影响分类效果.为减少下采样过程中的信息损失,提出了LDPS.将原下采样中卷积操作步长改为1,通过核尺寸为3×3且步长为2的平均池化和最大池化操作实现下采样,如图4(b)所示,使被下采样特征层的所有位置信息都能被使用,进而极大减少了下采样过程中的信息损失.由于平均池化主要反映整体特征信息,而最大池化主要反映局部特征信息,所以通过两个可学习的向量对平均池化和最大池化所得的结果进行选择性利用,向量的长度与池化所得特征通道数相同,两向量对应元素的和为1,即对两个池化结果中对应的每一个通道进行线性组合,提高网络对局部特征和整体特征捕获能力,从而向下传递更有用的信息.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3   ResNet18模型结构图

Fig.3   ResNet18 model structure


图4

新窗口打开| 下载原图ZIP| 生成PPT

图4   下采样结构

Fig.4   Downsampling structure


1.4 改进的空间金字塔池化结构

对于缺陷分类而言,由于缺陷本身的尺寸变化较大,所以要提高对缺陷的分类准确度,需提高网络对缺陷尺寸变化的捕获能力和整合能力.通过对下采样结构进行改进,减少下采样过程中的信息损失,综合利用局部特征和整体特征信息,提高网络对尺度变化的捕获能力.对于提高多尺度信息的整合能力,在网络末端增加了改进的空间金字塔池化(ISPP)结构.ISPP主要将空间金字塔池化(SPP)结构与1×1卷积相结合,从而提高对网络末端多尺度特征信息的聚合能力,如图5所示.首先使用SPP结构对第4层输出的特征进行多尺度池化, 共包含输出尺寸为1×1、2×2及3×3的3种平均池化操作,用于提高对多尺度特征信息的提取能力[21],后通过1×1卷积对池化所得结果的各通道进行线性组合并将通道数从512压缩至64,对各通道提取的特征信息进行整合,从而提取更丰富的特征信息,通道数的减少能极大地降低全连接层的计算量[22].

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5   改进的SPP结构

Fig.5   Improved SPP structure


2 实验与结果分析

2.1 原始实验数据集

实验所用的原始数据为焊缝金相组织图片数据集,图片尺寸大小为 2560像素×1920像素,尺寸过大,由于缺陷只存在于焊接熔核部位,因此提取出熔核部位并调整为416像素×416像素,包含正常、气孔及裂纹3种缺陷类型,如图6所示.气孔指焊接过程中,因焊接熔池中的气体未全部及时逸出而在焊缝内部形成的孔穴.裂纹指焊接接头局部区域遭到破坏而形成新界面所产生的缝隙[23].正常、气孔及裂纹样本数量分别为966、81、26,由此可知,原始数据中各缺陷类型的样本数量极不平衡,为不平衡数据.

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6   缺陷类型

Fig.6   Defect types


2.2 缺陷样本合成实验

利用泊松融合将正常样本与缺陷区域进行样本合成,结果如图7所示.首先以如图7(a)所示的正常样本为背景,在背景上随机选取融合位置并提取待融合的缺陷区域,为简化操作,先从如图7(b)所示的缺陷样本中裁剪出含缺陷的较大区域,如图7(c)所示;然后从该较大区域中提取待融合的缺陷部分,主要通过对该较大区域进行二值分割得到黑白二值图即二值掩膜,再根据二值掩膜的白色区域确定待融合的缺陷区域.二值掩膜的提取步骤如下:

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7   泊松融合实验结果

Fig.7   Result for Poisson fusion experiment


(1) 将含缺陷的较大区域转变为灰度图像.

(2) 对该灰度图像进行二值分割.

(3) 利用形态学中的开操作去除细小毛刺,再通过闭操作消除相应的孔洞.

(4) 最终得到二值掩膜图像,如图7(d)所示.

若直接用得到的二值掩膜图确定待融合区域,则待融合区域为缺陷区域本身,如图7(e)所示,将其与正常样本进行融合,由于泊松融合能使融合区域边界平滑过渡,导致缺陷本身靠近边界的部分成为过渡区域,极大影响了缺陷本身的颜色和纹理, 如图7(f)所示.为消除这种影响,对二值掩膜图像反复运用形态学中的膨胀操作,扩大二值掩膜区域范围的同时还能保持大体形状不变,结果如图7(g)所示,相应的待融合区域如图7(h)所示.缺陷区域与边界区域保持一定距离,从而使融合结果更好地保持原缺陷的颜色和纹理特征,如图7(i)所示.

将所有的缺陷区域与正常样本进行随机融合,并对缺陷大小、融合位置以及缺陷旋转角度进行随机变化以增加生成样本的多样性,极大地扩充了缺陷样本数量,具体生成策略如下.

(1) 对正常样本进行灰度处理及二值化处理得到相应的黑白二值图像,记为“bin_img”.

(2) 从“bin_img”顶部中间位置wmid,由上至下依次探测得到金相组织区域上下边界的位置h1及h2,由此计算出金相组织区域中心处的大体高度位置hmid=(h1+h2)/2.

(3) 以(wmid,hmid)为起始中心点,通过增加相应的偏移量得到随机中心点(wmid+Δw, hmid+Δh),以该点作为融合位置的中心点.

(4) 每个正常样本最多融合两个不同的缺陷.

若只融合一个缺陷:

Δw∈-W4,W4, Δh∈-H4,H4

若同时融合两个缺陷:

Δw1∈-W4, -W8, Δh1∈-H4, -H8
Δw2∈W8,W4, Δh2∈H8,H4

其中:W为整个图片的宽度;H为金相组织区域的高度,H=h2-h1.

(5) 对于待融合的缺陷图片,则通过缩放变换(缩放比例范围为[0.8,1.2])、翻转变换、旋转变换(角度变化范围为[-30°,30°])及融合缺陷数量变化 (范围为[1,2])等操作进行处理.

(6) 最终得到相应的合成图片.

由于正常样本数量是固定不变的966份,为使正常、气孔及裂纹3种类型的图片数量保持平衡,分别从合成得到的大量气孔和裂纹样本中均匀采样部分缺陷样本(约950份)用于后续实验,最终各缺陷样本数量变化如表1所示.

表1   数据增强后样本数量变化

Tab.1  Change of number of sample after data augmentation

图片类型原始样本数增强后的样本数
气孔81950
裂纹26946
正常966966

新窗口打开| 下载CSV


2.3 实验环境及相关参数设置

实验环境为windows10操作系统,深度学习框架为Pytorch 1.8.0版本,硬件设备为Nvidia GEFORCE RTX 2070 Super,8GB显存.少部分实验由于本地设备显存不足,故使用了华为昇腾平台进行训练.为验证在原始数据不足的情况下,使用泊松融合方法进行数据增强对缺陷分类效果的影响,共设置了两组对比实验,分别为利用原始数据以及扩充之后的数据进行实验.实验对比了4个深度神经网络模型VGG13、GoogLeNet、ResNet18、ResNet18_PRO,以探究合成数据对模型的鲁棒性及对分类效果的提升作用.缺陷分类实验中,训练集、验证集及测试集的比例为7∶2∶1,批量大小(Batch Size)设为32,采用Adam优化器进行参数优化, 权重衰减(weight decay)设置为5×10-4,为使模型能进一步学到最优解空间,采用指数衰减学习率(Exponential LR, ELR)策略,初始学习率为10-3,伽马(gamma)参数设置为0.95.

在分类任务中,需要根据分类的侧重点选择相应的评价指标,合适的评价指标能更准确地反映模型真实分类效果.常见的评价指标包括准确度(Accuracy)、精确率(Precision)、召回率(Recall)及F1分数,如表2所示.式中,NTP表示预测为阳性且预测正确;NTN表示预测为阴性且预测正确;NFP表示预测为阳性但预测错误;NFN表示预测为阴性但预测错误.在多分类任务中,准确度主要针对所有类型的样本,表示所有被检测样本中检测正确的样本所占的比例;而精确率和召回率主要针对特定的类别来计算,精确率表示预测为该类别的所有样本中被正确预测的样本所占的比例,精确率越高,表明该类别的误检率越低;召回率表示所有该类别的真实样本中被正确检测的比例,召回率越高,表示该类别的漏检率越低;F1分数为精确率和召回率的调和平均值,兼顾了误检率和漏检率.

表2   评价指标及公式

Tab.2  Metrics and formula

度量指标公式
准确度Macc=NTP+NTNNTP+NTN+NFP+NFN
精确率Mpre=NTPNTP+NFP
召回率Mre=NTPNTP+NFN
F1-scoreF1=2MpreMreMpre+Mre

新窗口打开| 下载CSV


在平衡的数据中,以上指标都能较好地反映模型的分类效果,但在不平衡的数据中,准确度容易受到样本数据分布的影响,会更倾向于样本数量较多的类别而忽略样本较少的类别,因此可能会得到次优模型,并可能产生错误结论[24-25].F1分数可以兼顾误检率和漏检率,可针对某一个特定的类别进行度量,且受其他类别样本影响较小,因此使用F1分数作为评价指标.同时与准确度进行对比,一方面可以更准确地反映真实的分类效果;另一方面可以更好地展示数据增强前后分类效果的变化,以便进行相关分析.金相组织数据有正常、气孔、裂纹3类图片,为了更好地反映模型对每类图片具体的分类效果及3类图片整体的分类效果,分别计算每一类缺陷相应的F1分数值及相应的宏平均值,如下式所示:

$\bar{F}_{1}^{\mathrm{ma}}=\frac{F_{1}^{\mathrm{no}}+F_{1}^{\mathrm{ho}}+F_{1}^{\mathrm{cr}}}{3}$

式中:F1no、F1ho、F1cr分别为正常、气孔、裂纹图片分类的F1分数.该宏平均值为3类缺陷F1分数的平均值,可以反映模型对3类缺陷的总体分类性能.

2.4 原始数据分类实验结果与分析

原始数据缺陷分类实验中,由于数据量较少且正常、气孔、裂纹样本数量之比约为45∶4∶1,各类型的样本数量极不平衡.为了更加充分地利用数据,进行5折交叉验证,即取5次验证结果的平均值作为最终结果数据,使结果更加可靠,避免偶然性,得到验证集分类准确度随训练过程的变化曲线,如图8所示.

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8   各模型在验证集上分类准确度变化(原始数据)

Fig.8   Accuracy curve of all models on validation dataset (original dataset)


由图8可知,各模型的分类准确度均在90%以上,同时ResNet18_PRO网络模型的分类准确度比其他3个模型要高且收敛更稳定,表明ResNet18_PRO网络模型在分类效果及训练稳定性方面优于其他3个模型.但在不平衡数据集中,该分类准确度并不能准确反映实际分类效果,为反映真实的分类效果,对各类缺陷的F1分数及其宏平均值进行分析,结果如图9所示.

由图9可知,正常图片分类的F1分数远高于气孔和裂纹两者分类的F1分数,而反映整体分类效果的$bar{F}_{1}^{ma}$较低.由此可知,各分类器对正常图片的分类效果很好,而对其余两类图片分类效果较差,从而导致整体分类效果较差.这是因为在不平衡的数据下,分类效果会极大地受到数量最大的一类样本影响,而正常样本数量约占总样本数的90%,所以会使分类器在分类时向正常样本倾斜,而减少对另外两类样本的关注,导致模型更容易将其他缺陷的样本预测为正常样本.这种分类倾斜也是各模型所得分类准确度均在90%以上的主要原因,假设分类器将所有样本均预测为正常样本,也能得到90%的分类准确度.因此在该不平衡的数据中, $\bar{F}_{1}^{ma}$比分类准确度更能准确反映真实分类效果.

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9   各模型在验证集上F1分数变化(原始数据)

Fig.9   F1-score of all models on validation dataset (original data)


由图9(a)~(c)可知,在4个模型中,ResNet18_PRO对正常、气孔及裂纹图片的分类效果均优于其余3个分类模型;由9(d)可知,ResNet18_PRO的总体分类效果也为最优.主要由于ResNet18_PRO 模型在ResNet18的基础上使用了LDPS 结构,减少了下采样过程中的信息损失,并选择了对分类结果更有利的信息进行传递.同时在网络末端增加了ISPP结构,增强了网络对多尺度特征的提取和整合能力,因此ResNet18_PRO模型的分类效果优于其余3个模型.但由于气孔和裂纹缺陷的样本数过少,ResNet18_PRO不能充分学习相应的特征信息,所以分类效果仍然较差,由此可知训练数据量的不足会限制分类模型性能的发挥.

为进一步测试模型整体性能,利用测试集对各分类模型进行测试,结果如表3所示.由表3可知,各分类器对原始数据中的气孔及裂纹分类效果较差,而实际生产中,需要对该两类缺陷进行准确的分类,因此该分类效果无法用于实际生产.

表3   各模型在测试集上的结果(原始数据)

Tab.3  Testing result of all models on test dataset (original data)%

模型准确度F1hoF1crF1no$bar{F}_{1}^{ma}$
VGG13+ELR34.452.250.0050.3017.71
GoogLeNet+ELR59.8868.370.0074.3347.57
ResNet18+ELR35.087.490.0050.6019.36
ResNet18_Pro+ELR64.3066.812.1186.6251.85

新窗口打开| 下载CSV


2.5 数据增强后分类实验与结果分析

通过泊松融合数据增强以后,气孔和裂纹样本数量均有较大的提升,各类型图片的样本数量大致相同,因此消除了数据不平衡现象.用4个分类模型分别对样本扩充后的数据进行训练,得到各模型对验证集的分类准确度随训练过程的变化如图10所示.

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10   各模型在验证集上分类准确度变化(数据增强后)

Fig.10   Accuracy curve of all models on validation dataset (after data augmentation)


与原始数据上的实验不同,此实验中各类型样本数量是平衡的,此时分类准确度可以较好反映真实分类效果.由图10可知,各模型所得的分类准确度均在95%以上,由此可知,各模型在增强后的数据上分类效果均有较大提升,表明该数据增强方法对分类效果的提升有较大作用.同时ResNet18_PRO模型的分类准确度为98.91%,在4个模型中最高,进一步反映了ResNet18_PRO网络模型的优越性.为进一步确定各类型样本分类效果也得到了类似提升,对各类缺陷的F1分数及其宏平均值进行分析,结果如图11所示.

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11   各模型在验证集上F1分数变化(数据增强后)

Fig.11   F1-score of all models on validation dataset (after data augmentation)


由图11可知,各模型对3类图片分类的F1分数值均在95%以上,相较于原始数据上的分类效果有了显著提升,尤其是对于气孔和裂纹缺陷的提升更加明显.这表明数据增强后,各缺陷样本数量增多且较为均衡,使分类效果得到较大提升.同时,ResNet18_PRO模型对各类缺陷的分类效果在4个模型中均为最优,进一步验证了该模型性能的优越性及稳定性.

各模型在测试集上的测试效果如表4所示.由表4可知,相比于原始数据上的测试结果,数据增强后各模型在测试集上的效果均有较大提升,且测试效果稳定,其中ResNet18_PRO的测试效果仍为最好,分类准确度为98.83%, $\bar{F}_{1}^{ma}$为98.76%.该测试结果远高于ResNet18_PRO在原始数据上的测试结果,表明缺陷样本数量的增加能使模型的分类性能进一步呈现.

表4   各模型在测试集上的结果(数据增强后)

Tab.4  Testing result of all models on test dataset (after data augmentation)%

模型准确度F1hoF1crF1no$\bar{F}_{1}^{ma}$
VGG13+ELR95.7895.6192.6398.3395.52
GoogLeNet+ELR97.8597.7496.5699.0797.86
ResNet18+ELR96.5696.9194.5797.6196.36
ResNet18_PRO+ELR98.8398.8897.9699.4598.76

新窗口打开| 下载CSV


为进一步分析ResNet18_PRO的分类性能,对测试过程中的部分成功案例进行分析.如图12所示,图12(a)、12(b)的真实标签分别为气孔和裂纹,4个模型得到的分类结果如表5所示.由表5可知,该两张图片在ResNet18_PRO模型上分类正确, 而在其余3个模型上分类错误.主要原因可能是图12(a)中的气孔边界处为黑色,而气孔内部大部分区域的颜色与金相图片本身的颜色十分接近,使另外3个模型在检测过程中将气孔内部误认为是正常区域,所以只对缺陷边界的上半周进行检测,使得模型将其误认为是细长的裂纹.图12(b)由于裂纹位置周围的颜色也较深,与裂纹本身的颜色较为接近,使其余3个模型没有检测到裂纹,而将其误判为正常图片.ResNet18_PRO模型由于减少了下采样过程中的信息损失,同时在网络末端加强了对信息的整合,能捕捉到更多的信息,使其得到正确的分类结果.

图12

新窗口打开| 下载原图ZIP| 生成PPT

图12   成功案例

Fig.12   Successful cases


表5   成功案例测试结果

Tab.5  Testing result of successful cases

来源真实标签VGG13+ELRGoogLeNet+ELRResNet18+ELRResNet18_PRO+ELR
图12(a)气孔裂纹裂纹裂纹气孔
图12(b)裂纹正常正常正常裂纹

新窗口打开| 下载CSV


与传统人工检测相比,采用该模型进行缺陷分类,既能得到较高的分类准确度也具有较快的检测速度,如表6所示.由表中可知,该模型在图形处理器(GPU)上的检测速度为100帧/s,远大于人工分类速度,能满足大部分工业相机的拍摄速度,可实现实时检测.

表6   人工分类与算法分类对比

Tab.6  Comparison of manual classification and algorithm classification

分类方法准确度/%分类速度/(帧·s-1)
人工分类99约1
ResNet18_PRO98.83GPU:约100
CPU:约10

新窗口打开| 下载CSV


2.6 ResNet18_PRO消融实验

为了验证ResNet18_PRO网络各改进部分及训练策略改进对分类效果的影响,通过控制变量思想对ResNet18_PRO进行消融实验,实验数据为样本扩充后的数据,训练集、验证集及测试集的比例仍为7∶2∶1,最终各模型在测试集上的结果如表7所示.验证网络结构改进时,为避免训练策略所带来的影响,训练均采用了0.001的固定学习率.

表7   消融实验结果

Tab.7  Result of ablation experiment%

类型模型准确度F1hoF1crF1no$\bar{F}_{1}^{ma}$
BaselineResNet1885.3177.3980.9295.3084.54
结构改进+ ISPP93.67(+8.36)93.01(+15.62)90.02(+9.10)97.68(+2.38)93.57(+9.03)
+LDPS96.37(+11.06)95.97(+18.58)94.72(+13.80)97.49(+2.19)96.06(+11.52)
+ ISPP +LDPS
(ResNet18_PRO)		97.34(+12.03)96.19(+18.83)96.24(+15.32)98.57(+3.27)97.00(+12.46)
策略改进ResNet18 +ELR96.56(+11.25)96.91(+19.52)94.57(+13.65)97.61(+2.31)96.36(+11.82)
ResNet18_PRO+ELR98.83(+13.52)98.88(+21.49)97.96(+17.04)99.45(+4.15)98.76(+14.22)

新窗口打开| 下载CSV


通过表7可知,相较于基线(Baseline)模型ResNet18的分类效果,LDPS和ISPP均能较好地提高模型的分类准确度和F1分数,表明两个改进均较有效,其中LDPS对分类效果的提升更为明显.这是由于ResNet18网络浅层部分有较多的信息损失,导致网络末端所提取的信息有效性减弱,而ISPP主要对网络末端的信息进行整合,其效果依赖于末端信息的质量,所以单纯增加ISPP对分类效果的提升并不明显.而LDPS较大减少了下采样过程中的信息损失,并将更有用的信息进行传递,使网络能提取更多更有效的信息,因此LDPS带来的效果提升更好.同时,经LDPS改进后,网络末端所得到的信息更有效,质量更高,此时再与ISPP结合,使ISPP能对更有效的信息进行整合,因此能进一步提升分类效果.由于已经验证了网络结构的有效性,所以对于训练策略的影响,直接用ResNet18和ResNet18_PRO两个模型进行验证,即在训练时使用动态学习率ELR.结果表明,两模型使用ELR后,分类效果得到进一步提升,其中ResNet18模型分类效果提升更大.这是由于在本实验中ResNet18模型本身的分类性能一般,通过动态学习率可以让分类器进一步接近最优解空间,而ResNet18_PRO本身由于结构改进取得了较好的分类性能,与最优解空间较近,所以运用ELR之后,分类效果有提升,但不如ResNet18网络提升明显.

2.7 模型鲁棒性验证

为验证ResNet18_PRO模型的鲁棒性,分别探究了图片的分辨率及缺陷数据集类型对模型分类效果的影响.探究分辨率对模型分类效果的影响时,通过图像处理的方法改变金相组织图片的分辨率,得到宽高均为52、104、208、312、416、520、624、728、832像素等9种不同分辨率的图片,然后对以上图片分别进行训练和测试,结果如图13所示.由此可知,随着分辨率的增加,各类型图片的F1分数及分类准确度先增加后趋于动态稳定,当分辨率小于104像素×104像素时,各类型缺陷的分类效果明显下降,其中裂纹的分类效果下降更为明显.主要因为分辨率越低,图片所携带的有效信息越少,使模型不能提取到较充足的特征信息,从而影响模型的分类性能.对于裂纹缺陷,由于本身缺陷特征为细长形状,缺陷特征不如气孔明显,所以低分辨率下裂纹的分类效果下降更多.

图13

新窗口打开| 下载原图ZIP| 生成PPT

图13   分辨率对分类效果的影响

Fig.13   Influence of resolution on classification performance


使用ResNet18_PRO模型解决了三分类问题,取得了较好的分类效果.为探究该模型对含更多类别的数据的分类效果,使用了东北大学公开的热轧钢带表面缺陷数据集进行训练和测试,该数据集共有6类,每类有300张图片,图片分辨率被调整为224像素×224像素,如图14所示.

图14

新窗口打开| 下载原图ZIP| 生成PPT

图14   东北大学表面缺陷数据集

Fig.14   NEU surface defect dataset


训练集、验证集及测试集的比例为4∶1∶1,训练过程中的参数设置与上述数据增强后的分类实验的参数设置相同.最终各模型在测试集上的测试结果如表8所示.由表8可知,ResNet18_PRO模型在该表面缺陷数据集上也能取得较好的分类效果,且优于其他3个模型,表明该模型对于类别数量更多的其他分类任务也具有较好的分类性能,验证了该模型的鲁棒性.

表8   东北大学表面缺陷数据集测试结果

Tab.8  Testing result on NEU surface defect database

模型分类准确度/%$\bar{F}_{1}^{ma}$/%
VGG13+ELR94.9097.43
GoogLeNet+ELR97.4898.62
ResNet18+ELR98.5398.27
ResNet18_PRO+ELR98.9699.21

新窗口打开| 下载CSV


3 结语

针对缺陷样本数量较少的金相组织图像缺陷分类问题,通过泊松融合的方法将缺陷区域与正常样本进行融合,扩充缺陷样本数量,从而达到数据增强的目的,改善了缺陷样本数据不平衡的问题.在ResNet18的基础上进行改进,提出了LDPS用于减少下采样过程中的信息损失,同时在网络末端增加了ISPP结构用于整合多尺度的特征信息,显著提高了缺陷分类精度.实验方面,通过多个分类模型对数据增强前后的分类效果进行对比,验证了泊松融合数据增强方法及ResNet18_PRO网络模型的有效性,并通过消融实验验证了模型各改进部分及训练策略的有效性.最终该模型在增强后的数据上取得了98.83%的平均分类精度及98.76%的平均F1分数.使用该模型对其他工业缺陷数据集进行训练和测试,取得了98.96%的平均分类准确度及99.21%的平均F1分数,表明该分类模型对不同的缺陷数据具有较好的鲁棒性.以上结论表明,该数据增强方法及网络模型具有较好的实际应用价值.

参考文献

周正干, 滕升华, 江巍, 等.

焊缝X射线检测及其结果的评判方法综述

[J]. 焊接学报, 2002, 23(3): 85-88.

[本文引用: 1]

ZHOU Zhenggan, TENG Shenghua, JIANG Wei, et al.

Research on defect detection and evaluation in WeldS with X-rays

[J]. Transactions of the China Welding Institution, 2002, 23(3): 85-88.

[本文引用: 1]

邵中华. X射线焊缝数字图像的缺陷提取技术研究[D]. 太原: 中北大学, 2011.

[本文引用: 1]

SHAO Zhonghua. Research on extraction technology of weld defects in X-ray image[D]. Taiyuan: North University of China, 2011.

[本文引用: 1]

王思宇, 高炜欣, 张翔松.

X射线焊缝图像缺陷检测算法综述

[J]. 热加工工艺, 2020, 49(15): 1-8.

[本文引用: 1]

WANG Siyu, GAO Weixin, ZHANG Xiangsong.

Summary of defect detection algorithms for X-ray weld image

[J]. Hot Working Technology, 2020, 49(15): 1-8.

[本文引用: 1]

胡丹, 高向东, 张南峰, 等.

焊缝缺陷检测现状与展望综述

[J]. 机电工程, 2020, 37(7): 736-742.

[本文引用: 1]

HU Dan, GAO Xiangdong, ZHANG Nanfeng, et al.

Review of status and prospect of weld defect detection

[J]. Journal of Mechanical & Electrical Engineering, 2020, 37(7): 736-742.

[本文引用: 1]

刘玉宗.

焊丝种类对6082-T6铝合金激光-电弧复合焊接焊缝质量的影响研究

[J]. 光源与照明, 2021(2): 38-39.

[本文引用: 1]

LIU Yuzong.

Study on the influence of weld wire types on the quality of 6082-T6 aluminum alloy laser-arc composite weld welds

[J]. Lamps & Lighting, 2021(2): 38-39.

[本文引用: 1]

DUAN F, YIN S F, SONG P P, et al.

Automatic welding defect detection of X-ray images by using cascade AdaBoost with penalty term

[J]. IEEE Access, 7: 125929-125938.

DOI:10.1109/Access.6287639      URL     [本文引用: 2]

HOU W H, WEI Y, GUO J, et al.

Automatic detection of welding defects using deep neural network

[J]. Journal of Physics: Conference Series, 2018, 933: 012006.

DOI:10.1088/1742-6596/933/1/012006      URL     [本文引用: 1]

AJMI C, ZAPATA J, MARTÍNEZ-ÁLVAREZ J J, et al.

Using deep learning for defect classification on a small weld X-ray image dataset

[J]. Journal of Nondestructive Evaluation, 2020, 39(3): 1-13.

[本文引用: 1]

闫耀东. 基于深度学习的不锈钢焊缝缺陷分类研究[D]. 太原: 太原科技大学, 2021.

[本文引用: 1]

YAN Yaodong. Research on defect classification of stainless steel welds based on deep learning[D]. Taiyuan: Taiyuan University of Science and Technology, 2021.

[本文引用: 1]

罗爱民, 沈才洪, 易彬, 等.

基于改进二叉树多分类SVM的焊缝缺陷分类方法

[J]. 焊接学报, 2010, 31(7): 51-54.

[本文引用: 1]

LUO Aimin, SHEN Caihong, YI Bin, et al.

Method of multi-classification by improved binary tree based on SVM for welding defects recongnition

[J]. Transactions of the China Welding Institution, 2010, 31(7): 51-54.

[本文引用: 1]

刘欢, 刘骁佳, 王宇斐, 等.

基于复合卷积层神经网络结构的焊缝缺陷分类技术

[J]. 航空学报, 2022, 43(Sup.1): 165-172.

[本文引用: 1]

LIU Huan, LIU Xiaojia, WANG Yufei, et al.

Weld defect classification technology based on compound convolution neural network structure

[J]. Acta Aeronautica et Astronautica Sinica, 2022, 43 (Sup.1): 165-172.

[本文引用: 1]

谷静, 张可帅, 朱漪曼.

基于卷积神经网络的焊缝缺陷图像分类研究

[J]. 应用光学, 2020, 41(3): 531-537.

DOI:10.5768/JAO202041.0302007      [本文引用: 1]

为有效地对焊缝缺陷进行分类，从而判断焊接质量的等级，对传统卷积神经网络进行改进，提出一种多尺度压缩激励网络模型（SINet）。将4组两两串联的3×3卷积模块与Inception模块、压缩激励模块（SE block）相结合。通过多尺度压缩激励模块（SI module）将卷积层中的特征进行多尺度融合和特征重标定以提高分类准确率，并用全局平均池化层代替全连接层减少模型参数。此外考虑到焊接缺陷数量不平衡对准确率的影响，采用深度卷积对抗生成网络（DCGAN）进行数据集的平衡处理，并在该数据集上验证模型的有效性。与传统卷积神经网络相比，该模型具有良好的性能，在测试集上准确率达到96.77%，同时模型的参数个数也明显减少。结果表明该方法对焊缝缺陷图像能进行有效地分类。

GU Jing, ZHANG Keshuai, ZHU Yiman.

Research on weld defect image classification based on convolutional neural network

[J]. Journal of Applied Optics, 2020, 41(3): 531-537.

DOI:10.5768/JAO202041.0302007      [本文引用: 1]

In order to effectively classify the weld defects and judge the grade of the welding quality, a multi-scale squeeze-and-excitation network model (SINet) was proposed to improve the traditional convolutional neural network. Combined 4 groups of 3×3 convolutional modules in series with Inception module and squeeze-and-excitation block (SE block). By means of the multi-scale squeeze-and-excitation module (SI module), the multi-scale fusion and the feature re-calibration were carried out of the features in convolutional layer to improve the classification accuracy, and the global average pooling layer was used instead of the fully connected layer to reduce the model parameters. In addition, considering the influence of the unbalance in the number of weld defects on the accuracy, a deep convolutional adversarial generation network (DCGAN) method was used to balance the data set, and the validity of the model was verified on the data set. Compared with the traditional convolutional neural network, this model has good performance with an accuracy rate on the test of 96.77%, and the number of the model parameters is also greatly reduced. The results show that this method can effectively classify the weld defect images.

葛轶洲, 刘恒, 王言, 等.

小样本困境下的深度学习图像识别综述

[J]. 软件学报, 2022, 33(1): 193-210.

[本文引用: 1]

GE Yizhou, LIU Heng, WANG Yan, et al.

Survey on deep learning image recognition in dilemma of small samples

[J]. Journal of Software, 2022, 33(1): 193-210.

[本文引用: 1]

李钧正, 殷子玉, 乐心怡.

基于小样本学习的钢板表面缺陷检测技术

[J]. 航空科学技术, 2021, 32(6): 65-70.

[本文引用: 2]

LI Junzheng, YIN Ziyu, LE Xinyi.

Surface defect detection for steel plate with small dataset

[J]. Aeronautical Science & Technology, 2021, 32(6): 65-70.

[本文引用: 2]

CHAWLA N V, BOWYER K W, HALL L O, et al.

SMOTE: Synthetic minority over-sampling technique

[J]. Journal of Artificial Intelligence Research, 2002, 16: 321-357.

DOI:10.1613/jair.953      URL     [本文引用: 1]

An approach to the construction of classifiers from imbalanced datasets is described. A dataset is imbalanced if the classification categories are not approximately equally represented. Often real-world data sets are predominately composed of ``normal'' examples with only a small percentage of ``abnormal'' or ``interesting'' examples. It is also the case that the cost of misclassifying an abnormal (interesting) example as a normal example is often much higher than the cost of the reverse error. Under-sampling of the majority (normal) class has been proposed as a good means of increasing the sensitivity of a classifier to the minority class. This paper shows that a combination of our method of over-sampling the minority (abnormal) class and under-sampling the majority (normal) class can achieve better classifier performance (in ROC space) than only under-sampling the majority class. This paper also shows that a combination of our method of over-sampling the minority class and under-sampling the majority class can achieve better classifier performance (in ROC space) than varying the loss ratios in Ripper or class priors in Naive Bayes. Our method of over-sampling the minority class involves creating synthetic minority class examples. Experiments are performed using C4.5, Ripper and a Naive Bayes classifier. The method is evaluated using the area under the Receiver Operating Characteristic curve (AUC) and the ROC convex hull strategy.

宋宗垚. 小样本数据下的工业无损检测图像损伤定位算法的研究[D]. 天津: 天津大学, 2019.

[本文引用: 1]

SONG Zongyao. Damage location algorithm for few-shot industrial nondestructive testing[D]. Tianjin: Tianjin University, 2019.

[本文引用: 1]

马岭, 鲁越, 蒋慧琴, 等.

基于小样本学习的LCD产品缺陷自动检测方法

[J]. 智能系统学报, 2020, 15(3): 560-567.

[本文引用: 1]

MA Ling, LU Yue, JIANG Huiqin, et al.

An automatic small sample learning-based detection method for LCD product defects

[J]. CAAI Transactions on Intelligent Systems, 2020, 15(3): 560-567.

[本文引用: 1]

PÉREZ P, GANGNET M, BLAKE A.

Poisson image editing

[J]. ACM Transactions on Graphics, 2003, 22(3): 313-318.

DOI:10.1145/882262.882269      URL     [本文引用: 2]

Using generic interpolation machinery based on solving Poisson equations, a variety of novel tools are introduced for seamless editing of image regions. The first set of tools permits the seamless importation of both opaque and transparent source image regions into a destination region. The second set is based on similar mathematical ideas and allows the user to modify the appearance of the image seamlessly, within a selected region. These changes can be arranged to affect the texture, the illumination, and the color of objects lying in the region, or to make tileable a rectangular selection.

左飞. 图像处理中的数学修炼[M]. 第2版. 北京: 清华大学出版社, 2020.

[本文引用: 1]

ZUO Fei. Applied mathematics in digital image processing[M]. 2nd ed. Beijing: Tsinghua University Press, 2020.

[本文引用: 1]

HE K M, ZHANG X Y, REN S Q, et al.

Deep residual learning for image recognition

[DB/OL]. (2015-12-10)[2022-08-03].https://arxiv.org/abs/1512.03385.

URL     [本文引用: 1]

HE K M, ZHANG X Y, REN S Q, et al.

Spatial pyramid pooling in deep convolutional networks for visual recognition

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

DOI:10.1109/TPAMI.2015.2389824      PMID:26353135      [本文引用: 1]

Existing deep convolutional neural networks (CNNs) require a fixed-size (e.g., 224 × 224) input image. This requirement is "artificial" and may reduce the recognition accuracy for the images or sub-images of an arbitrary size/scale. In this work, we equip the networks with another pooling strategy, "spatial pyramid pooling", to eliminate the above requirement. The new network structure, called SPP-net, can generate a fixed-length representation regardless of image size/scale. Pyramid pooling is also robust to object deformations. With these advantages, SPP-net should in general improve all CNN-based image classification methods. On the ImageNet 2012 dataset, we demonstrate that SPP-net boosts the accuracy of a variety of CNN architectures despite their different designs. On the Pascal VOC 2007 and Caltech101 datasets, SPP-net achieves state-of-the-art classification results using a single full-image representation and no fine-tuning. The power of SPP-net is also significant in object detection. Using SPP-net, we compute the feature maps from the entire image only once, and then pool features in arbitrary regions (sub-images) to generate fixed-length representations for training the detectors. This method avoids repeatedly computing the convolutional features. In processing test images, our method is 24-102 × faster than the R-CNN method, while achieving better or comparable accuracy on Pascal VOC 2007. In ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2014, our methods rank #2 in object detection and #3 in image classification among all 38 teams. This manuscript also introduces the improvement made for this competition.

LIN M, CHEN Q, YAN S.

Network in network

[DB/OL]. (2014-03-04)[2022-08-03]. https://arxiv.org/abs/1312.4400.

URL     [本文引用: 1]

国家标准局.金属熔化焊焊缝缺陷分类及说明: GB/T 6417—1986[S]. 北京: 国家标准局, 1986.

[本文引用: 1]

National Bureau of Standards.Classification of imperfections in metallic fusion welds, with explanations: GB/T 6417—1986[S]. Beijing: National Bureau of Standards, 1986.

[本文引用: 1]

BRANCO P, TORGO L, RIBEIRO R P.

A survey of predictive modeling on imbalanced domains

[J]. ACM Computing Surveys, 2016, 49(2): 1-50.

[本文引用: 1]

SUN Y M, WONG A K C, KAMEL M S.

Classification of imbalanced data: A review

[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2009, 23(4): 687-719.

DOI:10.1142/S0218001409007326      URL     [本文引用: 1]

Classification of data with imbalanced class distribution has encountered a significant drawback of the performance attainable by most standard classifier learning algorithms which assume a relatively balanced class distribution and equal misclassification costs. This paper provides a review of the classification of imbalanced data regarding: the application domains; the nature of the problem; the learning difficulties with standard classifier learning algorithms; the learning objectives and evaluation measures; the reported research solutions; and the class imbalance problem in the presence of multiple classes.

/

〈 〉