基于概率稀疏自注意力的IGBT模块剩余寿命跨工况预测
Remaining Useful Life Prediction of IGBT Modules Across Working Conditions Based on ProbSparse Self-Attention
通讯作者: 黄亦翔,副研究员;E-mail:huang.yixiang@sjtu.edu.cn.
责任编辑: 李博文
收稿日期: 2020-12-30 修回日期: 2022-03-10 接受日期: 2022-04-25
基金资助: |
|
Received: 2020-12-30 Revised: 2022-03-10 Accepted: 2022-04-25
作者简介 About authors
钟智伟(1998-),硕士生,从事电力电子可靠性研究.
为提高绝缘栅双极型晶体管(IGBT)模块跨工况剩余寿命的预测精度以提升其可靠性,针对不同工况下IGBT模块的瞬态热阻特征提出一种基于概率稀疏自注意力机制和迁移学习的剩余使用寿命预测方法.搭建了IGBT模块加速老化试验台,在不同温度区间进行IGBT模块功率循环实验,采集不同工况下该模块全生命周期状态数据,计算获得IGBT模块衰退过程中的瞬态热阻变化数据,提取并筛选能准确反映IGBT模块老化状态的瞬态热阻特征,并使用所提方法开展跨工况剩余使用寿命预测.实验结果表明,提出的IGBT模块剩余寿命的跨工况预测方法精度明显优于其他对比方法,特别是IGBT模块早期衰退过程中的剩余寿命预测精度得到了显著提升.
关键词:
In order to improve the accuracy of remaining useful life (RUL) prediction of insulated gate bipolar transistor(IGBT) modules across working conditions to enhance their reliability, an RUL prediction method based on the ProbSparse self-attention mechanism and transfer learning was proposed based on the transient thermal resistance features of IGBT modules under different working conditions. An accelerated aging test bench of the IGBT module was designed ang built to perform power cycling experiments in different temperature ranges, and state data of full life-time under different working conditions were collected. Transient thermal resistance change data during the IGBT module degradation were calculated, and the transient thermal features that can accurately reflect the aging state of the IGBT module were extracted and selected. These features were used to predict the RUL of IGBT modules across different working conditions based on the proposed method. The experimental result shows that the accuracy of the proposed RUL prediction method of IGBT modules across working conditions outperforms other compared methods. Particularly, the RUL prediction accuracy during the early degradation stage has been significantly improved.
Keywords:
本文引用格式
钟智伟, 王誉翔, 黄亦翔, 肖登宇, 夏鹏程, 刘成良.
ZHONG Zhiwei, WANG Yuxiang, HUANG Yixiang, XIAO Dengyu, XIA Pengcheng, LIU Chengliang.
IGBT剩余寿命预测的方法根据预测机理主要分为基于物理模型、基于解析模型以及基于数据驱动共3类.基于物理模型的方法在实际使用中,通常根据IGBT模块实际参数建立物理模型并通过有限元分析来预测剩余寿命.Huang等[6]基于IGBT模块键合线的应力应变模型,建立电-热-力多物理场耦合模型,对键合线的寿命进行分析.基于物理模型的预测方法在实际工况下难以应用,需通过专家知识建立合适的物理模型,且需要获取产品的几何、电气参数.基于解析模型的预测方法根据IGBT模块运行过程的失效数据建立老化循环次数和指定物理量之间的数学模型.Coffin-Manson模型和Lesit模型建立了结温与IGBT模块寿命之间的关系[7],但上述两个模型仅考虑单一物理变量的影响;Norris-Landzberg模型和Bayerer模型等考虑多物理量对寿命的影响,一定程度上提高了预测的准确性[8].基于解析模型的预测方法需大量实验数据,且需手工建立合适的数学模型,难度大.基于数据驱动的方法通过挖掘IGBT模块运行的各种数据信息,结合预测模型对寿命进行预测,无需复杂的数学建模和专家知识.刘子英等[9]以集射极关断电压峰值为失效依据,建立Elman神经网络模型进行IGBT模块的寿命预测;葛建文等[10]基于IGBT模块的壳温、结温等数据计算模块热阻,利用Transformer神经网络来预测剩余寿命.上述方法都是在单个工况的IGBT模块上基于故障前历史数据进行预测,而更可靠的方法是使用一个在IGBT模块完整退化过程数据上训练得到的模型来预测其他IGBT模块的寿命,但实际情况下,不同电压电流工况下IGBT模块的各种参数差别较大,模型适应性差.
为解决现有序列预测方法无法并行处理、效率低及跨工况预测效果差的问题,提出一种基于概率稀疏注意力与迁移学习的方法,实现从已获取全生命周期退化数据的源工况迁移到全新目标工况IGBT模块寿命预测,基于IGBT模块的加速老化试验原理,搭建试验平台,获取不同工况下IGBT模块老化过程中的瞬态热阻数据,进行跨工况剩余寿命预测对比实验。实验结果表明,本方法在IGBT模块剩余寿命的跨工况预测效果上明显优于其他对比方法.
1 IGBT剩余寿命预测方法
1.1 概率稀疏自注意力
自注意力机制本质上是对样本进行权重分配,注意力函数被用来实现这种机制,其作用是将一个查询向量和一组键值向量映射到输出向量上.对于输入
式中:
为了关注不同特征在不同表征子空间的信息,通常会采用多头注意力方式,表达式为
式中:
但上述传统自注意力的时间复杂度和空间复杂度较高.经研究发现,传统自注意力机制不同的查询值对应的注意力权值分布并非全都有所侧重,部分可能趋近于均匀分布,被称为惰性分布,相应有所侧重的部分被称为激活分布,如图1所示.
图1
利用KL散度可以对这两种分布度量进行区分,得到第i个查询向量与对应键向量的近似概率分布评估函数[14]为
式中:
为了将复杂度降低到
式(1)~(7)说明了概率稀疏自注意力机制优化计算效率的数学原理,为了实际对比其计算速度优化效果,将在后文与传统自注意力机制进行对比.
1.2 基于概率稀疏自注意力与迁移学习的预测
模型基于概率稀疏自注意力机制和迁移学习构建的剩余寿命预测模型如图2所示.图中,T为当前时刻,t为起始时刻,MK-MMD为多核最大均值差异.
图2
式(8)为多头概率稀疏自注意模块的输入,使得注意力机制能充分利用数据特征信息及其潜在的时间先后关系.多头概率稀疏自注意模块将传统多头自注意力中单头的注意力计算方法改为前文所述的概率稀疏注意力计算方法,并加上残差连接,将序列中对预测结果影响更大的样本赋予更高的权重,使模型提取到更有效的信息.后面的卷积层、池化层则是为了进一步提取深度特征,保留有效信息,去掉冗余信息,避免全连接层参数量过大.最后的全连接层则是根据深度特征信息进行拟合,输出预测的剩余寿命.
IGBT模块在不同工况下的衰退过程特征变化规律差异较大,在一个特定工况下训练的模型很难直接预测其他工况下IGBT模块剩余寿命,故模型需要进行领域自适应,减少源域和目标域特征分布的差异性,使其提取到的深度特征更具有泛化性.本文在全连接网络层使用MK-MMD[16]来衡量源域和目标域的差异,多核函数定义为
式中: k为多核函数;
式中:
最终该模型的优化目标由损失函数和MK-MMD距离组成:
式中:
式(9)~(11)说明了领域自适应原理,通过修改损失函数对模型参数优化进行一定限制,从而减小不同域深度特征的差异,最终提升不同域下模型的预测性能.
2 IGBT加速老化试验
2.1 加速老化试验原理
2.2 加速老化试验台
根据加速老化试验原理,搭建加速老化试验台,其电路原理图如图3所示.图中,GND为接地端,ENA为使能信号端,FPGA为现场可编程门阵列,PC为计算机,R为电阻,L为电感.
图3
图3
加速老化试验台电路原理图
Fig.3
Circuit schematic diagram of accelerated aging test bench
加速老化试验台实物如图4所示,核心试验台根据不同层的设备,分为电源层、负载层、IGBT模块层及驱动数采层.温度信号采集使用的传感器为超细焊点K型热电偶,测量范围为-20~200 ℃,通过NI 9212采集卡将热电偶的电压转化为实际温度,电压电流通过NI 9243采集卡进行采集.
图4
2.3 加速老化试验方案与结果
Smet等[21]研究发现结温差ΔTj和平均结温Tjm是决定IGBT寿命的重要因素,二者的表达式分别为
式中:
图5
每个循环周期开始时,IGBT模块被导通,
表1 老化试验工况及结果
Tab.1
模块名 | ΔTj/ ℃ | Tjm/ ℃ | Tj_min/ ℃ | Tj_max/ ℃ | N/次 |
---|---|---|---|---|---|
IGBT1 | 80 | 80 | 40 | 120 | 148 239 |
IGBT2 | 80 | 90 | 50 | 130 | 104 298 |
IGBT3 | 80 | 130 | 90 | 170 | 68 115 |
在相同结温差下,随着平均结温的增加,IGBT模块寿命减少,符合Smet等[21]的研究结果.
IGBT模块热阻在其导通一段时间内是变化的,为了充分利用热阻信息,可根据下式计算时刻t模块的瞬态热阻:
式中:
图6
图6
不同老化循环次数IGBT3的瞬态热阻
Fig.6
Transient thermal resistance of IGBT3 with different aging cycles
因本文提出的预测模型只能输入固定长度的序列数据,为统一不同老化循环次数数据序列长度,取前5 s瞬态热阻数据进行IGBT模块寿命预测,保证数据都位于热阻上升阶段(见图6),避免数据所处阶段不同对预测结果造成影响.
3 实验与对比分析
3.1 有效数据截取
图7
图7
IGBT3开始退化时刻的确定
Fig.7
Determination of the time when IGBT3 starting to degrade
3.2 瞬态热阻特征提取与筛选
端到端模型对数据量要求大且会排除有用的人工设计,对每个循环的瞬态热阻数据进行特征提取与筛选后再输入网络模型,达到简化模型的效果.共提取了22个特征,如表2所示.
表2 瞬态热阻特征
Tab.2
特征 | 编号 | 特征 | 编号 |
---|---|---|---|
最小值 | X1 | 绝对中位差 | X12 |
最大值 | X2 | 峭度 | X13 |
极差 | X3 | 均方值 | X14 |
均值 | X4 | 均方根 | X15 |
中位数 | X5 | 绝对均值 | X16 |
第一四分位数 | X6 | 方根幅值 | X17 |
第三四分位数 | X7 | 脉冲因子 | X18 |
方差 | X8 | 波形因子 | X19 |
标准差 | X9 | 裕度因子 | X20 |
偏度 | X10 | 峰值因子 | X21 |
标准误差 | X11 | 双对数比率 | X22 |
为了去掉与IGBT模块退化过程无关信息,对所提特征进行筛选.相关性可以衡量特征的变化趋势与衰退过程的一致性,若某特征的相关性计算结果越大,说明特征能更好地表征衰退过程的变化,表达式为
式中:n为总循环次数;
IGBT模块的剩余寿命应该是关于老化循环次数单调的,若某特征单调性计算结果越大,则说明其能更好地表征衰退过程,单调性的表达式为
式中:ΔX为特征在相邻循环的变化值;
为了兼顾上述两个指标,定义特征选择标准为二者的均值:
截取每个实验工况下IGBT模块处于退化状态的数据作为有效数据,分别以不同工况下有效数据进行特征表征能力计算并最终取其平均值,设定特征选择阈值为0.5,最终共筛选出12个有效特征作为后续模型的输入,如图8所示.其中,12个有效特征对应图中12个绿色柱状图.
图8
3.3 模型设置
对于所有实验模型,输入为筛选得到的特征序列,输出为IGBT模块对应老化循环次数下的剩余寿命比例.输入序列长度设为50,即每个输入样本为
参数优化方法选择随机梯度下降算法,学习率初始值设为0.01,每轮训练衰减为原来的1/2,每次迭代使用的数据样本数量(batchsize)设为64,模型主要参数如表3所示.
表3 模型结构参数
Tab.3
网络模块 | 具体实现 | 参数 | 输出尺寸 |
---|---|---|---|
输入层 | - | - | 50×12 |
嵌入层 | 一维卷积 | 卷积核为12×3×256 | 50×256 |
概率稀疏自注意力 | 线性变换 | 权重为50×256×32 | 50×32 |
模块 | 注意力计算 | - | 50×32 |
(n=8, dk=32) | 合并 | - | 50×256 |
后处理模块 | 层正则化 | - | 50×256 |
一维卷积 | 卷积核为256×1×128 | 50×128 | |
一维卷积 | 卷积核为128×1×256 | 50×256 | |
层正则化 | - | 50×256 | |
一维卷积 | 卷积核为256×5×64 | 46×64 | |
全局池化层 | - | 1×64 | |
全连接模块 | 全连接层 | 权重为64×32 | 32 |
全连接层 | 权重为32×1 | 1 |
3.4 结果对比分析
式中:
图9
图9
不同模型IGBT模块剩余寿命预测结果
Fig.9
IGBT module RUL prediction results of different models
表4 不同模型预测结果
Tab.4
方法 | IGBT1→IGBT2 | IGBT1→IGBT3 | IGBT2→IGBT1 | IGBT2→IGBT3 | IGBT3→IGBT1 | IGBT3→IGBT2 | |||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
MSE | MAE | MSE | MAE | MSE | MAE | MSE | MAE | MSE | MAE | MSE | MAE | ||||||
本文模型 | 0.001 6 | 0.031 9 | 0.001 0 | 0.024 3 | 0.002 6 | 0.041 9 | 0.001 6 | 0.033 0 | 0.005 8 | 0.058 5 | 0.001 6 | 0.032 5 | |||||
gMLP | 0.006 1 | 0.071 3 | 0.088 7 | 0.225 8 | 0.006 4 | 0.067 5 | 0.095 6 | 0.253 8 | 0.008 1 | 0.065 0 | 0.026 8 | 0.128 6 | |||||
LSTM | 0.009 3 | 0.074 3 | 0.027 3 | 0.129 4 | 0.009 2 | 0.081 7 | 0.033 1 | 0.155 7 | 0.013 5 | 0.084 5 | 0.027 6 | 0.129 4 | |||||
TCA+gMLP | 0.004 2 | 0.056 6 | 0.012 7 | 0.088 9 | 0.005 5 | 0.059 1 | 0.007 5 | 0.074 0 | 0.010 0 | 0.079 1 | 0.015 5 | 0.103 2 | |||||
CORAL+LSTM | 0.007 2 | 0.058 1 | 0.025 2 | 0.123 3 | 0.004 6 | 0.055 6 | 0.042 2 | 0.165 3 | 0.032 5 | 0.137 8 | 0.043 1 | 0.159 8 |
IGBT1→IGBT2为一个迁移任务案例简要叙述其意义,如图9(a)所示.IGBT1代表源域,即有标签数据集合;IGBT2代表目标域,该部分只有特征数据,没有剩余寿命标签;无迁移模型只使用有标签的源域数据进行监督训练,直接在目标域数据上进行预测,即训练集为有标签源域数据集,测试集为目标域数据集.本文提出模型在内的迁移模型则在源域数据监督学习,在目标域数据上无监督学习并预测剩余寿命,即训练集为有标签源域数据和无标签目标域数据,测试集为目标域数据.结果可知,本文提出的模型在所有迁移任务上实现了最好的预测效果,在IGBT模块退化的整个过程都能较好地预测其剩余寿命.
进一步分析发现进行实验的无迁移模型和迁移模型都能在IGBT模块衰退后期较好地预测剩余寿命,说明提取的IGBT模块的瞬态热阻特征在衰退后期的变化规律比较一致,差异性较小,而早期特征则有较大差异,因此迁移模型在大部分任务上的预测效果要明显优于无迁移模型.IGBT1和IGBT2的实验平均结温较接近,所有对比方法在这两个工况之间的任务预测效果都优于其他任务,符合实际情况,而这两个IGBT模块的实验工况与剩余一个工况差别都较大,对比方法效果均出现明显下降,CORAL+LSTM方法甚至在IGBT3→IGBT2和IGBT3→IGBT1任务中出现了明显的负迁移现象,证明IGBT3模块的实验数据与其余两个模块数据域间差距大,且CORAL方法无法有效地将它们的数据映射到一个合适的空间来减小这种差距.
为验证本文模型使用MK-MMD进行领域自适应的必要性,在6个任务上进行领域自适应前(不使用MK-MMD,直接在源域上训练,目标域上预测)和领域自适应后的结果对比,如图10所示.领域自适应后,模型预测结果的MSE和MAE相比领域自适应前均有不同程度下降,在IGBT1和IGBT2的相互迁移上提升最小,与前文所述工况相近,无迁移模型预测效果相对较好;其他迁移任务上由于工况差别较大,不使用MK-MMD进行领域自适应模型很难学习到目标域下特征在衰退过程中的变化趋势;同时,从严苛工况到相对宽松工况的迁移效果更好,例如IGBT3→IGBT1优于IGBT1→IGBT3,IGBT3→IGBT2优于IGBT3→IGBT2,分析认为是严苛工况下短时间内退化信息更明显、信噪比更高、噪声影响更小,模型能够学习到更有效的特征.
图10
图10
领域自适应前后结果对比
Fig.10
Comparison of results before and after domain adaptation
为了更直观显示MK-MMD对模型提取特征的影响,使用t分布随机近邻嵌入(t-SNE)将领域自适应前后源域和目标域数据在全连接第一层的特征向量降至2维,数据从剩余寿命比例由1到0对应的样本中均匀抽样.
图11
图11
领域自适应前后全连接层源域和目标域的特征表示
Fig.11
Feature representation of source domain and target domain of fully connected layer before and after domain adaptation
图12
表5 平均计算时间对比
Tab.5
方法 | 训练时间/s | 推理时间/s |
---|---|---|
传统自注意力机制 | 0.0167 | 0.0050 |
概率稀疏自注意力机制 | 0.0110 | 0.0031 |
相对提升比例 | 34.13% | 38.00% |
使用概率稀疏自注意力机制的模型相比使用传统自注意力机制的模型在训练时间和推理时间上都缩短了超过30%,而二者在预测性能上基本相当,MSE提升幅度最大相差不超过10%,MAE提升幅度最大相差不超过13%,因此概率稀疏自注意力机制在大幅提升计算速度的情况下仍保持了优秀的预测性能.
4 结语
为了实现更准确的IGBT剩余寿命预测来提高其可靠性,在不同工况下对IGBT模块进行了加速老化试验,提出了一种基于概率稀疏自注意力机制和迁移学习的方法,利用瞬态热阻在模块衰退过程的变化数据,实现了IGBT模块剩余寿命的跨工况预测.该方法能够减小目标域样本和源域样本深度特征分布的差异,从而在所有迁移任务上达到最优效果,大幅提升了IGBT模块早期衰退过程中的剩余寿命预测精度,同时证明了两个相近工况模型迁移较容易,而两个相差较大的工况,从更严苛的工况迁移到更宽松的工况与反向迁移相比提升更加明显.
参考文献
Integrated IGBT short-circuit protection structure: Design and optimization
[J].DOI:10.1016/j.mejo.2005.09.028 URL [本文引用: 1]
An industry-based survey of reliability in power electronic converters
[J].DOI:10.1109/TIA.2011.2124436 URL [本文引用: 1]
Power cycle testing of power switches: A literature survey
[J].
IGBT模块寿命预测方法研究综述
[J].
An overview of lifetime prediction methods for IGBT power module
[J].
Effects of current and bonding wires damage on high-power IGBT module reliability by electro-thermo-mechanical simulation
[C]
基于加速老化试验的IGBT寿命预测模型研究
[J].
Research on IGBT lifetime prediction models based on accelerated lifetime test
[J].
牵引负荷对补偿装置功率模块寿命预测的影响及分析
[J].
Influence to prediction of service life of power modules of compensation device caused by traction load and its analysis
[J].
基于Elman神经网络模型的IGBT寿命预测
[J].
IGBT life prediction based on Elman neural network model
[J].
基于Transformer模型的IGBT剩余寿命预测
[J].
Residual useful life prediction of IGBTs based on transformer model
[J].
Attention is all you need
[EB/OL]. (
A novel temporal convolutional network with residual self-attention mechanism for remaining useful life prediction of rolling bearings
[J].DOI:10.1016/j.ress.2021.107813 URL [本文引用: 1]
Remaining useful life estimation via transformer encoder enhanced by a gated convolutional unit
[J].DOI:10.1007/s10845-021-01750-x [本文引用: 1]
Informer: Beyond efficient transformer for long sequence time-series forecasting
[EB/OL]. (
Convolutional sequence to sequence learning
[C]
Transferable representation learning with deep adaptation networks
[J].
DOI:10.1109/TPAMI.2018.2868685
PMID:30188813
[本文引用: 1]
Domain adaptation studies learning algorithms that generalize across source domains and target domains that exhibit different distributions. Recent studies reveal that deep neural networks can learn transferable features that generalize well to similar novel tasks. However, as deep features eventually transition from general to specific along the network, feature transferability drops significantly in higher task-specific layers with increasing domain discrepancy. To formally reduce the effects of this discrepancy and enhance feature transferability in task-specific layers, we develop a novel framework for deep adaptation networks that extends deep convolutional neural networks to domain adaptation problems. The framework embeds the deep features of all task-specific layers into reproducing kernel Hilbert spaces (RKHSs) and optimally matches different domain distributions. The deep features are made more transferable by exploiting low-density separation of target-unlabeled data in very deep architectures, while the domain discrepancy is further reduced via the use of multiple kernel learning that enhances the statistical power of kernel embedding matching. The overall framework is cast in a minimax game setting. Extensive empirical evidence shows that the proposed networks yield state-of-the-art results on standard visual domain-adaptation benchmarks.
基于加速老化试验IGBT性能退化特征参量的可靠性评估
[J].
Reliability evaluation of IGBT performance degradation characteristic parameters based on accelerated aging test
[J].
基于加速寿命试验的IGBT模块寿命预测和失效分析
[J].
Lifetime prediction and failure analysis of IGBT module based on accelerated lifetime test
[J].
电子元器件加速寿命试验技术浅析
[J].
Analysis on the accelerated life test technique of electronic components
[J].
一种柔直换流阀用压接型IGBT功率子模块加速老化试验方法
[J].
An accelerated aging test method of press-pack IGBTs based power submodules for VSC-HVDC converter valve
[J].
Ageing and failure modes of IGBT modules in high-temperature power cycling
[J].DOI:10.1109/TIE.2011.2114313 URL [本文引用: 2]
基于瞬态热阻的IGBT焊料层失效分析
[J].
Evaluation of solder failure of an IGBT module based on transient thermal impedance
[J].
Reliability of power cycling for IGBT power semiconductor modules
[J].DOI:10.1109/TIA.2003.810661 URL [本文引用: 1]
面向滚动轴承全生命周期故障诊断的GA-OIHF Elman神经网络算法
[J].
GA-OIHF Elman neural network algorithm for fault diagnosis of full life cycle of rolling bearing
[J].
A two-stage data-driven-based prognostic approach for bearing degradation problem
[J].DOI:10.1109/TII.2016.2535368 URL [本文引用: 1]
Pay attention to mlps
[J].
Domain adaptation via transfer component analysis
[J].
DOI:10.1109/TNN.2010.2091281
PMID:21095864
[本文引用: 1]
Domain adaptation allows knowledge from a source domain to be transferred to a different but related target domain. Intuitively, discovering a good feature representation across domains is crucial. In this paper, we first propose to find such a representation through a new learning method, transfer component analysis (TCA), for domain adaptation. TCA tries to learn some transfer components across domains in a reproducing kernel Hilbert space using maximum mean miscrepancy. In the subspace spanned by these transfer components, data properties are preserved and data distributions in different domains are close to each other. As a result, with the new representations in this subspace, we can apply standard machine learning methods to train classifiers or regression models in the source domain for use in the target domain. Furthermore, in order to uncover the knowledge hidden in the relations between the data labels from the source and target domains, we extend TCA in a semisupervised learning setting, which encodes label information into transfer components learning. We call this extension semisupervised TCA. The main contribution of our work is that we propose a novel dimensionality reduction framework for reducing the distance between domains in a latent space for domain adaptation. We propose both unsupervised and semisupervised feature extraction approaches, which can dramatically reduce the distance between domain distributions by projecting data onto the learned transfer components. Finally, our approach can handle large datasets and naturally lead to out-of-sample generalization. The effectiveness and efficiency of our approach are verified by experiments on five toy datasets and two real-world applications: cross-domain indoor WiFi localization and cross-domain text classification.
/
〈 |
|
〉 |
