变工况下基于自适应深度置信网络的轴承智能故障诊断

图1 DBN结构示意图

Fig.1 Schematic diagram of DBN structure

为实现进一步判别,需在DBN顶层加入数据标签和Softmax函数等进行分类.在此基础上,Hinton等^[14]在Softmax之前添加多层前馈神经网络,通过反向微调优化网络权值以提高判别准确率,这就是经典的DBN-深度神经网络(Deep Neural Network,DNN)模型,也是DBN改进的重要基础.

1.2 DBN的训练和微调技术

DBN-DNN运行主要包含两个关键步骤:基于RBM和对比散度(Contrastive Divergence, CD)算法的无监督训练;基于反向传播(Back Propagation,BP)算法的有监督微调.

1.2.1 基于RBM和CD算法的无监督训练

在训练过程中,需对RBM逐层训练最终完成对DBN整体的无监督训练.考虑最底层RBM(记为第1层),显层节点 $v_{1} = (v_{1}, v_{2}, \dots, v_{i}) (i = 1, 2, \dots, I) 和隐层节点 h_{1} = (h_{1}, h_{2}, \dots, h_{j}) (j = 1, 2, \dots, J)$ 的联合状态能量函数表示为^[20]

（1）

\begin{array}{l} E (v_{1}, h_{1}) = - \overset{I}{\sum_{i = 1}} a_{i} v_{i} - \overset{J}{\sum_{j = 1}} b_{j} h_{j} - \\ \overset{J}{\sum_{j = 1}} \overset{I}{\sum_{i = 1}} w_{i j} v_{i} h_{j} \end{array}

式中: $a_{i}$ 和 $b_{j}$ 为显、隐层的偏置;I和J为显、隐层的节点数; $w_{i j}$ 为显隐层的连接权重.第 $j$ 个隐层节点激活函数为

（2）

\begin{matrix} p' (h_{j} = 1 | v_{1}) = s i g m o i d (b_{j} + \overset{I}{\sum_{i = 1}} v_{i} w_{i j}) \end{matrix}

第i个显层节点激活函数为

（3）

p' (v_{i} = 1 | h_{1}) = s i g m o i d (a_{i} + \overset{J}{\sum_{j = 1}} h_{j} w_{i j})

考虑轴承振动信号作为显层向量v₁输入,利用式(2)可对隐层状态函数求解,利用式(3)重构显层状态函数.因此,RBM通过调节参数w₁、a₁=(a₁, a₂, …, a_i)和b₁=(b₁, b₂, …, b_j),使重构误差达到最小值实现信号特征提取和降维.其中

w_{1} = (\begin{array}{l} w_{11} & \dots & w_{1 j} \\ ︙ & ︙ \\ w_{i 1} & \dots & w_{i j} \end{array})

基于Hinton^[21]提出的CD算法,权重和偏置变化量如下:

（4）

\begin{matrix} \begin{array}{l} Δ w_{i j} = ε (< v_{i} h_{j} >_{0} - < v_{i} h_{j} >_{γ}) \\ Δ b_{j} = ε (< h_{j} >_{0} - < h_{j} >_{γ}) \\ Δ a_{i} = ε (< v_{i} >_{0} - < v_{i} >_{γ}) \end{array}\} \end{matrix}

式中: ε为学习率;γ为采样阶次; $< >_{0}$ 为原始数据期望值; $< >_{γ}$ 为经过γ次采样并重构后的数据期望值.基于式(4)进一步可得权重和偏置更新公式为

（5）

\begin{matrix} \begin{array}{l} w_{i j}^{η + 1} = w_{i j}^{η} + Δ w_{i j} \\ b_{j}^{η + 1} = b_{j}^{η} + Δ b_{j} \\ a_{i}^{η + 1} = a_{i}^{η} + Δ a_{i} \end{array}\} \end{matrix}

式中:η为迭代次数.

结合式(4)和(5),迭代计算各层RBM的参数,用于下一步有监督微调.

1.2.2 基于反向传播算法的有监督微调

在此之前,基于CD算法训练好的 $[w_{1}^{T} w_{2}^{T} \dots {w^{T}}_{l} \dots {w^{T}}_{L}]$ 和 $[b_{1}^{T} b_{2}^{T} \dots {b^{T}}_{l} \dots {b^{T}}_{L}]$ 正向计算所有隐层状态,其中L表示输出层层数,结合DBN顶层数据标签得到最终输出值 ${\hat{X}}_{L} .$ 基于最小均方误差原则的BP算法微调所有层,代价函数为

（6）

\begin{matrix} E_{D B N} = \frac{1}{L} \overset{L}{\sum_{l = 1}} ({\hat{X}}_{l} (w_{l}, b_{l}) - X_{l}) \end{matrix}

式中: $X_{l} 为第 l 层理想输出; w_{l} 和 b_{l}$ 为该层待更新的权重和隐层偏置.采用梯度下降法进行微调和更新,通过有监督反向微调提高DBN分类准确率,完成DBN训练和调优过程.

2 变工况下自适应深度置信网络设计

针对变工况轴承故障特征提取和诊断困难的问题,有机融合DBN、迁移学习、数据丢失技术等方法,实现变工况下轴承智能故障诊断.

2.1 考虑固定学习步长的平移不变特征提取方法

在DBN轴承故障诊断相关研究中,为提升诊断正确率,通常对信号数据进行预处理从而导致原始信号一定程度特征损失.因此,本文从尽可能保留原始数据特征的角度出发,按固定学习步长(S)将原始信号进行分解后充分学习.

考虑包含M个数据的轴承振动信号,基于固定学习步长S将其分解成N段,每段表示为y_n(t),n=1, 2, …,$ N=\lfloor M / S\rfloor$,其中“$\lfloor\rfloor$”表示向下取整.将分解后各段信号输入到RBM网络中进行训练,结合式(1),得到此时RBM的能量函数如下:

（7）

\begin{array}{l} E_{1} = \overset{N}{\sum_{n = 1}} \overset{I_{1}}{\sum_{i = 1}} (v_{i}^{n} - a_{i})^{2} - \overset{N}{\sum_{n = 1}} \overset{J_{1}}{\sum_{j = 1}} b_{j} h_{j}^{n} - \\ \overset{N}{\sum_{n = 1}} \overset{I_{1}}{\sum_{i = 1}} \overset{J_{1}}{\sum_{j = 1}} w_{i j} v_{i}^{n} h_{j}^{n} \end{array}

式中: $v_{i}^{n}$ 和 $h_{j}^{n}$ 为第n段信号的第 $i$ 个显元和第 $j$ 个隐元; $I_{1}$ 和J_1 $J_{1}$ 为分解后信号的显、隐层节点数.为将式(7)最小化,基于CD算法对各段信号进行无监督预训练,通过式(4)和(5)进行网络参数更新,最终实现数据特征提取.在本步骤中,以每段信号原始数据作为显层输入,计算各段信号特征向量为

（8）

f_{n} = s i g m o i d (w^{n} y_{n} (t) + b^{n}), f_{n} \in R^{1 \times J_{1}}

式中: $w^{n} 和 b^{n} 为第 n$ 段信号的权重和偏置.将每段信号均做训练计算并进行堆叠,得到原始信号特征向量矩阵,进一步获得该RBM层的输出特征,表示为

（9）

\begin{array}{l} \begin{matrix} F_{1} = c o l m a x ([{f^{T}}_{1} {f^{T}}_{2} \dots {f^{T}}_{N}]^{T}) \end{matrix} \\ F_{1} \in R^{1 \times J_{1}} \end{array}

式中:colmax表示对矩阵每一列求取最大值.具体平移不变特征提取过程如图2所示.

图2

图2 基于固定学习步长的平移不变特征提取示意图

Fig.2 Schematic diagram of shift-invariant feature extraction based on fixed learning step size

2.2 基于领域自适应法的变工况特征迁移

基于提取并训练强化后的深层数据特征,进一步和变工况特征进行比对迁移,完成对同一故障不同工况特征的淡化.此处引入迁移学习中的领域自适应方法,以多核最大平均差异(Multi-Kernel Maximum Mean Discrepancies, MK-MMD)概念表征不同工况下两种数据样本差异:针对存在于再生核希尔伯特空间 $H_{k} 的概率分布 p 和 q$ 之间的距离,其MK-MMD的平方公式^[22]为

（10）

\begin{array}{l} d_{k}^{2} (p, q) ≜ \\ ‖ E_{x_{s} ~ p} [Φ (x_{s})] - E_{x_{t} ~ q} [Φ (x_{t})] ‖_{H_{k}}^{2} \end{array}

式中:k为空间 $H_{k}$ 中的特征核; $x_{s} ~ p$ 和 $x_{t} ~ q$ 分别表示数据来源为源域的概率分布p和目标域的q.在特征映射Φ当中,核映射表示为 $k (x_{s}, x_{t}) = < Φ (x_{s})$ , $Φ (x_{t}) >$ ,可进一步被定义为由m个内核组合成的凸组合K,具体^[23]表示为

（11）

K ≜ \{k = \overset{m}{\sum_{u = 1}} α_{u} k_{u} / \overset{m}{\sum_{u = 1}} α_{u} = 1, α_{u} \geq 0, \forall u\}

式中: $k_{u} 和 α_{u} 为第 u$ 个内核和对应的权重,且所有权重之和为1.相比传统单一核的最大平均差异,MK-MMD区别在于通过多核来构造总的大核,使其能够在运算过程中拥有更多内核选择,提高特征差异计算准确性.

考虑在变工况下进行智能故障诊断,需使不同工况特征差异最小化,将领域自适应和DBN相结合,采用MK-MMD计算不同工况间特征差异;另一方面,为保证故障诊断分类准确率,需使DBN损失函数最小化.结合式(6)和(10),得到新的最小化目标函数如下:

（12）

\begin{array}{l} E = E_{D B N} + E_{M K - M M D} = \\ \frac{1}{L} \overset{L}{\sum_{l = 1}} ({\hat{X}}_{l} (w_{l}, b_{l}) - X_{l}) + λ \overset{l_{2}}{\sum_{l = l_{1}}} d_{k}^{2} (D_{s}^{l}, D_{t}^{l}) \end{array}

式中: $λ 为惩罚因子; l_{1} 和 l_{2}$ 为DBN中MK-MMD的计算起始和结束层,且 $l_{1} \leq l_{2}; D_{s}^{l} 和 D_{t}^{l} 表示在第 l$ 层计算MK-MMD的源域和目标域.

利用式(12)对目标函数进行调整,可使BP算法在更新网络参数过程中,兼顾故障分类准确率和变工况特征差异.如图3所示,在2.1节中采用固定学习步长的特征提取,已实现轴承原始数据的各类深层特征提取(特征A~C),此时如果将工况三的测试集样本直接输入到由工况一训练好的DBN中,不同工况差异可能导致相同故障难以正确归类,生成新故障种类(故障D~F);但若先将工况一和二的数据通过领域自适应进行学习调整,生成更具泛化性的训练集,在该情况下将工况三的测试集输入到训练好的DBN中,就能准确输出故障种类,完成变工况下智能故障诊断.

图3

图3 基于领域自适应法的特征迁移示意图

Fig.3 Schematic diagram of feature migration based on domain adaptive method

2.3 基于数据丢失技术的神经网络微调

基于固定学习步长的特征提取方法能够充分保留原始数据有效信息,虽更好地发挥了DBN优势,但同时也存在维数过高的弊端.结合神经网络运作模式不难发现,维度过高不仅会增加神经网络处理时间,也会增大网络过拟合可能性,严重影响故障诊断准确率.为保证所提方法有效性,在基于固定学习步长的特征提取上,引入数据丢失技术应对上述两个问题.

数据丢失技术是Hinton针对过拟合问题提出的有效技术之一^[24].该技术核心在于训练过程中随机将部分隐层节点舍弃.其中,舍弃节点并非永久移除,只是暂时不参与本次迭代和权值更新,从而完成训练过程中的网络精简,提高各隐层节点独立性.集成数据丢失技术优化DBN结构,能够在提升运行效率的同时,一定程度上规避过拟合问题.

结合所设计的DBN网络,在无监督训练过程中,式(2)给出隐层节点激活函数,加入数据丢失技术二进制随机变量r后如下所示:

（13）

p (h_{j} = 1 | v_{1}) = s i g m o i d (b_{j} + \overset{I}{\sum_{i = 1}} r_{i} v_{i} w_{i j})

式中: $r 服从参数为 P 的伯努利分布 . 当 r = 1 时概率为 P, 表示该隐层单元正常工作; 当 r = 0 时概率为 1 - P,$ 表示该单元暂时失效.

在后续有监督微调中,计算节点误差项时也以随机概率将该节点舍弃并完成DBN训练.在测试阶段,需将隐层节点输出按照数据丢失技术设置的比例对应减少.集成数据丢失技术的本文DBN训练过程如图4所示.图中:“×”代表该单元暂时失效.

图4

图4 集成数据丢失技术的DBN示意图

Fig.4 Schematic diagram of DBN in combination with dropout

2.4 深度置信网络整体设计和诊断流程

融合DBN、迁移学习和数据丢失技术等方法,设计搭建DBN网络架构如图5所示.图中:w₁~w₅为第一轮训练时的权重;w_1F~w_F5为基于第1轮训练结果在第2轮训练时的权重.其中第1层 $(v 0)$ 为特征提取层,第2、3层( $h 1$ 和h2)为训练优化层,第4、5层( $h 3$ 和h4)为自适应训练层,第6层(Softmax)为分类输出层.

在故障诊断过程中,首先结合DBN优势充分且有效提取故障特征,在提升诊断准确率同时确保故障特征在变工况下依然能被有效识别;进一步结合领域自适应方法,通过变工况下的特征迁移学习减少特征差异,淡化工况特征,强化故障特征,最终实现变工况下智能故障诊断.具体诊断流程如图6所示.图中:η₁~η₄为各工况最大迭代次数.

图5

图5 DBN整体设计架构示意图

Fig.5 Schematic diagram of DBN overall design architecture

图6

图6 变工况诊断流程图

Fig.6 Diagnosis flow chart under variable working conditions

3 实例验证与分析

作为故障高发零件,轴承在工程实际中受变化服役工况的影响,故障诊断困难程度大大增加.对于变工况下轴承智能故障诊断,确保诊断方法正确率和泛化性尤为重要.

3.1 数据集简介和样本划分

为验证所设计方法在变工况下故障诊断的有效性,采用凯斯西储大学驱动端轴承公开数据集作为样本.基于电机转速建立4个不同工况样本数据集A、B、C、D,如表1所示,其中空白表示无此项.轴承故障位置分别有内圈、外圈和滚动体3处,每处故障均包含3种损伤直径,组合后共计9种故障类型.每个数据集选取1组正常样本与9组不同类型故障样本的组合,共计400个样本,每个样本包含 2 000 数据点,且均从原始数据的随机位置开始提取,但在48 kHz采样频率下需保证提取至少1个周期的信号数据.在此基础上,进一步划分训练和测试集.其中,训练和测试集分别包含500和100个样本,具体选取规则如下:训练集应包括至少两种工况,例如将数据集A的400个样本作为源域进行训练,将数据集B的100个样本作为目标域协助迁移学习;测试集任取某一工况的100个样本(如数据集C),此时组合记为A-B~C,表1中训练集和测试集划分以A-B~C组合为例.

表1 数据集划分情况

Tab.1 Data set division

数据集	电机转速/ (r·min^-1)	样本数/个	数据点/个	训练集/个		测试集/个
数据集	电机转速/ (r·min^-1)	样本数/个	数据点/个	源域	目标域	测试集/个
A	1 730	40+9×40	2 000	40+9×40
B	1 750	40+9×40	2 000		10+9×10
C	1 772	40+9×40	2 000			10+9×10
D	1 797	40+9×40	2 000

新窗口打开| 下载CSV

3.2 网络参数设置

由图5可知,所提网络共由6层组成,节点数设置依次为200、200、160、100、50、10.RBM训练、BP算法微调的学习率均设为0.1,迭代次数分别设为100和150,训练批次为20,初始动量为0.1,持续动量为0.5.参数设置与传统DBN无明显差异.

本文搭建的DBN增加了固定学习步长S、领域自适应法中的惩罚因子β和数据丢失概率P等3个参数.其中,S是对原始信号数据的分解程度,设置大小应适宜具体情况(本文设定为10).β在目标能量函数中直接影响诊断结果,需进行重点选择.以A-B~B为例,令P=1(保留所有节点),β∈[0, 6](步进0.3)且每组参数输入DBN后重复10次,取其平均值和标准偏差,得到β和诊断正确率(Q)的关系如图7所示.由图可知,初始阶段诊断正确率随β增大而提升,说明迁移学习在变工况故障诊断中逐渐发挥重要作用.当β=2.4,诊断正确率达到最高点并开始下降,说明β设置过高覆盖了故障分类差异的能量函数.

图7

图7 不同β取值下的诊断正确率

Fig.7 Diagnostic accuracy rate at different β values

为配合数据丢失技术寻找最佳组合参数,令β∈[1.6,3.2](步进0.2),与P∈[0.1,1.0](步进0.1)进行交叉组合实验,结果如图8所示.由图可知,β整体趋势无明显变化,诊断率最高点仍集中在2.4附近;P值较小时,由于舍弃网络单元过多,导致正确率明显下滑,随着P值增长至0.4并逐渐接近1时(所有单元几乎重新被激活),正确率逐渐提升.当0.6≤P≤0.8且β=2.2时,故障诊断正确率达到峰值且附近几乎为平面,说明此时正确率无明显差异.令P取最小值0.6,可有效简化网络结构(暂时舍弃尽可能多的单元).综上,参数选择β=2.2,P=0.6,可在有效提升诊断正确率的同时提升诊断速率.

图8

图8 β和P的交叉组合实验曲面图

Fig.8 Curved surface diagram of cross combination experiment of β and P values

3.3 诊断结果分析

基于3.2节参数设置,仍以A-B~B组合为例得到重构误差,如图9所示(第1层RBM经分解后重构误差较复杂,未在图中表示).由图可知,随着迭代次数增加,每层重构误差逐渐减少,最后一层稳定后接近0.05,说明提取特征已得到充分训练强化.

图9

图9 各层RBM重构误差图

Fig.9 RBM reconstruction error of each layer

试验发现,集成数据丢失技术后损失函数能更快下降(见图10).当迭代次数约大于150时,损失函数便提前进入平稳低值,神经网络已得到充分训练,说明数据丢失技术能有效提升分类正确率和运算速率.

图10

图10 最终损失函数变化趋势图

Fig.10 Trend chart of final loss function

在此基础之上进一步探究所提网络运行过程的故障分类效果,借助t分布随机近邻嵌入算法(t-distributed Stochastic Neighbor Embedding, t-SNE)^[24]将训练过程关键节点可视化,如图11所示.图中仅展示内圈故障(Inner race Fault, IF)、滚动体故障(Roller Fault, RF)、外圈故障(Outer race Fault, OF)和正常4类样本.如图11(a)所示,经过基于固定学习步长的信号特征提取,4种样本基本已相互分离,但各自并未完全聚集在一起,以IF为例就有多个聚集中心点.通过多层RBM反复强化训练,得到输出情况如图11(b)所示,各类故障逐渐围绕某一中心点开始聚拢,说明该DBN已经基本能够完成定工况下故障诊断.进一步结合迁移学习后,由图11(c)可知,此时DBN仍有较好的故障分类效果,且已具备变工况下故障诊断能力.图中:t₁和t₂分别表示不同的t-SNE尺寸.

图11

图11 DBN训练过程的分类情况可视化

Fig.11 Visualization of classification of DBN training process

对A-B~B组合重复实验10次取均值,测得诊断正确率为97.8%,说明该方法已成功实现变工况故障诊断.为进一步探究该方法的准确性和泛化性,分别取数据集A-B和C-D作为训练集,并取数据集A~D作为测试集,获取变工况故障诊断正确率如图12所示.由图可见,测试集选择对故障诊断率有较大影响,正确率高低依次为源域>目标域>其他.然而从A-B~C、A-B~D、C-D~A和C-D~B也能发现,即便相较于其他4组诊断率较低,但正确率也均在90%以上.8个组合平均故障诊断正确率高达95.65%,说明所提网络能有效实现变工况的故障诊断.

图12

图12 不同工况组合下的故障诊断正确率

Fig.12 The diagnostic accuracy rate with different combinations of working conditions

4 故障诊断方法比较与分析

为进一步证明所提方法的准确性和泛化性,选取另外5种方法进行实验且相关参数设置如表2所示.其中,方法1为考虑平衡不变特性(Shift-Invariant Features, SIF)的自适应DBN(SIF-DADBN),采用本文所提出的DBN:方法2(Raw-DBN)采用传统DBN,以所有信号数据作为显层直接输入网络;方法3则参照文献[18]采用快速傅里叶变换(Fast Fourier Transform, FFT)对数据进行预处理,提取12个时频域特征输入DBN;方法4参照文献[25],将迁移学习和支持向量机(Support Vector Machine, SVM)相结合,通过迁移高相似度样本到源空间进行训练并以SVM识别和分类;方法5仅以传统SVM方法进行诊断;方法6为基于迁移学习的生长型DBN(TL-GDBN),参照文献[26]同样将迁移学习和DBN结合形成自适应DBN进行诊断.各方法相关参数(如学习率、迭代次数等)尽量与本文保持一致,同样集成数据丢失技术,且方法4~6采用本文固定学习步长的信号分解方法提取故障特征作为输入.

表2 不同方法的参数设置和比较

Tab.2 Parameter setting and comparison of different methods

序号	方法	节点设置	数据点/个	训练集+测试集/(个+个)
1	SIF-DADBN	200、200、160、100、50、10	2 000	500+100
2	Raw-DBN	2 000、200、160、100、0、10	2 000	500+100
3	FFT-DBN^[18]	12、200、160、100、50、10	2 000	500+100
4	TL^[25]	200、10	2 000	500+100
5	SVM	200、10	2 000	500+100
6	TL-GDBN^[26]	200、200、160、100、50、10	2 000	500+100

新窗口打开| 下载CSV

通过实验,定工况下(测试集与源域相同,如A-B~A、B-C~B组合等)各方法故障诊断正确率如图13所示.由图可见,采用DBN的深度学习方法能更好提取数据特征并完成故障诊断,正确率稳定在90%以上;进一步对比方法1~3,发现本文所提方法的诊断正确率均相对较高,说明采用固定学习步长的特征提取方法更好地保留数据深层特点,具有更高准确率.

图13

图13 定工况下不同方法的故障诊断正确率

Fig.13 Comparison of diagnostic accuracy of different methods under invariable working conditions

变工况下(测试集和源域不同)各方法诊断正确率如图14所示.比较图13和14发现,变工况下未结合迁移学习的方法2、3、5正确率下降较为严重,基本难以达到90%.而结合迁移学习的方法1、4、6正确率仅呈小幅度下降,说明迁移学习在变工况故障诊断中发挥重要作用.进一步观察方法1和6,发现将深度学习和迁移学习结合后,无论是定工况和变工况下均有良好的表现,诊断正确率均高于其他方法.

图14

图14 变工况下不同方法的故障诊断正确率

Fig.14 Comparison of diagnostic accuracy of different methods under variable working conditions

综合来看,SIF-DADBN在各类工况的故障诊断正确率均能稳定高达90%,平均正确率接近95%,说明该方法能有效实现变工况故障诊断.此外,相较其他5种方法,该方法在变工况下具有更高的故障诊断正确率和泛化水平.

5 结语

本文通过DBN、迁移学习和数据丢失技术等方法的有机融合,提出考虑平移不变特征的自适应深度置信网络,并用于轴承智能故障诊断,网络共由4部分组成.特征提取层考虑固定学习步长对原始信号进行分解,提取数据平移不变的深层特征,并集成数据丢失技术进行全网络结构优化以规避过拟合问题;强化训练层基于RBM逐层堆叠对提取特征进行反复强化;自适应学习层结合MK-MMD完成变工况特征差异计算并进行特征迁移,淡化工况特征,强化故障特征;分类输出层基于特征和工况差异对网络参数进行二次微调更新,输出变工况故障诊断结果.该方法对变工况故障识别率较高,实验样本诊断正确率能稳定在90%以上,平均诊断正确率高达95.65%;通过与其他方法的比较,进一步验证所提方法在变工况下具有更高的准确率和泛化性.未来,针对该方法样本需求量较大和诊断对象单一的局限性,将通过结合标记样本扩充方法研究小样本下智能故障诊断,并应用于齿轮等其他零部件故障诊断.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

孙旺, 李彦明, 杜文辽,

等.

基于蚁群神经网络的泵车主泵轴承性能评估

[J]. 上海交通大学学报, 2012, 46(4): 596-600.

SUN

Wang

, LI

Yanming

, DU

Wenliao

et al.

State performance evaluation for the main pump bearing of pump truck based on ant colony optimization of neural network

[J]. Journal of Shanghai Jiao Tong University, 2012, 46(4): 596-600.

DOI:10.3901/JME.2015.21.049 [本文引用: 2]

[2]

雷亚国, 贾峰, 周昕,

等.

基于深度学习理论的机械装备大数据健康监测方法

[J]. 机械工程学报, 2015, 51(21): 49-56.

机械装备正在朝着高速、高精、高效方向发展,为了确保这些装备的健康运行,健康监测系统采集了海量数据来反映机械的健康状况,促使机械健康监测领域进入了“大数据”时代。机械大数据具有大容量、多样性与高速率的特点,研究和利用先进的理论与方法,从机械装备大数据中挖掘信息,高效、准确地识别装备的健康状况,成为机械装备健康监测领域面临的新问题。深度学习理论作为模式识别和机器学习领域最新的研究成果,以强大的建模和表征能力在图像和语音处理等领域的大数据处理方面取得了丰硕的成果。结合机械大数据的特点与深度学习的优势,提出了一种新的机械装备健康监测方法。该方法通过深度学习利用机械频域信号训练深度神经网络,其优势在于能够摆脱对大量信号处理技术与诊断经验的依赖,完成故障特征的自适应提取与健康状况的智能诊断,因此克服了传统智能诊断方法的两大缺陷：需要掌握大量的信号处理技术结合丰富的工程实践经验来提取故障特征；使用浅层模型难以表征大数据情况下信号与健康状况之间复杂的映射关系。试验结果表明,该方法实现了多种工况、大量样本下多级齿轮传动系统不同故障位置不同故障类型的故障特征自适应提取与健康状况准确识别。

LEI

Yaguo

, JIA

Feng

, ZHOU

Xin

et al.

A deep learning-based method for machinery health monitoring with big data

[J]. Journal of Mechanical Engineering, 2015, 51(21): 49-56.

DOI:10.3901/JME.2015.21.049 [本文引用: 2]

Mechanical equipment in modern industries becomes more automatic, precise and efficient. To fully inspect its health conditions, condition monitoring systems are used to collect real-time data from the equipment, and massive data are acquired after the long-time operation, which promotes machinery health monitoring to enter the age of big data. Mechanical big data has the properties of large-volume, diversity and high-velocity. Effectively mining characteristics from such data and accurately identifying the machinery health conditions with advanced theories become new issues in machinery health monitoring. To harness the properties of mechanical big data and the advantages of deep learning theory, a health monitoring and fault diagnosis method for machinery is proposed. In the proposed method, deep neural networks with deep architectures are established to adaptively mine available fault characteristics and automatically identify machinery health conditions. Correspondingly, the proposed method overcomes two deficiencies of the traditional intelligent diagnosis methods: (1) the features are manually extracted relying on much prior knowledge about signal processing techniques and diagnostic expertise; (2) the used models have shallow architectures, limiting their capability in fault diagnosis issues. The proposed method is validated using datasets of multi-stage gear transmission systems, which contain massive data involving different health conditions under various operating conditions. The results show that the proposed method is able to not only adaptively mine available fault characteristics from the data, but also obtain higher identification accuracy than the existing methods.<o:p></o:p>

[3]

WEN

X Q

, XU

Z A

Wind turbine fault diagnosis based on ReliefF-PCA and DNN

[J]. Expert Systems with Applications, 2021, 178: 115016.

DOI:10.1016/j.eswa.2021.115016 URL [本文引用: 2]

[4]

HASHIM

M A

, NASEF

M H

, KABEEL

A E

et al.

Combustion fault detection technique of spark ignition engine based on wavelet packet transform and artificial neural network

[J]. Alexandria Engineering Journal, 2020, 59(5): 3687-3697.

DOI:10.1016/j.aej.2020.06.023 URL [本文引用: 2]

[5]

逯程, 徐廷学, 王虹.

基于属性粒化聚类与回声状态网络的末制导雷达故障诊断

[J]. 上海交通大学学报, 2018, 52(9): 1112-1119.

Cheng

, XU

Tingxue

, WANG

Hong

Fault diagnosis of terminal guidance radar based on attribute granulation clustering and echo state network

[J]. Journal of Shanghai Jiao Tong University, 2018, 52(9): 1112-1119.

[6]

王昊, 邱思琦, 王丽亚.

结合深度自编码与强化学习的轴承健康评估

[J]. 工业工程与管理, 2021, 26(3): 89-95.

WANG

Hao

QIU Siqi, WANG Liya. Health assessment of bearings based on deep auto-encoder and reinforcement learning

[J]. Industrial Engineering and Management, 2021, 26(3): 89-95.

DOI:10.3901/JME.2017.02.020 [本文引用: 1]

[7]

马萍, 张宏立, 范文慧.

基于局部与全局结构保持算法的滚动轴承故障诊断

[J]. 机械工程学报, 2017, 53(2): 20-25.

为了精准稳定地提取滚动轴承故障特征,提出一种基于局部与全局结构保持算法的低维敏感特征提取方法,采用K近邻(K-nearest neighbor algorithm, KNN)分类算法进行故障识别。对滚动轴承振动信号的时域和频域特征进行特征提取,组成初始特征集,采用该方法对初始特征集进行特征提取,提取过程中综合考虑初始特征集的局部结构特征和全局结构特征以避免其结构信息的丢失,同时引入正交约束减小主特征分量间的信息冗余,提取出最优表征初始特征集特征的敏感特征矢量,并通过K近邻分类算法对其进行分类。将该方法应用于滚动轴承故障诊断,通过与其他几种典型特征提取方法对比,该方法能更有效地提取滚动轴承四种状态的敏感特征矢量,在故障诊断中表现出更好的分类性能,整体故障识别率保持为100%。因此,该方法能有效提取敏感故障特征,为实际滚动轴承智能故障诊断提供参考。

Ping

, ZHANG

Hongli

, FAN

Wenhui

Fault diagnosis of rolling bearings based on local and global preserving embedding algorithm

[J]. Chinese Journal of Mechanical Engineering, 2017, 53(2): 20-25.

DOI:10.1016/j.ymssp.2020.107073 URL [本文引用: 1]

[8]

MINHAS

A S

, KANKAR

P K

, KUMAR

et al.

Bearing fault detection and recognition methodology based on weighted multiscale entropy approach

[J]. Mechanical Systems and Signal Processing, 2021, 147: 107073.

[9]

Y L

, CHENG

J S

, WANG

et al.

Rotating machinery fault diagnosis based on multivariate multiscale fuzzy distribution entropy and Fisher score

[J]. Measurement, 2021, 179: 109495.

DOI:10.1016/j.measurement.2021.109495 URL [本文引用: 1]

[10]

沈飞, 陈超, 徐佳文,

等.

谱质心迁移在变工况轴承故障诊断的应用

[J]. 仪器仪表学报, 2019, 40(5): 99-108.

SHEN

Fei

, CHEN

Chao

, XU

Jiawen

et al.

Application of spectral centroid transfer inbearing fault diagnosis under varying working conditions

[J]. Chinese Journal of Scientific Instrument, 2019, 40(5): 99-108.

DOI:10.1016/j.ymssp.2020.107095 URL [本文引用: 1]

[11]

, SHEN

C Q

, CHEN

et al.

Knowledge mapping-based adversarial domain adaptation: A novel fault diagnosis method with high generalizability under variable working conditions

[J]. Mechanical Systems and Signal Processing, 2021, 147: 107095.

[12]

ZHAO

, ZHANG

X M

, LI

et al.

Intelligent fault diagnosis of rolling bearings based on normalized CNN considering data imbalance and variable working conditions

[J]. Knowledge-Based Systems, 2020, 199: 105971.

DOI:10.1016/j.knosys.2020.105971 URL [本文引用: 1]

[13]

赵小强, 梁浩鹏.

使用改进残差神经网络的滚动轴承变工况故障诊断方法

[J]. 西安交通大学学报, 2020, 54(9): 23-31.

ZHAO

Xiaoqiang

, LIANG

Haopeng

Fault diagnosis method for rolling bearing under variable working conditions using improved residual neural network

[J]. Journal of Xi’an Jiaotong University, 2020, 54(9): 23-31.

[14]

HINTON

G E

, SALAKHUTDINOV

R R

Reducing the dimensionality of data with neural networks

[J]. Science, 2006, 313(5786): 504-507.

DOI:10.1126/science.1127647 PMID:16873662 [本文引用: 2]

High-dimensional data can be converted to low-dimensional codes by training a multilayer neural network with a small central layer to reconstruct high-dimensional input vectors. Gradient descent can be used for fine-tuning the weights in such "autoencoder" networks, but this works well only if the initial weights are close to a good solution. We describe an effective way of initializing the weights that allows deep autoencoder networks to learn low-dimensional codes that work much better than principal components analysis as a tool to reduce the dimensionality of data.

[15]

李艳峰, 王新晴, 张梅军,

等.

基于奇异值分解和深度信度网络多分类器的滚动轴承故障诊断方法

[J]. 上海交通大学学报, 2015, 49(5): 681-686.

Yanfeng

, WANG

Xinqing

, ZHANG

Meijun

et al.

An approach to fault diagnosis of rolling bearing using SVD and multiple DBN classifiers

[J]. Journal of Shanghai Jiao Tong University, 2015, 49(5): 681-686.

DOI:10.1016/j.compind.2018.12.012 [本文引用: 1]

[16]

, CHU

F L

Ensemble deep learning-based fault diagnosis of rotor bearing systems

[J]. Computers in Industry, 2019, 105: 143-152.

For rotating machinery, early and accurate diagnosis of rotor and bearing component fault is of great significance. The classic fault diagnosis model includes two key modules, feature extraction and fault classification. In order to enhance the practicability, the deep learning models realize the end-to-end fault diagnosis by integrating this two modules, thus avoids the problems caused by the inadequate adaptability of manual designed features. However, considering the wide application scenario of fault diagnosis technology, the application scope of single deep model may have corresponding limitations. Accordingly, in this paper, an ensemble deep learning diagnosis method based on multi-objective optimization is proposed. The multi-objective optimization algorithm is used as the ensemble strategy in this method, the Convolution Residual Network (CRN), Deep Belief Network (DBN) and Deep Auto-Encoder (DAE) are weighted and integrated to realize the effective diagnosis of rotor and bearing faults for rotating machinery. The experimental results demonstrate the better adaptability of the proposed method compared to other single and ensemble deep models. (C) 2018 Published by Elsevier B.V.

[17]

WANG

G M

, QIAO

J F

, LI

X L

et al.

Improved classification with semi-supervised deep belief network

[J]. IFAC PapersOnLine, 2017, 50(1): 4174-4179.

DOI:10.1016/j.ifacol.2017.08.807 URL [本文引用: 1]

[18]

CHE

C C

, WANG

H W

, NI

X M

et al.

Domain adaptive deep belief network for rolling bearing fault diagnosis

[J]. Computers & Industrial Engineering, 2020, 143: 106427.

DOI:10.1016/j.cie.2020.106427 URL [本文引用: 3]

[19]

JAITLY

, HINTON

Learning a better representation of speech soundwaves using restricted boltzmann machines

[C]//2011 IEEE International Conference on Acoustics, Speech and Signal Processing. Prague, Czech Republic: IEEE, 2011: 5884-5887.

[20]

HINTON

G.E.

A practical guide to training restricted Boltzmann machines

[J]. Momentum, 2010, 9(1), 926-947.

DOI:10.1016/j.patrec.2018.08.006 URL [本文引用: 1]

[21]

HINTON

G E

Training products of experts by minimizing contrastive divergence

[J]. Neural Computation, 2002, 14(8): 1771-1800.

DOI:10.1162/089976602760128018 PMID:12180402 [本文引用: 1]

It is possible to combine multiple latent-variable models of the same data by multiplying their probability distributions together and then renormalizing. This way of combining individual "expert" models makes it hard to generate samples from the combined model but easy to infer the values of the latent variables of each expert, because the combination rule ensures that the latent variables of different experts are conditionally independent when given the data. A product of experts (PoE) is therefore an interesting candidate for a perceptual system in which rapid inference is vital and generation is unnecessary. Training a PoE by maximizing the likelihood of the data is difficult because it is hard even to approximate the derivatives of the renormalization term in the combination rule. Fortunately, a PoE can be trained using a different objective function called "contrastive divergence" whose derivatives with regard to the parameters can be approximated accurately and efficiently. Examples are presented of contrastive divergence learning using several types of expert on several types of data.

[22]

CHEN

, YANG

C L

, ZHANG

Deep domain similarity Adaptation Networks for across domain classification

[J]. Pattern Recognition Letters, 2018, 112: 270-276.

[23]

GRETTON

, BORGWARDT

K M

, RASCH

M J

et al.

A kernel two-sample test

[J]. Journal of Machine Learning Research, 2012, 13(1): 723-773

[24]

HINTON

G E

, SRIVASTAVA

, KRIZHEVSKY

et al.

Improving neural networks by preventing co-adaptation of feature detectors

[J]. Computer Science, 2012, 3(4): 212-223.

[25]

张振良, 刘君强, 黄亮,

等.

基于半监督迁移学习的轴承故障诊断方法

[J]. 北京航空航天大学学报, 2019, 45(11): 2291-2300.

ZHANG

Zhenliang

, LIU

Junqiang

, HUANG

Liang

et al.

A bearing fault diagnosis method based on semi-supervised and transfer learning

[J]. Journal of Beijing University of Aeronautics and Astronautics, 2019, 45(11): 2291-2300.