一种CNN-LSTM船舶运动极值预报模型
A CNN-LSTM Ship Motion Extreme Value Prediction Model
通讯作者: 朱仁传,教授,博士生导师,电话(Tel.):021-34204288;E-mail:renchuan@sjtu.edu.cn.
责任编辑: 王一凡
收稿日期: 2022-03-31 修回日期: 2022-05-27 接受日期: 2022-07-27
Received: 2022-03-31 Revised: 2022-05-27 Accepted: 2022-07-27
作者简介 About authors
詹可(1997-),博士生,从事船海工程水动力学研究.
针对船舶摇荡运动的短期极值预报,提出一种融合运动频谱信息的滑动窗口方法提取特征数据,在此基础上构建卷积神经网络(CNN)与长短时记忆(LSTM)网络的组合预报模型,其中CNN模块针对输入数据的局部相关特征,LSTM模块针对数据的时间维度特征.对S175船进行运动仿真测试,结果表明,该模型对未来1~2个周期内的运动极值信息预报效果良好,各项评价指标均明显优于LSTM和门控循环单元(GRU)模型,具有重要的应用价值.
关键词:
Aimed at the short-term extreme value prediction of ship motion, a sliding window method based on motion spectrum information is proposed to extract feature data, based on which, a series prediction model of convolutional neural networks (CNN) and long short-term memory (LSTM) is built. The CNN module aims at the local correlation characteristics of the input data, and the LSTM module aims at the time dimension characteristics of the data. The simulation test results of S175 ship show that the model has a good prediction effect on the motion extremum information in the next 1 and 2 cycles, and the evaluation indexes are significantly better than those of LSTM and gate recurrent unit (GRU) models, which has an important application value.
Keywords:
本文引用格式
詹可, 朱仁传.
ZHAN Ke, ZHU Renchuan.
船舶在航行时受风、浪、流等复杂外力的作用,各自由度上均会产生不规则的摇荡运动.当摇荡幅度过大时,船舶的航行和作业安全将会受到严峻的挑战.提前预报船舶未来的摇荡运动可为操作人员提供更多的决策时间,提高安全性与稳定性.
船舶运动响应的短期预报可以视作一个典型的时间序列预测(Time Series Forecasting, TSF)问题.经典的时间序列分析方法,如自回归模型(Auto Regression Model, ARM)[1]、卡尔曼滤波(Kalman Filtering)[2]等结构简单,计算效率高,但在处理非平稳、非线性的时间序列时效果不佳.支持向量机(Support Vector Machines, SVM)、人工神经网络(Artificial Neural Network, ANN)等机器学习模型具有强大的非线性拟合能力,因而在船舶运动预报领域得到广泛重视.Zhou等[3]使用结合经验模态分解的最小二乘支持向量机(Least Squares Support Vector Machines, LS-SVM)预报船舶运动.Pena等[4]通过人工神经网络对船舶横摇运动进行预测.近年来,循环神经网络(Recurrent Neural Network, RNN)及其变种,尤其是长短时记忆(Long Short-Term Memory, LSTM)网络[5]成为了热门模型.RNN中隐藏层的输入包含了上一时刻隐藏层的输出,能够更好地记忆并学习序列的历史信息,因而更适用于长时间序列的预报,LSTM则在RNN的基础上引入了记忆状态和门控单元,进一步提升了预报效果.长短时记忆网络等还可与卷积神经网络(Convolutional Neural Networks,CNN)、注意力机制(Attention Mechanism)等相结合.Wang等[6]结合CNN与双向LSTM,建立了基于风速、舵角等多维输入的船舶横摇运动预报模型.Wang等[7]引入时间模式注意力机制(Temporal Pattern Attention, TPA)对双向LSTM输出结果进行修正,提升了横摇运动预报效果.Zhang等[8]将多尺度注意力机制与双向LSTM结合以预测船舶运动.除应用新的机器学习模型外,使用小波变换(Wavelet Transform)[8]、经验模态分解(Empirical Mode Decomposition, EMD)[9]等数据前处理方法也可提升预报精度.
船舶摇荡运动具有明显的周期性,且一般不会出现高频震荡,因而根据序列局部极值点的信息即能较好地还原船舶的运动时历.从实际需求出发,船舶航行与作业时也更加关注摇荡极值,而当前尚未对此做出深入的研究.本文结合船舶各自由度摇荡运动频谱捕获序列中的局部极值和周期信息,在此基础上构造CNN-LSTM深度学习模型,通过CNN的卷积运算进行序列特征提取,再输入LSTM模块进行进一步的时间特征学习,最终得到预报结果.对S175船进行仿真实验,结果表明,该模型预报效果优于LSTM、门控循环单元(Gated Recurrent Unit, GRU)等模型,具有较高的应用价值.
1 CNN-LSTM船舶运动极值预报模型
1.1 基于运动响应谱的特征信息提取
对于船舶单个自由度摇荡运动数据构成的一维时间序列
式中:C∈R1×N为判定向量,判定数据点是否为局部极值点,0表示非局部极值点,1表示为局部极值点;P∈R1×N为位置向量,记录局部极值点在原始序列中的位置;E∈R1×card(P)为极值点向量,记录局部极值点的数值,card(P)为P中的元素个数;T∈R1×card(P)为周期向量,记录相邻局部极值点的距离;d为滑动窗口宽度.
对于船舶摇荡运动序列,所取窗口宽度过小时容易受到噪声的干扰;所取窗口宽度过大时,又会造成信息损失.不同窗口宽度对极值信息提取的效果如图1所示.图中:X表示位移;t表示时间.
图1
图1
不同窗口宽度对极值提取效果的影响
Fig.1
Effect of different window widths on extreme value extraction
考虑到船舶运动频谱在较长的时间内保持相对稳定,且包含船舶运动的频域信息,本文选择结合运动响应谱来确定窗口宽度.各自由度的运动响应谱通过Welch法[10]计算,其基本步骤如下.
对于长度为
对每个小段添加窗函数w(m)后作傅里叶变换:
式中:i=1, 2, …, L;j为虚数单位;ω为频域中的对应频率.
窗函数一般取Hanning窗,其表达式为
式中:
计算各小段功率谱的均值作为最终结果:
式中:
式中:[·]为取整函数.
1.2 卷积神经网络
式中:
如图2所示,卷积核(也称为过滤器)通过逐步平移的方式扫描二维数据并进行卷积运算,从而提取数据特征,其中蓝色区域为卷积核计算区域,黄色部分为卷积核,橙色部分为卷积核计算结果.为充分提取特征信息,一般需要设置多个卷积核.
图2
池化层采用类似的逐步平移方式扫描卷积层输出的特征图,依次捕获过滤器内的最大值,从而缩减数据规模,降低模型复杂度.通过多个卷积层和池化层的交替堆叠,可以更好地提取数据的深层特征.
1.3 长短时记忆网络
图3
LSTM网络根据如下规则[6]更新时刻状态:
式中:
1.4 CNN-LSTM船舶运动极值预报模型
图4
表1 CNN-LSTM模型具体参数
Tab.1
层 | 核数 | 尺寸 | 步长 | 隐藏 节点数 | 失活率 |
---|---|---|---|---|---|
卷积层1 | 96 | (2, 1) | 1 | — | — |
池化层1 | — | (3, 1) | 1 | — | — |
卷积层2 | 64 | (1, 1) | 1 | — | — |
池化层2 | — | — | — | — | — |
LSTM层1 | — | — | — | 200 | — |
LSTM层2 | — | — | — | 150 | — |
LSTM层3 | — | — | — | 100 | — |
Dropout层 | — | — | — | — | 0.5 |
完整的模型训练及预报流程如图5所示.对于获取的垂荡、横摇、纵摇、首摇4自由度运动时间序列Xn={
图5
本文采用误差反传算法训练模型参数,损失函数取均方误差(Mean Squared Error, MSE),优化器为Adam,初始学习率为0.001,迭代总数为1 200次,训练批量大小为10.选取数据集的前95%为训练集,后5%为测试集.依赖步数l=30,向后预报步数k分别取1, 2.
2 S175船运动预报结果与分析
2.1 数据集生成
式中:
计算生成7 200 s的四自由度摇荡时间序列,Δt=50 ms,共计144 001个数据点.各摇荡序列对应的响应谱如图6所示,图中f为波浪频率.由式(6)计算得窗口宽度 d3=110, d4=110, d5=105, d6=100,再由式(1)进行极值信息提取,并通过填充操作最终获得尺寸为8×1 343的二维数据集I={Iij, i=1, 2, …, 8, j=1, 2, …, 1 343}={
图6
图7
2.2 模型评价
2.2.1 模型评价指标
为分析模型的预报效果,本文选取平均绝对误差(Mean Absolute Error, eMAE)、均方误差(Mean Squared Error, eMSE)、均方根误差(Root Mean Squared Error, eRMSE)和相关系数(Correlation Coefficient, r)4个指标进行评估.以上均为时间序列预测领域的通用评价指标,具有一定的普适性.各指标由下式计算:
2.2.2 对照模型
为进一步验证预报性能,本文设置了两种对照模型.模型1的基础框架为前述CNN-LSTM模型的LSTM部分,模型2在模型1的基础上将LSTM单元替换为GRU[17].GRU将LSTM的输入门和遗忘门合并更新门,其待训练参数少于LSTM.
2.3 仿真结果与分析
图8
表2 各模型单步预报误差
Tab.2
模型 | 垂荡 | 横摇 | 纵摇 | |||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
eMSE/ m2 | eRMSE/ m | eMAE/ m | r | eMSE/ (°)2 | eRMSE/ (°) | eMAE/ (°) | r | eMSE/ (°)2 | eRMSE/ (°) | eMAE/ (°) | r | |
CNN-LSTM | 0.067 2 | 0.259 3 | 0.215 1 | 0.963 8 | 0.038 2 | 0.195 3 | 0.166 5 | 0.953 4 | 0.190 8 | 0.436 8 | 0.355 5 | 0.975 1 |
LSTM | 0.151 1 | 0.388 7 | 0.318 3 | 0.831 8 | 0.078 2 | 0.269 9 | 0.214 3 | 0.873 1 | 0.362 5 | 0.602 1 | 0.487 0 | 0.937 2 |
GRU | 0.155 8 | 0.394 7 | 0.323 7 | 0.829 9 | 0.072 2 | 0.208 8 | 0.212 0 | 0.874 1 | 0.361 7 | 0.601 4 | 0.488 0 | 0.937 3 |
本文提出的CNN-LSTM模型在各项误差指标上都优于LSTM和GRU模型,以MSE为标准,3个自由度下的预报效果比LSTM模型分别提升了55.5%、51.1%和47.4%,比GRU模型分别提升了56.9%、47.1%和47.2%.以MAE为标准,3个自由度下的预报效果比LSTM模型分别提升了32.4%、22.3%和27.1%,比GRU模型分别提升了33.5%、21.5%和27.1%.从图像上看,CNN-LSTM模型的预报幅值普遍比其余两种模型更接近真实值;而在序列出现非平稳波动处,LSTM和GRU模型的预报结果偏差较大,而CNN-LSTM模型仍能较好地给出预报结果.可见,CNN-LSTM 模型中卷积层和池化层对数据特征信息的提取显著提升了预报性能,该模型能够基于历史数据较为精确地预报下一极值点的信息.
图9
表3 CNN-LSTM模型多步预报误差
Tab.3
预报步数 | 垂荡 | 横摇 | 纵摇 | |||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
eMSE/ m2 | eRMSE/ m | eMAE/ m | r | eMSE/ (°)2 | eRMSE/ (°) | eMAE/ (°) | r | eMSE/ (°)2 | eRMSE/ (°) | eMAE/ (°) | r | |||
提前2步 | 0.177 2 | 0.421 0 | 0.345 4 | 0.818 0 | 0.067 0 | 0.258 9 | 0.203 6 | 0.900 7 | 0.407 2 | 0.638 2 | 0.518 9 | 0.946 1 |
可见,CNN-LSTM模型的多步预报精度有所下降,同时预报结果出现了一定的滞后性.这是由于序列本身具有非平稳非线性的特点,随着预报步数的增加,输入值与预报值间的潜在规律更加复杂,训练难度也因此上升.图10所示为各自由度预报结果与实际观测值间的相关性分析.其中,Xp表示预测值,Xr表示真实值.可见,预报结果的变化趋势仍与实际情况吻合较好,提前2步的3自由度预报值与实际值的平均相关系数分别为81.8%、90.7%和94.6%,能够满足实际需求.
图10
图10
预报结果与实际值的相关性分析
Fig.10
Correlation analysis of prediction results and actual values
3 结论
以船舶摇荡运动的极值信息为预报目标,以船舶4个自由度的运动时间序列为原始数据,构造了一种CNN-LSTM组合预报模型.针对S175船的验证结果表明,该模型在单步预报时精度良好,各项误差指标相较LSTM和GRU模型均有明显提升,垂荡、横摇、纵摇3个自由度下的MSE较LSTM模型分别提升了55.5%、51.1%和47.4%,较GRU模型分别提升了56.9%、47.1%和47.2%;MAE较LSTM模型分别提升了32.4%、22.3%和27.1%,较GRU模型分别提升了33.5%、21.5%和27.1%.在多步预报时误差指标略有下降,但预报趋势仍能与实际值保持吻合,提前2步的3自由度预报值与实际值的平均相关系数分别为81.8%、90.7%和94.6%.
本文提出的预报模型具有以下优点:① 结合船舶运动响应谱进行数据前处理,有效提取了船舶运动极值信息,同时抑制了高频噪声的影响;② 通过CNN模块发掘学习各维度数据间的潜在联系,充分利用了已知信息,并提高了预报精度;③ 模型预报效果良好,仿真实验表明该模型能够准确预报未来1~2个周期内船舶运动的极值信息,且预测指标明显优于对照模型.在此基础上,未来可进一步探究该模型针对实测复杂海况下的预报效果,并实现完整的在线预报流程.该工作对于诸如舰载机起降、海上平台安装等场景具有重要应用价值,同时也可为波浪信息预报等时间序列预测问题提供参考.
参考文献
基于AR的船舶运动极短期预报摇摆平台试验
[J].
Short time prediction of ship motion based on AR model and stewart platform experiment
[J].
Empirical mode decomposition based LSSVM for ship motion prediction
[C]
An ANN based system for forecasting ship roll motion
[C]
Long short-term memory
[J].
DOI:10.1162/neco.1997.9.8.1735
PMID:9377276
[本文引用: 1]
Learning to store information over extended time intervals by recurrent backpropagation takes a very long time, mostly because of insufficient, decaying error backflow. We briefly review Hochreiter's (1991) analysis of this problem, then address it by introducing a novel, efficient, gradient-based method called long short-term memory (LSTM). Truncating the gradient where this does not do harm, LSTM can learn to bridge minimal time lags in excess of 1000 discrete-time steps by enforcing constant error flow through constant error carousels within special units. Multiplicative gate units learn to open and close access to the constant error flow. LSTM is local in space and time; its computational complexity per time step and weight is O(1). Our experiments with artificial data involve local, distributed, real-valued, and noisy pattern representations. In comparisons with real-time recurrent learning, back propagation through time, recurrent cascade correlation, Elman nets, and neural sequence chunking, LSTM leads to many more successful runs, and learns much faster. LSTM also solves complex, artificial long-time-lag tasks that have never been solved by previous recurrent network algorithms.
Multi-dimensional prediction method based on Bi-LSTMC for ship roll
[J].DOI:10.1016/j.oceaneng.2021.110106 URL [本文引用: 2]
Ship roll prediction algorithm based on Bi-LSTM-TPA combined model
[J].
DOI:10.3390/jmse9040387
URL
[本文引用: 1]
When ships sail on the sea, the changes of ship motion attitude presents the characteristics of nonlinearity and high randomness. Aiming at the problem of low accuracy of ship roll angle prediction by traditional prediction algorithms and single neural network model, a ship roll angle prediction method based on bidirectional long short-term memory network (Bi-LSTM) and temporal pattern attention mechanism (TPA) combined deep learning model is proposed. Bidirectional long short-term memory network extracts time features from the forward and reverse of the ship roll angle time series, and temporal pattern attention mechanism extracts the time patterns from the deep features of a bidirectional long short-term memory network output state that are beneficial to ship roll angle prediction, ignore other features that contribute less to the prediction. The experimental results of real ship data show that the proposed Bi-LSTM-TPA combined model has a significant reduction in MAPE, MAE, and MSE compared with the LSTM model and the SVM model, which verifies the effectiveness of the proposed algorithm.
Multiscale attention-based LSTM for ship motion prediction
[J].DOI:10.1016/j.oceaneng.2021.109066 URL [本文引用: 2]
基于ELM-EMD-LSTM组合模型的船舶运动姿态预测
[J].
Ship motion attitude prediction based on ELM-EMD-LSTM integrated model
[J].
基于CNN-LSTM的短期风电功率预测
[J].
Short-term wind power prediction based on CNN-LSTM
[J].
基于特征金字塔卷积循环神经网络的故障诊断方法
[J].
Fault diagnosis method based on feature pyramid CRNN network
[J].
A MATLAB toolbox for parametric identification of radiation-force models of ships and offshore structures
[J].DOI:10.4173/mic.2009.1.1 URL [本文引用: 1]
A hybrid approach for forecasting ship motion using CNN-GRU-AM and GCWOA
[J].DOI:10.1016/j.asoc.2021.108084 URL [本文引用: 1]
/
〈 |
|
〉 |
