基于4种长短时记忆神经网络组合模型的畸形波预报

doi:10.16183/j.cnki.jsjtu.2021.088

基于4种长短时记忆神经网络组合模型的畸形波预报

赵勇^,, 苏丹

大连海事大学船舶与海洋工程学院, 辽宁大连 116026

Rogue Wave Prediction Based on Four Combined Long Short-Term Memory Neural Network Models

ZHAO Yong^,, SU Dan

Naval Architecture and Ocean Engineering College, Dalian Maritime University,Dalian 116026, Liaoning, China

责任编辑: 陈晓燕

收稿日期: 2021-03-18

基金资助:

国家自然科学基金(51679021)
国家留学基金(201906575002)

Received: 2021-03-18

作者简介 About authors

赵勇(1981-),男,江西省宜春市人,副教授,主要从事船舶与海洋工程智能化研究;E-mail:fluid@126.com.

摘要

为提高长短时记忆神经网络对畸形波预报精度,研究了长短时记忆神经网络与卷积神经网络(Convolution Neural Networks, CNN)、经验模式分解(Empirical Mode Decomposition, EMD)、差分自回归移动(Auto-Aggressive Integrated Moving Average, ARIMA)模型以及卡尔曼滤波 (Kalman Filtering,KF)方法4种组合模型预报方法.基于两个单峰型畸形波和一个三姐妹组合型畸形波实验数据,经过数据归一化、模型参数设置及误差评估建立了组合预报模型和预报.结果表明:4种组合模型预报精度在所研究的3个畸形波序列预报中精度都得到了显著提高,其中与CNN组合模型的预报精度最高.组合模型方法为提高畸形波预报精度提供了可行方案.

关键词： 畸形波; 长短时记忆(LSTM); 卷积神经网络(CNN); 经验模式分解(EMD); 差分自回归(ARIMA); 卡尔曼滤波(KF)

Abstract

In order to improve the prediction accuracy of rogue waves of the long short-term memory (LSTM) neural network, prediction methods of LSTM with convolution neural networks (CNN), empirical mode decomposition (EMD), auto-aggressive integrated moving averagel (ARIMA) model, and Kalman filtering (KF) were studied. Based on the experimental data of the rogue waves of two single-peak and one three combined peaks, prediction models were established and predicted by data normalization, model parameter optimization and error evaluation. The results show that the prediction accuracy of the four combined models is significantly improved in all the three studied conditions, and the combination with the convolutional neural network has the highest prediction accuracy. The combined models provide a feasible scheme for improving the prediction accuracy of freak waves.

Keywords： rogue wave; long short-term memory (LSTM); convolutional neural network (CNN); empirical mode decomposition (EMD); auto-aggressive integrated average (ARIMA); Kalman filtering (KF)

PDF (1523KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

赵勇, 苏丹. 基于4种长短时记忆神经网络组合模型的畸形波预报[J]. 上海交通大学学报（自然版）, 2022, 56(4): 516-522 doi:10.16183/j.cnki.jsjtu.2021.088

ZHAO Yong, SU Dan. Rogue Wave Prediction Based on Four Combined Long Short-Term Memory Neural Network Models[J]. Journal of shanghai Jiaotong University, 2022, 56(4): 516-522 doi:10.16183/j.cnki.jsjtu.2021.088

由于波高极大,发生突然,消失快速,畸形波具有破坏力极强和预报难度大的特点,对船舶和海洋工程产生了巨大的潜在危险,人们对其研究倾注了大量的精力,研究方法包括数值实验、物理实验和理论分析等,使得畸形波研究成为非线性水波研究领域的热点问题.目前人们对畸形波产生和演化机制的认识仍然缺乏清晰统一的认识.

对于机制复杂难以建立物理模型的问题,人们基于实验数据,采用时间序列分析方法,如差分自回归移动(Auto-Aggressive Integrated Moving Average, ARIMA)模型,卡尔曼滤波(Kalman Filtering,KF)和经验模式分解(Empirical Mode Decomposition, EMD)等方法.王淑华^[1]对冯家山水库的主汛期水位进行了基于ARIMA模型的预测,结果表明ARIMA模型对水库水位数据预报效果显著.孙逸群等^[2]基于闽江流域的邵武盆洪水数据,通过卡尔曼老滤波方法预报,预报效果良好,可以用来预报洪水.阚世宜等^[3]对海洋有义波高序列进行了EMD分解,结果表明EMD通过分解时序数据,预报效果良好.

近年来,采集数据的积累,机器学习方法得到了广泛应用,开始应用于畸形波领域的预报. Doong等^[4]采用人工神经网络模型预报畸形波,表明模型具有一定的可行性. 赵勇等^[5]采用深度机器学习模型长短时记忆(Long Short-Term Memory, LSTM)神经网络模型预报畸形波,精度比传统的误差后向传播(Back Propagation, BP)神经网络模型、支持向量机(Support Vector Machin, SVM)模型的预报精度高,并且在长程预报上具有明显优势.本文为进一步提高LSTM模型预报畸形波,拟通过组合方式,结合两种模型(或方法)的各自优点,提升预报精度,组合模型在其他领域有成功应用.陆继翔等^[6]提出一种基于卷积神经网络(Convolution Neural Networks, CNN)和LSTM的组合模型预报非线性电力短期负荷,先采用CNN进行特征提取,再用LSTM进行预测的方式,结果证明精度有一定的提升.晏臻等^[7]提出了CNN与LSTM组合的交通流量预测模型,将CNN提取出的数据空间关联性与LSTM挖掘的数据时序性进行融合,预报精度较好.魏骜等^[8]将LSTM与EMD结合用来预测电力负荷,将原始电力负荷输入EMD模型中分解得到各分量,分别输入到LSTM中进行预测,预报精度得到提升.

Srivastava等^[9]利用循环神经网络(RNN),梯度提升算法(GBM)和LSTM混合模型对电力值进行短期预测,最后三者整合得出结果,预报效果较好.Zhai等^[10]利用ARIMA和BP的混合模型对时间序列进行预测,预测结果证明,混合模型确实提高了预测精度,可用于实际预报.Jain等^[11]将传统时间序列预测模型与人工神经网络结合,用于预测科罗拉多河的流量数据,证明此混合模型既利用了时间序列预测非线性特性的优点,也构建了稳健的神经网络模型,有效提高了时间序列预测精度.

参考经典文献中的定义^[12],以超过2倍有义波高定义为畸形波.本文将在LSTM的基础上,与CNN、EMD、ARIMA及KF结合,较为全面地考查组合模型对畸形波预报精度的影响.介绍畸形波数据来源、LSTM及4种组合模型网络结构、模型参数及各组合模型的精度对比.

1 实验数据

数据来源于某岛礁地形模型的波浪演化实测数据^[13],对波高数据进行采样,采样频率50 Hz, 每个时间序列波高数据数目 4096 个.在多个时间序列中,发现了3个典型的畸形波时间序列(表中工况 1~3),各参数信息如表1所示.

表1 试验中发现的3个代表性畸形波参数

Tab.1 Rogue wave parameters found in three representative conditions

工况	有义波高/cm	最大波高/cm	波高比	峰值时间/s	峰值/cm
1	4.59	9.63	2.11	77.34	5.75
2	2.89	6.33	2.19	45.96	3.69
3	2.89	6.36	2.20	53.04	3.98

新窗口打开| 下载CSV

2 LSTM及其组合模型

2.1 LSTM模型

LSTM具有存储单元和端口内存,是RNN的一种改进结构.传统的RNN不能解决长期依赖的问题,容易出现“梯度消失”现象.LSTM在RNN结构上引入门控机制的概念,通过输入门、遗忘门和输出门控制网络中数据信息的流动.输入门决定输入多少信息,对输入数据进行一次滤波,去除无用信息.遗忘门决定从当前单元中丢弃哪些信息,而有价值的信息被保留下来.输出门控制当前单元的数据信息.LSTM网络结构如图1所示.图中: $c_{t}$ 为单元的存储状态; $h_{t}$ 为时间t的隐含状态; $f_{t}$ 为时刻 $t$ 的遗忘门; $i_{t}$ 为时刻 $t$ 的输入门; $o_{t}$ 为时刻 $t$ 的输出门; $δ$ 为 $S$ 型函数; $x_{t}$ 为时刻 $t$ 的导入值.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 LSTM网络结构

Fig.1 Structure of LSTM network

2.2 LSTM-CNN

CNN是由Lecun等^[14]提出,由1个输入层、1个输出层和几个隐藏层组成.隐藏层可以分为卷积层、池化层和全连接层.卷积层和池化层是核心,可以提取特征,减少模型参数的数量,加快训练速度.相对功能而言,CNN更适合特征提取, LSTM 更适合时间记忆,将二者结合结合更有利于畸形波预测.图2所示为CNN-LSTM模型网络结构图, 图中Conv1D为一维卷积层.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 LSTM-CNN网络结构

Fig.2 Structure of LSTM-CNN network

2.3 LSTM-EMD

EMD能反映信号的固有特性,利用EMD分解,得到一组固有模态函数和残差.EMD具有良好的时频分辨率,通过信号分解,消除原始序列的自相关性,因此,被广泛应用于非线性时间序列的预处理.如图3所示,EMD 可以将数据分解为不同分量,从而降低原始数据的非平稳性与复杂度^[15].两者结合同时具备很好的非线性拟合能力和时间记忆能力,预测精度有望得到提高.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 LSTM-EMD网络结构

Fig.3 Structure of EMD-LSTM network

2.4 LSTM-ARIMA

ARIMA模型可以使时间序列数据趋于平稳,且使因变量只基于其延迟值以及当前的误差值而变化.利用 LSTM模型对传统的ARIMA模型进行了改进.ARIMA-LSTM模型不仅保持了稳定性和可解释性,相比于传统的ARIMA模型,同时也吸收了长短时记忆深度学习模型对时间序列学习的优点.在实际应用中, LSTM-ARIMA模型可以降低深度学习校正过程的复杂性,保证高频时间序列的时效性.网络结构如图4所示,先用ARIMA将畸形波分为线性部分和非线性部分,再将LSTM模型运用于ARIMA处理过的非线性部分,最后将两者预测结果叠加.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 LSTM-ARIMA网络结构

Fig.4 Structure of LSTM-ARIMA network

2.5 LSTM-Kalman

卡尔曼滤波算法可以分为两部分:时间更新方程(预测阶段)和测量更新方程(反馈阶段).时间更新方程负责在时间上向前推进当前状态和误差协方差,获得即将到来的时间步长的先验估计,测量更新方程负责反馈,即获取实际测量值并改变参数来改进卡尔曼滤波.因此,时间更新方程可以看作是预测,而测量更新方程可以看作是校正.LSTM模型只能预报时间序列的一部分特性,容易在某一因素上有波动性误差,卡尔曼可以修复这种误差^[16].因此,利用LSTM作为静态预测模型预测原始畸形波时序数据,以此作为基础时间序列,再利用Kalman滤波进行调整,有望提升预报精度.

3 参数及结果

模型训练是平均相对误差:

(1)

\begin{matrix} e_{m} = \frac{1}{N} \sum_{i = 1} |\frac{Y_{i} - X_{i}}{Y_{i}}| \end{matrix}

式中:X为预测值;Y为数据样本的真实数值;N为样本总量. 训练的过程就是误差不断减少并最终收敛的过程.由于具有收敛快的优点,本文采用Adam算法优化方法,LSTM及其组合模型的其他超参数设置如表2所示.其中,LSTM-CNN模型采用的Maxpooling1D窗口大小为2,filters(过滤器的个数)为64,kernel_size(卷积核的大小)为2,dense层神经元个数为100.LSTM-EMD模型采用的 n_hours (输入层的时间步)为4,阈值为5,dense层神经元个数为1,kernel_regularizer(正则化)为l2(0.005),recurrent_regularizer(施加在循环核上的正则项)为l2(0.005).LSTM-ARIMA模型采用的移动平均阶数p和自回归阶数q均为3.LSTM-Kalman模型采用的dense层神经元个数为1,卡尔曼niter数为4.

表2 各模型网络参数设置

Tab.2 Parameter setting of network models

参数类别	模型	数量设置
隐藏层层数	LSTM	1
	LSTM-CNN	3
	LSTM-EMD	2
	LSTM-ARIMA	1
	LSTM-Kalman	1
隐藏层节点数	LSTM	128
	LSTM-CNN	300
	LSTM-EMD	20
	LSTM-ARIMA	3
	LSTM-Kalman	4
批尺寸	LSTM	32
	LSTM-CNN	16
	LSTM-EMD	20
	LSTM-ARIMA	1
	LSTM-Kalman	1
训练次数	LSTM	100
	LSTM-CNN	1000
	LSTM-EMD	100
	LSTM-ARIMA	100
	LSTM-Kalman	100

新窗口打开| 下载CSV

4 各工况畸形波波高时间序列

工况1属于单峰型畸形波,其有义波高H_S=4.59 cm,时间t=77.34 s时最大波高H_max=9.63 cm,此时波高比达到了2.11,产生了畸形波,波高时间序列如图5(a)所示,图中H为波高.工况2也属于单峰型畸形波,其H_S=2.89 cm,t=45.96 s 时达到峰值H_max=6.33 cm,波高比为2.19,波高时间序列如图5(b)所示.工况3属于三姐妹型畸形波,H_S=2.89 cm,t=45.96 s 时达到峰值H_max=6.36 cm.此类畸形波可以连续产生几个大波具有持续性强的特点,波高时间序列如图5(c)所示.

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 3个工况中畸形波波高序列

Fig.5 Rogue wave height sequence in three working conditions

5 预测结果

(1) 工况1.

工况1畸形波形状为单峰型,测点地形位置使得其特点为近岸浅水区,此处地形变化激烈,容易产生畸形波.工况1的训练集和测试集都有明显的畸形波,取训练数据和测试数据的期间分别为0~57.36 s和57.38~81.88 s,工况1各种模型的预报结果与真实值比较如图6(a)~6(e)所示,图6(f)中e为真实值与预测值之间的误差.

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 工况1中畸形波波高序列和各种模型预报结果及其误差

Fig.6 Rogue wave height sequence, prediction results, and error of different models in condition 1

预报结果显示,除了畸形波时刻附近,其余时间几乎为重合,后续工况2和工况3中将不给出真实波高与预报波高对比图.为突出不同预测模型对畸形波的预报精度,给出了畸形波时刻附近的预报误差比较,如图6(f)所示.5种模型预报误差在畸形波附近误差表现有较大差别,相较于LSTM单一模型,4种LSTM组合模型对于畸形波的预测精度都有明显提升.

(2) 工况2.

与工况1不同的是,只有测试集期间的数据畸形波程度明显.预报结果如图7所示.测点地形位置属于非线性变化区域,海底海山处变化较大,总体来说此类区域畸形波生成的概率较大.工况2训练集数据为0~39.32 s,测试集期间的数据为39.34~63.84 s,训练集畸形波特征不明显,测试集包含明显畸形波.

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 工况2中5种模型在畸形波附近时间范围内的预报误差

Fig.7 Prediction errors of the five models in the time range near rogue waves in condition 2

由图7可知,相比于LSTM模型,LSTM组合模型效果更优.

(3) 工况3.

工况3的训练集数据区间为0~49.14 s,测试集数据为49.16~73.66 s,其中测试集数据畸形波特征明显.由图8可知,LSTM组合模型预报畸形波的精度比单一LSTM模型具有显著的优势.

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 工况3中5种模型在畸形波附近时间范围内的预报误差

Fig.8 Prediction errors of the five models in the time range near rogue waves in condition 3

3个畸形波时间序列预报的平均相对误差e_m如表3所示.可以看出,LSTM组合模型预报精度均得到了显著提升.具体情况为LSTM-CNN模型精度最好,LSTM-ARIMA模型次之,LSTM-EMD模型和LSTM-Kalman更次之,LSTM效果最差,这个排序在3个畸形波序列预报中均是如此.相比较于单一LSTM模型,LSTM-CNN组合模型在3个畸形波时间序列预报的精度分别提升45.1%、74.7%及50.9%,精度得到显著提升.

表3 各种模型预报平均相对误差比较

Tab.3 Comparison of average relative error of different models

工况	e_m
工况	LSTM	LSTM- CNN	LSTM- ARIMA	LSTM- EMD	LSTM- Kalman
1	0.2838	0.1557	0.1621	0.1987	0.2047
2	1.0637	0.2685	0.3240	0.5965	0.6789
3	0.2664	0.1307	0.1413	0.2079	0.2366

新窗口打开| 下载CSV

需要说明的是,平均相对误差反映的是全局预报精度,但从畸形波的局部范围看,结合模型的预报精度更加具有明显优势,特别是LSTM-CNN模型表现最好.

6 结语

基于某岛礁地形模型的波高时间序列中发现的3个畸形波时间序列,针对长短时记忆神经网络,发展了其与CNN、EMD、ARIMA及KF这4种模型的组合组合,考察了4种组合模型对畸形波预报精度的提升效果.结果表明,采用平均相对误差评判,4种LSTM组合模型在3个畸形波时间序列中预报精度均得到了显著改善.4种组合模型中,LSTM-CNN组合精度提升最为明显,且误差分布较其他LSTM模型更均匀.因此,LSTM-CNN模型是预报畸形波的一种理想组合模型.后续研究中,将通过畸形波数值模拟方法,得到流场速度和压力等信息,从而建立更多变量的机器学习模型预报,用于船舶与海洋平台的载荷预报.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

王淑华

基于ARIMA模型的冯家山水库水位预测研究

[J]. 陕西水利, 2019(8): 45-47.