基于注意力机制与神经网络的热电联产锅炉负荷预测

doi:10.16183/j.cnki.jsjtu.2021.346

基于注意力机制与神经网络的热电联产锅炉负荷预测

万安平¹, 杨洁¹^,², 缪徐¹, 陈挺^,¹, 左强¹, 李客²^,³

1.浙大城市学院机电系,杭州 310015

2.浙江大学机械工程学院,杭州 310027

3.中信重工机械股份有限公司,河南洛阳 471039

Boiler Load Forecasting of CHP Plant Based on Attention Mechanism and Deep Neural Network

WAN Anping¹, YANG Jie¹^,², MIAO Xu¹, CHEN Ting^,¹, ZUO Qiang¹, LI Ke²^,³

1. Department of Mechanical Engineering, Zhejiang University City College, Hangzhou 310015, China

2. School of Mechanical Engineering, Zhejiang University, Hangzhou 310027, China

3. CITIC Heavy Industries Co., Ltd., Luoyang 471039, Henan, China

通讯作者: 陈挺(1989-),博士研究生,博士后;E-mail:chenting@zucc.edu.cn.

责任编辑: 李博文

收稿日期: 2021-09-8 接受日期: 2021-11-10

基金资助:

国家自然科学基金项目(51705455)
浙江省教育厅教师专业发展项目(FX2021111)
广东省海洋经济发展(海洋六大产业)专项资金项目(GDNRC[2022]28)
杭州市农业与社会发展科研计划重点项目(20212013B04)
浙江省基础公益研究计划项目(LGG20E050007)

Received: 2021-09-8 Accepted: 2021-11-10

作者简介 About authors

万安平(1983-),博士后,副教授,主要从事热电联产机组负荷预测与运行优化研究.

摘要

热电联产机组的锅炉负荷准确预测对电厂生产管理及调度有直接作用.基于注意力机制和深度卷积-长短期记忆网络原理,提出一种新的热电联产长期负荷预测模型,该模型以锅炉出口蒸汽流量(负荷)历史数据和多维负荷影响因素为输入,对负荷进行长期预测.利用Pearson相关系数判定对原始数据进行筛选;将处理后的数据经卷积层进行特征提取和进一步降维,通过长短期记忆层进行拟合,并采取注意力机制对权值进行优化,实现对负荷的精准预测.以浙江桐乡电厂实测数据为例进行验证,结果表明所提方法的平均绝对百分比误差小于1%,能够实现锅炉负荷的精准预测,智能算法在热电联产领域的应用具有一定的借鉴意义.

关键词： 热电联产; 注意力机制; 卷积神经网络; 长短期记忆; 负荷预测

Abstract

Accurate boiler load forecasting of cogeneration units plays a direct role in production management and dispatching of power plants. A long-term load forecasting model of combined heat and power (CHP) based on attention mechanism and the deep convolution long-short-term memory network (CNN-LSTM-AM) is proposed, which takes the historical data of boiler outlet steam flow (load) and multi-dimensional load influence factors as input to make long-term load forecasting. First, the original data is screened by Pearson correlation coefficient judgment. Then the processed data is processed by convolution layer for feature extraction and further dimensionality reduction, fitted through long-term and short-term memory layer, and optimized the weight by adopting attention mechanism, so as to achieve accurate load forecasting. The proposed model is verified by the measured data of Tongxiang Power Plant in Zhejiang Province. The results show that the MAPE of the proposed method is less than 1%. It can realize the accurate prediction of boiler load, which has a certain reference significance for the application of intelligent algorithm in the field of combined heat and power.

Keywords： combined heat and power (CHP); attention mechanism (AM); convolution neural network (CNN); long-short term memory (LSTM); load forecasting

PDF (4458KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

万安平, 杨洁, 缪徐, 陈挺, 左强, 李客. 基于注意力机制与神经网络的热电联产锅炉负荷预测[J]. 上海交通大学学报, 2023, 57(3): 316-325 doi:10.16183/j.cnki.jsjtu.2021.346

WAN Anping, YANG Jie, MIAO Xu, CHEN Ting, ZUO Qiang, LI Ke. Boiler Load Forecasting of CHP Plant Based on Attention Mechanism and Deep Neural Network[J]. Journal of Shanghai Jiaotong University, 2023, 57(3): 316-325 doi:10.16183/j.cnki.jsjtu.2021.346

目前,中国供热行业正在经历从传统走向现代化的创新发展之路,供热系统正在逐步实现从手动到自动、智能、智慧供热的跨越^[1].在低碳清洁能源背景下,区域热用户供热需求的波动性、变化因素显著增加,对数十分钟至数小时的短周期开展热电厂运行策略的实时优化研究具有显著应用价值^[2].

国内部分热电厂的运行方式为母管制^[3],各台并列运行的锅炉之间通过主蒸汽母管相互联结,所有锅炉产生的蒸汽都先送入同一根母管中,再由蒸汽母管分别送入各台汽轮机组中.母管制系统中,锅炉与汽轮机并无一一对应关系,主蒸汽将系统分为炉侧和机侧,各机组间可以通过相互调节配合来满足负荷需要,对负荷变化的适应性较强.例如浙江桐乡电厂采用3台锅炉和2台汽轮机组合的母管制运行方式,通过对不同锅炉和汽轮机进行负荷分配调节,提前准确预测锅炉出口蒸汽流量的值以及变化趋势,进而可充分有效利用锅炉的全部负荷,避免资源浪费.

电力系统负荷预测在人工智能领域是一个时间序列预测问题.目前,火力发电的负荷预测主要采用机器学习和深度学习方法如支持向量机(SVM)^[4]、模糊逻辑^[5]、卷积神经网络(CNN)^[6]和循环神经网络(RNN)^[7]等对获取数据进行挖掘分析,从时间维度上学习数据的潜在特点.例如,Rezaee等^[8]设计了一种自适应神经模糊推理系统(ANFIS),基于风速和风向等气候因素对发电厂的输出功率进行预测;Karabiber等^[9]对比了极限学习机(ELM)和SVM对光伏发电厂功率的估算和预测效果,通过分析天气对预测结果的影响,得出ELM相较于SVM准确率更高;Tan等^[10]提出了基于多任务学习和最小二乘-支持向量机(LS-SVM)的电、热、冷、气综合能源系统的负荷预测模型,划分工作日和周末的时间段进行预测,相较于单个模型,其平均预测准确率提高18.60%;Zymelka等^[11]采用人工神经网络模型对蓄热式燃气热电联产装置的热供应进行预测,分别对极限学习机、多层感知器、自动差分整合移动平均自回归模型(ARIMA)和三指数平滑法进行测试,均达到了理想的效果;刘亚珲等^[12]提出基于聚类经验模态分解的卷积神经网络-长短期记忆网络(LSTM)的超短期电力负荷预测,具有更高的预测精度;陆继翔等^[13]提出了一种基于CNN和LSTM网络的混合模型短期负荷预测方法,将大量的历史负荷数据、气象数据、日期信息作为输入,进行短期负荷预测,取得了更好的效果.

上述案例虽然都在各自的应用领域达到了较优的效果,但仅仅只是针对短期负荷预测,当其应用于长期负荷预测时,准确率会显著降低.对于长期预测问题,主要有两种方法:① 通过一段时间序列预测下一段序列,同时忽略序列内部的时间特征;② 用一段序列预测下一个点,再将预测的点纳入序列中预测第二个点,以此类推,但该方法难以避免误差累积,预测时间越长,信息累积越多,误差越大^[14-15].本研究采取第二种方法,通过控制预测时间步长及引入注意力机制(AM)尽可能减小累计误差.在计算能力有限的情况下,AM^[16]作为一种资源分配方案,将有限的计算资源用于处理更重要的信息,这是解决信息超载问题的主要手段.长期负荷预测时,增添AM可以在处理大量输入信息时灵活取舍,将有限的计算资源倾斜至反映负荷的关键信息域上,进而提高效率,一定程度上减小累计误差、保证精度.

综上所述,针对热电联产锅炉出口蒸汽流量(负荷)预测问题,在传统的CNN-LSTM网络上增添AM,提出基于CNN-LSTM-Attention(CNN-LSTM-A)的锅炉负荷预测模型,以h或min为单位,预测1 d的负荷变化,并与单一LSTM、CNN-LSTM进行对比,验证所提方法的有效性.

1 预测模型

1.1 CNN-LSTM-A模型简介

CNN是一种具有局部连接、权值共享等特性的深层前馈神经网络,在处理图像数据方面具有独特的优势.LSTM^[17]是循环神经网络的一种变体,一方面能够有效挖掘时序数据的时间特性,另一方面能够解决梯度爆炸或消失问题.Attention机制是一种计算资源分配手段,通过提取序列中不同元素对标签的关联程度,有效分配模型计算时的权重,只选择一些关键的信息输入进行处理,以提高神经网络的效率.三者关系如图1所示.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 模型结构图

Fig.1 Structure of model

热电厂锅炉负荷预测是一个多维时间序列预测一维时间序列(Seq2Seq)的问题,其输入量为影响负荷的多维因素,输出为一段时间负荷的数值.

图1的卷积层用于提取多维输入的空间特征,以卷积核或滤波核(Kernel)步长为单位纵向依次与数据进行卷积操作,得到简化数据,并进行最大值池化(Max-pooling)操作,取特征域的最大值作为结果输出.卷积过程一般采用非线性激活函数构造输出特征,其数学模型描述为

(1)

y_{i}^{l + 1} (j) = w_{i}^{l} • x^{l} (j) + b_{i}^{l}

(2)

z_{i}^{l + 1} (j) = f (y_{i}^{l + 1} (j))

式中: $y_{i}^{l + 1} (j)$ 表示第j个神经元在l+1层的输入,即l层的输出;符号“•”表示内核与该局部区域的点积; $w_{i}^{l}$ 表示第i个滤波核在l层的权重; $b_{i}^{l}$ 表示第i个滤波核在l层的偏置; $x^{l} (j)$ 表示第l层的第j个神经元的输入; $z_{i}^{l + 1} (j)$ 表示经过非线性激活函数f后第l+1层的输出特征映射.该模型中的卷积层对输入的多维时间序列进行卷积操作,能够提取各个维度元素之间的空间分布特性,提高深度挖掘效果,并且卷积神经网络拥有权值共享的特性,使得网络层参数减少,对模型训练效率有大幅度提升.

参数舍弃(Dropout)操作是对卷积层的部分参数进行舍弃,从而降低神经网络的复杂度,提高训练效率.

LSTM层是对卷积层输出的特征映射(长×宽的矩阵)在时间(长度)方向进行特征提取,建立多维输入参数与预测目标的映射关系,以一定长度的输入值预测输出值,再用生成的输出值与输入值合并,预测下一个输出.

全连接层将LSTM层提取的特征输入到Attention层处理,Attention层是一个融合了AM的全连接层,其根据输入与输出各元素的注意力分值来优化权值分配.AM的计算分为两步:① 在所有输入信息上计算注意力分布;② 根据注意力分布计算输入信息的加权平均^[18],计算式为

(3)

\begin{array}{l} α_{n} = p (z = n | X, q) = s o f t m a x (s (x_{n}, q)) = \\ \frac{e x p (s (x_{n}, q))}{\overset{N}{\sum_{k = 1}} e x p (s (x_{k}, q))} \end{array}

式中: $α_{n}$ 为注意力分布,表示在给定输入向量X和查询向量q,选择第n个向量的概率值;z∈[N]为注意力变量,表示被选择信息的索引位置; $X = [x_{1}, x_{2}, \dots, x_{N}] \in R^{D \times N}$ 表示N组输入信息,维数为D;q表示输入向量与特定任务相关的信息;softmax函数可将函数值转化为[01]内的概率分布; $s (x_{n}, q)$ 为注意力打分函数,由下式计算:

(4)

\begin{matrix} s (x_{n}, q) = {x^{T}}_{n} q \end{matrix}

最后将LSTM层的输出和经Attention操作后的权值一并输入展平层(Flatten)进行维数削减,转化为一维向量,经过输出层输出预测序列结果.

该模型在传统的LSTM前引入了卷积层,提高了特征挖掘的效率,降低了网络的参数复杂度,引入AM,充分考虑数据纵向维度之间的相关程度,优化权值分配,能够获得更好的预测效果.

1.2 负荷预测基本思路

在CNN-LSTM-A模型基本原理的基础上,负荷预测思路具体流程如图2所示.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 负荷预测基本思路

Fig.2 Basic idea of load forecasting

(1) 数据获取及预处理.

以浙江桐乡热电厂一年的历史运行数据为源域,以在线监测系统获取的实时数据为目标域.对源域数据和目标域数据进行数据预处理,分别构建源域数据集和目标域数据集.

(2) 源域模型离线训练.

在离线模型训练中,将处理后的源域数据输入已建立的预测模型中进行训练,利用softmax函数对误差进行反向传播以优化模型,当模型收敛时,保存源域模型参数.

(3) 目标域负荷在线预测.

在线预测过程中,将离线训练保存的模型参数输入到目标域模型中,预测未来负荷的变化,最后输出预测值.

2 实验研究

2.1 实验数据集

为评估方法的有效性,采用3台浙江某公司额定蒸发量为220 t/h高温超高压循环流化床锅炉日常运行数据,采样周期为1 min,采集2020年5月31日至2021年5月31日的数据.锅炉型号为UG-220/13.7-M,采用单锅筒横置式、单炉膛、自然循环、全悬吊结构、全钢架π型布置.

实验采集参数为70个,以各锅炉单位时间出口蒸汽流量(负荷)q_va为预测目标,部分数据如图3所示.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 锅炉出口蒸汽流量

Fig.3 Steam flow at boiler outlet

2.2 基于Pearson相关系数的负荷影响因素提取

上述数据集维度为70,远超深度学习输入数据的合适维度,并且其中大量参数与预测目标相关联程度很低,需进行维数削减.本文采用物理机理分析、方差检验法和Pearson相关系数^[19]来删减数据维度,提取高相关度变量.定义两个变量a和b的Pearson相关系数为

(5)

\begin{matrix} ρ_{a, b} = \frac{C o v (a, b)}{σ_{a} σ_{b}} \end{matrix}

式中: Cov(a,b)为a,b的协方差;σ_a 为a的方差;σ_b 为b的方差.

首先,根据实际锅炉运行机理,排除对负荷无直接影响的参数,如炉排烟温度、排烟流量等.其次,采用方差检验法,删减剩下数据中方差极小即数值随时间变化程度较小的参数,该类参数对后续预测所起效果较小.最后,以Pearson相关系数矩阵来衡量各参数与预测目标的关联性,如图4所示,其中炉给水流量(FWF)、瞬时总给煤量(TCS)、除盐水流量(DWF)、一次送风机(PAB)和二次送风机(SAB)出口风量(OAV)与锅炉负荷(OSF)的相关系数均大于0.8,为高度线性相关.考虑神经网络输入的维度要求,选取上述5个参数作为负荷影响因素输入预测模型.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 负荷影响因素Pearson相关系数矩阵

Fig.4 Pearson correlation coefficient matrix of load influencing factors

2.3 数据预处理

原始数据以min为单位采集得到,本文以60个数据点为周期,对原始数据进行提取,得到以h为单位的衍生数据集,其中5月30日的各锅炉负荷如图5所示.

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 5月30日各锅炉负荷变化趋势

Fig.5 Variation trend of boiler load on May 30

3台锅炉的出口蒸汽流量均在100~220 t/h波动,白天为高负荷,主要在180~200 t/h之间,晚上为低负荷,主要在100~140 t/h之间.

为提高神经网络的训练效率以及挖掘数据潜在的特征,需对原始数据进行归一化处理,将数据放缩到[01]的区间内,去除宏观维度的显性特征.最大-最小值归一化的公式如下:

(6)

\begin{matrix} d_{n o r m} = \frac{d - d_{m i n}}{d_{m a x} - d_{m i n}} \end{matrix}

式中:d为原始值;d_max为最大值;d_min为最小值;d_norm为归一化后数据值.

2.4 模型建立

基于CNN-LSTM-A网络的热电联产负荷预测模型的结构参数如表1所示.

表1 模型结构参数

Tab.1 Model structure parameters

层号	层类别	神经元数量
1	输入层	24×6
2	卷积层	24×64
3	池化层	24×64
4	Dropout层	24×64
5	LSTM层	24×50
6	全连接层	24×50
7	Attention层	24×50
8	Flatten层	1×1 200
9	输出层	1×24

新窗口打开| 下载CSV

以24个数据点为时间步长预测目标数据,原始时序数据为24×6,纵向是以24为步长的时序,横向为上述5个负荷影响因素加上1个预测的负荷值,经输入层、卷积层、池化层及Dropout层^[20]的参数舍弃,转化为24×64的向量输入LSTM层.LSTM层的输出通过全连接层整合输入Attention层进行注意力分配,优化后的注意力权值连同LSTM的输出一并输入Flatten层压平为一维向量,最终在输出层以每24个时间步长为一组输出预测结果.

2.5 模型训练

对于CNN-LSTM-A网络负荷预测模型的训练,采用按时间展开的误差反向传播算法(BPTT),即对神经网络按时间顺序展开为一个深层网络,然后采用误差反向传播(BP)算法对展开后的网络进行训练.为了控制网络的学习率,预防梯度消失、收敛速度慢等问题,使用Adam优化算法^[21]更新网络参数,初始学习率设置为0.01,在LSTM层前引入Dropout正则化方法,避免过度拟合训练数据,保留率设置为0.8.多次训练调整模型至最优,神经网络训练参数设置为:最大迭代回合(epoch)为50,小批量大小(batch size)为128,训练方式为GPU,且样本集按照4∶1的比例分为训练集和测试集.模型总参数量为 17 289,每回合训练耗时4至5 s,总训练时常为4.167 min.

2.6 预测效果评价指标

时间序列预测效果的判定需要一系列指标进行表征,常用的有均方误差(MSE)、均方根误差(RMSE)、平均绝对误差(MAE)和平均绝对百分比误差(MAPE),相关计算式如下:

(7)

M S E = \frac{1}{m} \overset{m}{\sum_{i = 1}} ({\hat{L}}_{i} - L_{i})^{2}

(8)

R M S E = \frac{1}{m} \sqrt{\overset{m}{\sum_{i = 1}} ({\hat{L}}_{i} - L_{i})^{2}}

(9)

M A E = \frac{1}{m} \overset{m}{\sum_{i = 1}} |{\hat{L}}_{i} - L_{i}|

(10)

M A P E = \frac{1}{m} \overset{m}{\sum_{i = 1}} \frac{| {\hat{L}}_{i} - L_{i} |}{L_{i}}

式中: $m 为训练样本总量; {\hat{L}}_{i} 为预测值; L_{i}$ 为真实值.对于同一批数据集,上述4个指标越接近于0表明预测效果越好.

3 结果分析与讨论

3.1 训练过程评价

分别建立3组模型:① 锅炉1数据训练、锅炉2数据验证;② 锅炉2数据训练、锅炉3数据验证;③ 锅炉3数据训练、锅炉1数据验证.选择LSTM、CNN-LSTM模型与所提模型进行对比,以检验所提模型的性能提升效果.

当训练迭代回合为50次时,3个模型的MSE变化过程如图6所示.可见,3个模型在训练初期都迅速收敛,但传统的LSTM对锅炉负荷预测的误差值明显弱于增添了CNN结构的后两种模型,而本文提出的方法添加了Attention机制,使模型能够更加准确地分配权重,其误差下降速度更快,误差值更低.

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 模型的MSE变化

Fig.6 MSE change of model

3.2 多模型预测结果对比

3个模型预测结果与真实值对比如图7所示.由预测结果可知,所提出的CNN-LSTM-A负荷预测模型的预测值与真实值贴合紧密,误差较小,而LSTM模型预测结果与真实值有较大差距,效果最差.对每个锅炉的每个模型分别进行10次验证,预测误差平均值如图8所示.

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 模型预测结果对比

Fig.7 Comparison of model prediction results

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 预测误差

Fig.8 Prediction error

在采用CNN-LSTM-A负荷预测模型对3个锅炉进行负荷预测时,发现RMSE均最小,且MAPE均小于1%,具有极高的准确率.

在RMSE衡量方面,CNN-LSTM-A应用于3个锅炉负荷预测较LSTM分别降低了4.762、3.008、3.766 t/h,较CNN-LSTM分别提升0.982、0.747、0.362 t/h;在MAPE衡量方面,CNN-LSTM-A较LSTM分别降低了3.6%、1.712%、2.513%,较CNN-LSTM分别降低了0.585%、0.406%、0.263%.

图9为各模型MAE的方差值,可以看出CNN-LSTM-A模型的误差方差小,表明其预测结果不仅准确而且稳定性高,在实际电力生产中具有更优的应用效果.

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 平均绝对误差的方差

Fig.9 Variance of mean absolute error

3.3 基于CNN-LSTM-A的锅炉负荷预测

将训练效果最佳的源域模型参数保存,以各个锅炉的在线检测数据为目标域数据集导入模型,自2021年6月1日开始预测,以24 h为单位依次预测7 d负荷,并与目标域数据集真实值进行对比,预测结果及其误差如图10所示.

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 锅炉负荷预测及其误差

Fig.10 Load forecast and error of boiler

由预测结果可知,基于CNN-LSTM-A的3台锅炉每天负荷预测的结果均同相应锅炉同时间生产的真实负荷高度重合,误差的方差均处于1.6左右,分布较为集中在0两侧,最大误差绝对值都位于5 t/h左右,每个锅炉误差的均值分别为0.091 5、-0.044 7、-0.023 1 t/h,预测误差主要分布在小于1的区间.应用于生产实践中,实际负荷分配余量设置值较小,并且总体而言,所提模型对热电联产锅炉的负荷预测结果相对于真实数据小,在应用于后续负荷调度时,采用偏小的预测值调整生产设备,使锅炉实际出口蒸汽流量在分配后存有一定余量,相较于预测值偏大时各锅炉分配时实际流量不足的问题更加安全可靠.

3组锅炉目标域数据集预测结果预真实值的线性相关图如图11所示,其中黑色直线为真实值曲线,红色虚线表示预测值相对于真实值偏差5%的预测区间.由图可知,每组锅炉应用所提方法均达到了良好的预测结果,绝大部分点落在预测区间内,拟合优度R²均大于0.995,接近于1,表明该模型能够准确地根据5个负荷影响因素和历史负荷值预测未来锅炉负荷.

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11 锅炉负荷预测结果-真实值线性相关图

Fig.11 Linear correlation between boiler load forecasting results and real values

4 结语

为解决热电联产锅炉出口蒸汽流量(负荷)分配前需精准预测负荷变化的问题,提出了基于CNN-LSTM-A的热电联产负荷预测模型,利用CNN的深度特征挖掘能力、LSTM的时序数据处理能力和Attention机制的权重分配优化能力,提高负荷预测的准确度.通过源域数据训练、目标域数据检验将模型识别结果与真实标签进行对比.结果表明,基于CNN-LSTM-A的锅炉负荷预测模型能够精准预测未来各锅炉的负荷,平均绝对百分比误差均小于1%.相对于传统深度学习模型,在热电联产锅炉出口蒸汽量的预测任务上CNN-LSTM-A模型具有更高的准确率.

本研究将深度学习算法用于热电联产的负荷预测中,促进了人工智能技术在电力行业的应用.设备运行维护人员可以根据该模型的预测结果进行后续的机组参数调整和负荷分配优化.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

陈向国

智慧供热引领供热行业发展新方向

[J]. 节能与环保, 2021(3): 22-25.

[本文引用: 3]

CHEN

Xiangguo

Smart heating leads the new development direction of heating industry

[J]. Energy Conservation & Environmental Protection, 2021 (3): 22-25.

[本文引用: 3]

[2]

陈新和, 裴玮, 邓卫, 等.

数据驱动的虚拟电厂调度特性封装方法

[J]. 中国电机工程学报, 2021, 41(14): 4816-4828.