基于树结构Parzen估计器优化集成学习的短期负荷预测方法

doi:10.16183/j.cnki.jsjtu.2022.483

基于树结构Parzen估计器优化集成学习的短期负荷预测方法

罗敏¹, 杨劲锋², 俞蕙², 赖雨辰¹, 郭杨运¹, 周尚礼¹, 向睿¹, 童星^,³, 陈潇³

1.南方电网数字电网研究院有限公司,广州 510000

2.中国南方电网有限责任公司, 广州 510000

3.深圳市橙智科技有限公司,广东深圳 518000

TPE-Based Boosting Short-Term Load Forecasting Method

LUO Min¹, YANG Jinfeng², YU Hui², LAI Yuchen¹, GUO Yangyun¹, ZHOU Shangli¹, XIANG Rui¹, TONG Xing^,³, CHEN Xiao³

1. Digital Grid Research Institute,China Southern Power Grid, Guangzhou 510000, China

2. China Southern Power Grid Co., Ltd., Guangzhou 510000, China

3. Shenzhen Orange Intelligence Technology Co., Ltd., Shenzhen 518000, Guangdong, China

通讯作者: 童星,博士,电话(Tel.):0755-84860840;E-mail:tongxing@orait.cn.

责任编辑: 孙伟

收稿日期: 2022-11-28 修回日期: 2023-02-17 接受日期: 2023-03-9

基金资助:

南方电网数字电网研究研究院(670000KK52210036)

Received: 2022-11-28 Revised: 2023-02-17 Accepted: 2023-03-9

作者简介 About authors

罗敏(1985-),高级工程师,从事电动汽车与储能、用电大数据等研究.

摘要

短期负荷预测主要用于电力系统实时调度、日前发电计划的制定,对电力系统经济调度、系统的安全运行具有重要意义.国内外在采用智能模型进行短期负荷预测方面开展了大量研究,然而智能预测方法的预测效果较易受到现存方法结构及参数的影响,以及预测对象自身个性差异使得参数难以复用,如何精准快速地获取方法结构与参数成为短期负荷预测的关键难题.对此,提出基于树结构Parzen估计器优化集成学习的短期负荷预测方法,可对方法结构与参数进行快速寻优.将该方法应用于中国南方某省短期负荷预测,以实际算例验证了其对预测精度的有效提升.

关键词： 短期负荷预测; 树结构Parzen估计器; 集成学习; 超参优化

Abstract

Short-term load forecasting is generally applied in power system real-time dispatching and day-ahead generation planning, which is of great significance for power system economic dispatching and safe operation of the system. Many researches on short-term load forecasting using smart models have been conducted at home and abroad. However, how to obtain the optimal structure and parameters accurately and quickly poses a challenge to short-term load forecasting, because the prediction performance of smart forecasting methods is more easily affected by the structure and parameters of the method, and the personality difference of the prediction object itself makes it difficult for the parameters to be reused. Aiming at this problem, a tree-structured Parzen estimator (TPE)-based boosting short-term load forecasting method is proposed. The results show that the proposed method can achieve rapid optimization of structure and parameters, which is verified in the application in short-term load forecasting of a southern province in China to improve the prediction accuracy.

Keywords： short-term load forecasting; tree-structured Parzen estimator (TPE); ensemble learning; hyperparameter optimization

PDF (3058KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

罗敏, 杨劲锋, 俞蕙, 赖雨辰, 郭杨运, 周尚礼, 向睿, 童星, 陈潇. 基于树结构Parzen估计器优化集成学习的短期负荷预测方法[J]. 上海交通大学学报, 2024, 58(6): 819-825 doi:10.16183/j.cnki.jsjtu.2022.483

LUO Min, YANG Jinfeng, YU Hui, LAI Yuchen, GUO Yangyun, ZHOU Shangli, XIANG Rui, TONG Xing, CHEN Xiao. TPE-Based Boosting Short-Term Load Forecasting Method[J]. Journal of Shanghai Jiaotong University, 2024, 58(6): 819-825 doi:10.16183/j.cnki.jsjtu.2022.483

电力负荷预测工作具有重要意义.电力系统负荷预测指根据电力负荷、经济、社会、气象等历史数据,探索电力负荷自身历史数据变化规律对未来负荷的影响,寻求电力负荷与各种相关因素之间的内在联系,以未来经济、气象等因素的发展趋势为依据,对未来电力需求进行预估和推测.按照预测时间期限的不同,电力系统负荷预测一般分为超短期、短期、中期和长期负荷预测,其中短期负荷预测主要用于电力系统实时调度、日前发电计划制定,对电力系统经济调度、系统的安全运行具有重要意义.

国内外利用智能算法及大数据技术在短期负荷预测方面开展了大量研究,提出应用各类智能模型开展负荷预测.文献[1 ⇓⇓-4]中主要采用多层前馈感知机(Multi-Layer Perceptron,MLP)将负荷的影响因素作为感知机的输入,经过多层神经元计算和加权,最终输出待预测负荷,神经网络的训练主要采用反向传播(Back Propagation,BP)算法;文献[5 ⇓⇓⇓⇓-10]中应用长短期记忆(Long Short-Term Memory,LSTM)神经网络解决负荷预测问题,该时间序列神经网络可以通过内部长期和短期两条状态线,实现对负荷短期波动和长期发展趋势的综合建模;文献[11 ⇓⇓-14]中采用小波神经网络(Wavelet Neural Network,WNN)对负荷进行预测,其特点是以神经元激活函数为小波基函数,具有避免BP神经网络结构设计的盲目性和陷入局部最优等优点;其他智能方法还包括极限学习机网络(Extreme Learning Machine Neural Network,ELMNN)^[15-16]、堆叠去噪自编码器(Stacked Denoising Autoencoder,SDA)^[17]等.然而,智能预测方法的实际预测效果较易受到存在方法输入输出结构与参数的影响,如果方法输入输出结构与参数设计不当,往往难以取得较好的预测效果.更严重的是,由于不同预测对象自身个性的差异,在一个预测对象上验证的最优参数往往也不适用于另一个预测对象,所以如何精准快速地获取方法输入输出结构与参数,成为短期负荷预测的关键难题.文献[18-19]中提出一种粒子群优化算法(Particle Swarm Optimization,PSO)优化神经网络的多层前馈神经网络负荷预测方法,采用PSO优化了BP神经网络的权值和阈值,提高预测精度.文献[20]中提出基于支持向量机(Support Vector Machine,SVM)和差分演化(Differential Evolution,DE)算法的负荷预测方法.然而,这些方法由于需要对大量候选模型的预测精度做出评价,所以运算速度较慢,难以实用化.

智能预测方法的输入输出结构与参数对预测结果具有关键影响.针对该问题,提出基于树结构Parzen估计器(Tree-structured Parzen Estimator,TPE)优化集成学习的短期负荷预测方法,对自适应增强算法(Adaptive Boosting,AdaBoost)模型的结构参数进行快速寻优,应用于中国南方某省的短期负荷预测,有效提升了预测精度.

1 技术框架

算法的整体技术框架可以分为TPE超参优化模块和AdaBoost预测模型评估两个主要技术模块.如图1所示,TPE超参优化模块主要根据历史迭代的预测模型适应度y,一般为预测模型在虚拟预测期的误差,经过优化求解得到下一次迭代的模型超参数x,并送入AdaBoost预测模型评估模块,得到对应的预测模型适应度y,再送回TPE超参优化模块,如此循环直至达到迭代次数t或适应度y满足预测要求.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 基于TPE优化集成学习短期负荷预测方法的整体技术框架

Fig.1 Framework of TPE-based boosting short-term load forecasting method

2 TPE全局参数优化算法

TPE是一种基于顺序模型的全局优化(Sequential Model-Based Global Optimization,SMBO)算法,相比遗传算法、粒子群等,采用近似适应度函数F替代真实适应度函数f: x→R,从而降低适应度函数评估成本.

SMBO类算法的内层循环用数值优化等方式替代.TPE算法的不同之处在于,给定f模型,获得x^*的优化标准,再通过观察历史搜索结果H模拟f,其模拟流程如下.其中,F₀为初始近似适应度函数,T为迭代次数集合,S表示SMBO算法,x^*=arg min_xS(x, F_t_-1)为使得第t-1次迭代的近似适应度函数模型F_t_-1取得最优值的决策变量x^*.

新窗口打开| 下载原图ZIP| 生成PPT

TPE算法优化了预期改进(Expected Improvement,EI)的标准,在多种设置下都展示了较好效果.E是在近似适应度函数F下,当f(x)(负向)超过某个阈值y^*时,对f的预期:

(1)

E_{y^{*}} (x) = \int_{- \infty}^{\infty} m a x (y^{*} - y, 0) p_{F} (y | x) d y

由于p(y|x)计算成本较高,TPE通过p(x|y)和p(y)为p(y|x)建模,由下列两个密度来定义p(x|y):

(2)

\begin{matrix} p (x | y) = \{\begin{array}{l} l (x), & y < y^{*} \\ g (x), & y \geq y^{*} \end{array} \end{matrix}

式中:l(x)为通过观察{x(i)}形成的密度,{x(i)}为历史超参变量x(i)形成的集合,相应的损失f(x(i))小于y^*; g(x)为使用剩余的观测值形成的密度.TPE算法取决于y^*大于观测到的最优f(x),从而使用一些点来形成l(x).TPE算法选择y^*作为一些观测值y的分位数γ,因此p(y<y^*)=γ,但不需要为特定的p(y)建模.密度l和g的树形结构使得根据l计算多个候选项变得容易,可根据g(x)/l(x)进行评估.在每次迭代中,算法返回到具有最大预期值E的候选x^*.

3 集成学习

集成学习的主要思想是将弱的基学习器提升(boost)为强学习器,具体步骤如下:①先用每个样本权重相等的训练集训练一个初始的基学习器;②根据上轮得到的学习器对训练集的预测表现情况调整训练集中的样本权重,如提高被错分类样本的权重使之在下轮训练中得到更多关注,然后据此训练一个新的基学习器;③重复步骤②直至得到M个基学习器,最终的集成结果是M个基学习器的组合.

以AdaBoost为例,算法流程如图2所示,具体算法步骤如下.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 AdaBoost预测算法流程

Fig.2 Process of AdaBoost forecasting method

给定训练数据集:

(3)

\begin{matrix} (x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{d}, y_{d}) \end{matrix}

式中:x_i=[x₁x₂ … x_d]^T为一个含有d个相关元素的列向量,x_i∈X⊆R_d,X为x_i的集合;y_i为预测负荷,y_i∈R.

AdaBoost预测方法的具体步骤如下.

(1) 初始化样本的权重:

(4)

\begin{matrix} D_{1} = [w_{11} w_{12} \dots w_{1 i} \dots w_{1 N}] \end{matrix}

式中: $w_{1 i} = 1 / N, i = 1,2, \dots, N .$

(2) 重复以下操作得到m个基学习器.

①按照样本权重分布训练数据得到第m个基学习器:

(5)

\begin{matrix} G_{m} (x) : x \to R_{d} \end{matrix}

②计算 $G_{m} (x)$ 在加权训练数据集上的预测误差率:

(6)

e_{m} = \overset{N}{\sum_{i = 1}} e_{m i} = \overset{N}{\sum_{i = 1}} w_{m i} a b s (\frac{y_{i} - G_{m} (x_{i})}{y_{i}})

式中: $e_{m i} 为第 i$ 个样本点的预测误差率;abs(·)为取绝对值函数.

③计算 $G_{m} (x)$ 的系数,即最终集成使用的基学习器权重:

(7)

\begin{matrix} α_{m} = \frac{1}{2} l o g \frac{1 - e_{m}}{e_{m}} \end{matrix}

④更新训练样本的权重:

(8)

D_{m + 1} = [w_{m + 1,1} w_{m + 1,2} \dots w_{m + 1, N}]

(9)

w_{m + 1, i} = \frac{w_{m i}}{Z_{m}} e x p [- α_{m} (1 - e_{m i})], i = 1,2, \dots, N

式中: $Z_{m} 为规范化因子, 目的为使 D_{m + 1}$ 的所有元素和为1,即

(10)

\begin{matrix} Z_{m} = \overset{N}{\sum_{i = 1}} w_{m i} e x p [- α_{m} (1 - e_{m i})] \end{matrix}

(3) 构建最终的预测器线性组合:

(11)

\begin{matrix} G (x) = \overset{M}{\sum_{i = 1}} α_{m} G_{m} (x) \end{matrix}

由此可知,当基学习器G_m(x)的误差率e_m≤0.5时,α_m≥0,并且α_m随e_m的减小而增大,即预测误差率越小的基学习器在最终集成时占比也越大.

(4) 预测.将待预测样本x_N₊₁送入G(x)进行计算,得到最终预测结果 ${\hat{y}}_{N + 1}$ .

综上可知,集成学习模型AdaBoost的学习器数量、学习率是关键优化参数.

4 算例分析

4.1 算例输入数据

采用2020年1月1日至2021年5月10日中国南方某省份全省统调负荷数据及该省气象数据作为训练数据,预测期为2021年5月11日至2021年5月31日,输入输出数据明细如下.

(1) 负荷数据:每日96点南方某省全省统调负荷.

(2) 气象相关因素数据:南方某省内各典型地市等各地温度、湿度、风速、人体舒适度等共计15项最为相关的气象相关因素指标.

(3) 时序相关因素数据:时刻、是否节假日.

(4) 输出数据:基于输入数据作日前负荷预测,滚动预测2021年5月11日至2021年5月31日(剖除5月上旬可能受节假日影响的日期)每日96点系统负荷曲线.

4.2 网络结构与参数优化

设置TPE算法为寻优算法,表1为神经网络参数寻优空间.

表1 网络超参数寻优空间

Tab.1 Network hyperparameter optimization space

超参数	寻优空间
输入历史负荷数据	离散变量,取为集合{第(n-1)d的j时段实际负荷,第(n-1)、(n-7)d的j段实际负荷,第(n-1)、(n-7)、(n-14)d的j时段实际负荷}中的一种.
输入相关因素数据	确定值,取为第n d的j时段气象因素.
输出数据	确定值,取为第n d的j时段预测负荷.
学习率	连续变量,取值空间为[0.01,1].
学习器数量	离散整数变量,取为[10,200]之间的某一整数.

新窗口打开| 下载CSV

TPE算法需设置每轮迭代搜索的模型个数以及搜索模型总数限制,本文中每轮迭代搜索的模型个数设为8;模型搜索总数设为200.基于TPE优化算法,对AdaBoost模型结构和参数进行寻优,搜索到的最优参数如表2所示.

表2 TPE算法优化后AdaBoost模型结构和参数

Tab.2 Structure and parameters of AdaBoost model optimized by TPE algorithm

参数	取值
输入数据	第(n-1) d的j时段实际负荷第n d的j时段气象因素
输出数据	第n d的j时段预测负荷
学习率	0.174
学习器数量	166

新窗口打开| 下载CSV

4.3 预测结果

将TPE优化后的AdaBoost模型(AdaBoost-TPE)用于2021年5月11日至2021年5月31日的日前负荷预测,得月平均预测精度为98.18%,相比基线方法BP前馈神经网络(BP-ANN)提升了1.61个百分点.分日预测曲线和精度分别如图3和表3所示.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 2021年5月逐日短期负荷预测结果

Fig.3 Result of short-term load forecasting in May 2021

表3 2021年5月负荷预测精度

Tab.3 Load forecasting accuracy in May 2021 %

日期	AdaBoost-TPE	BP-ANN	日期		BP-ANN
5月11日	98.84	97.38	5月22日	97.81	96.53
5月12日	98.21	97.30	5月23日	97.84	96.10
5月13日	98.50	94.26	5月24日	98.33	95.42
5月14日	98.76	98.45	5月25日	98.51	93.67
5月15日	98.37	97.77	5月26日	97.65	95.75
5月16日	98.29	96.97	5月27日	97.74	97.55
5月17日	97.93	97.79	5月28日	97.25	97.08
5月18日	98.45	97.52	5月29日	97.56	97.35
5月19日	98.51	97.06	5月30日	97.73	96.37
5月20日	98.73	96.14	5月31日	98.44	95.52
5月21日	98.43	96.07	平均值	98.18	96.57

新窗口打开| 下载CSV

AdaBoost-TPE和BP-ANN两种方法的预测与实际负荷曲线如图4所示.可以看到,从5月11日至5月17日各日负荷高峰和低谷时刻,AdaBoost-TPE预测曲线与实际负荷曲线均十分贴合,尤其是在5月13日,实际负荷峰值相比近日有较大程度的回落,AdaBoost-TPE非常精准地预测到了该变化,而BP-ANN方法预测曲线则有较大误差.这是因为,不恰当参数的智能预测模型易发生过拟合或欠拟合问题,而经过TPE算法优化后的AdaBoost模型,其超参数取值与问题规模、样本数量相对匹配,所以可以更精准地拟合预测负荷和相关因素之间的关系,从而对未来负荷进行精准预测.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 2021年5月11日至5月17日逐日短期负荷预测结果

Fig.4 Result of short-term load forecasting from May 11 to May 17 in 2021

5 结语

精准快速地获取方法结构与参数是提升短期负荷预测精度的关键,提出一种基于TPE优化集成学习的短期负荷预测方法,可对方法结构与参数进行快速寻优,提升短期负荷预测精度.中国南方某省短期负荷预测的实际应用证明,该方法平均精度达到98%以上,相比基线方法提升了1.61个百分点,验证了该预测方法的有效性.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

SAAD

, NUR

HAZIRAH A J

, SUZIANA

, et al.

Short-term load forecasting of 415 V, 11 kV and 33 kV electrical systems using MLP network

[C]//2017 International Conference on Robotics, Automation and Sciences. Melaka, Malaysia: IEEE, 2017: 1-5.