基于LSTM和CatBoost组合模型的短期负荷预测

doi:10.11985/2021.03.009

基于LSTM和CatBoost组合模型的短期负荷预测

党存禄^,¹^,²^,³, 杨海兰^,¹, 武文成⁴

1.兰州理工大学电气工程与信息工程学院兰州 730050

2.兰州理工大学甘肃省工业过程先进控制重点实验室兰州 730050

3.兰州理工大学电气与控制工程国家级实验教学示范中心兰州 730050

4.甘肃送变电工程有限公司兰州 730070

Short-term Load Forecasting Based on LSTM and CatBoost Combined Model

DANG Cunlu^,¹^,²^,³, YANG Hailan^,¹, WU Wencheng⁴

1. College of Electrical and Information Engineering, Lanzhou University of Technology, Lanzhou 730050

2. Key Laboratory of Gansu Advanced Control for Industrial Processes, Lanzhou University of Technology, Lanzhou 730050

3. National Demonstration Center for Experimental Electrical and Control Engineering Education, Lanzhou University of Technology, Lanzhou 730050

4. Gansu Transmission and Transformation Engineering Co., Ltd., Lanzhou 730070

通讯作者: * 杨海兰,女,1987年生,硕士研究生。主要研究方向为配网自动化。E-mail：3104067292@qq.com

收稿日期: 2020-10-29 修回日期: 2021-03-28

Received: 2020-10-29 Revised: 2021-03-28

作者简介 About authors

党存禄,男,1964年生,教授。主要研究方向为新能源发电技术,电力电子与电力传动。E-mail： dcl_1964@163.com

摘要

针对现有的电力系统短期负荷预测方法存在预测精度较差的问题,提出一种基于长短期记忆神经网络(Long short term memory,LSTM)和CatBoost组合的短期负荷预测方法,针对电力负荷数据具有时序性和非线性的特点,以及长短期记忆网络不能直接处理类别型特征,对处理后的电力负荷数据建立LSTM负荷预测模型和CatBoost负荷预测模型;用方差倒数法确定加权系数,得到LSTM和CatBoost组合模型的预测值;最后使用实际负荷数据对算法有效性进行验证,预测结果表明采用LSTM和CatBoost组合模型的方法在负荷预测精度上有显著的提高。

关键词： 短期负荷预测 ; 方差倒数法 ; LSTM ; CatBoost ; 组合模型

Abstract

In view of the poor prediction accuracy of existing short-term load forecasting methods for power systems, a short-term load forecasting method based on the combination of long short term memory (LSTM) and CatBoost is proposed. Firstly, in view of the time-series and nonlinear characteristics of the power load data, and the fact that the long-term and short-term memory networks can not directly deal with the categorical features, the LSTM load forecasting model and the CatBoost load forecasting model are established for the processed power load data. Secondly, the weighted coefficients are determined by the inverse variance method, and the predicted values of the LSTM and CatBoost models are obtained. Finally, the validity of the algorithm is verified by the actual load data. The prediction results show that the combined model of LSTM and CatBoost can significantly improve the accuracy of load forecasting.

Keywords： Short-term load forecasting ; reciprocal variance method ; LSTM ; CatBoost ; combined model

PDF (5705KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

党存禄, 杨海兰, 武文成. 基于LSTM和CatBoost组合模型的短期负荷预测. 电气工程学报[J], 2021, 16(3): 62-69 doi:10.11985/2021.03.009

DANG Cunlu, YANG Hailan, WU Wencheng. Short-term Load Forecasting Based on LSTM and CatBoost Combined Model. Journal of Electrical Engineering[J], 2021, 16(3): 62-69 doi:10.11985/2021.03.009

1 引言

电力系统短期负荷预测是根据气象、社会、经济发展等多重历史负荷数据,运用特定的算法对未来几天或者几小时的电力负荷进行合理有效的预测^[1]。随着智能电网的加速建设,不仅对电源端的供电可靠性有了更高的要求,同时对于电力的优化调度有了更为严格的要求,因此快速高效的电力系统负荷预测对电网制定合理、经济的调度计划,更好地实现电力系统负荷的“削峰填谷”有重要的意义^[2]。

对于电力系统短期负荷预测方法,国内外学者进行了大量的研究^[3,4,5],现有的负荷预测方法可分为两大类：时间序列分析法^[6,7,8]和机器学习法^[9,10,11,12]。但是对于时间序列分析法而言,当负荷样本较大时该方法存在处理数据之间非线性关系的能力较差,因此预测精度不高。对于机器学习法而言,存在欠缺对负荷数据时间相关性的考虑,且当训练样本较多时存在收敛速度慢、泛化能力弱的问题。机器学习法常用于负荷预测的有BP神经网络、随机森林、极限学习机,但上述方法欠缺对负荷数据时间相关性的考虑,且当训练样本较多时存在收敛速度慢、泛化能力弱的问题^[13]。目前,由于长短期记忆神经网络兼顾了负荷的时序性和非线性关系,在负荷预测研究中被广泛应用,但它不能充分体现非连续数据之间内在关系^[14]。CatBoost算法在负荷预测中也有应用,对非连续性数据具有很好的识别能力,不需要强行用数值代替非连续性特征,但其对时间序列的整体感知能力较弱^[15]。

相较于单一方法,组合方法集成了单一方法的优点,预测效果更好,且在准确率和稳定性方面得到了提升^[16]。文献[17]提出利用线性模型对长短记忆网络和深度置信网络训练结果进行组合,文献[18]通过BP神经网络将支持向量机及长短记忆神经网络预测方法组合,最终模型预测精度高于组合前算法。文献[19]利用灰色系统理论和时间序列分析方法建立组合预测模型。这些文献都吸收了单一算法的优点,组合后效果较好。

针对上述电力系统短期负荷预测方法存在的不足,本文考虑利用长短期记忆神经网络对负荷时间序列良好的感知能力及CatBoost对非连续性数据拟合效果好的优点,提出将长短期记忆神经网络和CatBoost组合的方法应用于电力系统短期负荷预测。首先,考虑到短期电力负荷数据固有的时间序列特性,将温度、降雨量、湿度、负荷等特征信息以时间序列的形式输入长短期记忆神经网络模型,对长短期记忆网络不能直接处理类别型特征建立CatBoost负荷预测模型,其次将长短期记忆神经网络和CatBoost进行组合得到预测值,通过组合的方式提高预测精度。

2 基于LSTM的短期负荷预测模型

由于RNN在处理很长的输入序列时,存在梯度消失或爆炸的现象,故长短期记忆神经网络(Long short-term memory,LSTM)应用而生,它可以解决长距离的依赖问题,增强了模型的记忆。LSTM相较于RNN增加了一个单元状态C,专门存储网络中的长期状态。LSTM是由Hochreiter ＆ Schmidhuber于1997年首先提出的,并且在后来的工作中被许多人精炼和推广。

2.1 LSTM数学模型

LSTM单元结构如图1所示,每个LSTM单元状态包括输入门、输出门和遗忘门,通过这三个门实现信息的保护和控制。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 LSTM单元结构图

遗忘门决定上一时刻单元状态信息需要保留到当前单元状态的比例。遗忘门读取上一时刻单元输出信息h_t_–1和当前时刻输入信息x_t,当遗忘门f_t输出是0时,上一时刻单元状态c_t_–1的信息全部舍弃,当遗忘门f_t输出是1时,上一时刻单元状态c_t_–1的信息全部保留。

(1)${f_t} = \sigma ({W_f}[{x_t},{h_{t - 1}}] + {b_f})$

输入门决定给单元状态加入哪些新的信息,输入门由${i_t}$与${\tilde c_t}$相乘得到,t步的输入信息x_t和t–1步的单元输出信息h_t_–1分别经过sigmoid和tanh函数处理后共同决定记忆单元状态中保存的信息。

(2)${i_t} = \sigma ({W_i}\left[ {{x_t},{h_{t - 1}}} \right] + {b_i})$

(3)${\tilde c_t} = \tanh ({W_c}\left[ {{x_t},{h_{t - 1}}} \right] + {b_c})$

单元状态更新

(4)${c_t} = {i_t} \otimes {\tilde c_t} + {f_t} \otimes {c_{t - 1}}$

输出门决定当前单元状态信息${c_t}$保存到当前时刻单元输出的程度。

(5)${O_t} = \sigma ({W_o}[{x_t},{h_{t - 1}}] + {b_o})$

(6)${h_t} = {o_t}\tanh ({c_t})$

式中,${h_{t - 1}}/{h_t}$表示(t–1)/t步的单元输出信息,${x_t}$表示t步的输入信息,c_t/c_t_–1表示t/(t–1)步的单元状态;W和b分别为每个门的权重系数和偏置项;σ和tanh分别表示sigmoid激活函数和双曲正切激活函数。

2.2 LSTM模型构建

首先,确定输入数据和输出数据,因为预测日负荷数据与前七天的负荷数据有很大的相关性,故输入数据选择预测日前七天的电力负荷数据及相关影响因素,经过皮尔逊相关性筛选,选取最高温度、最低温度、平均温度、相对湿度、降雨量和日期类型负荷共七个特征,输出数据是预测日一天的电力负荷数据。这七个特征中,其他都是数值型,日期类型是类别型变量。由于日期类型分为工作日和非工作日,用二进制变量0和1表示。然后对输入数据进行归一化预处理。由于LSTM激活函数的特性,所以需要对输入数据进行归一化处理。

(7)$L = \frac{{{l_i} - {l_{\min }}}}{{{l_{\max }} - {l_{\min }}}}$

式中,L是归一化后的输入数据,l_min和l_max分别是负荷数据中的最小值和最大值。

最后构建LSTM模型,LSTM网络结构图如图2所示。模型分为输入层、隐含层、输出层。输入层的输入特征以时间序列形式输入到第一个隐藏层,有三层隐藏层,前级隐藏层的输出作为下级隐藏层的输入。第三层隐藏层输出作为全连接层的输入。输入层的时间步长取672,输入特征是7维,利用控制变量法发现增加隐含层层数对提高模型的预测能力有效,故隐含层层数为3,隐含层神经元个数按照经验设置为128、64、32,全连接层输出待预测日一天96个时刻的负荷并反归一化,最后为了后期计算误差,将输出数据变为96行1列。网络优化算法选择Adam算法。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 短期负荷预测LSTM网络结构

3 基于CatBoost的短期负荷预测模型

3.1 CatBoost原理

CatBoost是由俄罗斯搜索巨头Yandex于2017年提出的基于梯度提升决策树的开源机器学习库,CatBoost的优点在于能够高效合理地处理类别型特征变量,对梯度估计方式进行改进,对每一次迭代所需的无偏梯度估计进行建树,以减缓预测偏移,进而提高模型的预测精度和泛化能力。

类别型特征是指类别是离散的特征,一般是字符串形式,每一种取值代表一种特定的类别,类别型特征不能直接用于算法输入中,需要对他们进行处理。

CatBoost对于类别型特征的处理方法是打乱数据集$D = {\left\{ {\left( {{x_{i.}}{y_i}} \right)} \right\}_{i = 1, \cdots,n}}$的顺序,打乱后的序列是$\sigma = \left( {{\sigma _1}, \cdot \cdot \cdot,{\sigma _n}} \right)$,遍历${\sigma _1}$到${\sigma _n}$,用遍历到的前p个记录计算类别型特征的数值。

(8)${\sigma _{p,k}} = \frac{{\sum\limits_j^{p - 1} {\left[ {{x_{{\sigma _j},k}} = {x_{{\sigma _i},k}}} \right] \cdot {Y_{{\sigma _j}}} + a \cdot p} }}{{\sum\limits_j^{p - 1} {\left[ {{x_{{\sigma _j},k}} = {x_{{\sigma _i},k}}} \right] + a} }}$

式中,p代表先验项,α>0代表先验项的权重系数。添加先验项可以降低类别特征中低频特征引起的噪声。对于回归问题,先验项取数据集标签的均值。

GBDT算法在拟合当前模型的梯度过程中,由于使用的是当前模型中相同的数据点进行估计,所以会产生梯度偏移,产生过拟合。针对此问题,CatBoost利用Ordered Boosting方法将GBDT中梯度估计有偏改为无偏。

Ordered Boosting方法是首先随机生成一个$\left[ {1,n} \right]$的排列$\sigma$对原始样本进行排序并初始化n个不一样的模型${M_1},{M_2}, \cdot \cdot \cdot,{M_n}$,其次每个M_i只用随机排列中的前$i$个样本学习的模型,再次在每一步迭代过程中,通过模型M_j–₁得到第j个样本的无偏梯度估计。伪代码如表1所示。

表1 Ordered boosting 伪代码

Ordered boosting

输入：$\left\{ {\left( {{x_k},{y_k}} \right)} \right\}_{k = 1}^n,I$
$\sigma \leftarrow randompermutation{\text{ }}of{\text{ }}\left[ {1{\text{,}}\;n} \right];$
${M_i} \leftarrow 0{\text{ for i = }}1, \cdots,{\text{n}};$
$for{\text{ t}} \leftarrow 1{\text{ }}to{\text{ I }}do$
$for{\text{ i}} \leftarrow 1{\text{ }}to{\text{ n }}do$
${{\text{r}}_{\text{i}}} \leftarrow {{\text{y}}_{\text{i}}} - {M_{\sigma (i) - 1}}({x_i});$
$end for $
$for{\text{ i}} \leftarrow 1{\text{ }}to{\text{ n }}do$
$\eqalign{
& \Delta M \leftarrow LearnModel{\text{ }}(({x_j},{r_j}):\sigma (j) \leqslant i); \cr
& {M_i} \leftarrow {M_i} + \Delta M; \cr} $
$end for $
$end for $
输出：${{\text{M}}_{\text{n}}}$

新窗口打开| 下载CSV

3.2 CatBoost模型构建

由于CatBoost基于树的模型,所以输入输出与LSTM不一样,CatBoost选取待预测时刻的最高温度、最低温度、平均温度、相对湿度、降雨量、日期类型、时、分以及前一日对应时刻的负荷值作为该模型的输入,输出为待预测时刻的负荷值,利用训练好的CatBoost模型对单个时刻分别进行预测。建模如图3所示,由于CatBoost可对类别型变量进行自动处理,故不需要对日期类型进行量化,直接以类别型输入,也不用对其他的输入特征归一化,CatBoost模型树深度设置为12,树的个数为49。CatBoost 和GBDT的原理相似,所构建的训练模型也相似,除训练算法不同外其他均相同。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 CatBoost训练模型

4 组合方法

由于LSTM能够很好地对时间序列数据进行预测,在短期负荷预测中已有应用^[20],但是当输入特征为类别型特征时,预测精度表现不是很好;而CatBoost能够高效合理地处理类别型特征变量,不用将类别型变量用数值代替;结合这两种方法的优点对它们进行组合。

4.1 方差倒数法

经过LSTM和CatBoost的模型预测出两种不同的结果后,需要计算两种预测方法的加权系数,以便得到最佳预测结果。采用方差倒数法^[21]计算加权系数。

(9)${\omega _i} = \frac{{L_i^{ - 1}}}{{\sum\limits_{i = 1}^m {L_i^{ - 1}} }}{\text{ }}i = 1,2, \cdot \cdot \cdot,m$

式中,${\omega _i}$是第i个模型的权重系数,${L_i}$是第$i$种单个模型的预测误差平方和。单个模型的方差公式如式(10)所示

(10)${L_i} = \sum\limits_{t = 1}^N {({y_r}(t) - {y_{ip}}} (t){)^2}{\text{ }}t = 1,2, \cdot \cdot \cdot,n$

式中,${y_{ip}}$表示第i种模型的预计值,${y_r}$表示真实负荷值。最终组合模型预测结果计算如式(11)所示

(11)${y_p} = {\omega _1}{y_{1p}} + {\omega _2}{y_{2p}}$

4.2 组合预测流程

组合模型预测流程图如图4所示,首先将数据切分为训练集和测试集,然后分别用LSTM方法和CatBoost方法进行训练模型训练,得到LSTM预测结果和CatBoost预测结果,根据方差倒数法分别计算两种不同方法的权重,最后根据式(11)计算最终组合预测值。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 组合预测流程图

5 算例分析

5.1 试验数据

试验数据使用全国大学生电工数学建模竞赛2016年的数据集。试验以某一地区2013年1月1日至2015年1月10日的电力负荷及相关的外界影响因素为数据,一天24 h中采集96个点,时间间隔15 min;外界影响因素数据包括最高温度、最低温度、平均温度、相对湿度、降雨量、日期类型。按照7∶2∶1的比例划分为训练集、验证集、测试集。本文中算法的编写使用Python3.6实现,LSTM模型使用Tensorflow框架实现。

5.2 试验评价指标

本试验用平均绝对百分比误差(Mean absolute percentage error,MAPE)以及均方根误差(Root mean square error,RMSE)和平均绝对误差(Mean absolute error, MAE)作为预测评价指标,公式如下所示

(12)${e_{MAPE}} = \frac{1}{n}\sum\limits_{i = 1}^n {\left| {\frac{{{r_i} - {p_i}}}{{{r_i}}}} \right|} \times 100\%$

(13)${e_{RMSE}} = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {({r_i} - {p_i}} {)^2}}$

(14)${e_{MAE}} = \frac{1}{n}\sum\limits_{i = 1}^n {\left| {{r_i} - {p_i}} \right|}$

式中,$n$为预测点总个数,${r_i}$为第$i$点的真实负荷值,${p_i}$为第$i$点的预测负荷值。

5.3 组合分析

在输入特征中,日期类型是类别型特征,不是连续性特征,日期类型分为工作日和非工作日,选择一些工作日和周末做负荷预测。

从表2中得知,和CatBoost相比,LSTM在预测类别型特征方面没有CatBoost好。周末比工作日预测效果差,说明LSTM对类别型特征预测效果有限。而CatBoost正好弥补了这个缺点,通过这两种方法的组合,能够有效地将它们的优点结合,不仅能对时间序列数据进行预测,还能高效地处理类别型特征变量。

表2 工作日与周末的预测结果对比

算法名称	MAPE(%)
算法名称	工作日	周末
LSTM	3.57	4.26
CatBoost	3.01	3.72
LSTM-CatBoost	2.66	3.31

新窗口打开| 下载CSV

5.4 试验结果分析

对工作日2014年12月30日的负荷进行预测分析,试验还与LSTM和GBDT组合模型、BP-SVM组合模型^[22]进行对比。图5是单一模型和本文组合模型的真实值和预测值的对比图,图6是三种不同组合方法的真实值和预测值的对比图。从图5、6中得知,这几种模型都能够有效预测负荷,但是在负荷变化较大的峰谷周围,单一模型负荷预测误差大,组合模型预测误差小。组合模型LSTM-GBDT预测效果也较好,但是相比LSTM-CatBoost组合模型,预测效果还是差一点,组合模型BP-SVM模型相比其他两种组合模型,效果较差,相比之下,本文所用的LSTM-CatBoost组合模型在峰谷周围预测误差较小,能够较好地反映负荷变化趋势,负荷预测精度也有所提高。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 LSTM、CatBoost和LSTM-CatBoost预测结果

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 不同组合方法对比

图7是六种不同方法的相对误差对比图,本文所提LSTM和CatBoost组合方法的相对误差很小,正负绝对值不超过0.2,说明本方法在负荷预测方面是有效的。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 相对误差对比

表3显示了所有模型的评价结果,从评价结果可以看出,本文采用的LSTM-CatBoost、LSTM- GBDT组合模型相比GBDT、LSTM、CatBoost模型,误差明显降低,参考文献组合模型BP-SVM效果没有其他两种组合模型好,没有单一模型效果好,说明组合模型LSTM-CatBoost、LSTM-GBDT比单一模型具有更好的预测能力,LSTM-CatBoost相比LSTM-GBDT组合模型,误差指标更低,三个指标分别是2.66%、229.23 MW、178.61 MW。结果显示,本文所提方法相比其他模型,精度明显提高。

表3 不同模型工作日预测结果对比

算法名称	MAPE(%)	RMSE/MW	MAE/MW
GBDT	4.16	393.70	313.37
LSTM	3.57	303.10	237.55
CatBoost	3.01	246.01	258.13
LSTM-GBDT	2.81	243.91	196.12
BP-SVM	3.58	291.32	260.371
LSTM-CatBoost	2.66	229.23	178.61

新窗口打开| 下载CSV

6 结论

为了进一步提高负荷预测,既要考虑负荷数据的时序性,同时也要考虑影响负荷的类别型特征,不能直接对类别型特征量化以免发生预测偏移。故提出了将长短期记忆神经网络和CatBoost进行组合的预测方法,对短期负荷进行预测。由预测结果得出如下结论。

(1) 长短期记忆神经网络、CatBoost、GBDT都可进行短期负荷预测,预测结果接近。

(2) 组合方法和单一方法相比,在负荷波动较大的峰谷周围,LSTM-CatBoost组合方法能够有效降低误差,提高短期负荷预测精度;在以后的研究中,应考虑不同负荷领域,进行负荷特点的分析,进而提高负荷预测精度。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

李泽文, 胡让, 刘湘, 等.

基于PCA-DBILSTM的多因素短期负荷预测模型

[J]. 电力系统及其自动化学报, 2020:1-9.