基于CNN-BiGRU-Attention的短期电力负荷预测

doi:10.11985/2024.01.037

基于CNN-BiGRU-Attention的短期电力负荷预测

任爽^,, 杨凯^,, 商继财^,, 祁继明^,, 魏翔宇^,, 蔡永根^,

东北石油大学电气信息工程学院大庆 163318

Short-term Power Load Forecasting Based on CNN-BiGRU-Attention

REN Shuang^,, YANG Kai^,, SHANG Jicai^,, QI Jiming^,, WEI Xiangyu^,, CAI Yonggen^,

School of Electrical Engineering & Information, Northeast Petroleum University, Daqing 163318

通讯作者: 杨凯，男，1997年生，硕士研究生。主要研究方向为负荷预测。E-mail：17806273023@163.com

收稿日期: 2023-05-27 修回日期: 2023-11-15

Received: 2023-05-27 Revised: 2023-11-15

作者简介 About authors

任爽，女，1979年生，硕士，副教授。主要研究方向为电机轴承故障诊断、负荷预测、电机与电器。E-mail：rensh-2009@163.com;

商继财，女，1997年生，硕士研究生。主要研究方向为绝缘子故障识别。E-mail：316570831@qq.com;

祁继明，男，1997年生，硕士研究生。主要研究方向为电力系统自动化。E-mail：291737085@qq.com;

魏翔宇，男，1998年生，硕士研究生。主要研究方向为电机与电器。E-mail：820923973@qq.com;

蔡永根，男，1998年生，硕士研究生。主要研究方向为电机与电器。E-mail：18751469768@163.com

摘要

针对目前电力负荷数据随机性强，影响因素复杂，传统单一预测模型精度低的问题，结合卷积神经网络(Convolutional neural network，CNN)、双向门控循环单元(Bi-directional gated recurrent unit，BiGRU)以及注意力机制(Attention)在短期电力负荷预测上的不同优点，提出一种基于CNN-BiGRU-Attention的混合预测模型。该方法首先通过CNN对历史负荷和气象数据进行初步特征提取，然后利用BiGRU进一步挖掘特征数据间时序关联，再引入注意力机制，对BiGRU输出状态给与不同权重，强化关键特征，最后完成负荷预测。试验结果表明，该模型的平均绝对百分比误差(Mean absolute percentage error，MAPE)、均方根误差(Root mean square error，RMSE)、判定系数(R-square，R²)分别为0.167%、0.057%、0.993，三项指标明显优于其他模型，具有更高的预测精度和稳定性，验证了模型在短期负荷预测中的优势。

关键词： 卷积神经网络; 双向门控循环单元; 注意力机制; 短期电力负荷预测; 混合预测模型

Abstract

In the light of the problems of strong randomness of current power load data, complex influencing factors and low accuracy of traditional single forecasting model, combining the different advantages of convolutional neural network(CNN), bi-directional gated recurrent unit(BiGRU) and attention mechanism(Attention) in short-term load forecasting, a hybrid CNN-BiGRU-Attention based prediction model is proposed. First the initial features of historical load and meteorological data is extracted through CNN, then time series association of feature data is further excavated by BiGRU. Then attention mechanism is introduced to give different weights to the output status of BiGRU, strengthen key features. Finally, load prediction is completed. The experimental results show that the mean absolute percentage error(MAPE), root mean square error(RMSE) and R-square(R²) of the model are 0.167%, 0.057% and 0.993, respectively, and the three indicators are significantly better than other models, with higher prediction accuracy and stability. The advantages of this proposed model in short-term load forecasting are verified.

Keywords： Convolutional neural network; bi-directional gated recurrent unit; attention mechanism; short-term power load forecasting; hybrid prediction model

PDF (26098KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

任爽, 杨凯, 商继财, 祁继明, 魏翔宇, 蔡永根. 基于CNN-BiGRU-Attention的短期电力负荷预测[J]. 电气工程学报, 2024, 19(1): 344-350 doi:10.11985/2024.01.037

REN Shuang, YANG Kai, SHANG Jicai, QI Jiming, WEI Xiangyu, CAI Yonggen. Short-term Power Load Forecasting Based on CNN-BiGRU-Attention[J]. Chinese Journal of Electrical Engineering, 2024, 19(1): 344-350 doi:10.11985/2024.01.037

1 引言

电力负荷预测是电力部门开展电网运行管理工作的基础之一，对电力系统的平稳安全运行、发电计划安排以及电能的供需平衡具有重要意义^[1]。

短期电力负荷预测根据历史负荷数据、气象条件、经济水平等因素，通过搭建预测模型等方法对未来一天到一周之内的电力负荷进行有效预测^[2]。目前常用的预测方法大体分为两类：一是以数理统计为核心的传统预测法；二是以计算机算法为核心的机器学习法^[3]。传统预测方法有时间序列法^[4]、线性回归法^[5]、卡尔曼滤波法^[6]等。这类方法模型简单，但对于非线性数据的处理能力差，无法解决负荷数据波动大、随机性强等问题^[7]。例如回归分析法对样本数量和质量要求较高，当遇到天气、节假日等变化较大的因素时，模型无法做到精准预测。基于机器学习的预测方法有专家系统法^[8]、支持向量机^[9]和人工神经网络(Artificial neural network，ANN)^[10]等。这类方法能较好地解决传统方法不能处理非线性数据的弊端，在预测效果上有所提升，但也有其各自缺点，如ANN只有在人为事先选择非线性特征的前提下，才能进行自主学习，因此容易对预测精度造成影响。

近年来，计算机技术的高速发展进一步推动了深度学习在短期电力负荷预测领域的研究。基于深度学习的短期电力负荷预测方法有卷积神经网络(Convolutional neural network，CNN)和循环神经网络(Recurrent neural network，RNN)^[11]。文献[12]表明CNN通过特有的卷积池化结构能有效处理具有时序特征的数据，并能实现对多维数据特征的提取和降维。RNN因其内部所有节点具有按链式连接特殊结构，能有效处理电力负荷这类具有时序特性的数据，但当数据的时序距离排列较长时，容易产生梯度消失现象^[13]。长短期记忆网络(Long short-term memory，LSTM)和门控循环单元(Gated recurrent unit，GRU)是RNN的两种改进网络^[14]。文献[15]表明LSTM虽然有效改善了梯度更新问题，但收敛速度相对较慢。GRU对LSTM的结构进行了改良，不仅让GRU保留了LSTM优良的预测性能，还提高了模型的收敛速度。但GRU在预测过程中仅考虑了历史负荷对预测结果的影响，忽略了电力负荷不仅与过去时刻的负荷有关，还受未来时刻的负荷以及其他环境因素影响，不能充分提取电力负荷数据之间的内在特征。文献[16]表明双向门控循环单元(Bi-directional gated recurrent unit，BiGRU)能够双向挖掘预测时刻负荷同历史时期以及未来时期负荷之间的关联，有效提高了数据利用率和预测精度。

综上所述，为进一步提高短期负荷预测精度，本文结合卷积神经网络、双向门控循环单元以及注意力机制的各自优点，构建了一种混合预测模型，简称CNN-BiGRU-Attention。该模型将电力负荷数据以及气象因素作为输入，首先利用CNN初步提取输入数据中的高维特征向量，然后由BiGRU对特征向量进行双向时序训练，挖掘负荷数据深层次的特征，再引入Attention机制，对BiGRU输出状态分配不同的权重，突出电力负荷相关的关键特征，最后输出预测结果。试验结果表明，本文的CNN-BiGRU-Attention预测模型相比于其他模型具有更高的预测精度。

2 深度学习原理

2.1 卷积神经网络CNN

CNN实质上属于结构更加复杂的前馈神经网络，能够有效处理高维数据并自动提取特征。主要由卷积层、池化层、全连接层构成^[17]，如图1所示。每个卷积层通过共享卷积核参数，卷积层和池化层之间交替连接的特殊结构，能降低数据特征提取的维度，减少模型训练参数和时间，从而使模型简单化，为实现多层网络提供了可能。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 CNN结构图

2.2 双向门控循环单元BiGRU

GRU是LSTM的一种简化网络，其内部结构只包含重置门和更新门，如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 BiGRU结构图

重置门的作用是对前一时刻的无关信息进行选择性遗忘，减少无关信息对关键特征的干扰；更新门用于反映当前时刻保留前一时刻状态信息的能力，从而进一步加强时序特征之间的关联。在相同预测精度下，结构上的优化使得GRU拥有比LSTM更少的训练参数、更快的收敛速度^[18]。每个GRU单元的计算过程如下

(1)${{r}_{t}}=\sigma \left( {{W}_{r}}{{x}_{t}}+{{U}_{r}}{{h}_{t-1}} \right)$

(2)${{z}_{t}}=\sigma \left( {{W}_{z}}{{x}_{t}}+{{U}_{z}}{{h}_{h-1}} \right)$

(3)$\widetilde{{{h}_{t}}}=\text{tanh}\left( {{r}_{t}}\circ U{{h}_{t-1}}+W{{x}_{t}} \right)$

(4)${{h}_{t}}=\left( 1-{{z}_{t}} \right)\circ \widetilde{{{h}_{t}}}+{{z}_{t}}\circ {{h}_{t-1}}$

式(1)~(4)互有关联，不能单独使用。r_t为重置门，r_t的值越接近0，表示上一时刻需要遗忘的信息越多。z_t为更新门，其值越接近1，表示保留前一时刻的信息越多。$\widetilde{{{h}_{t}}}$为候选隐藏层状态，反映t时刻的输入信息和有选择地对t-1时刻输出h_t_-₁的保留。h_t为t时刻隐藏层的输出。σ为Sigmoid函数；tanh为激活函数；W_r、U_r、W_z、U_z、W、U均为网络中训练参数矩阵。

BiGRU结构如图3所示，在结构上BiGRU可以看成是两个传播方向相反的GRU相结合的双向循环网络；从信息流向的角度看，BiGRU在GRU的基础上增加了从未来到过去的数据流向。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 BiGRU结构图

每个BiGRU单元t时刻的输出，由t时刻的偏置量、前向传播的GRU输出$\overrightarrow{{{h}_{t}}}$以及后向传播的GRU输出$\overleftarrow{{{h}_{t}}}$三部分共同影响。具体计算过程如下

(5)$\left\{ \begin{align} & \overrightarrow{{{h}_{t}}}=\mathrm{GRU}\left( {{x}_{t}},\overrightarrow{{{h}_{t-1}}} \right) \\ & \overleftarrow{{{h}_{t}}}=\mathrm{GRU}\left( {{x}_{t}},\overleftarrow{{{h}_{t-1}}} \right) \\ & {{h}_{t}}=\alpha \overrightarrow{{{h}_{t}}}+\beta \overleftarrow{{{h}_{t}}}+{{c}_{t}} \\ \end{align} \right.$

式中，GRU(·)为GRU的计算过程，$\overrightarrow{{{h}_{t}}}$、$\overleftarrow{{{h}_{t}}}$分别为前向、后向GRU隐藏层输出；α_t、β_t分别为相应隐藏层输出权重；c_t为h_t对应的隐藏层偏置量。

2.3 注意力机制Attention

注意力机制是通过模拟人类视觉注意力机制进行资源分配的一种模式^[19]，通过对特征信息分配不同的权重值，以突出对目标任务更关键的特征，结构如图4所示。x表示BiGRU网络的输入，h对应每一个输入经过BiGRU网络训练后得到的隐藏层输出，α为Attention机制对BiGRU各个隐藏层输出分配的不同权重，y为模型最终的输出。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 Attention机制结构图

3 CNN-BiGRU-Attention预测模型

本文搭建的CNN-BiGRU-Attention模型结构如图5所示，主体包括输入层、CNN层、BiGRU层、注意力机制层以及输出层五大部分。通过滚动序列建模的方式，构建多输入多输出的负荷预测。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 CNN-BiGRU-Attention模型结构图

(1) 输入层。设计的输入特征向量维度为6×101，包括96个时刻的电力负荷数据以及相对应的5种天气数据：最高温度、最低温度、平均温度，相对湿度和降雨量。

(2) CNN层。由两个一维卷积层和一个池化层组成。第一个卷积层和第二个卷积层的卷积核数量分别为32、64个，卷积核的大小均为2，步长为1，卷积层的激活函数采用ReLU函数。池化层选用最大池化方式，池化大小为2，步长为1。CNN层主要对输入的高维数据进行初步特征提取，然后通过池化层把特征向量降为一维数据，最后将提取到的特征向量输入到BiGRU层进行学习。

(3) BiGRU层。由两个隐藏网络层组成，每一层网络的神经元数量都设置为20。BiGRU层对上一层初步提取的特征向量进行双向训练，学习负荷数据之间更深层次的时序特征，然后将其所有的输出都作为Attention层的输入。

(4) Attention层。通过对BiGRU层输出的隐藏状态赋予不同权重值，以突出关键特征对预测结果的影响。h对应每一个输入经过BiGRU网络训练后得到的隐藏层输出，α为Attention机制对BiGRU各个隐藏层输出分配的不同权重，α的值越大，说明该特征状态对模型最终的预测结果影响越大。

(5) 输出层。采用全连接层与Attention层进行连接，全连接层的神经元个数为20，使用Sigmoid作为激活函数，再经过反归一化处理，最终输出第n天96个时刻的预测结果。

4 算例分析

4.1 数据预处理

试验算例采用2016年第九届电工数学建模中的电力负荷数据集，从中选用2012年1月1日到2014年12月31日共3年的数据作为试验样本，包括电力负荷数据(每日采样96次，每次间隔15 min)和5种天气因素(最高温度、最低温度、平均温度、相对湿度和降雨量)。将前n-1天的负荷值和天气因素作为输入(共101个)，输出第n天96个时刻的电力负荷值。数据集按2∶1∶1划分，如表1所示。

表1 数据集划分

分类	范围
训练集	2012年1月1日—2013年12月31日
验证集	2014年1月1日—2014年6月30日
测试集	2014年7月1日—2014年12月31日

新窗口打开| 下载CSV

为提升预测模型的训练速度和精度，针对试验样本中间某项数据空缺现象，采用上下数据取平均值进行近似填充；对于异常数据采用不同日期的同一时刻的负荷数据取平均值进行替换。最后使用归一化法将数据转换在[0,1]之间，计算公式为

(6)${{x}^{*}}=\frac{x-{{x}_{\min }}}{{{x}_{\max }}-{{x}_{\min }}}$

式中，x^*为归一化后的数据；x为原始数据；x_max、x_min分别为原始样本数据中的最大值、最小值。

4.2 模型评价指标

为评估模型预测精度，选用平均绝对百分比误差(Mean absolute percentage error，MAPE)、均方根误差(Root mean square error，RMSE)和判定系数(R-square，R²)作为模型预测结果的评价指标^[20]。MAPE和RMSE用来衡量预测精度，二者值越小，表示模型的预测精度越高；R²用来反映模型优劣，取值范围为[0,1]，R²越接近1，说明预测模型性能越好。计算公式分别为

(7)$\mathrm{MAPE}=\frac{1}{n} \sum_{i=1}^{n}\left|\frac{y_{i}-\bar{y}_{i}}{y_{i}}\right| \times 100 \%$

(8)$\mathrm{RMSE}=\sqrt{\frac{1}{n}{{\sum\limits_{i=1}^{n}{\left( {{y}_{i}}-{{{\bar{y}}}_{i}} \right)}}^{2}}}$

(9)${{R}^{2}}=1-\frac{{{\sum\limits_{i=1}^{n}{\left( {{y}_{i}}-{{{\overset{\scriptscriptstyle\frown}{y}}}_{i}} \right)}}^{2}}}{\sum\limits_{i=1}^{n}{{{\left( {{y}_{i}}-{{{\bar{y}}}_{i}} \right)}^{2}}}}$

式中，y_i代表第i个样本点的真实值；${{\bar{y}}_{i}}$表示第i个样本点的预测值；${{\hat{y}}_{i}}$表示第i个样本点的估计值；n是样本总数。

4.3 模型超参数选择

为方便对比预测模型的性能，本文搭建了GRU、BiGRU、BiGRU-Attention三个对比模型。每个模型的超参数种类通常包括网络层数、神经元个数、批量大小、迭代次数以及学习率等。超参数的合理选择很大程度上影响了模型最后的预测结果，通过反复试验评估，采用Adam优化算法进行模型参数优化。在不出现过拟合的情况下，最终每个模型最佳的超参数选择如表2所示。

表2 不同模型超参数配置

模型	超参数
模型	网络层数	神经元个数	迭代次数	批量大小	学习率
GRU	2	均为10	100	16	0.01
BiGRU	2	均为10	100	16	0.01
BiGRU-Attention	2	均为10	100	128	0.01
CNN-BiGRU-Attention	CNN：2	CNN1：32	150	128	0.01
	CNN：2	CNN2：64
	BiGRU：2	均为20

新窗口打开| 下载CSV

4.4 模型预测结果对比

为验证CNN-BiGRU-Attention模型在短期电力负荷预测上的优势，将不同的预测模型在同一数据集下进行大量训练后，在测试集上进行预测，采用MAPE、RMSE、R²三项评价指标判断模型性能，预测结果如表3所示。

表3 不同模型预测结果对比

模型	MAPE(%)	RMSE(%)	R²
GRU	0.476	0.159	0.949
BiGRU	0.391	0.124	0.969
BiGRU-Attention	0.364	0.091	0.983
CNN-BiGRU-Attention	0.167	0.057	0.993

新窗口打开| 下载CSV

从表3可以看出，CNN-BiGRU-Attention模型的三项指标MAPE、RMSE、R²分别为0.167%、0.057%、0.993。对比GRU、BiGRU、BiGRU-Attention模型，所提模型的MAPE降低了0.309%、0.224%、0.197%；RMSE降低了0.102%、0.067%、0.034%，两项指标在所有预测模型中均为最低；R²提高了0.044、0.024、0.01，在所有预测模型中最高。由此可得，本文搭建的预测模型在预测精度和模型性能等方面均优于其他模型，证明了所提模型的有效性。

为了更直观地展现预测效果，选取测试集最后两天，对比不同预测模型的预测曲线和实际负荷曲线之间的拟合效果，如图6所示。图7是4种不同模型的平均绝对误差对比图。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 不同模型预测曲线对比图

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 不同模型平均绝对误差对比图

从图6中能够看出在负荷波动较大的波峰和波谷时段的预测效果，CNN-BiGRU-Attention模型相比其他预测模型能够更好地拟合真实负荷曲线，说明本文所提模型稳定性更好。由图7可知，CNN-BiGRU-Attention模型的平均绝对误差最小，误差波动整体平缓基本保持在0.04~0.05，说明本模型在预测性能上更加稳定可靠。

另外，通过对比BiGRU和GRU模型、BiGRU和BiGRU-Attention模型的预测曲线，验证BiGRU相比GRU在负荷预测上的优势以及模型引入注意力机制对预测结果的影响，试验结果如图8、图9所示。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 BiGRU和GRU模型预测曲线对比图

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 BiGRU和BiGRU-Attention模型预测曲线对比图

由图8可以看出，GRU模型对负荷波峰和波谷阶段的预测效果不理想，而BiGRU模型整体的预测曲线波动较小，更贴近真实值，说明了BiGRU网络在负荷预测上的优越性。由图9可以看出，引入注意力机制的模型在负荷波峰波谷阶段都能明显改善模型的预测效果，表明添加注意力机制能进一步提高模型的预测精度。由此最终验证了本文提出的混合模型的可行性与优越性。

5 结论

本文结合CNN、BiGRU以及Attention机制的各自优点，搭建一种基于CNN-BiGRU-Attention的混合预测模型。首先利用CNN初步提取负荷数据中的特征向量，然后由BiGRU对特征向量进行双向训练，挖掘负荷数据深层次的时序特征，再引入Attention机制，通过权重分配的方式，进一步提高模型预测精度，最后输出预测结果。通过试验验证，可以得出以下结论。

(1) CNN能够有效提取多输入的高维特征，将其转化为一维时序数据，有效降低了模型复杂度，减少了训练时间。

(2) BiGRU网络弥补了GRU网络只能单向处理时序特征的不足，在预测效果方面更具有优势。

(3) 引入注意力机制后，模型的预测精度得到了进一步提高。

(4) 本文提出的CNN-BiGRU-Attention预测模型综合了不同模型的优点，同其他模型相比，在预测精度和稳定性上都更有优势。在后续研究中，将考虑其他外界因素如节假日等对负荷预测的影响，同时结合智能算法对模型进行优化，进一步提高模型的预测精度和实用性。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

杨邓, 杨俊杰, 胡晨阳, 等.

基于改进LSSVM的短期电力负荷预测

[J]. 电子测量技术, 2021, 44(18):47-53.

[本文引用: 3]

YANG

Deng

, YANG

Junjie

, HU

Chenyang

, et al.

Short term power load forecasting based on improved LSSVM

[J]. Electronic Measurement Technology, 2021, 44(18):47-53.

[本文引用: 3]

[2]

陈纬楠, 胡志坚, 岳菁鹏, 等.

基于长短期记忆网络和LightGBM组合模型的短期负荷预测

[J]. 电力系统自动化, 2021, 45(4):91-97.