基于改进MFO优化Attention-LSTM的超短期风电功率预测*

doi:10.11985/2023.03.038

基于改进MFO优化Attention-LSTM的超短期风电功率预测^*

宋立业^,¹, 鞠亚东^,¹, 张鑫²

1.辽宁工程技术大学电气与控制工程学院葫芦岛 125105

2.鲁能新能源(集团)有限公司河北分公司石家庄 050051

Ultra-short-term Wind Power Prediction Based on Improved MFO Optimized Attention-LSTM

SONG Liye^,¹, JU Yadong^,¹, ZHANG Xin²

1. Faculty of Electrical and Control Engineering, Liaoning Technical University, Huludao 125105

2. Hebei Branch, Luneng New Energy (Group) Co., Ltd., Shijiazhuang 050051

通讯作者: 鞠亚东，男，1995年生，硕士研究生。主要研究方向为新能源发电预测等。E-mail：1115008514@qq.com

收稿日期: 2022-11-9 修回日期: 2023-02-25

基金资助:

* 辽宁省自然科学基金(2019-ZD-0039)
辽宁省教育厅科学研究基础研究(LJ2020JCL003)

Received: 2022-11-9 Revised: 2023-02-25

作者简介 About authors

宋立业，男，1972年生，博士，副教授。主要研究方向为智能电网优化运行等。E-mail：372492761@qq.com

摘要

针对风电功率的不确定性问题，提出一种基于改进飞蛾扑火算法(Moth-flame optimization，MFO)优化注意力机制长短时神经网络(Attention long short-term memory，Attention-LSTM)的风电功率超短期预测方法。首先利用自适应噪声完全集合经验模态分解(Complete ensemble empirical mode decomposition with adaptive noise analysis，CEEMDAN)将原始功率数据分解为多个模态分量(Intrinsic mode functions，IMF)，以消除不同分量间的影响，再计算各个分量的样本熵，将样本熵近似的值合并，以降低运算规模；然后，通过引入Chebyshev混沌映射、柯西变异、基于Sigmoid函数的惯性权值来对传统的飞蛾扑火算法进行改进，并将改进的飞蛾扑火算法与传统MFO、粒子群算法(Particle swarm optimization，PSO)进行比较，证明其寻优能力有了很大提升；最后，将Attention机制用于计算LSTM神经网络隐层状态的不同权重，利用改进飞蛾扑火优化算法优化Attention-LSTM的超参数，分别对合并后的IMF分量进行建模，将各分量模型叠加得到最终功率预测曲线。对锦州某风电场的功率实测数据进行仿真分析，结果表明，所提模型具有较高的预测精度，对实际工程具有一定的借鉴意义。

关键词： 风电功率; Attention机制; 混沌映射; 柯西变异; 改进MFO算法; LSTM

Abstract

For the uncertainty of wind power, an ultra short-term wind power prediction method based on improved MFO(Moth-flame optimization) attention LSTM(Long short-term memory) is proposed. Firstly, the original power data is decomposed into multiple IMF(Intrinsic mode functions) components by using the adaptive noise complete ensemble empirical mode decomposition (CEEMDAN) to eliminate the influence between different components, calculate the sample entropy of each component, and combine the approximate values of sample entropy to reduce the operation scale. Secondly, by introducing Chebyshev chaotic mapping, Cauchy mutation, Sigmoid function-based inertia weights to improve the traditional moth fire fighting algorithm, and the improved moth fire fighting algorithm is compared with the traditional MFO, PSO(Particle swarm optimization) algorithm. It is proved that its optimization ability has been greatly improved. Finally, the Attention mechanism is used to calculate the different weights of the hidden layer state of the LSTM neural network, and the improved moth-fighting optimization algorithm is used to optimize the hyperparameters of the Attention-LSTM. The combined IMF components are modeled respectively, and each component model is superimposed to obtain the final power prediction curve. Through the simulation analysis of the measured data of a wind farm in Jinzhou, the results show that the proposed model has high prediction accuracy and has certain reference significance for actual engineering.

Keywords： Wind power; Attention mechanism; chaos mapping; Cauchy mutation; improved MFO algorithm; long short-term memory

PDF (17585KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

宋立业, 鞠亚东, 张鑫. 基于改进MFO优化Attention-LSTM的超短期风电功率预测^*[J]. 电气工程学报, 2023, 18(3): 358-368 doi:10.11985/2023.03.038

SONG Liye, JU Yadong, ZHANG Xin. Ultra-short-term Wind Power Prediction Based on Improved MFO Optimized Attention-LSTM[J]. Chinese Journal of Electrical Engineering, 2023, 18(3): 358-368 doi:10.11985/2023.03.038

1 引言

近年来，风电并网的容量日益增大，风力发电的出力功率因风速、风向等诸多因素具有不确定性，大规模的风电并网可能对电力系统的稳定运行造成重大影响^[1]。因此，提高风电功率预测的准确度，对电力系统的安全、稳定、经济运行具有重要的指导意义。

当前，风电功率的预测按照时间长短可分为超短期预测、短期预测、中长期预测^[2]，其中，超短期预测是实时调度及保证风电并网稳定运行的重点工作。风电预测的方法主要有人工神经网络^[3]、时间序列法^[4]、空间相关性法^[5]、极限学习机^[6]和最小二乘支持向量机(Least square support vector machine, LSSVM)^[7]等。神经网络有较强的信息提取能力和非线性拟合能力，因此在风电功率预测中有着重要的应用^[8]。LSSVM相比人工神经网络法有很强的泛化能力，但参数的选择会影响预测效果，若选取不合适将造成较大的预测误差^[9]。文献[10]运用改进的蚁群算法对LSSVM参数进行优化，利用LSSVM模型分别对风速和风功率进行预测。上述研究中，尽管风电功率预测精度有了较大提升，但是若神经网络等超参数选择不合适将造成收敛速度变慢等问题。

深度学习因具有较强的特征提取能力而得到快速发展。长短时记忆网络(Long short-term memory, LSTM)^[11]具有学习长期依赖的能力，适合处理风电功率等非线性序列，文献[12]将注意力机制加入LSTM，提高了预测精度。但是LSTM也存在超参数不易确定的问题，不准确的参数设置对预测精度影响很大。因此，采用智能优化算法进行超参数寻优是一种较好的方法。由于风能具有不稳定性和波动性，单一的回归预测模型不能满足高精度要求。因此，需要对原始功率数据进行分解处理，获得较规律的特征。经验模态分解(Empirical mode decomposition, EMD)针对非线性序列的处理具有较好的效果^[13]。但是，EMD分解后的各分量可能出现模态混淆的现象^[14]。因此，文献[15]提出了集成经验模态分解(Ensemble empirical mode decomposition, EEMD)和LSSVM功率预测模型，EEMD分解能避免EMD分解产生的模态混淆现象，但是如果添加的噪声不合适，可能会使计算规模变大，影响功率预测的准确度。自适应噪声完全集合经验模态分解(Complete ensemble empirical mode decomposition with adaptive noise analysis, CEEMDAN)通过加入自适应白噪声能够减少模态混淆的现象，与EEMD方法相比，能够大大减少迭代次数，提高了重构准确度，具有较好的收敛特性。如果对每一个分量都分别直接预测，可能使计算规模变大、预测速度变慢^[16]，通过合并样本熵值相近的量可以降低计算规模。

鉴于以上研究，本文提出了改进飞蛾扑火算法(Moth-flame optimization，MFO)优化Attention- LSTM的超短期风电功率预测模型。首先，通过CEEMDAN算法将原始数据分解成不同的模态分量，通过计算样本熵合并相近的IMF分量来降低计算规模。然后，通过对飞蛾扑火算法进行改进，用改进的MFO算法对Attention-LSTM的超参数进行优化。最后，用改进MFO优化Attention-LSTM对合并后的各新分量分别进行预测，将各个分量的单独预测结果进行叠加，可以得到最终的超短期功率预测结果。预测结果表明，该方法相比单一LSSVM、LSTM、Attention-LSTM、MFO-Attention-LSTM等模型具有更好的预测效果，提升了功率预测的准确度。

2 风电功率时间序列的预处理

2.1 风电功率数据特性

当风力发电系统中检测到风向时，相对应的控制系统对涡轮机进行控制以适应不同的风速和风向，风能通过动力系统将动能输送到发电系统，经转换后的电能进行并网。由于风能的自然特性，风速是不断变化的，风力机输出功率也随之不断变化，因此风电功率时间序列具有波动性和不确定性。风电功率与风速关系如下所示

(1)

P = \frac{1}{2} ρ S V^{3} C_{P}

式中，P为风力机输出功率；ρ为空气密度；S为风轮扫掠面积；V是风速；C_P为风能利用系数。

针对风电功率的波动性和不确定性问题，需要对原始序列进行分解以获得较规律的特征。自适应噪声完全集合经验模态分解(CEEMDAN)通过加入自适应白噪声能够减少EMD分解的模态混淆现象，克服EEMD使计算规模变大的问题，能够大大减少迭代次数，提高重构准确度，具有较好的收敛特性。样本熵是常用来衡量原始时间序列的复杂度。原始序列越复杂，样本熵值就越高^[17]。如果对每一个子分量都分别直接预测，可能使计算规模变大、预测速度变慢。因此，将熵值相近的序列合并，可以降低计算规模，提高预测速度。

2.2 风电功率时间序列分解算法

CEEMDAN是对EEMD算法的改进^[18]，克服了EEMD产生重构误差的问题，使风电功率原始数据的分解更加完整，更适合非线性信号的分析^[19]。CEEMDAN方法分解数据的具体过程如下所示。

步骤1：将信号x(n)中添加I次均值为0的白噪声，共构造I次待分解序列

(2)

x^{i} (n) = x (n) + β ω^{i} (n) i = 1, \dots, I

式中，β为白噪声权值系数；ωⁱ(n)为第i次处理时产生的白噪声。

步骤2：先对上述序列进行EMD分解，分解后得到第一个分量IMF₁(n)和第一阶段的剩余信号

(3)

I M F_{1} (n) = \frac{1}{I} \sum_{i = 1}^{I} I M F_{1}^{i} (n)

(4)

r_{1} (n) = x (n) - I M F_{1} (n)

式中，IMF₁(n)表示CEEMDAN分解得到的第一个模态分量；I表示一共I次待分解序列；r₁(n)表示第一次分解后的剩余信号。

步骤3：设E_k(·)为模态算子，对r₁(n)+γ₁E₁(ωⁱ(n))进行分解，则CEEMDAN的第二模态分量为

(5)

I M F_{2} (n) = \frac{1}{I} \sum_{i = 1}^{I} E_{1} {r_{1} (n) + β_{1} E_{1} [ω^{i} (n)]}

式中，β₁为白噪声权值系数；ωⁱ(n)为第i次处理时产生的白噪声；r₁(n)为第一阶段剩余信号；E₁为模态算子；I表示分解序列次数。剩余信号表示为

(6)

r_{2} (n) = r_{1} (n) - I M F (n)

步骤4：由此可得k个剩余分量

(7)

r_{k} (n) = r_{k - 1} (n) - I M F_{k} (n)

第k+1个IMF为

(8)

I M F_{(k + 1)} (n) = \frac{1}{I} \sum_{i = 1}^{I} E_{1} {r_{k} (n) + β_{k} E_{k} [ω^{i} (n)]}

步骤5：重复上述步骤，直到满足CEEMDAN停止条件，最后数据分解为

(9)

x (n) = \sum_{k = 1}^{K} I M F_{k} (n) + R (n)

式中，R(n)为残余分量。

2.3 样本熵

对于N个样本的时间序列，组成m维向量序列X(1)，X(2)，…，X(N-m+1)，其中X_m(i)=[x(i)，x(i+1)，…，x(i+m-1)]，定义序列中绝对值相差最大的距离为d_m(X(i)，X(j))<r，给定相似容限r，对每一个i值统计d_m(X(i)，X(j))<r的数目，其与距离总数的比值为B^m(r)。

样本熵的定义为

(10)

S a m p E n (m, r) = \lim_{N \to \infty} \{- \ln (\frac{B^{m + 1} (r)}{B^{m} (r)})\}

当N为有限时，可以用式(11)进行计算

(11)

S a m p E n (N, m, r) = - ln [\frac{B^{m + 1} (r)}{B^{m} (r)}]

3 Attention-LSTM和改进MFO算法

长短期记忆网络^[20](LSTM)是对传统循环神经网络(Recurrent neural network, RNN)的改进，具有学习长期依赖的能力，适合处理风电功率预测和负荷预测等动态非线性数据。由于风电数据具有间断性、不确定性等特点，本文将Attention机制用于计算LSTM神经网络的隐层状态的不同权重，以选择性地关注不同时刻输入对风电功率预测的影响，从而改善功率预测效果。针对LSTM模型超参数目标函数表达式未知、超参数众多、迭代搜索复杂等问题，提出改进的MFO算法优化LSTM模型，得到最优的超参数组合。

3.1 LSTM神经网络

LSTM引入遗忘门、输入门和输出门三个门来解决RNN存在的梯度不合理问题，其结构如图1所示。这些门使LSTM在进行反向传播中能有一个更稳定的误差，使风电功率预测模型可以在多个时间步上继续学习，减小风电功率预测的误差，提高风电功率预测的精度。

(12)

h_{t} = f (h_{t - 1}, X_{t})

(13)

i_{t} = σ (W_{i} \times [h_{t - 1}, X_{t}] + b_{i})

(14)

f_{t} = σ (W_{f} \times [h_{t - 1}, X_{t}] + b_{f})

(15)

o_{t} = σ (W_{o} \times [h_{t - 1}, X_{t}] + b_{o})

(16)

C_{t} = tanh (W_{c} \times [h_{t - 1}, X_{t}] + b_{c})

(17)

S_{t} = f_{t} \times S_{t - 1} + i_{t} \times C_{t}

(18)

h_{t} = o_{t} \times tanh (S_{t})

式中，W和b是LSTM单元的参数；S_t是当前单元状态；C_t是新单元状态S_t的候选值；o_t表示输出门；f_t表示遗忘门；i_t表示输入门。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 LSTM神经网络结构示意图

3.2 Attention机制

Attention机制是一种模拟人脑注意力的模型，根据风电功率数据输入的每一项特征对输出风电功率预测值的影响来为神经网络中的隐层状态赋予不同的权重。主要原理是通过保持LSTM层对输入序列建模时每一步的中间输出结果，并将它们与输出风电功率的值联系起来，从而训练模型选择性地关注输入功率数据，为相关性更高的功率输入向量赋予更高的权重，具体原理如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 Attention机制示意图

在t时刻得到LSTM层的隐层状态为[h_t_{, 1}，h_t_{, 2}，⋯，h_t_,_i，⋯，h_t_,_T]。设α_t_,_i为在t时刻隐层状态h_i对当前输出的注意力权重，本文选择点乘形式计算注意力权重，如下所示

(19)

e_{t, i} = S_{t - 1}^{T} \times h_{t, i}

(20)

α_{t, i} = \frac{exp (e_{t, i})}{\sum_{k = 1}^{T} exp (e_{t}, k)}

本文将Attention机制用于计算LSTM神经网络隐层状态的不同权重，结合注意力权重和LSTM神经网络实现超短期风电功率预测。输入向量由输入层进入LSTM隐藏层进行训练，经训练后的向量进入注意力机制层，通过该层进行权重计算，得到的新向量进入全连接层，经过训练输出风电功率最终预测值。Attention-LSTM预测模型如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 Attention-LSTM模型

3.3 标准飞蛾扑火算法(MFO)

MFO算法优化问题的待求解是飞蛾的位置，将飞蛾群按适应度排列后作为火焰，飞蛾根据螺旋函数不断向火焰运动，寻优过程中火焰数量不断减少，直到适应度值符合要求则停止^[21]。算法原理如下所示。

飞蛾种群由矩阵M表示，与这些飞蛾存在对应的适应度值向量为

(21)

O_{M} = [\begin{matrix} O_{M 1} \\ . . . \\ O_{M n} \end{matrix}]

MFO算法要求每只飞蛾有与其对应的火焰来更新其位置，对全局搜索能力有较大提升。飞蛾位置用矩阵F表示，火焰位置矩阵如下

(22)

O_{F} = [\begin{matrix} O_{F 1} \\ . . . \\ O_{F n} \end{matrix}]

飞蛾相对火焰位置更新策略可用式(23)表示

(23)

M_{i} = S (M_{i}, F_{j})

式中， $M_{i}$ 表示第i只飞蛾； $F_{j}$ 表示第j个火焰；S为螺旋函数。S的计算式如下所示

(24)

S (M_{i}, F_{j}) = D_{i} \cdot e^{b} t \cdot \cos (2 π t) + F_{j}

式中， $D_{i}$ 表示火焰j和飞蛾i之间的距离；b为螺旋常数；t为[-1，1]区间中的随机数。D_i的计算式如下

(25)

D_{i} = |F_{j} - M_{i}|

火焰数量随迭代次数增加不断减少，即

(26)

F_{lame . no} = r o u n d (N - k · \frac{N - 1}{T})

式中，N表示飞蛾种群数；k表示迭代次数；T表示总迭代次数。

3.4 改进MFO算法

在求解复杂的多峰值函数过程中，传统的飞蛾扑火算法在飞蛾飞向火焰的过程中容易使飞蛾错过全局的最优点，仍存在收敛精度不够、收敛速度慢、陷入局部最优等缺点。因此，本文通过加入混沌映射、自适应权值、柯西变异对传统MFO算法进行改进。

3.4.1 Chebyshev混沌映射

混沌优化是利用混沌映射产生的混沌序列，具有内部随机性和遍历、均匀性等特点。通过混沌映射可以得到分布均匀及多样化的初始种群，因此可以提高算法寻优的能力，有利于克服局部最优问题，找到全局最优解。

Chebyshev混沌映射的混沌序列拥有较好的内部随机特性，而且零均值白噪声统计和遍历统计特性一致。定义如下

(27)

x_{n + 1} = \cos [k \cos^{- 1} (x_{n})] x_{n} \in [- 1, 1]

式中，k为控制参数；x₀为初值。其迭代过程如图4所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 Chebyshev混沌序列图

采用式(28)将Chebyshev映射产生的变量映射到飞蛾个体上，实现飞蛾种群的初始化。

(28)

x = x_{l b} + (x_{l b} - x_{u b}) x_{k + 1}

式中，x_lb、x_ub分别为每个个体在每个维度的上限和下限；x为映射后个体。

3.4.2 Sigmoid函数的惯性权重

传统的飞蛾扑火算法在飞蛾飞向火焰的过程中容易使飞蛾错过全局的最优点，有一定的缺点。本文借鉴粒子群算法的改进，引入自适应权值的方法，其自适应权值从1到0非线性减小，可以提高算法后期的寻找最优解能力，避免错过最优解。本文引入基于Sigmoid函数的惯性权值，表达式如下

(29)

ω = 1 - {[1+exp (- \frac{l}{T})]}^{- 1}

式中，l为当前迭代次数；T为最大迭代次数。

引入惯性权值后的飞蛾相对火焰位置更新策略表达式如下

(30)

S (M_{i}, F_{j}) = D_{i} \cdot e^{b} t \cdot \cos (2 π t) + ω F_{j}

惯性权值 $ω$ 的大小影响着飞蛾群的整体寻优能力。 $ω$ 的值越大，说明算法具有较强的全局搜索能力； $ω$ 越小，表明算法有更高的搜索精度。

3.4.3 柯西变异

柯西分布的概率密度函数如式(31)所示

(31)

y = \frac{1}{π} \frac{t}{t^{2} + x^{2}} - \infty < x < + \infty

式中，t为比例参数且大于0。其函数图像如图5所示。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 柯西分布函数图

柯西分布使其产生与原点相距很远的随机数，通过柯西变异，飞蛾个体能快速逃离局部极值。每次计算迭代中由柯西分布产生柯西变异矩阵，变异公式如下

(32)

S (M_{i}, F_{j}) = β \times C (1, 0) \times [D_{i} e^{b} t \cdot \cos (2 π t)] + F_{j}

式中，C(1，0)表示柯西分布；F_j为待变异飞蛾的位置；β影响柯西变异的范围。更新公式如下

(33)

β = α (M b - N b)

式中，Mb表示解空间的上限；Nb表示解空间的下限；α是不断更新的参数。通过柯西变异提高了种群搜索的多样性。

3.5 算法性能测试

为验证改进MFO算法的寻优能力，选用表1所示的四种函数作为对比不同算法寻优性能的测试函数。

表1 四种测试函数

测试函数	维度	搜索范围
$f_{1} (x) = \sum_{i = 1}^{n} \|x_{i}\| + \prod_{i = 1}^{n} \|x_{i}\|$	30	[-10，10]
$f_{2} (x) = \sum_{i = 1}^{n} x_{i}^{4} + random [0, 1]$	30	[-1.28，1.28]
$f_{3} (x) = \frac{1}{4 000} \sum_{i = 1}^{n} (x_{i}^{2}) - \prod_{i = 1}^{n} \cos (\frac{x_{i}}{\sqrt{i}}) + 1$	30	[-600，600]
$f_{4} (x) = \sum_{i = 1}^{n} [x_{i} - 10 \cos (2 π x_{i}) + 10]$	30	[-5.12，5.12]

新窗口打开| 下载CSV

将改进的MFO算法和原始MFO、PSO算法进行寻优性能比较，寻优过程如图6~9所示，寻优结果如表2所示。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 f₁函数寻优过程

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 f₂函数寻优过程

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 f₃函数寻优过程

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 f₄函数寻优过程

表2 各算法对四种测试函数的寻优性能

算法类型	相同迭代次数(300次)算法寻优结果
算法类型	f₁函数	f₂函数	f₃函数	f₄函数
改进MFO	0	2.53×10^-8	0	1.1×10^-274
MFO	0.005 25	4.02×10^-5	1.9×10^-5	0.009 831
PSO	109.863 5	1.97×10^-6	1.48×10^-23	4×10^-14
算法类型	相同收敛精度(10^-6)算法迭代次数(最大300次)
算法类型	f₁函数	f₂函数	f₃函数	f₄函数
改进MFO	7	98	11	7
MFO	未达到	未达到	67	94
PSO	未达到	未达到	未达到	299

新窗口打开| 下载CSV

f₁和f₃函数仅有全局最小点，改进MFO算法相比其他算法有较高的收敛精度和速度。f₂和f₄函数具有多个极小值，可以看出改进MFO算法能跳出局部最优，收敛到全局最小值。

通过以上比较试验可以看出，加入混沌映射、柯西变异和惯性权重对于改善飞蛾扑火算法的寻优能力和收敛速度具有十分明显的作用，而且和其他算法相比，对于不同测试函数，改进后的飞蛾扑火算法都具有较强的适应能力。

4 基于改进MFO优化Attention- LSTM的模型建立

风电功率具有不确定性、波动性等特征。本文建立一种基于改进MFO优化Attention-LSTM的风电功率超短期预测模型，以提高风电功率预测的准确度，组合模型建模过程如图10所示，具体步骤如下所示。

步骤1：数据预处理：对风电功率数据预处理，去掉其中的异常值。

步骤2：初始化各参数，包括超参数寻优范围、设置控制变量维度d、搜索规模n、最高迭代次数T、螺旋常数b等参数。

步骤3：将LSTM中的超参数第一隐含层单元数、第二隐含层单元数、学习率作为优化对象。

步骤4：通过式(23)更新飞蛾与火焰的相对位置。计算飞蛾适应度值并与上次迭代过程的值作对比。若高出原值，则保存新值为最优适应值；否则保留原值继续迭代。

步骤5：达到迭代条件后，停止搜索，输出最优的超参数。否则返回步骤4重新计算。

步骤6：采用CEEMDAN方法将原始风电功率数据进行分解得到各IMF分量和残余量R(n)。

步骤7：计算各分解得到的各分量的样本熵值，将样本熵值近似的分量进行相加，得到新分量。

步骤8：针对每个子分量分别建立改进MFO- Attention-LSTM预测模型，得到各自的预测值。

步骤9：将各分量的风电功率预测结果线性叠加，得到超短期风电功率预测的最终结果。

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 改进MFO优化Attention-LSTM预测流程

5 实例仿真分析

5.1 模型的评价标准

为对预测结果进行科学准确评价，本文选取平均绝对百分比误差(Mean absolute percentage error, MAPE)和均方根误差(Root mean square error, RMSE)进行评估。

平均绝对百分比误差表达式为

(34)

M A P E = \frac{1}{n} \sum_{i = 1}^{n} |\frac{y_{i} - {\hat{y}}_{i}}{y_{i}}| \times 100 %

均方根误差表达式为

(35)

R M S E = \sqrt{\frac{\sum_{i = 1}^{n} {(y_{i} - {\hat{y}}_{i})}^{2}}{n}}

式中，n为样本数；y_i为真实值； ${\hat{y}}_{i}$ 为预测值。

5.2 数据选择与处理

本文以锦州某风电场24台2 kW风机总功率从2020年12月1日至31日共31天的2 976组数据进行建模仿真分析，原始数据采样间隔为15 min。将前26天的2 496组数据作为训练样本，后5天的480组数据作为测试样本。本文对风电功率采用提前15 min的单步预测，采用迭代式预测，即将前一刻预测数据作为历史值进行下一次预测。原始数据时间序列如图11所示。由图11可知，风机最高功率与最低功率变化幅度较大，体现了风电功率的不稳定性和波动性。

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11 原始数据时间序列

首先对训练集 2 496 组功率原始数据进行CEEMDAN分解，结果如图12所示。

图12

新窗口打开| 下载原图ZIP| 生成PPT

图12 CEEMDAN分解结果

然后计算各分量的样本熵，由式(10)、(11)可以看出，样本熵值受m、r大小的影响。由研究结果可知^[22]，m=1或2，r=0.1Sd~0.25Sd时得到的样本熵较合理且经过多次试验，本文中取m=2，r=0.2Sd。CEEMDAN分解的各分量样本熵如图13所示。

图13

新窗口打开| 下载原图ZIP| 生成PPT

图13 各分量的样本熵

由图13可以看出，各分量的样本熵值随着各个IMF分量频率的下降而不断降低，说明样本的复杂度不断减小，证明样本熵值有效。

单独对每个IMF分量进行预测，会使计算规模变大，为了降低计算规模，将熵值相近的分量进行合并，产生新的序列，针对每一个新序列，分别采用改进MFO-Attention-LSTM模型进行仿真预测，降低非平稳性对预测结果产生的影响。各IMF分量合并重组后的新序列结果如表3所示，合并后的新分量如图14所示。

表3 各分量合并后的新序列结果

新序列	F1	F2	F3	F4	F5
原序列	1	2，3，4	5，6	7，8，9	10，11，RS

新窗口打开| 下载CSV

图14

新窗口打开| 下载原图ZIP| 生成PPT

图14 模态合并后的新分量

5.3 改进MFO-Attention-LSTM模型超参数优化结果

针对风电功率预测，本文将MFO-LSTM和改进MFO-LSTM模型的输入层个数设置为1，随着隐藏层数目的增多，模型的拟合能力提高，但是模型复杂度和训练时间也将增加，本文设置隐藏层个数为2，根据历史功率数据预测下一步的风电功率，因此设输出层个数为1。飞蛾种群规模设置为50，控制变量维度d为3，最大迭代次数为300。学习率的搜索范围为[0.000 1，0.01]，第一隐藏层神经元个数n₁和第二隐藏层神经元个数n₂的搜索范围为[0,100]。经过多次试验，将LSTM网络的n₁设置为20，n₂设置为10，学习率为0.001。MFO算法和改进MFO算法寻优过程飞蛾个体适应度变化曲线如图15所示。

图15

新窗口打开| 下载原图ZIP| 生成PPT

图15 适应度变化曲线对比图

由图15可知，改进MFO算法比MFO算法更易找到最优解，并且适应度值更小，说明改进MFO算法具有更好的寻优性能。

MFO算法寻找的最优LSTM参数为n₁=40，n₂=75，学习率为2.313×10^-3；改进MFO算法寻找的最优参数为n₁=15，n₂=10，学习率为1.622×10^-3。

5.4 预测结果分析

标准的MFO算法优化Attention-LSTM模型和改进MFO优化Attention-LSTM模型的功率预测结果分别如图16、17所示。

图16

新窗口打开| 下载原图ZIP| 生成PPT

图16 MFO优化Attention-LSTM预测结果

图17

新窗口打开| 下载原图ZIP| 生成PPT

图17 改进MFO优化Attention-LSTM预测结果

为了进一步验证改进MFO-Attention-LSTM算法的准确性，本文还采用单一LSSVM算法、LSTM算法和Attention-LSTM算法，来对风电功率进行超短期对比预测。不同模型测试样本预测结果如图18所示。

图18

新窗口打开| 下载原图ZIP| 生成PPT

图18 风电功率预测对比图

由图16、17可知，改进MFO-Attention-LSTM算法的预测曲线拟合程度更高，预测精度更是高于MFO-Attention-LSTM算法。由图18可以看出，单一的LSSVM模型拟合情况最差，改进MFO- Attention-LSTM的预测曲线拟合程度高于其他四种，说明本文所提模型预测效果较好。各模型的误差结果如表4所示。MAPE的值在10%以下则认为模型预测准确度较高。

表4 不同模型预测结果比较

模型	MAPE(%)	RMSE/kW
LSSVM	16.38	3.122
LSTM	12.28	1.718
Attention-LSTM	9.77	0.806
MFO-Attention-LSTM	6.88	0.289
改进MFO-Attention-LSTM	4.22	0.124

新窗口打开| 下载CSV

由表4可知，LSTM模型比单一的LSSVM模型的MAPE值降低了4.10%，RMSE的值也下降1.404。加入Attention机制的LSTM预测模型比LSTM模型的MAPE值降低2.51%，RMSE值降低0.912，引入MFO优化算法的Attention-LSTM模型比Attention-LSTM模型的MAPE值降低了2.89%，RMSE值降低了0.517，说明加入Attention机制和MFO优化算法使预测精度都有了提升。本文提出的改进MFO-Attention-LSTM算法的MAPE的值比其他四种模型分别降低了12.16%、8.06%、5.55%、2.66%，且均方根误差(RMSE)值分别降低2.998、1.594、0.682、0.165，预测精度有了很大提高，能够更好地应用于风力机发电功率预测，对风电并网运行具有一定的指导意义。

6 结论

(1) 针对风电功率的不确定性，研究CEEMDAN分解技术、样本熵理论。CEEMDAN分解有效解决了模态混叠现象，提高了预测精度；样本熵法可以合并相似分量，大大降低计算规模，提高预测速度。

(2) 鉴于MFO算法存在收敛速度慢，易陷入局部最优的问题，通过加入混沌映射和柯西变异、惯性权重对MFO算法进行改进，显著提高了算法的收敛能力，并且可以克服局部最优的缺点，最后通过和传统算法进行对比论证了该算法的优越性。

(3) 将Attention机制用于计算LSTM神经网络的隐层状态的不同权重，Attention-LSTM模型中，结合注意力权重和LSTM神经网络实现超短期风电功率预测。

(4) 本文方法较单一的LSSVM、LSTM、Attention-LSTM、MFO-Attention-LSTM算法具有更高的预测精度，具有一定的理论研究和工程实践意义。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

林卫星, 文劲宇, 艾小猛, 等.

风电功率波动特性的概率分布研究

[J]. 中国电机工程学报, 2012, 32(1):38-46.