结合场景分析的输电线路通道可视化分级预警研究
Research on Visual Hierarchical Early Warning of Transmission Line Channel Combined with Scene Analysis
收稿日期: 2021-01-29 修回日期: 2022-04-16
Received: 2021-01-29 Revised: 2022-04-16
作者简介 About authors
武永泉,男,1984年生,高级工程师。主要研究方向为输电运检管理。E-mail:
张四维,男,1988年生,高级工程师。主要研究方向为输电运检管理。E-mail:
彭冲,男,1992年生,高级工程师。主要研究方向为输电运检技术。E-mail:
焦良葆,男,1972年生,博士,教授,硕士研究生导师。主要研究方向为图像信号处理、视觉信息理解。E-mail:
浦东,男,1996年生,硕士研究生。主要研究方向为智能电网及信息技术。E-mail:
针对输电线路横跨地域广,输电通道中隐患目标多的问题,提出了输电线路通道可视化分级预警模型。首先改进深度残差网络提取输入图像的多光谱信息,通过软阈值化来减少噪声影响,提高输电线路通道场景分析模型的准确度;然后利用YOLOv3目标检测算法构建输电线路通道隐患目标识别模型,针对隐患中的烟雾、施工车辆目标小的问题,采用难负样本挖掘策略,减少图片背景的影响,再根据输电线路通道的分级预警结构构建分级预警模型。研究结果表明,结合场景分析的输电线路通道可视化分级预警模型能够科学、准确地反映出输电线路通道的隐患预警状态,为输电线路运行维护工作提供指导。
关键词:
In view of the problem that the transmission line spans a wide area and has many hidden targets in the transmission channel, the visual grading warning model of the transmission line channel is put forward. First of all, the depth residual network to is improved to extract the multispectral information of the input image, the noise effect is reduced by soft threshold, the accuracy of the transmission line channel scene analysis model is improved, and then YOLOv3 target detection algorithm is used to build the transmission line channel hidden danger target identification model. Aiming at the problems of hidden smoke and small targets of contruction vihicles, hard example mining strategy is adopted to reduce the impact of the picture background, and then an early warning model is build based on the transmission line channel classification early warning structure. The results show that the visual and graded early warning model of transmission line channel combined with scene analysis can scientifically and accurately reflect the hidden danger warning state of transmission line channel and provide guidance for the operation and maintenance of transmission line.
Keywords:
本文引用格式
武永泉, 张四维, 彭冲, 焦良葆, 浦东.
WU Yongquan, ZHANG Siwei, PENG Chong, JIAO Liangbao, PU Dong.
1 引言
近年来,随着计算机视觉技术[1]的发展,输电线路通道可视化得以实现。通过输电线路通道的可视化管理代替传统的人工定期巡线,有效解决了偏远地区人工巡线困难,隐患高发段高密度巡线要求,以及隐患发现不及时和输电线路“三跨”在线监测等问题[1⇓-3]。但随着输电线路通道可视化工程的扩建、监视点的增多以及隐患类别的增加,每日采集的数据量和识别出的隐患目标量庞大,这无疑在增加在线监视人员工作量的同时,也不利于输电线路运行维护人员的工作开展。因此,深入研究输电线路通道的各类隐患对输电线路安全稳定运行的影响,以及建立并完善输电线路通道可视化的分级预警模型显得至关重要。已有相关学者在输电通道可视化方面做了不少研究,文献[4]基于泛在电力物联网架构,提出一种基于深度强化学习与图像智能识别的输电线路在线监测系统,实现了对烟雾、树障、异物、覆冰等干扰因素的监控;文献[5]提出一种基于Skyline的输电线路巡检数据三维可视化方法,解决了数据统一化管理问题;文献[6]针对不同应用场景需求,设计了不同的无线通信方案,为可视化监控终端提供了更多的选择;文献[7]通过引入虚拟现实技术,为新兴技术在虚拟与现实一体化提供了参考;文献[8]采用人工智能图像识别技术实现了对工程车辆、山火隐患、导线异物、线路故障的自动识别与预警。
2 相关算法介绍
2.1 深度残差网络
残差网络是由来自Microsoft Research的4位学者提出的卷积神经网络,在2015年的ImageNet大规模视觉识别竞赛中获得了图像分类和物体识别的优胜。其内部残差块的结构如图1所示,包含三个卷积层,卷积层间使用relu激活函数,F(x)表示经过两层权重映射后的结果,残差块的输出结果为H(x)=F(x)+x。残差网络使用跳跃连接,打破了传统的卷积神经网络n-1层的输出只能给n层作为输入的惯例,使某一层的输出可以直接跨过几层作为后面某一层的输入,从而在不过度拟合的情况下拓展网络深度,一定程度上保护了信息完整性,同时简化了学习的难度,有效地减少了参数量和计算量。
图1
2.2 目标检测算法
YOLOv3目标检测网络以Darknet-53特征提取网络作为基础网络,实现了端对端的训练,将目标检测由分类问题转换为回归问题,直接预测不同目标的类别和位置,相比需要先产生候选区域的检测算法具有明显的速度优势。而且YOLOv3借鉴了特征金字塔(Feature pyramid networks, FPN)网络中的思想,在3种尺度下进行特征图融合与预测,提高了算法对不同大小目标的检测能力;将其应用于输电线路通道隐患目标检测,有效解决了因监视点距离隐患目标较远造成的目标过小从而引起的漏检问题。特征金字塔结构如图2所示。
图2
图2中,FPN网络通过左侧自下而上的卷积网络提取图像特征,然后与右边上采样获得的相同大小的特征图进行融合,使得在小尺度特征图上也可获得丰富的语义信息,提高了小目标的检测精确度。
3 输电线路通道分级预警方案
本文方法构建的输电线路通道分级预警模型结构如图3所示。首先通道输电线路通道可视化模型在规定采样频率下对监视点实现在线监控,然后将传输到可视化模型的各监视点图像分别送入场景分析模块和隐患目标识别模块,再结合场景类别和隐患类别计算分级预警等级,并根据分级预警库输出预警等级和信号。
图3
3.1 深度残差收缩网络
针对场景分类的时候,场景中不可避免地会有一些噪声,像高斯噪声、粉色噪声、拉普拉斯噪声等。更广义地讲,场景中很可能包含着与当前分类任务无关的信息,这些信息也可以理解为噪声,这些噪声可能会对分类效果产生不利的影响。深度残差收缩网络,就是对深度残差网络的残差路径进行收缩的一种网络。这里的“收缩”指的就是软阈值化。软阈值化,是很多信号降噪算法的核心步骤,将绝对值小于某个阈值的特征删除,将绝对值大于这个阈值的特征朝着零的方向进行收缩。因此,软阈值化也能够减小深度学习算法遭遇梯度弥散和梯度爆炸的风险。它可以通过以下公式来实现。
式中,
软值化输出对于输入的导数为
如果和前一个卷积层的偏置 b 放在一起看的话,这个值为零的区间就变成了[
3.2 难负样本挖掘策略
针对训练数据集中,负样本(输电线路背景)占据整张图片的比例大,正样本目标(烟雾,施工车量)占据图像的比例小。如果正样本目标尺寸很小,那么正样本很容易被误判为负样本,造成网络无法收敛的问题。
本文提出在训练过程中加入难负样本挖掘策略,图4为训练方法改进后的流程图。首先训练数据集,得到负样本,将置信度大于0.8但与目标真实框的交并比值小于0.5的矩形框输出定义为难负样本;然后将收集到的难负样本加入训练集,重新对网络进行训练,提高网络的检测精度。由于该策略仅在训练时使用,在训练完成检测时与原来一样,因此不会对网络的运算量造成负担。
图4
3.3 输电线路通道分级预警方案
表1 输电线路通道分级预警库分类表
| 场景类别 | 隐患目标类别 | 分级预警库 |
|---|---|---|
| 任意场景 | 烟雾&山火 | 一级+红色信号① |
| 任意场景 | 异物(风筝、损坏塑料大棚、损坏布艺广告牌等) | 一级+红色信号② |
| 三跨(高速铁路、高速公路、河流) | 任意隐患 | 一级+红色信号③ |
| 固定施工-隐患高发段 | 高危工程机械(吊车、混凝土浇灌车) | 一级+红色信号④ |
| 高茎植物监控场景 | 高危&常规工程机械 | 二级+黄色信号⑤ |
| 固定施工-隐患低发段 | 高危工程机械 | 二级+黄色信号⑥ |
| 固定施工-隐患低发段 | 常规工程机械(混凝土搅拌车、挖掘机、铲车) | 三级+蓝色信号⑦ |
图5
以上的隐患处理方案由下列公式得出
以上为简单判断预设场景预警框与隐患识别框关系,首先随机各选取一条场景预设框与识别出的隐患识别框的边,定义两条边的两个点分别为
通过分析可以得出工程器械停留时间与告警级别正相关,停留时间越长,危险系数越高。工程器械的运动速度与告警级别负相关,速度越快,在告警区域停留时间越短。工程器械告警框到预设框的距离与速度成负相关,速度越快,距离越短。预警框与隐患的相对位置是首要影响因素,与告警优先级正相关,不同种类工程影响也各不相同,有高危、常规工程机械。上述式子可以简化为
通过试验得到
从表2可见,针对烟火、异物这类危险等级高的隐患类别,无论任何场景都发出一级预警红色信号,需要运行维护人员持续关注通道状况并立即分配护线员前往现场值守及反校;表3中“三跨”场景是指跨越高速公路、高速铁路和河流的架空输电线路,针对三跨地区隐患事故在所有的输电线路通道中发生尤其频繁,且事故发生后造成的后果更为严重的问题,将其归为一级严重预警库,识别出三跨场景即发出一级预警红色信号,需要运行维护人员持续关注通道状况,一旦出现隐患目标立即前往现场护线;另一类隐患目标为输电线下固定施工场所的工程机械,根据工程机械的臂展长度分为高危和常规两类。通过预警信号颜色醒目程度的增强一目了然地显示出预警级别,配合场景和隐患类别信息,使得指挥运行维护人员快速选取护线设备及时有效地避免隐患事故的发生。
表2 隐患目标的定义
| 序号 | 隐患目标的定义 |
|---|---|
| ① | 烟雾&山火 |
| ② | 异物(风筝、损坏塑料大棚、损坏布艺广告牌等) |
| ③ | 高危工程机械(吊车、混凝土浇灌车) |
| ④ | 常规工程机械(混凝土搅拌车、挖掘机、铲车) |
4 试验与分析
为了验证本文提出的利用通道场景分析与隐患目标类别相结合的方法构建输电线路通道分级预警模型的有效性,本文基于某供电公司提供的输电线路通道可视化图像数据集制作了适用于分级预警模型的训练集。试验采用分级预警模型的总体准确率作为评价指标,从模型的各预警等级的查全率以及预警信号的查准率两方面进行综合评估。
4.1 场景分析训练集及模型初始化
由于输电线路通道背景环境复杂,光线多变,以及部分场景特征不明显等负面因素影响,现根据已有图像数据规律和专家意见,以识别隐患高发段场景为原则制作数据集。其中,包含7种典型场景:输电线路“三跨”场景(高速公路、高速铁路、河流),固定施工(建筑施工、彩钢瓦棚户区、工程车辆停车场)和高茎植物监控场景。数据集总图片量为1 000幅图像,以“三跨”场景和固定施工场景为主。网络中输入为高光谱图像,为了还原真实场景,对图片的像素点以及对比度进行修正后,放入网络训练。训练采用迁移学习的方式,以2012年ILSVRC (Imagenet large scale visual recognition challenge)数据集上预先训练好的ResNet50网络模型作为初始权重,训练网络时采用动量参数为0.9,学习率为0.001,权值衰减为0.005的随机梯度下降法(Stochastic gradient descent, SGD)对目标损失函数进行优化。
4.2 场景分析训练集
Pascal VOC和COCO是目标检测网络用于训练、检测的常用数据集,但其大多来源于日常生活,没有专门用于输电线路通道隐患目标识别的图像数据集。为防止数据集不符合实际情况造成的目标检测模型精度不高的情况发生,本文通过LabelImg软件在采集图像上标记隐患目标,制作目标识别训练集,标记操作界面如图6所示。
图6
隐患目标类别分别是烟火、异物、吊车、混泥土浇灌车、混凝土搅拌车、挖掘机和铲车,对应标记类别名称以及各类别训练数据量如表4所示,训练集共13 200个数据量。网络输入为RGB图像,使用网络参数动量为0.9,学习率为0.001,权值衰减为0.005的随机梯度下降法(SGD)对目标损失函数进行优化。
表4 标记类别名称表
| 隐患目标类别 | 标记类别名称 | 数据量 |
|---|---|---|
| 烟雾 | smoke | 750 |
| 山火 | wildfire | 750 |
| 异物 | foreign-matter | 1 500 |
| 吊车 | crane | 3 600 |
| 混凝土浇灌车 | concrete-pour-truck | 500 |
| 混凝土搅拌车 | concrete-mixer-truck | 500 |
| 挖掘机 | excavator | 4 600 |
| 铲车 | forklift | 1 000 |
4.3 试验结果与分析
本文试验的软硬件平台为AMD Ryzen Threadripper2970WX CPU,NVIDIA TITAN RTX×2 GPU,Ubuntu18.04 LTS。
因为本文采用场景分析和隐患目标识别相结合的方法实现输电线路通道隐患的分级预警,因此预警信号的准确性需要对两个分类模型的检测效果进行综合考虑。表5为模型检测效果,以模型的查全率(Recall)和查准率(Precision)作为性能评价指标,
表5 模型检测效果
| 原YOLOv3目标检测网络 | 加入难负样本挖掘策略 | ||||
|---|---|---|---|---|---|
| 隐患目标类别 | 查全率 | 查准率 | 隐患目标类别 | 查全率 | 查准率 |
| 烟雾 | 0.831 | 0.852 | 烟雾 | 0.853 | 0.922 |
| 山火 | 0.923 | 0.922 | 山火 | 0.942 | 0.965 |
| 异物 | 0.803 | 0.723 | 异物 | 0.806 | 0.731 |
| 吊车 | 0.872 | 0.885 | 吊车 | 0.914 | 0.903 |
| 混凝土浇灌车 | 0.891 | 0.858 | 混凝土浇灌车 | 0.926 | 0.873 |
| 混凝土搅拌车 | 0.908 | 0.839 | 混凝土搅拌车 | 0.956 | 0.862 |
| 挖掘机 | 0.912 | 0.901 | 挖掘机 | 0.934 | 0.905 |
| 铲车 | 0.781 | 0.752 | 铲车 | 0.783 | 0.737 |
计算如式(3)所示
式中,TP为被正确地划分为正例的个数,FP为被错误地划分为正例的个数,FN为被错误地划分为负例的个数。
在数据集上,各个卷积神经网络通过相同训练次数得到的模型进行测试后,指标的对比结果如表6所示。
表7 现有分级预警模型评估表与本文模型对比
| 分级预警库 | 现有分级预警模型评估 | 本文模型 | ||
|---|---|---|---|---|
| 查全率 | 查准率 | 查全率 | 查准率 | |
| 一级+① | 0.639 | 0.875 | 0.721 | 0.891 |
| 一级+② | 0.602 | 0.751 | 0.738 | 0.786 |
| 一级+③ | 0.843 | 0.918 | 0.851 | 0.921 |
| 一级+④ | 0.824 | 0.917 | 0.826 | 0.933 |
| 二级+⑤ | 0.727 | 0.652 | 0.753 | 0.721 |
| 二级+⑥ | 0.839 | 0.902 | 0.843 | 0.936 |
| 三级+⑦ | 0.865 | 0.933 | 0.862 | 0.938 |
5 结论
本文集合已有的图像数据规律和专家意见,充分分析了不同通道场景、不同隐患类别对输电线路安全可靠运行的危害程度,并据此提出了结合场景分析的输电线路通道可视化分级预警方法。首先改进深度残差网络提取输入图像的多光谱信息,通过软阈值化来减少噪声影响,提高输电线路通道场景分析模型的准确度,然后利用YOLOv3目标检测算法构建输电线路通道隐患目标识别模型,针对隐患中的烟雾、施工车辆目标小的问题,采用难负样本挖掘策略,减少图片背景的影响,再根据输电线路通道的分级预警结构构建分级预警模型。根据本文模型在某供电公司实际应用中的预警效果显示,该模型能够较准确地反映出通道预警状态,指导运行维护人员根据不同的预警信号、不同的通道场景和隐患类别,及时有效地采取针对性防范措施,有效避免输电线路故障的发生,减少因故障引发的巨大损失。
参考文献
试析输电线路通道可视化系统关键技术
[J].
Analysis of key technologies of transmission line channel visualization system
[J].
输电线路通道可视化运维管理体系的应用
[J].
Application of visual operation and maintenance management system for transmission line channels
[J].
输电线路通道可视化系统关键技术研究及实践
[J].
Research and practice on key technologies of transmission line channel visualization system
[J].
基于深度强化学习与图像智能识别的输电线路在线监测系统
[J].
Transmission line online monitoring system based on deep reinforcement learning and image intelligent recognition
[J].
基于Skyline的输电线路巡检数据可视化系统研究
[J].
Research on transmission line inspection data visualization system based on Skyline
[J].
输电线路图像可视化监测终端无线通信解决方案
[J].
Wireless communication solution for visualized monitoring terminal of transmission line image
[J].
基于VR技术的输电线路运检一体化研究
[J].
Study on the integration of transmission line transport and inspection based on VR technology
[J].
基于多路卷积神经网络的多光谱场景识别方法
[J].
Multi-spectral scene recognition method based on multi-channel convolutional neural network
[J].
深度残差网络的多光谱遥感图像显著目标检测
[J].
The salient target detection of multispectral remote sensing image based on deep residual network
[J].
基于卷积神经网络的多光谱图像多标签场景分类
[J].
Multi-spectral image multi-label scene classification based on convolutional neural network
[J].
基于 CNN 的红外与可见光融合图像的场景识别
[J].
Scene recognition of infrared and visible light fusion image based on CNN
[J].
CCNet:面向多光谱图像的高速船只检测级联卷积神经网络
[J].
CCNet:High-speed ship detection cascaded convolutional neural network for multispectral image
[J].
DOI:10.11972/j.issn.1001-9014.2019.03.006
[本文引用: 1]
A novel ship detection method using cascaded convolutional neural network (CCNet) with multispectral image is proposed to achieve high-speed detection. The CCNet employs two cascaded convolutional neural networks (CNN) for extracting regions of interest (ROIs), locating and segmenting ship objects sequentially. Benefit from the abundant details of the multispectral image, CCNet can extract more robust feature for achieving more accurate detection. The efficiency of CCNet has been validated by the experiments on the SPOT 6 satellite multispectral images. Compared with the state-of-the-art deep-learning-based ship detection algorithms, the proposed ship detection algorithm accelerates the processing by more than 5 times with a higher detection accuracy.
全卷积神经网络下的多光谱遥感影像分割
[J].
Multispectral remote sensing image segmentation under a fully convolutional neural network
[J].
可见光-近红外HSV融合的场景类字典稀疏识别
[J].
Sparse recognition of scene dictionary based on visible light-near infrared HSV fusion
[J].
基于改进YOLOv3的火焰检测
[J].
Based on improved flame detection of YOLOv3
[J].
铁塔航拍图像中鸟巢的YOLOv3识别研究
[J].
Research on YOLOv3 recognition of bird’s nest in aerial images of iron tower
[J].
基于 YOLO 的铁路侵限异物检测方法
[J].
YOLO-based railway intrusion detection method for foreign bodies
[J].
改进 YOLO 的车辆检测算法
[J].
Improved YOLO vehicle detection algorithm
[J].
基于NCS2神经计算棒的车辆检测方法
[J].
Vehicle detection method based on NCS2 neural computing stick
[J].
基于灰色聚类分析的输电线路舞动分级预警方案
[J].
Graded early warning scheme for transmission line galloping based on gray cluster analysis
[J].
多源信息融合的配电网重复多发性停电在线监测与预警技术
[J].
DOI:10.3976/j.issn.1002-4026.2020.04.015
[本文引用: 2]
针对配电网重复多发性停电问题,基于面向服务架构的多源停电信息融合技术,分析影响配电网重复多发性停电风险和停电分级预警的因素,并结合德尔菲法建立指标评价体系,分别得出各个因数指标的评分标准和权重,建立配电网重复多发性停电风险和停电分级预警模型。针对某实际停电实例进行了分析,得出重复多发性停电综合概率值和分级预警级别,为治理重复多发性停电提供了一种新思路。
Multi-source information fusion online monitoring and early warning technology for repetitive power outages in distribution networks
[J].
DOI:10.3976/j.issn.1002-4026.2020.04.015
[本文引用: 2]
To address repeated multiple power outages in distribution networks, the multi-source outage information fusion technology based on service-oriented architecture is used to analyze the factors that affect the risk of repeated multiple power outage and forewarning of power outage classification in distribution networks. The Delphi method is used to establish the index evaluation system, a scoring standard and the weight of each factor is obtained, and the risk of repeated multiple power outage and forewarning model of power outage classification in distribution networks is built. Based on the analysis of an actual power outage case, the comprehensive probability value and hierarchical warning level of repetitive power outages are obtained, and these findings provide a new solution for controlling repetitive power outages.
/
| 〈 |
|
〉 |
