电力基础建设是稳投资、扩内需,拉动经济增长的重要途径,但是在经过多年对交通、能源、水利等传统基础设施的建设后,我国已经建成相对成熟的基础设施环境,这使得传统电力基建发展空间受限,难以满足当前经济拉动的强烈需求。以人工智能、工业互联网、物联网、5G、大数据等技术为电力基础的新型基础建设则处于起步发展阶段,因此其发展空间巨大,将会为经济带来新的增长点。而智能化的边缘计算设备将在新型电力^[1,2,3]基础建设中发挥巨大作用。

边缘计算设备^[4,5]是更靠近传感数据前端的一种设备。不同组织对边缘计算^[4]给出了不同的定义。美国韦恩州立大学的施巍松等认为边缘计算是指在网络边缘执行计算的一种新型计算模式,边缘计算中边缘的下行数据表示云服务,上行数据表示万物互联服务。边缘计算产业联盟则将边缘计算定义为靠近物或数据源头的网络边缘侧,融合计算、存储、网络、应用核心能力的开发平台;实现就近提供边缘智能服务,满足行业数字在隐私保护、实时业务、敏捷连接、数据优化、应用智能等方面的关键需求。总体而言,边缘计算是在靠近数据源头计算的一种新型模式,在数据侧为应用提供融合计算、存储等资源。相比云计算,边缘计算不需要将前端设备感知数据传到云平台,而是直接在本地进行处理,并能立刻响应;边缘计算的出现并非取代云计算,而是通过边缘设备分担云计算任务,实现云平台计算卸载;而云平台作为后台管理的核心依旧发挥着强大的作用,云平台不仅可以实现对边缘设备的管理,还可以选择性接收边缘端的有效处理结果,并进行分析汇总,获得更有价值的信息。

本文首先介绍边缘计算概念,并和云计算进行了比较;接着梳理了边缘计算在线路基建现场中的应用以及基于视觉的线路基建现场监测技术和在边缘设备上的设计应用;最后对边缘设备在物联网电力基建业务上的应用进行总结和展望。

传统物联网技术,是将前端设备传感器采集的数据通过网络传输到云平台,云平台进行运算处理,并在云端做出响应,如需要前端响应,则对前端设备传感器下达响应指令。云平台计算不仅需要建立云计算中心,还要保证网络的畅通和可靠;但随着传感数据的丰富,尤其是图像信息的使用,使得网络带宽成为制约云平台计算发展的瓶颈。此外,像线路基建现场等业务场景环境复杂,网络的可靠性差,因此一种不依赖云平台且能实时高效计算的平台应运而生。

由于边缘设备对网络的稳定性和带宽要求大大降低,因此具有更快的响应速度;这对占用大量带宽的视频传感设备的普及应用具有重要意义,有助于扩大前端设备的使用环境场景,实现网络无差别化设备部署。此外,针对不同业务场景需求,边缘计算可以应用不同配置的硬件和软件环境,尽可能在硬件计算力和软件功能实现之间寻求平衡,使得边缘计算更加贴合业务场景。

考虑能耗和部署环境,云计算中心设备不仅需要独立的空间,还需要配备散热设备,保证云中心运行环境稳定,因此云计算能耗更大,部署要求更高;边缘计算设备能耗较低,同时为非集中部署,因此在降低能耗的同时,还降低了对部署环境的要求。从应用管理角度来看,单独的云计算方式需要在云端升级应用系统,新增业务类型或业务类型修改都需要云端系统做大规模更改,便捷性较差;而部署不同边缘计算设备的过程不需要对云平台做任何修改,云平台只需要根据协议接口管理好各个边缘设备,进而更好地实现云、边分离。

从计算能力角度来说,云计算中心计算能力在云中心建立之初一次性确定,而边缘计算可根据业务需求,灵活地对设备进行增删,因此能做到计算力和能耗的最优。云计算与边缘计算区别如图1 所示。

边缘计算广泛应用于智慧城市和智能交通中。在智能交通中,每个路口部署的摄像头会产生海量的视频数据,如果都通过云计算中心处理,不仅对交通建设带宽要求较高,对云中心的存储、计算能力也有很高的要求。借助边缘计算,对本地海量数据进行存储和分析,只截取并上传交通事故或者违法行为的有效视频片段至云中心,在节约云中心资源的同时,边缘计算设备还兼备车流量分析、车辆信息结构化、行人流量分析等功能,有助于实现实时的智能交通控制。

边缘计算广泛应用于多种多样的电力基础设 施^[6,7]建设业务场景。以电网相关基础建设为例,边缘计算应用于智能变电站^[8],如收集处理温度传感器、漏电传感器、振动传感器等大量传感数据,用于实时监测变电站的运行状态和设备环境状态。通过运用边缘计算对关键信息的判断和筛选,如报警信息、智能仪表信息等,并将其上传至云计算中心进行处理。

汽车智能化以及新能源汽车是未来车辆的发展趋势,车辆周边设备网联化是实现车辆智能化的有效手段之一。智能车联网系统终端需要解决问题众多,比如辅助驾驶或者自动驾驶,需要实时感知并识别周围环境,包括车道线、车辆、交通标志、行人等。如果这些计算都依赖云中心,一方面随着车辆的增加,云中心的计算压力越来越大;另一方面遇到网络延时或者网络信号较弱,车辆将丧失感知判断能力,严重影响车辆安全。而高性能低功耗的边缘计算设备在该场景应用中优势突出,能进行有效的前端识别,因此边缘计算设备必然成为智能汽车不可或缺的配置。再比如新能源汽车充电桩^[9,10]面临的系统调节、负载均衡等问题,该过程需要处理海量数据,如果仅仅依靠云计算中心,不仅会增加通信负载压力,更重要的是难以满足系统对低时延性的要求。边缘计算设备可独立搭载到充电桩,同时具有低网络时延的性能,因此边缘设备的应用能进一步提高充电桩的效率。

线路基建现场监测^[11,12]是边缘计算的另一个重要应用场景。借助视觉、温度传感器等设施,能够有效监测塔杆倾斜、异物、施工吊臂等异常目标,从而避免线路隐患,提高线路传输能力和可靠性。由于线路基建现场长、视频数据量大,加之部分线路基建现场偏远、环境恶劣,综合考虑网络带宽压力,如果通过云中心集中处理,很难做到所有线路的实时数据传输分析决策;而边缘计算很好地解决了这个问题,考虑到线路的每个监测点都是独立的,近端的边缘设备能够及时处理并对现场情况进行快速响应,不受限于网络带宽和网络信号质量,此外边缘设备的低功耗也有助于其在线路基建现场中的推广应用。

视觉包含丰富的信息,是人类获取信息的最主要方式。但对于计算机来说,视觉包含的信息丰富而繁杂,因此在应用中不仅要提取有效信息,还要过滤干扰信息;此外,以像素为基本单元的视觉信息包含数据量大,信息有效性和计算量一直是计算机视觉应用中的挑战。随着近几年计算能力和视觉技术的发展,计算机技术逐渐趋于成熟并在实际环境中得到广泛应用。通过对计算机视频进行智能分析,能够获得很多有效信息。常规线路基建现场监测采用人工定期巡检或者无人机定期巡检的方式。但由于输电设备数量多,实际监测作业环境复杂艰难,加之依靠人工识别异常目标,因此遗漏的情况严重,很难保证监测的有效性;同时定期巡检不能在出现问题的第一时间发出警报信息,因此无法保证监测的实时性。从监测成本来说,现有方法消耗了大量的人力、物力、财力。

基于边缘计算的线路基建现场监测^[13],能够实现24小时实时监测,能够在监测第一时间发出异常警告信号以及上报云中心,阻止异常的状况恶化,最大程度地降低异常状况对电网的冲击。线路基建现场及电网通道中的故障隐患包含多种多样,常见的包括电网设备周围的吊车、塔吊、施工机械、烟火以及线路基建现场悬挂的异物等。本文设计系统预定义部分异常目标如图2所示,例如风筝1、风筝2、塑料袋和塔吊。

线路基建现场及通道视觉监测涉及到多种关键技术^[14],包括目标检测、视觉模型压缩、边缘计算等。本文将线路基建现场视觉监测所涉及到的关键技术归纳为目标检测、模型加速和边缘计算设备三部分。

目标检测是在给定的图像中标记特定目标类别,并标出其位置。具体来说,目标检测要解决的是分类和定位问题。分类问题要明确检测的目标物体是什么,定位问题是物体在图像中位于哪里。对于第一个问题,本文针对线路基建现场及通道经常出现的山火、异物、工程车吊臂作为检测类别。对于第二个问题,常用的解决方法包括传统检测算法和基于深度学习的检测算法。传统的检测算法需要靠人工设计待检测物体的特征,然后将设定好的特征送入分类器学习,判断是否包含设定目标。常用的特征有尺度不变特征变换(Scale-invariant feature transform,SIFT)、方向梯度直方图(Histogram of oriented gradient,HOG)、局部二值模式(Local binary patterns,LBP)等。分类器包括支持向量机(Support vector machine,SVM)、决策树等。由于特征是对检测物体的表征,因此相比分类器,特征的好坏对检测的效果影响更大;而由于传统的特征依赖设计人员的经验,因此对于设计人员要求较高,同时需要根据效果不断改进设计。而对于线路基建现场中不规则的异常物体,设计其特征相对复杂,使得该检测方法性能较差。近年来,基于卷积神经网络(Convolutional neural networks,CNN)的深度学习目标检测在实际应用中取得很好的效果。

基于深度学习的目标检测算法避开人工设计检测目标特征的环节,直接采用端对端的学习模式,将标注好的图像直接输入到网络中,通过优化损失函数和迭代更新权重的方式让深度网络从大量数据中自主学习待检测物体的特征。在对大量数据进行学习后,深度学习网络模型能获得更加有效的物体描述特征,并在实际使用中有更高的检测泛化能力。在不用金字塔的“one stage”思想提出后,检测网络运算速度更快,能实现多个目标同时检测,在高分辨率图像中得到很好的应用。常用的检测网络包括YOLO(You only look once)、SSD(Single shot multi detector)、RetinaNet等。

基于深度学习的目标检测在应用中包含两个过程：训练和推理。深度网络训练过程如图3所示。该训练过程需要给定标注好的图片,具体地说,要定义待检测物体的类别,并且标出目标物体在每个图像中的位置。深度学习训练是在上述标注好的数据集上,每次随机选取某一批量数据,并在定义好的模型上进行前向计算,获得预测值;将预测值与标记的真实值之间进行匹配比较,计算得到误差值;再通过反向计算不断迭代更新网络权重,最终学习一组能实现对物体分类的网络参数。图3中“达到训练目标”包括两种情况,一种是达到预先设定的训练次数,另一种是通过测试,当前网络达到测试精度要求。网络训练不需要实时计算,只需要在标注好的数据集进行一次训练即可,因此训练过程往往运行在服务器上。经过训练的网络具有检测预定义目标物体位置的能力。推理过程只是前向运算,即只需要根据输入的图像,获得预测值为止;在实际应用场景中,是指将实时采集的图像输入到训练好的模型,计算得到目标物体在图像中的位置,并输出属于该目标类别的置信度。

由于图像数据构成单元为像素,因此一个图像包含巨大的数据量。以640像素×640像素彩色图像为例,该图像包含约122万个像素点,由此可见深度学习网络输入是一个复杂的高维度数据。考虑到通常视频数据源为1080P或者更大分辨率,因此为提高网络的检测能力和泛化能力,往往需要较大的网络结构。深度学习可以理解为从像素级别通过卷积的方式逐级提高感受野,进而获得抽象的几何特征,最终实现目标特征的描述。

综上所述,基于深度学习的检测算法需要很大的计算量,因此深度学习算法模型往往部署在拥有专门处理图像数据的GPU服务器。对于电力线路的检测来说,边缘设备计算能力远远不及服务器,因此需要对现有的网络模型进行加速优化,实现在精度损失很小的情况下,提高模型运算速度的目标,以保证实际业务场景的实时性^[15,16]。

常用的优化加速方法包括：① 改进网络结构,降低计算量;② 通过模型剪枝,降低模型参数量;③ 定点量化。

改进网络结构指通过优化卷积方式降低卷积计算量。SHUFFLENET提出沿channel维度进行分组,同时对卷积核也进行分组,通过分组卷积的方式有效降低卷积计算量;MOBILENET采用depthwise方式,将卷积分为深度卷积和逐点卷积两步,同样实现降低卷积计算的目标;BOTTLENECK通过改变维度的方式也能实现降低卷积的计算量。

高性能检测网络往往具有复杂结构,包括具有更深的网络或者更广的连接,这意味着存在部分冗余参数,即训练好的网络中有部分参数趋近零,因此可以寻找一种评估手段,找出对网络贡献小的连接或者卷积,通过裁剪的方式降低模型的冗余。由于裁剪的是对网络贡献较小的趋于零的连接或者卷积,因此剪枝几乎不影响网络精度。剪枝操作让深度学习网络变稀疏,一方面减少存储的参数量,另一方面通过稀疏计算的方式降低计算量。

量化是结合硬件的另一种降低计算量的有效方法。常规的卷积运算为浮点运算,浮点运算的优势是精度高,因此能保证经过多个网络层次传递后的数值精度,由于训练过程有反向传播,因此精度在训练过程尤为重要。而浮点运算的缺点是计算量大、耗时长。对于边缘计算设备,其计算能力远远不及服务器,因此在边缘计算设备上将训练好的模型进行定点量化能有效降低计算量。对于精度而言,在实际应用中边缘计算只进行前向推理,数值精度没有训练那么严格,而且在量化过程中会对网络参数微调学习,因此能实现在精度损失很少的情况下加快计算。

边缘计算设备硬件系统包含以ARM为核心的主系统和一个硬件加速单元。从硬件角度讲,主系统还包含系统供电模块、有线网络接口、无线网络接口和USB接口等模块。从功能角度讲,主系统负责视频数据流的输入输出,比如网络视频解码,向云端推送视频数据,与硬件加速单元的通信以及与云端的通信等;同时负责设备自身的管理业务,比如硬件加速单元的管理,在线升级等。主系统主要包含一款低功耗、高性能的应用处理器芯片。该芯片具有如下特点。

(1) 具有独立的协同处理器的双核Cortex-A72及四核Cortex-A53组合架构。

(2) 内置多个高性能硬件处理引擎,能够支持多种格式的视频解码。

硬件加速计算单元是用于深度学习计算的专用加速硬件,主要执行计算任务,其主要任务是对主系统给定的图像进行分析运算,并计算得到预定义的目标监测类型。由于硬件加速单元支持定点计算模式,因此对于量化后的模型,该计算单元能更加快速地进行运算推理。从硬件工艺和接口使用角度讲,该计算单元具有如下特点。

(1) 采用22 nm 高精度工艺,具有超低功耗。

(2) 内置网络处理器(Network process units, NPU) 最高算力可达3 TOPs(Tera operations per second)。

(3) 支持定点和浮点混合运算,最大程度兼顾性能、功耗及运算精度。

(4) 支持多种模型,兼容性强。

(5) 具有丰富外设接口,便于应用扩展,支持USB、千兆以太网及外置WiFi模块。

(6) 无需单独硬件设计,即插即用,使用方便。从软件开发角度,具有丰富的软件接口,支持C/C++、Python等编程语言,开发便捷度强。

针对电力基建业务中的若干工作条件与场景,边缘计算设备的设计应从低功耗、高集成度、高环境适应性等几个方面综合考虑,在算力配置方面不仅要满足现场数据实时处理的要求,更应该从工作模式、工作效率等方面进行低功耗设计。

本文设计的基于边缘计算的线路基建现场监测硬件系统为上述边缘计算设备,软件系统包含算法检测模型、视频解码、网络传输通信、加速单元设备管理以及在线升级等模块。具体涉及到线路基建现场监测的软件系统工作流程如图4所示。

在系统运行前,需要先获得异常物体检测模型。根据实际业务场景,首先确定异物(风筝、塑料袋)、山火和工程车吊臂等三大异常检测目标,收集包含异常物体图片并标注其位置。然后将自主研发的嵌入式深度网络作为异常目标检测主网络,在实验室环境中训练得到一组浮点参数检测络模型。最后按照第3.3节中模型加速内容所述,将浮点网络模型转化为INT8定点网络模型。

在运行时,系统通过模型加载、视频解码、网络预测和信息处理四个模块完成异常物体检测 任务。

首先模型加载模块会在设备启动后,将转化后的量化检测模型自动加载到硬件加速单元。

视频解码模块从网络相机中获得RTSP视频码流,在边缘设备中进行解码,将视频流转化为每秒25帧的图像数据,其中每帧图像都是软件系统能识别处理的RGB图像,并将数据传输到网络预测 模块。

网络预测模块接收解码后的图像并对图像进行预处理,比如将图像等比例大小缩放,然后执行对图像数据的前向运算,运算后直接获得检测结果。按照预定义异常物体定义,该模块最终输出异常物体在图像中的坐标位置以及置信度;最后将检测结果传送到边缘计算主系统。从硬件结构角度看,该模块位于硬件加速单元。

信息处理模块根据接收的异常物体置信度与预设定的报警阈值比对,对于高于报警阈值的异常物体,可以执行预先定义的指令,比如发出语音警告,或者向云服务器发出警告信息,等待进一步的响应处理等。其中报警阈值可依据异常物体的重要性等设置,如将重要异常物体检测置信度阈值设低以提高监测灵敏度,这样能在异常萌发初期及时响应。

通过对检测模型的优化和硬件设备的配合使用,本文所述的异常检测模型及边缘计算设备成功应用于实际环境。图5展示了本系统在实际场景中的检测效果。包含了烟火检测、工程车检测以及吊臂检测。

考虑到边缘计算模型升级以及设备管理等功能,本文除了包含边缘计算主系统外,还包含边缘计算设备的管理系统以及在线升级系统。管理系统可查看每个边缘设备的状态以及当前设备对应的图像视频,为人工进行二次异常确认提供良好的软件环境;在线升级系统支持模型的更新以及功能的升级,比如随着季节和时间的变化,用于学习的数据会越来越丰富,通过实验室对新增数据的训练学习,监测模型泛化能力和识别能力会不断增强,强化的模型可通过在线升级的方式进行部署;此外随着目标监测类型的丰富,会对更多的异常目标监测,此时通过在线升级系统部署支持更多异常类型监测的模型。

从计算资源角度来讲,本文设计的基于边缘计算的线路基建现场视觉监测系统,可根据实际业务场景和计算量订制搭载硬件加速单元的数量和软件功能,如水面等一些特定环境,可以去掉山火检测功能,减少搭载硬件加速单元的数量;若要增加异常目标检测种类,可提前多搭载硬件加速单元,以便实际扩展应用。这充分体现了云计算中心计算力的卸载,也充分发挥了云边协调的灵活配置模式。

(1) 基于视觉的线路基建现场监测取得初步成功。虽然在边缘计算中取得了一定成功,但是由于线路基建现场检测异常类型较多,且应用环境复杂,因此在实际应用中需要定义更多的异常类型,通过不断收集现场异常图像和更新迭代模型的方式,提高模型在不同场景识别泛化能力。

(2) 视觉监测易于扩展应用。本文重点阐述边缘计算在线路基建现场中的应用与设计,从异常目标物体检测业务场景出发,介绍边缘计算软硬件的应用环境,并讨论了基于边缘计算的线路基建现场视觉监测的设计与应用。同理,边缘计算在其他诸如新能源、智能电网等基础建设领域也面临着不同的机会和挑战。

(3) 边缘智能感知设备将在新基建中不可或缺。总体来看,新型电力基础设施建设更加专业化和智能化。拥有边缘计算能力的智能感知设备是不可或缺的前端设备。加入智能化边缘设备的新型电力基础设施,将更有利于扩大有效投资、带动新经济增长点,更能助力实体经济转型升级、激活发展新动能。