Design and Development of 5G+ Robot Autonomous Patrol Inspection System in Intelligent Power Plant

传统电力巡检仍主要采用人工巡检的方式，人力成本高、巡检手段单一、受天气影响大、巡检数据主观性强等诸多不足之处正在不断催生先进的巡检技术^[1]。随着5G通信技术^[2]、无人机^[3]、视觉采集^[4]、激光雷达^[5]等技术的不断涌入，自动化技术代替人力成为了电力巡检的必然趋势。正因如此，我国电力行业逐渐向智慧电厂方向进步^[6]，伴随着机器人的有效使用，电厂的智慧等级进一步提升^[7]。文章提出的机器人自主巡检系统融合多种先进的传感、通信与信息处理技术于一体，由监控中心、5G通信平台和四轮移动机器人三者共同组成，不仅能够全方位、无遗漏地自主完成既定巡检任务，而且可以对巡检数据进行全面分析和比较。巡检任务开始后，机器人按照预设巡检顺序，自动规划出最优的巡检路径^[8]，随后利用自身装备的热成像双光谱相机对巡检设备进行图像采集，并通过5G通信平台将巡检数据实时回传至监控中心。监控中心对采集到的信息进行处理后，判断当前设备运行是否正常，当设备状态发生变化，如漏水、漏油、温度异常、设备附件变化时，发出异常报警并自动定位异常发生地点，为电厂安全稳定运行提供保障。除实时巡检功能以外，巡检系统还可以对历次的巡检数据进行分析，为专业人员全面掌握锅炉房、汽机房、升压站、辅助车间的运行状态提供可靠的依据。文章将5G和人工智能技术应用到电力巡检中，使得巡检频次和巡检质量得以大幅提升，实现减员增效的同时保障了重点区域设备安全运行。

机器人自主巡检系统以最大限度替代人工，实现自主巡检作业为目标。在进行系统设计之前，需要明确系统功能、系统组成以及巡检环境等重要因素。巡检系统设计遵循以下思路：

1）不同环境的适用性

在实际应用中，巡检系统会应用于各种环境之中，这要求巡检系统应具有通用性。因此整套巡检系统应能够灵活部署，作为设备载体的移动机器人需要具备自行建立未知厂区地图和规划巡检路径的能力。

2）巡检系统的完备性

当未经考虑的情况出现时，操作人员往往不清楚应如何操作，巡检设备也有可能运行失常。因此应充分考虑巡检时会遇到的各种情况，保证巡检系统的完备性。

3）巡检信息的准确性

巡检任务执行时，操作人员在监控中心对巡检结果进行确认。因此巡检系统采集到的数据信息必须及时可靠，方可以根据巡检数据对运行设备进行准确的评估，这需要终端采集设备与信息传递系统的共同作用。

4）操作人员的交互性

当巡检结果出现异常时，检修人员到达移动机器人所在位置。巡检系统应当具备远方与就地人员实时沟通的能力，为设备检修工作提供便利。

5）交互平台的易用性

巡检工作中，操作人员不对巡检装置进行直接操作，因此巡检系统应提供一个友好直观、操作方便的人机交互平台，将所有巡检操作集中放置在交互平台中，方便操作人员远方部署。

依照巡检系统设计的思路，自主巡检系统应具备后台监控处理、实时信息传输、现场信息采集的功能。

系统硬件设计进行如下考虑：

在系统硬件的设计中，尽可能将大量的数据计算交由计算能力突出的监控中心进行处理，从而减轻机器人本体的算力负荷，这样可以使得机器人拥有更好的续航能力、更高的稳定性以及更优的经济性。

5G凭借大带宽、低时延、高可靠性、海量连接等技术特性以及在网络架构上的灵活性，高度契合工业场景专网的需求^[9]。目前的电厂巡检机器人多以WiFi作为信息传输的媒介。相比传统专网如WiFi-6接入技术，5G主要优势体现在良好的网络覆盖性、双向认证的安全性、更快的速度和更低的延时抖动、移动业务的连续性等方面。本课题采用5G通信进行数据传输，5G数据传输高速率、低时延的极大优势，将为机器人接受监控中心的指令，并将采集到的信息回传至监控中心提供有力的保障。

监控中心对巡检信息进行分析处理，在降低机器人本体算力负荷的同时，还为监控中心记录历史巡检信息提供了便利。综合分析历史巡检信息，有利于评估一段时间内设备的运行状态，为专业人员全面掌握设备的运行状态提供可靠的依据。

巡检作业不仅需要采集设备的图像信息，还需关注设备和环境的温度信息，因此机器人可装备热成像双光谱相机，使其同时具备红外与可见光信息的采集能力。

此外，在现有定位与地图构建技术中，激光SLAM（Simultaneous Localization And Mapping，定位与同步建图）技术更加成熟，不仅能够建立直观、高精度地图，并且拥有更高的可靠性^[10]。

根据以上分析，可设计出自主巡检系统的硬件结构。系统硬件部分可分为5个层次，如图1所示。从上至下分别为应用层、通信层、控制层、执行层和感知层。

Figure 1.  Hardware structure of patrol inspection system

应用层对应监控中心，负责巡检任务的部署以及巡检信息的分析处理，为巡检系统的最高层级；通信层对应5G通信平台，保证巡检任务的快速下发和采集信息的实时回传；控制层、执行层和感知层共同组成机器人系统，为巡检任务的顺利执行提供保障。控制层由工控机构成，负责将接收到的任务信息进一步细化，得到机器人的巡检路径；执行层由运动底盘和底盘驱动构成，保证机器人能够快速响应控制层的指令；感知层由激光雷达、陀螺仪、声波传感器组成，负责自身状态的检测和环境信息的识别，保证运行过程的可靠性。

系统硬件结构设计完成后，对照巡检系统设计思路，仍有两点需要完善，分别是机器人自主充电和远方与就地人员实时沟通的问题。

自主充电功能及其稳定性指标是衡量机器人是否实现自主工作的重要参数^[11]。本套巡检系统的充电桩结构如图2所示，充电桩对接口安装有可前后伸缩的弹簧装置，同时两电极片可左右摆动，为自主充电提供更大的误差容忍度。

Figure 2.  Charging pile

为保障自主充电能够顺利进行，将自主充电功能集合至机器人导航定位中，机器人亏电时可自主运动至充电点，如图3所示。机器人底盘后端的充电电极与充电桩电极对接成功后，完成充电任务。

Figure 3.  Charging connection

设备检修需要远方操作人员与就地人员之间进行有效的沟通，因此巡检系统上还设置有拾音器和扩音器，保障了远方与就地操作人员之间交互性的同时，还能够将巡检任务点的设备声音实时无失真上传监控中心，用于后台分析与展示。

以上为系统硬件设计方案，图4展示了巡检机器人的全貌。

Figure 4.  Picture of patrol inspection robot

巡检系统硬件设计完成后，由软件进一步整合系统的各项功能，提供一个友好直观、操作方便的人机交互平台。

依据巡检系统硬件设计和巡检任务需求，软件系统可分为6个方面，包含建图、任务部署、巡检、信息处理、机器人系统、用户设置。图5展示了巡检系统软件的结构关系以及各自的子项功能。交互平台的建立，使得厂区工作人员在巡检系统监控中心就可以直观地了解厂区机器人的实时位置、工作与空闲的机器人数量、每台机器人的巡检场域和巡检点位以及设备异常警告等信息。

Figure 5.  Composition of patrol inspection system software

除此之外，我们将手机、操作手柄与机器人结合在一起，称之为“Robot Pilot”。这一举措改变了目前需要工作人员采用笔记本电脑跟随其后的操作方式，使得任务部署可以轻松进行，如图6所示。从图中可以看到，“Robot Pilot”主界面由地图、可见光视频、红外视频三者构成，并且可以在三者中任意切换。右下角为任务部署工具栏，包含了建图、任务点标记、区域规划等一系列部署工具。“Robot Pilot”类似于无人机的操纵方式，大幅度提升了人机交互平台的易用性。

Figure 6.  Robot Pilot

在一个未知厂区环境下部署自主巡检系统时，首先需要由移动机器人获得厂区的地图信息，这一过程被称作定位与同步建图技术，简称SLAM，原理如图7所示。SLAM技术是通过已知信息推测未知信息，在SLAM过程中，已知信息为激光雷达观测到的地标信息和机器人运动过程中的控制信息，未知信息便是机器人所处的位置和周围环境的地图。这样就形成了4组参数，其中$ k $表示时刻^[12]：

Figure 7.  Schematic diagram of SLAM principle

1） 移动过程中激光雷达对地标的观测集合$ {Z}_{{k}} $。

2）驱使机器人移动的控制量集合${{U}}_{{k}}$。

3）待估计的机器人位姿集合${{X}}_{{k}}$。

4）待估计的地标位置集合${M}=\{{{m}}_{1},{{m}}_{2},\cdots ,{{m}}_{{n}}\}$，其中${{m}}_{{n}}$表示第${n}$个地标在地图中的位置。

SLAM就是根据${{Z}}_{{k}}$和${{U}}_{{k}}$估计${{X}}_{{k}}$和$ M $的过程。机器人从人为设定的起点处开始移动，在运动过程中利用激光雷达重复观测到的环境特征定位自身位置和姿态，同时根据自身位置构建周围环境的增量式地图。

目前主流的激光SLAM算法有Gmapping、Hector、Karto、Cartographer等^[13]。其中Gmapping算法已经集成在ROS（Robot Operating System）中，广泛应用于轮式移动机器人。但是在电力巡检作业中，这种算法有3个巨大的缺点：

1）该算法严重依赖里程计，无法适应地面不平坦的区域，当机器人在室外非铺装路面上运动时，如果轮子因打滑发生空转，机器人所依赖的地图将会受到影响。

2）无回环检测，在构建大场景地图时容易受到累积误差的影响，在回环闭合时可能会造成地图错位。

3）Gmapping算法是一种粒子滤波算法，随着地图变得越来越大，所需内存和计算量都会大幅增加，这导致该算法并不能被用来构建大场景地图。

以上3点问题使得机器人在不同环境中的适用性受到影响，因此我们区别于其他巡检机器人，采用了Cartographer算法。

Cartographer是Google推出的一套基于图优化的SLAM算法，非常适合于商业应用和再开发。此算法用在电力巡检中有4个显著的优势：

1）Cartographer算法不同于Gmapping算法，无需与里程计紧耦合，只通过激光雷达就可以建图，解决了机器人在室外非铺装路面上的使用问题。

2）在建立大场景地图时，可以实现较低的计算资源消耗，达到实时SLAM的目的，很适合嵌入式端的使用。

3）引入了子图的概念，使前端匹配建立在当前帧与当前创建的子图之上，有效的避免了建图过程中环境中移动物体的干扰。

4）采用了回环检测，并利用分支定界算法进行优化搜索，提高效率，达到实时回环的作用。

当机器人遍历厂区后，即可获得完整的厂区地图。在后续巡检任务的执行过程中，如遇厂区环境变化，机器人将会对地图进行不断更新。

除了厂区的地图信息以外，我们还需要知道待巡检设备的位置，才可以进行任务的部署。我们在地图建立过程中，记录机器人、采集相机与每个待巡检设备相关联的位姿，将此位姿作为对应设备的位置信息，确定所有的巡检点位。地图建成之后，在地图上设定巡检信息，包括待巡检区域、待巡检设备所属类型、待巡检设备正常阈值、禁止驶入区域等，完成厂区地图的构建。

针对不同的巡检需求，在所有巡检点位中选取特定的点位，编制成不同的巡检任务，如全面巡检、例行巡检、专项巡检、特殊巡检等，储存在监控中心。在巡检任务的编制过程中，我们充分考虑了巡检作业过程中会遇到的各种情况，使得系统的完备性得到保障。当进行某项巡检任务时，通过5G通信平台将任务下发至巡检机器人，机器人对任务信息进一步细化后开始当次巡检作业。

机器人巡检任务的执行过程中面临着3个问题：

1）明确起点及各个任务点的位置关系。

2）运动过程中规避障碍物。

3）尽可能地做到路径上的优化。

为了实现巡检路径的快速规划以及巡检过程中的实时避障，我们选用A*算法在现有厂区地图上做全局路径规划^[14]：机器人在出发之前，将起点的位姿与任务点的位姿进行坐标转换，得知起点与任务点的位置关系，进一步结合周围的环境信息，在所生成的路径中选择一条最优路径作为巡检路径。并选用动态窗口法（DWA算法）进行局部的路径规划^[15-16]，在任务的执行过程中，对墙体、柱体、桌椅等物体进行识别，实时躲避移动的人或物，保证局部路径靠近全局路径、完成避障任务、朝向目标快速运动。综上所述，机器人巡检路径规划如图8所示。全局路径规划与局部路径规划协作的方式，使机器人得以更好地规划巡检路径，为巡检任务的执行提供更优的适应性。

Figure 8.  Patrol inspection path planning

机器人巡检任务执行过程如图9所示。在每个巡检点位，机器人利用机身装备的热成像双光谱相机对设备表盘和状态灯等信息进行采集，通过5G通信平台将采集到的设备信息实时回传至监控中心，并由监控中心进行分析，判断当前设备运行是否正常。

Figure 9.  Patrol inspection task execution process

监控中心接收到机器人回传的原始图像后，并不能直接显示巡检结果，不利于大批量的数据判断，因此我们为自主巡检系统提供了一套完善的识别方案，针对不同形式的设备采用不同的处理方式，提取其中的有用信息^[17-18]，完成对图像信息的识别。信息提取过程如图10所示。

Figure 10.  Analysis of patrol inspection results

对于指针式仪表，我们首先对原始图像去噪增强，并进行二值化处理，突出原始图像中的有用信息。若拍摄角度产生倾斜，我们还将进一步对图像进行倾斜矫正，消除拍摄角度带来的影响，如图11所示。

Figure 11.  Image processing of pointer meter

一般情况下，指针式表盘的刻度均匀分布，因此我们采用角度拟合的方式识别指针读数，如图12所示。

Figure 12.  Angle fitting of pointer dial

记表盘最小值、最大值所在位置分别为P₁、P₂，表针旋转轴所在位置为P₃，表针方向所在的线段为L₁，L₂和L₃分别为P₁与P₃、P₂与P₃的连线。L₂和L₃的夹角$ \alpha $以及L₁和L₂的夹角$ \beta $可以轻松获得。这样，表盘的读数问题就转变为表针指向的识别问题，只要表针指向识别准确，表盘读数V可通过式（1）计算得到：

式中：

${V}_{{\rm{min}}}$、${V}_{{\rm{max}}}$——仪表量程的最小值和最大值。

若表盘刻度之间呈现倍数的增长关系时，此方法仍然具有适用性，表盘读数V可通过式（2）计算得到：

式中：

M——刻度之间的倍数。

对于数字式仪表，我们训练了一个卷积循环神经网络对其读数进行识别。卷积循环神经网络，是目前较为流行的图文识别模型，此方法对不定长的文本序列进行识别时，不必先对单个文字进行切割，而是将文本识别转化为时序依赖的序列学习问题，就是基于图像的序列识别。

图13以英文单词“STATE”为例展示了卷积循环神经网络对文字的识别过程^[19]。图像输入至神经网络后，首先使用卷积网络提取文本特征，随后利用深度双向LSTM网络对特征向量进行融合，提取字符序列的上下文特征，得到每列特征的概率分布，最后通过转录层进行预测得到最终的文本序列。

Figure 13.  Recognition process of convolutional recurrent neural network

此外，我们还对阀门和带灯按钮的开关状态进行了识别。监控中心获得实际仪表读数和阀门、按钮的开关状态后，将其与设备阈值进行比对。当设备状态发生变化，如漏水、漏油、温度异常、设备附件变化时，发生异常报警并自动定位异常发生地点。操作人员可对异常信息进行审核确认，快速明确设备存在的问题，为电厂安全稳定运行提供保障。

巡检任务完成后将会生成当次的巡检报告，并储存在监控中心，供操作人员浏览确认。监控中心可对历次的巡检数据进行分析，衡量设备在一段时间内的运行状态，从而判断相应时间内设备运行是否正常。为专业人员全面掌握锅炉房、汽机房、升压站、辅助车间的运行状态提供可靠的依据。

本文对机器人自主巡检系统进行了研究，从设计思路出发，引出巡检系统的设计方案，并对巡检任务的部署和执行进行详细描述，此项研究为电厂的巡检任务提供了可靠的技术，为巡检频次和质量的提升提供了有力的保障。此外，随着近几年计算机视觉领域的迅猛发展，视觉定位技术愈发成熟^[20]，在保证系统可靠性的前提下，可进一步考虑使用视觉定位技术代替激光雷达定位，降低巡检系统的部署成本，提升机器人自主巡检系统的竞争力。