智能视频技术在RTG上的应用
赖建兴
（赤湾集装箱码头有限公司， 广东 深圳 518000）
摘要： 为满足集装箱港口RTG远程控制改造的技术要求，应用智能视频切换管理、智能视频防撞等视频技术对RTG自动控制系统进行改造，辅助完成RTG的自动操作流程，保证RTG远程操控的安全性和可靠性。
关键词： 港口；RTG；智能视频技术
0 引 言
为提高港口智能化水平、提升港口作业效率及安全性，部分港口企业推行RTG远程控制改造，在传统RTG操作模式、堆场设备智能化调度及RTG自动化运行3大模式上进行创新，实现在远程控制中心完成自动作业模式的升级。
RTG项目能够实现操作人员在中控室内，通过现场视频信号代替人眼，完成在集装箱堆场的RTG远程自动操控。智能视频技术也运用于自动操作流程中的重要环节，提高项目实施的可靠性和安全性。
RTG智能视频系统主要包括2部分内容：一是智能视频监控管理系统；二是智能视频避障防撞系统。
1 智能视频监控管理系统
智能视频监控管理系统包括建立专用RTG视频监控网络，合理设置摄像机位置，并对RTG所有摄像机图像进行高效管理。视频的客户服务终端具有远程RTG监控功能，为RTG操作员远程提供前端摄像机的视频画面，并根据RTG运行状态自动切换，直观显示所需实时视频画面。
1.1 RTG视频摄像头的设置
每台RTG加装20个摄像头，包括4个吊具摄像机、车道侧4个装车道枪式摄像机、4个大车行走摄像机、小车底部1个全景摄像机球机及2个吊柜宽度的枪式摄像机、1个大梁拖车确认的球式摄像机、4个海陆侧转场用枪式摄像机，可提供现场操作面对各种工况时所需要的各个视角的视频实时画面。RTG摄像机配置及分布图见图1。
图1 A-RTG摄像机配置及分布图
1.2 视频系统的网络硬件架构
RTG智能视频自动控制系统主体由堆场部分、传输部分、远控中心、监控平台等4大部分组成。视频自动控制系统的网络架构示意图见图2。
图2 视频系统的网络构建图
（1）堆场部分主要由高清摄像机、双目立体摄像机及视频分析主机等组成。摄像机负责采集RTG在作业时大车、小车、吊具及车道全方位区域的图像。视频分析主机主要实现RTG上双目相机视频图像的实时智能分析、避障预警、本地存储、流媒体转发等功能，并联动PLC实现RTG自动避障控制。
（2）传输部分主要由光纤、波导管传输系统、光交换机、光收发器等组成，负责视频信号的传输，将前端监控点的视频信号传送至远程控制中心。
（3）远程控制中心部分包括智能视频控制中心服务器、集成报警信息平台服务器、核心交换机等。智能视频控制中心服务器负责控制整个RTG远程智能视频自动系统的运行，设置实时录像和存储视频的查看权限，可对接RTG的PLC管理系统，并根据RTG作业流程切换实时监控视频显示画面，具有云台控制、报警联动、外设对接等功能。集成报警信息平台服务器负责系统管理、用户管理、图像流管理、系统配置、用户界面、实时监控、录像检索与回放等功能。
（4）监控平台部分主要包括智能监控报警客户端显示设备、操作台等。
1.3 智能视频系统软件功能的实现
1.3.1 获取远程控制作业相关信息
系统通过对接RTG控制管理平台或直接对接操作台PLC，获取RTG各运行单元作业状态数据，包括大车、小车、吊具、拖车确认等运行参数。根据现场作业，可将主要的作业工况流程分为10种。远程RTG视频切换条件见表1。
1.3.2 远控场景匹配
智能视频系统将PLC发送过来的指令信号与单元作业状态、作业流程和操作员作业所需视频监控视野进行场景匹配。
CTOS与视频服务的通信接口数据由包头数据和包体数据组成。包头数据格式为“$$ 00330”类型，其中：“$$”为包开始符；“0033”为包体长度；0为Word类型数字包体的CRC16校验码。包体数据由控制器编号、RTG设备编号、状态、大车移动方向、小车移动方向、吊具移动方向、目标吊具高度、吊具当前位置、吊具停止高度、备用、RTG状态等11个字段组成，各字段间的数据由分号分割。
1.3.3 视频自动切换
系统根据CTOS发送的状态指令自动切换显示操作员所需实时监控画面，自动化提供RTG远程控制所需的实时和全面监控视角。针对不同工况，可以通过配置文件修改屏幕显示的画面数量，实现对应的摄像机信息来实现视频信号的自动切换。视频服务配置文件程序截图见图3。
图3 视频服务配置文件截图
2 视频智能避障防撞系统
视频智能防撞主要为保障RTG自动运行大车过程中的安全而开发。在RTG上安装网络双目立体摄像头和RTG避障分析主机，采用图像分析、信号处理、模式识别等技术，根据前端双目立体相机传送的画面进行智能实时分析，计算障碍物离摄像机的距离。当距离小于或等于设定值时，实现控制RTG减速或制动停车的功能。智能避障系统功能示意图见图4。
图4 智能避障系统功能示意图
2.1 避障功能
（1）系统根据PLC的大车运行指令判断是否启用参与避障检测相机。当RTG大车运行时，系统避障检测功能开启，而且只有在RTG大车行走方向两侧的双目立体相机参与检测分析，相对应的反向运动方向的相机不参与避障检测。
（2）避障检测。系统采集双目立体摄像机实时视频信号和PLC控制器数据进行分析，通过构建双目立体三维模型，结合摄像机角度位置，判断物体尺寸是否大于设定值，从而检测是否为障碍物。
（3）报警规则和信号回传。系统检测双目立体摄像机前方20 m内的障碍物，通过分析结果计算障碍物与摄像机的平面距离。当距离小于或等于设定报警值时发送控制信号至PLC控制器，控制RTG减速或制动停车。
（4）通过“心跳”机制解决网络延迟带来的风险。信号传输前端摄像机视频的网络延时基本在几十毫秒。当发生图像卡顿，网络出现延迟几秒的情况时，采用网络“心跳”机制对RTG实现制动停车。
2.2 视频避障软件的参数设定和功能
2.2.1 图像处理服务器
图像处理服务器用于智能视频避障的视频处理，从而实现障碍物检测并提供报警信息等功能。图像处理服务器工作界面截图见图5。
图5 图像服务器工作界面
2.2.2 客户端配置工具
客户端配置工具用于图像服务器和双目立体摄像机的参数设定，包括基本设定、相机设定和保护区域设定等3部分。图像软件客户端的基本设置截图见图6。避障相机的参数设置截图见图7。避障功能的保护参数设置截图见图8。
图6 图像软件客户端的基本设定
图7 避障相机的参数设置画面
图8 避障功能的保护参数设定画面
2.2.3 Plccom插件
Plccom插件的主要作用就是成为连接PLC系统与图像服务器之间的桥梁，完成2软件之间数据的交换，达成视频图像检测与PLC控制的关联。
2.2.4 回放服务器
回放服务器是用于管理存储视频和回放的软件。
3 智能视频避障系统的风险分析
视频避障系统已在RTG上进行应用，从应用效果看，其功能虽然能够满足智能防撞的要求，但存在一定风险。
3.1 双目立体摄像机的安装可靠性问题
RTG大车在启动及加、减速过程中都会产生较大的振动，对于双目立体摄像机来说，须在不断的振动下保持原有的视角不变，保证检测区域范围不发生改变。
3.2 避障系统的检测标准更新问题
视频避障系统是以地面作为标定检测范围的基础，目前在单一的堆场跑道进行的功能测试表现尚可。若在大规模实施后，RTG在不同的区域进行移动，会碰到不同的地面状况，以单一的标定基准来制定可能会引起检测功能的偏差。
3.3 避障主机的使用问题
视频避障系统主机只是普通的服务器级别电脑主机，若安装在RTG上使用，须考虑防振动、防频繁断电启动、散热方式选择等电脑特性，以保证系统主机的耐用性。
3.4 小物品避障检测的问题
对视频避障系统的测试已在不同的天气情况、针对大小不同的物品进行有针对性的检测，目前，最大的问题在于小体积障碍物的检测方面，系统只能在3 m左右的位置才能发出检测信号，易造成RTG的紧急停车，对大车机构造成频繁的冲击，容易造成机构的损伤。
针对视频防撞存在的风险，可考虑增加1套可编辑检测范围的雷达或2D扫描仪作为防撞的冗余。
4 结 语
智能视频技术作为前沿技术手段已广泛运用于各个行业的智能识别、控制领域。此次RTG远程控制改造项目将智能识别技术运用于港口智能化装卸操作，为堆场自动化作业提供操作实时性、安全性的技术支持。随着技术的不断更新和优化，相信智能视频技术将更广泛地运用到未来港口智能化的各方面。
本文转自港口科技公众号
