集装箱岸桥吊具自动对箱系统
魏秋新,尹飞
(厦门集装箱码头集团有限公司技术管理部,福建,厦门,361006)
为实现集装箱码头的自动化作业,采用目标识别传感器系统检测集装箱与吊具之间的偏差,实现岸桥自动对箱。通过机器视觉产品,将摄取目标转换成图像信息和数据信息,在传给专用处理模块进行处理后获取目标的特征,并根据目标特征进行运动控制。测试结果表明:该系统能够快速、准确地实现吊具自动对箱操作。
港口;集装箱码头;岸桥;机器视觉;吊具自动对箱系统
0 引言
传统意义上的岸桥作业,需要岸桥司机到现场司机室进行操作,不仅造成人员的浪费,同时岸桥司机的工作环境也相当恶劣。目前,厦门海天码头# 13岸桥已实现将岸桥上的操作台移到中控室的远程操作站,通过各智能系统让司机远程对岸桥进行操作。一般意义上的岸桥远程自动化系统虽然改善岸桥司机的工作环境,但由于需要司机通过摄像头远程进行手动对箱,不可避免地造成作业效率的降低。海天码头# 13岸桥在一般意义的岸桥远程自动化作业的基础上已经实现小车在陆侧对集装箱的自动对箱,能够大幅提高自动化作业的效率。
集装箱码头要实现自动化或半自动化,需要采用定位传感器给起重机装上“眼睛”,使起重机能够实现安全和准确的对箱操作。在运动控制过程中,起重机需要各种定位,例如起重机大车定位、起升高度定位、起重机小车定位、吊具微动定位及集装箱位置定位等。
在定位过程中,通常会使用目标识别传感器系统。目标识别传感器系统通过机器视觉产品,即图像摄取装置(CMOS和CCD)和激光器,将摄取目标转换成图像信息和数据信息,传给专用的图像处理模块和数据处理模块,经过处理后获取目标的特征,根据目标特征进行运动控制。
图像传感器系统一般包括光源、镜头、相机、图像采集卡和视觉处理器等部分。光源为视觉系统提供足够的照度。镜头将被测场景中的目标成像到视觉成像平面上。图像存储体负责将电信号转变为数字图像,即把每一点的亮度转变为灰度级数据并存储。图像识别模块对图像进行处理、分析、识别和判断,最终给出目标特征信息。
海天码头# 13岸桥的自动化系统提供一种基于机器视觉的码头岸桥吊具自动对箱系统及方法。系统技术方案如下:
在小车底部的基准点上设置第1图像获取设备,在岸桥大梁的陆侧设置第2图像获取设备,在岸桥大梁的海侧设置第3图像获取设备,在吊具上设置光源。第1图像获取设备、第2图像获取设备、第3图像获取设备均连接至图像处理模块及控制器。控制器利用第1图像获取设备标定吊具的坐标系,并获得吊具的控制点坐标;利用第2图像获取设备、第3图像获取设备标定集装箱的坐标系;利用图像处理模块识别集装箱轮廓,并进一步获取集装箱的控制点坐标。控制器根据吊具的控制点坐标和集装箱的控制点坐标控制小车整体平移;同时,通过控制吊具在大车方向左右微动及通过控制左右旋油缸使吊具产生小车方向的前后微动,最终完成自动对箱操作。
第1图像获取设备采集吊具上的3个光源信息,通过图像处理模块计算出光源在相机中的坐标,利用相机的标定参数和3个灯的空间位置关系计算出3个灯在相机中的坐标。控制器在吊具上选取左右2个控制点,根据控制点到灯的距离计算出控制点的空间坐标,根据相机和基准点坐标系之间的关系得到吊具在基准点坐标系中的位置和姿态,然后根据吊具的机械结构和红外灯坐标,标定离吊具中心等距离的左控制点和右控制点坐标。
集装箱坐标系的标定方法:设定沿岸桥大车轨道方向为x轴,沿小车轨道方向为y轴,垂直地面方向为z轴;吊具在归零自然状态下抓取集装箱放到地面;利用摄像头识别出集装箱的上表面,求出集装箱上表面的法向量,然后根据旋转角度反补偿;利用集装箱计算出的长边方向斜率为K1,利用测量工具测量出的集装箱长边方向斜率为K2;坐标系绕z轴的旋转角度为A。
控制器通过第1图像获取设备识别集装箱的轮廓,提取集装箱箱角点坐标,根据吊具的坐标系进行坐标平移,再计算目标箱左控制点和右控制点坐标。
控制器将吊具控制点坐标和集装箱控制点坐标进行比较,若小车方向存在偏差,则对小车进行整体平移。
控制器将吊具控制点坐标和集装箱控制点坐标进行比较,若大车方向存在偏差,则控制吊具在大车方向左右微动或者通过左右旋油缸控制吊具在小车方向前后微动。
系统安装在码头岸桥上,主要包括第1图像获取设备、第2图像获取设备、第3图像获取设备、接线箱、图像处理模块、控制器及光源等。第1图像获取设备、图像处理模块及光源等共同构成吊具位置检测装置。第2图像获取设备、第3图像获取设备和图像处理模块等共同构成目标箱位置检测装置。识别系统安装位置见图1。
在图1中,第1图像获取设备(摄像机3)安装于小车1底部的基准点上,第2图像获取设备(摄像机11)安装于岸桥大梁的陆侧,第3图像获取设备(摄像机10)安装于岸桥大梁的海侧,光源设置于吊具上。第1图像获取设备、第2图像获取设备及第3图像获取设备均连接至接线箱2,接线箱2连接远端的图像处理模块和控制器。摄像机3(第1图像获取设备)安装在岸桥小车架上,用于吊具位置检测。摄像机10(第3图像获取设备)、摄像机11(第2图像获取设备)安装在岸桥大梁上,海陆侧各1个。安装位置要求可以覆盖整个工作区域,并且摄像机的变焦数据可以通过以太网传输出来。
吊具识别系统安装位置示意图见图2,吊具识别系统坐标图见图3。摄像机3在小车1底部,摄像机的光轴指向地面,摄像机3与小车1通过焊接连接,三角架4短边朝下和吊具5通过焊接连接。3个近红外发射灯7正面垂直向上,与三角架4通过螺栓连接。摄像机3的光轴8与近红外发射灯7中间的发射灯圆心在垂直方向上对齐。近红外发射灯7与24 V直流电源连接,摄像机3与12 V直流电源连接,并通过RS422接口与外部PLC控制器进行通信。软件处理程序运行于摄像机3中。在放箱操作中,待放集装箱6与吊具5是刚性连接,所以检测出吊具的姿态就能够知道集装箱的姿态。在抓箱操作中,吊具5上则没有集装箱6。
对于吊具的操作:吊具位置检测装置首先通过摄像机采集图像;通过光纤传到图像处理模块识别吊具的位置;经过处理后获得吊具左右控制点坐标,然后传给PLC控制器。
对于目标箱的操作:利用第2图像获取设备、第3图像获取设备采集图像并标定集装箱的坐标系;利用图像处理模块识别集装箱的轮廓,并进一步获取集装箱的控制点坐标。
当2个并行的操作都完成后,PLC控制器根据吊具的控制点坐标和集装箱的控制点坐标控制小车平移及吊具旋转。最后,通过吊具在大车或者小车方向微动,最终完成对箱操作。系统原理图见图4。
上述的方法可以具体表现为以下各个步骤,操作步骤分解图见图5。
-
S1:系统发出抓箱或者放箱命令。
-
S2:PLC控制器控制小车到达目标位置附近。
-
S3:目标检测装置开始实时检测目标位置下方的集装箱,把图像信息传给图像处理模块,并进行目标箱位置坐标系的标定。
-
S4:利用图像处理技术将集装箱的轮廓识别出来,并通过图像处理模块获得目标集装箱控制点坐标。通过摄像机识别出集装箱轮廓,提取出集装箱箱角点坐标,然后根据吊具检测装置的坐标系进行坐标平移,再推算出目标箱左控制点和右控制点坐标,最后把控制点坐标发给PLC控制器。
-
S5:吊具下降到吊具检测系统能够检测到吊具控制点坐标的位置。
-
S6:图像处理模块获得吊具控制点坐标。具体来说,首先在岸桥小车底部上选取1个基准点,用摄像机采集吊具上的3个结构光源信息,通过图像处理模块中的识别算法计算出光源在相机中的坐标,然后根据相机成像原理,利用相机的标定参数和3个灯的空间位置关系计算出3个灯在相机中的坐标。在吊具上选取左右2个控制点,根据控制点到灯的距离计算出控制点的空间坐标,然后根据相机和基准点坐标系之间的关系得到吊具在基准点坐标系中的位置和姿态。根据吊具的机械结构和红外灯的坐标,标定离吊具中心等距离的左控制点和右控制点坐标,把计算出的控制点坐标传给PLC控制器。
-
S7:根据目标箱左右控制点和吊具左右控制点之间的偏差来判断是否要移动小车。具体来说,PLC控制器对吊具控制点坐标和目标集装箱控制点坐标进行比较,如果小车方向偏差值大于60 mm,则控制小车整体平移。
-
S8:如果小车不移动,吊具直接下降到离目标箱1 m的上方。具体来说,如果小车移动到位,在停1 s后吊具开始下降,当吊具下降到离目标箱1 m时,根据吊具位置检测装置和目标箱检测装置获取的控制点坐标的偏差进行吊具微动控制。
-
S9:如果吊具位置检测装置和目标箱检测装置获取的控制点坐标的偏差过大,需要移动小车,则PLC控制器控制小车进行移动,直到偏差在允许范围内而不需要移动小车为止。小车移动到位后需停1 s,吊具才能下降。
-
S10:在离目标箱1 m的上方判断吊具是否微动。具体来说,如果大车方向或小车方向偏差值大于50mm,则可通过吊具倾转或者旋转油缸来获得位置补偿。
-
S11:通过吊具倾转或者旋转油缸实现吊具在大车或者小车方向的微动。
-
S12:如果大车方向或小车方向偏差值小于50 mm,则将操作权限转移至操作台,由人工最终完成着箱操作。
本系统利用吊具位置检测装置和目标箱位置检测装置分别获得吊具控制点坐标和目标集装箱控制点坐标,PLC控制器根据控制点坐标能够计算出小车和大车的移动距离,然后通过岸桥小车移动和吊具微动来快速、高效地实现精确的吊具对箱操作。系统对箱精度范围在3 cm之内,保证岸桥在放箱过程中能够准确对箱。海天码头# 13岸桥吊具自动对箱系统具有检测精度高、易于实现等优点,能够满足传统集装箱岸桥作业需求。