
如今,自动化、数字化、智能化发展水平被视为提升港口核心竞争力的重要手段,也成为降低物流成本、提高物流效率的关键所在。
新冠肺炎疫情在对港口的生产运营造成巨大影响,同时也进一步提升了码头经营人对智慧港口的认知与发展意愿,并促使其加速推进5G、边缘计算、人工智能和新一代IT基础设施等先进技术的应用。这是20世纪90年代至今多年发展码头自动化后,又一个升级换代契机;另一方面,疫情促进了大量的机器替代人力后,数据中心的算力、数据平台的重构成为现在“5G+人工智能”大幅推进的另一个关键点。


图 |港口码头数字化转型之路
港口数据库
承载着怎样的业务系统?
传统港口业务系统(数据交互量大、对接其他业务系统多)本来就相对复杂,新技术(比如5G、边缘计算)到来之后,只是解决了前端数据的网络传输和边缘计算处理的问题,大量产生的数据汇入港口数据中心后,其原有的业务系统、IT平台就面临了更大的压力。因此数据中心的转型升级成为重中之重。
那么港口业务系统具体复杂在哪里呢?我们从如下3个方面分析:
一、从【业务系统分类】的角度看,港口信息化分为如下七大类:
客户服务:利用港口物流信息平台,实现与客户的联系和交流,提供港口基本信息资料、客户服务指南、港口业务流程介绍、业务手续申请办理等信息。
生产管理:通过内部网络与港口内部各业务管理软件业务数据信息交换,进行生产调度、组织和指挥,并通过视频监控技术对作业过程进行可视化监控。
营运管理:进行港口运营管理决策,包括市场管理、货运管理、配送管理、客户管理、安全管理、财务与结算管理、自动化办公系统等。管理流程中的各个关键环节支持短信通知功能。
电子商务:通过互联网方式实现客户与港口物流相关的商务活动及其他业务。该系统支持与其它电子商务平台、船舶信息系统、拖车信息系统、仓库及物流公司等相关系统对接,实现信息共享。企业通过电子商务系统实施发布和更新业务信息,客户和港口可以根据实际需要选取相关服务。
综合运输:通过与其它交通系统业务数据对接,解决水运与公路,铁路、航空等交通方式之间进行多式联运和水运中转的业务管理和决策的问题,减少中转申办手续和环节,实现物流数据共享。
港口资源:通过港口内部信息网和港口、航道视频监控、船舶定位导航、GIS电子地图等技术,建立港口企业资源管理基础数据图文库,实现资源管理。通过电子地图、视频等方式呈现港口、航道和船舶行驶情况。
口岸管理:通过APS定位通信、RFID技术、人脸视频识别、视频移动侦测、轨迹跟踪等技术对进出港口车辆和人员进行管理,实现智能闸口功能。
左右滑动查看
二、从【业务流程】的角度看,其具有业务流程长,数据的实时性要求高,多个子系统需共享,数据量多且复杂的特点,如下图所示:

三、从【数据域】的角度看,港口的数据分为内部和外部数据,结构化和非结构化数据。结构化数据有:集装箱码头管理TOS系统、电子信息EDI系统、生产业务协同管理CBOS系统、财务系统等,这块也是数字化港口的重要数据来源;非结构化数据有:码头车辆GPS系统、视频监控、邮件系统等等,如下图所示:

一言以蔽之,港口业务应用类型多、接口复杂、实时性要求高。复杂的业务系统需要有高性能、高可靠的数据库平台来承载,因此,如何构建合理的数据库平台,就成为港口业务信息化发展的重点课题。
构建
合理数据库云平台的关键点
多年来,天玑科技一直致力于企业用户的数据库平台建设。从2014年开始,依托自身技术实力和业务经验,天玑科技协助国内某大型码头运营商积极探寻数据平台的转型升级,开放架构数据库平台使用的比例逐年提升。
01 数据库云平台与传统架构对比
对他们而言,在采用数据库云平台之前,传统“IOE”架构产品基本完全占据了核心数据库系统领域的市场。但由于其业务体量庞大,业务飞速发展的同时,传统架构的弊端也逐渐凸显。我们可以从如下的对比发现,数据库云平台在各方面均优势明显,对比分析图如下:

02 产品选型上的关注点
硬件X86化:计算节点,存储节点所有硬件采用标准X86设备,彻底实现去小型机、去高端存储。
应用透明化:架构调整无需任何改造。对前端应用完全透明,通过标准的数据库连接提供应用访问。
计算云化:计算节点间通过高速的Infiniband技术,极大地提升计算节点间的处理效率,节点间的计算能力能够均衡利用,实现了计算能力云化。
存储云化:采用最新的高速NVMe SSD,PCIE闪存卡,通过高速、低延迟的RDMA协议,实现底层分布式存储的虚拟化,充分发挥X86高性能特性,并通过分布式存储软件实现高可靠。
IO智能化:在存储云化的基础上,对IO访问、数据过滤与数据存储上进行了大量针对性优化,性能得到极大的提升。
经过多年
客户的数据云平台建设效果如何?
此客户运营的码头众多,每个码头都需要一个TOS码头管理系统承载一系列的港口运输业务,我们以某码头为例进行分析:
01 客户困境
-
某码头项目中, 首次采用最新一代自动化集装箱装卸设备和自动化生产管理控制系统,完全采用计算机技术实现自动调度和作业。整个业务系统架构发生了较彻底的改变,并且有大量的实时设备状态信息需要采集和监控,并配合以实时控制,对整个系统的健壮性、稳定性要求极高。
-
自动化码头为达到系统对设备的控制,要求对数据的传输、解析、处理及存储等具备高可靠性、稳定性、实时性。设备的实时数据,都以毫秒级别提交,因此对数据的解析、处理提出了相当高的要求;设备的数据分析也尤为关键,能为以后实现设备从自动化转向智能化提供数据支撑。
-
现有的实时库、共享库都存在性能瓶颈,同时对业务连续性有极高的要求;资料库随着数据库的增大,对稳定性和容量有更高的需求。
-
传统的小型机+高端存储已经无法匹配这样高规格的业务诉求。


图 |原有港口数据库系统架构
02 建设规划
两台全闪存高性能PBData一体机,作为实时数据库和共享数据库,两个库之间进行状态和服务的同步,每套分别为三个计算节点,其中一个计算节点为对端的容灾机。
两套全闪存高性能PBData一体机,作为实时数据库和共享数据库,两个库之间进行状态和服务的同步,每套分别为三个计算节点,两个为生产节点,一个计算节点为对端的容灾机。
两套缓存性高容量PBData一体机,一台作为历史数据库与实时数据库之间进行状态和历史同步,另一台作为实时数据、共享数据库和历史库的容灾数据库,通过Oracle DataGuard进行数据同步,容灾库为两个计算节点,每个节点服务一个数据库的容灾。

图:一体机生产容灾关系图
03 最终受益
通过PBData数据库云平台对核心业务系统的全覆盖,码头自动化业务系统的效率大幅提升。相同的硬件配置下,不同任务下平均执行时间减少了80%。

图 |最终实现的数据库业务逻辑
在提升生产业务效率的同时,完成了容灾中心的建设,数据可靠性级别相比从前获得大幅增加。
面向未来
智慧港口下新一代数据库平台的探索
多年来,天玑科技从开始就一直在参与其数据库平台建设。2020年,天玑科技与某大型码头运营商共同打造新一代智慧港口。
目前已经突破码头自动化改造存在的四大难点:**运营的同时做系统性改造、人机混用模式下的安全协同、单设备自主智能操作、自动拆装锁钮。**真正实现集装箱码头生产作业端到端全流程自动化,大幅减少了人力成本,增加港口吞吐效率,也实现了码头传统作业模式与自动化作业模式共存。
但随着新业务的出现,对于数据库系统提出了更大的挑战。
01 智慧港口建设新变化:数据库种类多、数量多
在后续接入的码头终端越来越多的情况下,如工业物联网(IoT平台)和智能码头设备控制系统(IECS)将会大量用到MySQL、PG等开源架构数据库。此类数据库与传统核心业务数据库大不相同,有“单库体量小、数据库数量多、版本不一”的特点。
对于港口码头自动化这种流程封闭、实时性要求极高的业务类型,又不能像互联网业务那样,一股脑全部上云。云上的虚拟化系统IO路径高、单位资源下的物理性能不足;面对“单库体量小、数量多”的数据库,又决定了采用“数据库一体机”这种架构太浪费。针对这类需求,天玑科技提供了一种新思路:高性能异构数据库云平台解决方案。
这时候就该PBData的孪生兄弟PBData-K登场了:
02 天玑科技解决方案

PBData-K 是天玑科技为整合多种类型数据库运行环境而设计的,高性能异构数据库云解决方案。PBData-K 通过对物理资源进行管理、分配,保证一台物理机可以形成多个拥有独立资源的数据库云分区。PBData-K 采用分布式存储技术、基于 IB 网络的 RDMA 存储直接访问技术、 IO隔离技术、 资源分配隔离技术等为云分区提供极致性能保障,并且提供统一异构数据库统一管理平台简化运维。
简而言之,PBData-K专为“大批量数据库需要既跑得快,又能对IT资源进行云计算式的复用”的场景而生。

在智慧港口的高速发展期,天玑科技提供的PBData数据库云平台整体解决方案,将持续助力中国港口行业,建设可以扛得住“5G+人工智能”大风大浪般数据处理需求的数据基础设施。
上海天玑数据技术有限公司是以大数据、云计算为核心的高科技创新企业。公司紧扣国家未来信息化战略和行业信息化发展需求,坚持专业化和产业化的发展方向,以“创新推动发展”为用户提供专业化解决方案。
业务联系电话:400-822-5030
网址:http://www.dnt.com.cn
地址:上海市闵行区田林路1016号科技绿洲三期6号楼





