随着大数据的发展,各大企业、政府部门也积极使用大数据技术,而当前政府、企业的信息化的状况是,各政府和企业一般都设计和建设了属于机构、业务本身的应用、流程以及数据的信息处理系统,由于系统设计建设的时期不同、业务模式不同,信息化建设缺乏有效的总体规划,重复建设,此外各职能部门通常采用不同的技术和体系结构来构建自身的信息系统,缺乏统一的设计标准,大多数系统都是由不同的厂商在不同的平台上,使用不同的语言进行开发的,信息交互共享困难,虽然为各自业务发展起到了很好的促进作用,但各信息系统数据独立存储形成一个个信息孤岛,使得各业务系统之间很难实现数据共享,严重制约着政府各职能部门、业务系统之间的协作及工作效率的提升。如何在不改变原有系统的基础上实现跨平台数据访问也成为信息化建设道路上必须思考的一个问题。
为了有效整合分散异构的信息资源,消除“信息孤岛”现象,提高政府和企业的信息化水平,东方金信开发的数据共享交换平台,主要目的是有效整合分散异构系统的信息资源,消除“信息孤岛”现象,提高政府和企业的信息化水平,灵活实现不同系统间的信息交换,信息共享与业务协同,加强信息资源管理,开展数据和应用整合,进一步发挥信息资源和应用系统的效能,提升信息化建设对业务和管理的支撑作用。
东方金信数据共享交换解决方案要求新构建的数据共享交换平台要遵循标准的、面向服务架构(SOA)的方式,基于先进的企业服务总线ESB技术,遵循先进技术标准和规范,为跨地域、跨部门、跨平台不同应用系统、不同数据库之间的互连互通提供包含提取、转换、传输和加密等操作的数据交换服务,实现扩展性良好的“松耦合”结构的应用和数据集成;同时要求数据共享交换平台,能够通过分布式部署和集中式管理架构,可以有效解决各节点之间数据的及时、高效地上传下达,在安全、方便、快捷、顺畅的进行信息交换的同时精准的保证数据的一致性和准确性,实现数据的一次采集、多系统共享;要求数据交换平台节点服务器适配器的可视化配置功能,可以有效解决数据交换平台的“最后一公里”问题,快速实现不同机构、不同应用系统、不同数据库之间基于不同传输协议的数据交换与信息共享,为各种应用和决策支持提供良好的数据环境;要求数据共享交换平台能够把各种纷繁复杂的数据系统集成在一起完成特定业务,提供同构数据、异构数据之间的数据抽取、格式转换、内容过滤、内容转换、同异步传输、动态部署、可视化管理监控等方面功能,支持的数据包括各主流数据库(如Oracle、SQL Server、MySQL等)、地理空间数据(如卫星影像、矢量数据)、常规文件(word、excel、pdf)等各种格式,并可以根据用户需求定制开发特定业务服务。
目前,大多数政府、企业公共数据共享交换平台项目建设目标是,依托统一的“云”数据中心建设统一的公共数据开放共享平台,集中各部门业务应用进行,制定相关的数据规范和信息交换标准,使机关各部门业务系统依托统一的开放平台进行开发建设。确保部门之间系统之间的互联互通、数据共享,为大数据分析提供数据依据。
海盒数据共享交换服务
数据交换共享平台是一个集数据交换开发,部署,管理,监控一体的数据交换全生命周期管理的数据交换平台。海盒数据共享交换服务以业务域为核心的管理体系,为政府、企业信息中心建立了业务与IT基础设施相分离的应用体系,将业务建立的权力交换给了业务部门,信息中心可以更加专注的建立好数据交换的服务体系,使基础设施的建设,既做到了物理上的统一,又做到了业务上区别划分,极大得提高了IT基础设施建设的利用率,充分发挥集约建设得优势,为打造绿色IT提供了基础,速读取等数据服务。
它的基本架构和特性如下:

安全高效的数据交换:由于各个业务部门间交换的数据文件含许多敏感信息,所以对数据交换过程中的安全要求就十分严格。海盒数据共享交换服务支持数据采集、数据汇总、数据分发、数据更新通知、数据转发、数据转换。支持实时、定时、按需的数据交换方式。支持多种数据源,提供身份验证、用户授权、传输加密、数据完整性、数据可信性、数据有效性的支持。支持数据分段传输、数据压缩/解压缩、数据缓存等。
高可用性:随着项目工程的推进,需要数据交换的部门会越来越多,海盒数据共享交换服务需要对负载平衡的支持,在分布式的体系结构上可以添加主机的方式提高整体计算能力,进行面向服务的适应性负载平衡。
数据汇总:支持各个分支数据源汇总数据到数据中心。采集公共数据的过程可以看成是一个数据汇总的过程,通过服务整合协同平台将各业务部门的公共数据采集回来,汇集到数据中心的缓存数据库,经过数据管理系统的比对、校验、转换得到一致的数据。
数据分发:数据分发是从数据中心的角度,主动向各数据使用方提供数据的过程。通过公开数据服务,依照数据使用权限的规则,从数据中心把数据分发到各个数据使用部门,实现数据共享、信息联动。
监控管理:对数据服务进行监控管理,用户权限管理,运行日志查看,性能统计。通过数据服务日志可以记录、跟踪数据交换的细节。对数据交换节点进行管理,提供安全策略指南、服务器安全管理配置。
数据湖
数据湖从概念表面上看,数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的。但数据量越大,越需要各种不同种类的存储。最终,所有的企业数据都可以被认为是大数据,但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。海盒数据交换共享平台利用云计算技术实现的海量数据交换平台,为政府、企业客户提供一个高可扩展的,高可靠的,高性价比的实时数据交换平台,使客户从繁重,复杂的数据交换基础设施建设中解放出来,专心于其业务的交流与数据的交换。海盒数据共享交换解决方案是基于分布式存储技术(Hadoop),分布式计算技术(MapReduce),大数据技术(Big Data),以及NoSQL技术(HBase)等先进的云计算技术研发而成的云交换平台,主要是面向大规模数据交换,如TB级数据,提供大规模的数据处理,如对比,清洗,以及数据快速读取等数据服务。

海盒大数据平台的数据湖的一部分价值是把不同种类的数据汇聚到一起,另一部分价值是不需要预定义的模型就能进行数据分析。现在的大数据架构是可扩展的,并且可以为用户提供越来越多的实时分析。在商业智能(BI)和数据仓库还没有被淘汰的今天,大数据分析和大数据湖正在向更多类型的实时智能服务发展,这些实时的智能服务可以支持实时的决策制。
除了数据以上特性之外,海盒数据共享交换解决方案还提供给用户高性能的中间件、配置化的开发体系、面向业务的管理、灵活的部署管理、实时业务/节点管理等服务,极大得提高了平台利用率,充分发挥方案优势,为打造政府企业大数据信息处理系统提供了强大的基础。




