江苏省公安厅警综汇聚大数据项目DSG应用（13地市Oracle实时同步到省中心的Greenplum）
5墨值下载
迪思杰（北京）数据管理技术有限公司
DSG 销售总监 顾利斌 13910969468
1
江苏省公安厅
全省警综汇聚大数据项目 DSG 应用
（oracle&greenplum）
项目概述
随着大数据时代的到来，省厅下辖各级公安机关警综系统采集汇聚的数据量
日益巨大、数据结构更加复杂，增长迅速。目前，省厅还未建立有效的警综系统
数据汇聚手段，原有的数据抽取整合工具在传输海量结构化数据时效率低下，且
无法满足各类数据抽取整合的需要。为解决因数据分散导致的资源共享不及时、
利用率不高等问题，省厅急需开展警综系统数据汇聚整合工具建设，实现对下辖
各级公安机关警综系统的高效抽取汇聚和关联整合，进一步丰富全警实战应用需
要。
需求描述
完成省厅下辖十三个地市警综系统（Oracle）数据实时汇聚到省厅警综系统
集中库（GP）。
省内下辖十三个地市的警综系统进行数据汇聚，数据量目前估算约为
20-24TB 左右；
省内下辖十三个地市的警综系统进行数据汇聚，要求数据为实时或准实
时复制，原有数据汇聚整合工具，无法做到实时或准实时的数据汇聚，
并经常发生丢或漏数据的情况；
省内下辖十三个地市的警综系统进行数据汇聚，部分地市有个性化开发，
导致有的地市表结构不完全相同（关键字段是有的），考虑汇聚共性字段；
省内下辖十三个地市的警综系统进行数据汇聚，从地市警综系统生产端
压力考虑，目前采用从警综前置机或备份库上进行数据汇聚，地市前置
库或备份库具体建立技术标准，由省厅统一下发；
迪思杰（北京）数据管理技术有限公司
DSG 销售总监 顾利斌 13910969468
2
省内下辖十三个地市的警综系统进行数据汇聚，为了便于对汇聚库资源
进行整合，地市相同表名的数据同步省厅，需要整合到同一个表内；
项目难点
在此项目中，需要实现 oracle 到 GP 之间的数据实时复制，这类解决方
案在整个业界的可选性就不是很多，同时，涉及到的地市和数据量众多，以
及异构数据库之间的各种技术细节，难点众多。根据客户的需求以及现有技
术的特点，该项目主要存在以下几方面的难点：
1. 数据量大。全省 13 个地市的数据预计由 20-30T，这就要求产品在数据的
处理能力上要具有较高的效率。
2. 实时性要求高。为满足汇聚结果实时查询的目标，所有地市数据汇聚的
时延要求在秒级完成。
3. 多种平台混合复制。由于源端有 13 个生产库或者生产库的备库，其中存
在 hp，aix 等知名厂商的各种平台系统，这就要求复制产品支持各种异
构平台。
4. 基于表复制。每个系统抽取的数据均是部分表的数据。
5. 索引异构。由于源端和生产系统，目标端是查询系统，系统的功能不同
导致相应的索引也有所不同。
6. 分区异构。同样由于系统功能不同，导致某些表的分区结构也不同，要
求复制软件能够在分区异构的情况下也能正常复制。
7. 多表合一。在多个系统中，有可能存在用户名和表名均相同的情况，在
复制过程中，需要解决多表合一的问题。
8. Oracle 数据库和 gp 数据库的兼容性。异构数据复制的过程中，不同种类
的数据库之间数据类型，操作差别等需要完成兼容转换。
解决方案
经过数月的需求调研以及方案、产品的评比，结合现场环境的测试结果，
of 4
5墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论