替代IBMNetezza数仓，让这家金融机构如虎添翼

正像IBM所说，“多年来，我们的许多客户都投资了IBM的数仓Netezza设备。”早在2019年，IBM就宣布从2020年6月30日起，将不再对Netezza提供任何支持。

现在到了该清场的时候。这几年来，中国的IBM Netezza用户不得不面对数仓的升级换代工作。而国产自研的数仓产品为用户提供了更多的选项。

某城市商业银行就是在这样的背景下，启动数据仓库系统升级，将数据仓库从IBM Netezza迁移到星环大数据基础平台TDH，不但成功实现了数据仓库的国产化替代，还建设了新一代的湖仓一体结构，为银行业务发展提供新的动力。

目前，该银行已接入核心、信贷、审计、征信、财务等几十个业务系统，为全行提供稳定的数据服务。

该商业银行数仓国产化替代有三大驱动力。

第一是政策驱动力。

银行、金融、保险等领域的客户对数据安全性要求极高，安全可控已经成为金融科技领域最重要最紧迫的推进战略。中国人民银行、银保监会等主管部门也密集出台文件，指导金融行业核心领域安全可控技术应用创新。同时，在系统升级改造时，金融行业又面临着新技术替代传统技术、新产品替代传统产品的需求。

数据库(数仓)是核心基础软件之一。过去几十年中，该技术以及产业用户生态一直被国外传统数据库长期垄断，带来了极高的技术成本和潜在的企业安全稳定风险，且传统集中式技术架构，在云时代高并发、大数据、融合计算等领域场景下的边界和局限一定程度上制约了企业业务创新。

安全可控势在必行，数据库(数仓)国产替代加速推进，以党政为代表的行业领域国产替代先行，并不断向金融、保险等领域拓展。近年来，金融业也开始尝试引入国产分布式数据库技术，替代国外数据库产品，成效显著。

第二，原有国外数仓不提供支持。

该银行的系统采用了IBM Netezza。IBM Netezza是数据库一体机，在过去十年多中一直在数仓市场占有重要位置。IBM在2010年以17亿美元收购了Netezza。在鼎盛时期，Netezza曾与Teradata、甲骨文(Oracle)和惠普(HP)等巨头企业抗衡，其数据仓库的性能，甚至能超越竞争对手。

然而据媒体报道，自2020年6月30日起，IBM将不再对数据库仓库Netezza提供任何支持。目前，所有模型都已经达到了支持极限，未来不会有新的Netezza盒子再生产了，Netezza将彻底消亡。

第三，性能瓶颈，表现为平台扩展难，性能无法提高，运维困难。

显然，原数仓不能满足业务快速发展的需求。该商业银行的数仓需要接入核心、信贷、审计、征信、财务、CRM等数据源，粗腰承载报表系统、管理驾驶舱、综合查询、CRM精准营销等应用，传统数仓在可扩展性、性能和经济性上，以及无法满足需求了。

在扩展方面，该商业银行原有的数据仓库是基于Netezza一体机构建的。当一体机容量趋于饱和，如果不迁移存量数据，就只能删除部分历史数据，以维持正常的数据应用需求，潜在的数据丢失和损坏将对业务侧造成严重影响。

在性能方面，与所有一体机一样，Netezza通过特殊硬件来提升性能，但是可扩展性一般。随着数据量的增加，一体机的数据处理性能下降，部分复杂报表跑批耗时会增加，将对数据应用产生实质影响。

在持续运维上，平台扩展能力受限不仅对业务应用、系统性能造成影响，而且还对备份和恢复等运维工作带来挑战。

随着技术的进步，IBM选择不再向Netezza提供任何支持，升级成了用户最好的选择。

该商业银行经过多方考虑，选择了自主可控的国产一体化大数据平台——星环科技大数据基础平台TDH。

该商业银行自2018年初大数据平台项目正式启动开始，期间经历了数仓迁移、CRM扩容、CRM精准营销升级等阶段，总共历时三年，最终形成当前较为稳定的项目阶段。

该银行大数据平台一期主要是从IBM Netezza MPP数据仓库迁移至星环科技TDH大数据平台。

在需求上其首要特点是数据量大，星环科技为用户规划了合理的节点集群，包括单独的管理节点和数据计算节点。

第二个特点是逻辑复杂，迁移工作量大，需要将Netezza的数仓逻辑进行优化，并且适用于TDH产品。

在这方面，星环科技与合作伙伴和客户进行反复的讨论及论证，成功地将数据仓库从IBM Netezza迁移到星环TDH大数据平台，并在上线完毕后，总结整理了相关Netezza迁移的技术文档。

该银行的大数据平台二期项目主要是CRM应用的扩容升级，扩容了多个数据节点，总体形成了多节点的集群，并且引入了星环科技Discover数据挖掘平台，开发主要用到了R语言来进行数据分析与建模。

截至目前，TDH平台已经接入了核心、信贷、审计、征信、财务、CRM等数据源，TDH承载了报表系统、管理驾驶舱、综合查询、CRM精准营销等应用，成为城商行较早采用国产自主可控大数据平台的银行，也是将星环科技大数据基础平台TDH用得非常成功的客户之一。

该银行的大数据平台建设成功地用国产数据库软件替代传统数据库软件，实现了安全自主可控，在性能等方面也有大幅改善。

该银行完成了原IBM Netezza的数据迁移、接口改造、ETL迁移、报表和门户迁移等，迁移报表超过500张，全部迁移完成并上线使用，目前平台运行稳定，性能良好。

在产品方面，星环科技Inceptor SQL引擎降低了开发门槛，对于存储过程语法支持良好。对于用户而言，虽然IBM Netezza数据库迁移是第一次，未曾有过先例，但是星环科技在SQL功能上的完善以及优越的性能，仍然是相比其他友商的最大优势，也有效保障了客户平台在短短四个月内能成功上线。

客户的另一个重点应用CRM客户关系管理系统升级项目也成功上线，标志着该城商行在大数据领域及人工智能领域的研发能力上一个台阶。

星环科技Discover作为较早推出的数据挖掘平台，受到了金融业有开发功底的客户的欢迎。Discover内置了R语言的开发环境，有丰富的机器学习算法库，个人CRM精准营销项目的算法模型就依靠Discover中的R程序开发的。基于星环科技的Discover产品，客户精准营销模型算法准确性提高数倍，为银行的对公业务带来丰厚收益。

星环科技Discover详细的开发文档及专业的售后服务团队为银行人工智能应用开发提供了便利，提高了开发效率，让工期紧、任务重的项目如期上线。

该城商行成功应用国产自主可控的数据库，替代了国外企业的传统的数据库产品，在服务银行业务发展方向表现优异，应用效果显著。

基于海量的业务数据，星环科技大数据基础平台TDH已经成为了该银行的数据服务中心，面向全行管理人员、各业务线人员，服务范围涵盖众多的业务系统。每天自动加工处理上游40多个业务系统提供的数据，及时向下游50多个业务系统提供加工后的数据，并向行内4000多个用户，提供600余张业务报表。

数据仓库报表提高了业务条线和分支机构的工作效率，已经成为业务人员的重要助手。该银行管理层和业务条线在日常管理和营销中对数据仓库报表的依赖度越来越高，随之对数据分析和对报表的响应速度、查询效率提升等方面的需求越来越迫切。项目团队设计了完善的数据迁移和验证方案，在较短时间内完成数据软硬件环境搭建、新的综合报表平台部署、历史数据迁移、SIT内部测试及UAT用户测试等相关工作，成功地攻克了一个个技术难题，实际项目执行进度与里程碑计划无偏差，验证数据100%正确。

迁移至大数据平台的数据与原数据仓库相比，总体处理时间从原来的4小时减少到了1小时，处理效率提升了400%。新一代综合报表系统的查询效率整体提升了2倍，特别是数据量千万条以上量级的报表，查询的用户体验有明显的提升，以使用率较高的“每日个人结算账户查询报表”为例，查询等待时间由5秒减少到1秒，查询效率提高近五倍。

该城商行IBM Netezza数仓的国产化替代具有标杆和示范作用。星环科技，作为行业的领头羊，目前已经相继服务多个银行、金融、证券等客户，帮助用户替代IBM Netezza数仓，实现数仓国产化，服务客户业务创新。