
应对不确定性是人类面临的永恒挑战。在不确定性的环境下,目前唯一可以确定的就是数字化转型。
数据已经成为重要的生产要素。数据经济也被称为“数据驱动创造(Data Driven Innovation)”的经济,其典型特征在于数据可以产生新的知识、推动价值创造、培育新的产品和市场。
在国家层面,大数据已经是国家的核心竞争优势。未来国家之间的竞争将是数据经济的竞争,其最为根本的特征是数据已经成为资源,数据价值的利用将成为新经济的核心议题。
日前市场对于大数据基础平台的需求不断增长,而基于Apache Hadoop架构的开源大数据基础平台软件却面临多重挑战和机遇。不少业内人士发出神魂拷问:面对因全面停止下载并订阅而收费才能使用的Cloudera CDH/HDP大数据软件,大数据用户将何去何从?
中国大数据基础平台企业红象云腾的创始人童小军介绍说,红象云腾坚持Apache社区原生理念,推出满足信创需求的大数据基础平台,不但以最低成本实现了对国产操作系统和CPU组合的支持,满足用户大数据应用的基本需求,而且在金融、保险等关键行业得到了应用,造福中国用户,服务数字经济发展,面对CDH/HDP停止服务留下的缺口,红象云腾挺身而出满足用户需求,支持Apache社区原生软件包(tar.gz)部署和管理,红象云腾大数据平台 Redoop Enterprise V9.0新架构云端部署优势凸显。
2021年,红象云腾好消息不断。基于红象云腾和云和恩墨多年数据行业长期投入和案例积累,红象云腾获得了云和恩墨的战略入股,双方将融合产品技术、市场和销售的优势,打造综合企业级大数据产品和服务能力,服务更多的用户。
另外,经过双方的共同努力,红象云腾的大数据基础平台Redoop Enterpirse 目前已经落地多个金融级大数据项目。
云和恩墨创始人盖国强认为:2022年是国产数据库耕获菑(zī)畬(yú)之年,国产数据库正处在从生地到熟地的过渡过程。我们只有坚持长期主义,共同投入、共同为用户价值奉献,才能迎来国产数据库坚定的发展未来。数据库是组织、存储和管理数据的中枢,大数据则是对企业海量数据的最佳应用实践。云和恩墨投资大数据软件方向,符合我们“智能的数据技术提供商”的行业定位。
红象云腾创始人童小军认为:在信创产业和云计算推动下,大数据软件行业面临发展新机遇,市场对大数据服务和产品升级替代需求强烈。2022年是红象云腾发展的关键之年,相信有了云和恩墨的助力,我们可以驶入发展快车道。
据介绍,目前市场上的大数据基础平台的商业模式主要分为三种:一种是销售驱动型,通过Sales,带动公司的发展;第二种是市场驱动型,主要通过Marketing带动公司的发展;第三种则是产品驱动型,依靠品质和技术一流的产品驱动企业发展。而产品驱动型企业的优势则产品引领发展,壁垒高,护城河深。
童小军认为,红象云腾就是一家典型的产品驱动型大数据基础平台企业,是国内最早进入Apache Hadoop生态的大数据软件厂商。主要产品红象云腾大数据基础平台Redoop Enterprise,意在打造“数据动车”,以分布式动力,处理大规模数据,为企业提供开放统一的大数据存储和处理底座。产品兼容支持Apache Hadoop生态圈中主要工具,提供PB级海量数据存储、查询、分析和挖掘能力。
而云和恩墨则是数据资产端到端解决方案的提供商,以“数据驱动·成就未来”为使命,专注于DT(数据技术)领域,致力于为全球的关键大型客户、高成长客户、中小客户和个人提供富有竞争力的解决方案、产品和服务,实现组织和个人的发展成功。
红象云腾和云和恩墨的战略合作,将实现优势互补。一方面实现双方业务上融合发展。云和恩墨目前专注于交易型数据库领域,而红象云腾的大数据基础平台更侧重于大数据分析领域。两者合作,能够满足用户数据交易与分析的综合需求。另一方面,强强联合,充分发挥云和恩墨市场营销实力和销售能力与红象云腾的大数据平台产品实力,为大数据基础平台建立一个涵盖产品、市场、销售产业链的强大的完成的产业链,为中国大数据基础平台软件贡献力量。
图片
软件生态带动Redoop大数据基础平台发展
目前,大数据产业还处于起步阶段,核心因素是数据没有被发现、整理、利用和交易,大数据的价值还没有被充分地发掘。在国内,政府大数据的开放正在积极推进中,大数据交易的规则正在建立中,大数据安全的法律法规日益完善,企业大数据的成功案例在逐渐增多。
相对于大数据产业,大数据基础软件经过十多年的发展,已经渡过了起步阶段,进入相对平稳的发展阶段,在技术上已经可以满足大数据产业对数据存储、处理、分析、分发等的需求,正在向更高性能、更高效率等方向发展。
在大数据发展中,开源大数据平台Apache Hadoop依然占据至关重要的地位。作为分布式系统的基础架构Hadoop在目前企业的大数据架构中发挥的作用在增强,并拥有其他大数据技术无法比拟的应用基础和优势。
在国内,以Apache Hadoop开源技术为核心的大数据基础软件发展也经历不同的发展阶段。在Hadoop开源软件发展的初期,中国出现了众多基于Hadoop的开源大数据软件发行版和服务商。
据信通院在2019年6月的数据,当时国内有39家基于Apache Hadoop的平台供应商,超过70%的企业是基于Cloudera的CDH和HDP的社区版封装成产品来提供给用户的;24%是基于Apache Hadoop封装;还有一些企业推出自研的产品。
因为Hadoop软件在其官网可以随便下载和使用,所以大多数人认为其门槛很低,基本上是免费的,大家只考虑了软件获取成本,而忽略了软件使用成本和后续的运营成本。
因为发行版和服务的商业收益降低,国际和国内不少企业逐渐退出了行业。2019年1月,Hadoop开源软件的两大上市公司——Cloudera与Hortonworks宣布合并,形成了新的Cloudera公司。Cloudera公司的代表产品CDH与Hortonworks公司的代表产品HDP随后宣布合并。
更让人不安的是,Cloudera公司宣布,从2021年1月开始把以前对外公开的CDH/HDP所有版本都拿到了Paywall,要求所有用户都需要订阅Cloudera产品,获取到对应的授权才能下载。
以前那种将CDH/HDP社区版封装,同时替换掉CDH/HDP的Logo,就发布出来自己发行版本的做法显得不合时宜,这一举措造成大量发行版退出市场。
而留下的企业则坚持技术开发和产品研发,以优质服务和一流的产品服务于更多的用户。中国大数据基础软件市场并没有收缩,而是不断增加。
同时基于Hadoop的大数据平台不断完善,生态日益壮大,用户越来越多,应用越来越好。
红象云腾就是国内仅有的几家坚持Apache Hadoop生态的大数据软件厂商。从2013年开始,红象云腾就持续研发投入至今,产品已经更新到V9.0版本。
Hadoop 3.0被认为是开源大数据项目的一个里程碑,红象云腾发布了基于Hadoop 3.0的大数据基础软件,提高平台的效率、可扩展性和可靠性,是全部可以部署的应用集产品。
红象云腾把x86的应用生态带入到国产系统生态中,实现大数据信创的支持。目前,红象云腾支持ARM结构的飞腾和鲲鹏,基于MIPS的龙芯,基于Alpha的国产CPU申威,以及基于x86的国产CPU兆芯和海光,并支持RedHat、麒麟、统信、方德、龙蜥、欧拉等操作系统。
2021年,红象云腾用分布式数据库的长处补Hadoop的短板,实现了分布式数据库OceanBase与大数据平台Redoop Enterprise的技术融合,服务国家新能源光伏电力大数据项目。
红象云腾在原有技术和客户积累之下也开始云端大数据产品形态布局,目前已经部署了60多个客户,主要客户分布在电信、金融、航天、汽车、铁路等基础设施行业。

Redoop Enterprise新版本服务更多客户
在云和恩墨的全方面支持之下,红象云腾在2021年开始新版本平台(Redoop Enterprise V9.0)的研发工作,现已完成测试并在国内知名保险和银行项目部署上线。
在新版本中,红象云腾提出精专(Manager+Core+Plugins)的产品研发策略,构建以 Hadoop存储和调度为内核,由自研分管理工具Manager,集成安装、部署、配置、优化等功能开源项目Ambari、以及完成权限管理的Ranger,并向用户提供Hbase、Hive、Spark、Flink、Hudi等开源插件,组成批流一体、高可用、横向扩展、安全管控、快速升级等特性的新一代安全稳定、坚若磐石的大数据产品,方便快速云端部署安装。
目前,Redoop Enterprise V9.0产品具备PB级数据存储和处理能力,满足金融企业数据湖平台建设需求。
以前,基于Apache Hadoop的开源大数据平台软件有两大 发展路径:一种是将大数据平台的各种组件整体打包,实现紧耦合,如Cloudera。其优势是为用户提供打包的整体软件包;缺点是软件包体量大,不方便云端部署,一般达到1GB,甚至10GB,而且只能整体升级,升级耗时长,灵活性差。
另一种是将大数据平台的不同组件分别打包,用户根据需要选择安装与升级,避免了整体打包的弊端。但是在这一模式下,一些企业采用各组件互相强依赖的策略,给升级和使用时带来不便。
红象云腾采用组件解耦的设计理念,不仅将大数据组件拆解打包,各个组件不相互依赖,可以独立更新升级,又能组合使用。通过组件解耦,实现了大数据平台的动态升级和扩容,支持灵活升级组件版本和灵活搭配核心组件版本,解决了传统的大数据平台升级和维护的痛点,实现了自动升级和动态扩容。
同时,红象云腾采用轻量化设计策略,采用Manager + Core + Plugins策略,将大数据平台的核心软件包大小降低到几百MB,方便云端平台下载和部署。
另外,红象云腾坚持社区原生理念,以Apache Hadoop社区原生为基础,避免了在软件包组件升级时需要重新编译、封包、测试等漫长周期,实现了Apache 社区版的大数据组件(tar.gz包)自动安装部署升级 和30+个组件的快速安装部署升级。
红象云腾在新版本中支持监控预警和权限审计等功能。其中,监控预警实现组件的存活监控 和状态监控,以及系统的监控以及各种组件的metrics的监控。
而权限审计,支持HDFS、Yarn、Hive、Hbase、Kafka等权限控制,持行列级的权限管理,可以完成用户在何时操作了什么资源的操作审计等。
在查询加速方面,支持Doris、 Druid、ClickHouse 等高速查询架构为平台插件,加速查询速度,提供即席查询能力。
未来红象云腾将坚持Hadoop驱动和分布式数据库驱动的双轮驱动策略,融合中国优秀的数据库解决方案如 OceanBase、MogDB、TIDB 等,为用户提供融合了批处理、实时处理等更多能力的大数据解决方案。
期待支持社区原生部署的Redoop Enterprise V9.0早日正式发布,让大数据更简单!




