“硬核”一词原指力量感强的说唱音乐风格,现在常用“硬核”形容“很厉害”、“很刚硬”。这是一个技术当道的世界,没有核心技术必将受制于人。
对现在的IT行业来说,新旧势力的对决已经司空见惯,如在企业中,传统的IT系统正在被云计算所取代,这一幕也正在数据库市场上演。多年来,中国数据库市场一直牢牢的被国外厂商所占据,仅甲骨文一家就占了半壁江山。当甲骨文研发中心撤出中国时,创始人埃里森说的那番话想必都深深地刺痛了国人的心:不能任由中国培养出比美国还多的工程师!

自从中兴事件之后,"关于核心技术,中国还缺什么"这一话题就在业界持续发酵。一时间,芯片、操作系统、光刻机、触觉传感器、工业软件等等,都被划归到"卡脖子"的领域,希望得到更多大众的关注。
政策与技术变革带来新的历史机遇,第三波国产化浪潮汹涌而来。不同于其他产业,IT基础设施国产化存在显著的“木桶效应”,在“硬件、软件、服务”链条中任何环节的国产化能力缺失都将造成整个自主体系发展的停滞。重塑中国数字底座,需要在由核心芯片、操作系统、中间件、基础应用等集合而成的完整IT基础设施体系全方位布局,打造技术硬核的核心产品成为了重中之重。
天云数据是国内最早一批自主研发数据库的科研机构,经历了十余年技术世界的沉淀与浸染,如今天云数据HTAP数据库融合了Oracle交易和MPP数仓的数据库替代升级,在新型大数据环境中扮演了越来越重要的角色:
-
便捷的SQL服务替代ES+HBase方案,节省昂贵的Hadoop开发成本;
-
高并发实时流升级,完成了Flink不能处理更多事实表的金融反欺诈和复杂权益服务;
-
比Impala更快的多表关联AP计算,性能是 Impala的231%倍;
-
比Presto更高可用的数据pipeline服务。
其硬核技术也越来越受到外界的关注。
酒香也怕巷子深,Hubble到底有哪些技术硬核呢,一起看看吧。
硬核技术一:去中心化技术
数据中心化在查询涉及多关联场景时,会导致查询性能严重低下;当大量数据存在于同一个数据库时会容易造成数据库访问瓶颈,从而影响数据访问性能,并为系统可用性埋下隐患。
在云计算、大数据等新技术的带动下,越来越多的企业需要对结构化的数据进行查询、分析、处理和更新。业务的复杂及庞大的体量会产生错综复杂且规模巨大的结构化数据,这些都必然迫使企业对数据库的需求指向大规模、高可靠、高扩展及高性能。
Hubble去中心化技术是实现在一个分布众多节点的系统中,每个节点都可以高度自治。去中心化过程就是将数据拆分的过程,让每个节点成为自己的领导者,进而依据服务划分将数据从主体数据剥离出来。Hubble能够支撑高并发业务;减少运维成本;提高查询效率。
硬核技术二:独占空间和非独占空间
数据库底层是表,表分为大表和小表,独占空间是指表存储在一个独立空间里;非独占空间是指各类表共用一个空间。
由于小表数据量比较少,占一个独立空间会造成资源浪费,非独占空间会把大量小表存储在一起,共同占用一个空间。大表数据量非常大,一般单独存储在独占空间中,大表和小表分开存储,物理间有隔离,运行速度快。
Hubble数据库既支持独占空间,又支持非独占空间;在Hubble数据库中建表时既可以指定独占空间和非独占空间也可以做到大表和小表分开存储,物理间有隔离,合理利用空间且不浪费资源。
硬核技术三:数据一致性
Hubble的数据一致性技术既包括ACID数据库中的数据一致性,又包括CAP分布式系统中的数据一致性,Hubble数据库可以做到最高级别可串行化同时能保证多个事务并发时的执行顺序对数据的一致性没有影响。
硬核技术四:事务隔离级别——可串行化
事务隔离级别,就是为了解决解决隔离级别中“脏读可能性、不可重复读可能性、幻读可能性、加锁读”的问题。事务隔离级别越高,在并发下会产生的问题就越少,但同时付出的性能消耗也将越大,因此很多时候必须在并发性和性能之间做一个权衡。
Hubble可以做到串行化,即最高的事务隔离级别,不管多少事务,按顺序运行完一个事务的所有子事务之后才可以执行另外一个事务里面的所有子事务,这样就解决了脏读、不可重复读和幻读的问题。串行化事务技术可以做到无需关心锁表的问题、支持最高的事务级别、可以保证数据一致性足够安全、性能上支持百万级的QPS。
硬核技术五:分布式SQL
分布式SQL可以称为分布式任务,分布式SQL是指SQL语句到任务执行的时候分布在多个机器上执行。关系型数据库从架构而言它们无法在多个实例之间自动地分配数据和查询。
分布式SQL在查询上可以被自动地分配到目标群集的多个节点上,有效地避免了单个节点成为查询处理中的瓶颈问题。分布式SQL内置具有可扩容性、灵活性、以及地理分布特性。
Hubble同时支持存储分布式,SQL单机化;存储分布式,SQL分布式。可以在不重启服务的情况下,通过修改配置,做到两种模式之间的切换,同时Hubble可以方便应对更多场景。
在纷繁复杂的数据库市场中,中国制造的Hubble就像泸州老窖的酒一样被潜心打磨六年,接受着市场和用户的检验。六年间,Hubble从无到有,从小到大,在“国产分布式HTAP数据库”上走出一条属于自己的路,变成了天云数据开疆扩土最锋利的宝剑之一,也成了Hubble数据库的硬核支撑。
六年多,“技术至上,技术人员至上”的理念也让天云数据在技术上“开花结果”,继续述说着属于天云数据的硬核故事。




