1

GaussDB200 揭秘:全并行技术

平常心 2019-08-29
759

摘要


大数据时代,数据日增PB级,相当每天需要增加1000块硬盘。 进行决策分析时,面对大量数据的复杂分析处理, 传统数据库应对显然苍白无力,经常无响应,如何破? 采用一体机模式的数据库,高性能的代价是极其昂贵的购买价格和永无止境的后期维护费用。 如何基于X86通用硬件,只用一体机1/10的价格,构建达到甚至超越一体机的性能? GaussDB 200全并行技术是上述问题的强力解决方案


大数据时代,数据日增PB级,相当每天需要增加1000块硬盘。


进行决策分析时,面对大量数据的复杂分析处理,传统数据库应对显然苍白无力,经常无响应,如何破?


采用一体机模式的数据库,高性能的代价是极其昂贵的购买价格和永无止境的后期维护费用。


如何基于X86通用硬件,只用一体机1/10的价格,构建达到甚至超越一体机的性能?


GaussDB 200全并行技术


是上述问题的强力解决方案,有力支撑了华为FusionInsight产品完胜金融、运营商、安全行业30+局点的比拼测试。


这个号称黑科技的牛逼全并行技术到底是一个啥样的技术呢?


请见下图分解:


华为4.gif



以下我们尝试把这个技术采用类比的办法通俗地讲明白。让你秒懂~~


上图中,我们做如下类比:


SQL语句:一个黑帮大佬下达的命令,比如全城搜索,挖地三尺也要找到某个想大卸八块的人。


每个服务器:这个黑帮大佬领导下的各个团伙。


务器里的CPU:每个团伙里的成员。


好吧,大佬一声令下:搜!!!(SQL)


各团伙(服务器)全城分辖区搜索,这叫节点并行


团伙头目为充分利用好团队资源,分配后,每个成员(CPU)都同时努力地执行搜捕,这叫算子并行


团队里培养了精兵强将,有超能,执行任务时,别人一次只能搜一条街,他能并行搜多条街。我们管这叫指令级并行。


这个黑帮可以再高级点,内部有一个智能机制,能甄别仇人隐藏位置的概率,自动把低概率的街去除,这叫动态编译

LLVM。


来源

最后修改时间:2019-08-29 17:38:58
「喜欢文章,快来给作者赞赏墨值吧」
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论