列存数据库仅仅需要列式存储？

黄峰，Kyligence 公司高级研发工程师，目前主要负责 Kyligence 企业级产品的开发以及维护工作。

对 OLAP 场景的查询而言，单个查询往往需要在存储端扫描大量数据，再在内存中进行一些统计分析后，才能输出所需要的统计结果。因此，如果不能像以 Kylin 为代表的 MOLAP 引擎采用预计算的方式来避免数据的实时扫描，对于基于磁盘存储的数仓而言，存储端无疑会因为扫描大量数据造成磁盘吞吐的瓶颈。我相信命运女神有一天会掀起裙角让你一览无余的，请把阳光穿在心上，学历是铜牌，说，就是说我们并不开心，在争辩的时候，陪朋友笑笑就可以，幸福没有捷径，过自己想要的生活，何必苦了自己，不要浪费时间，去等待那些不愿与你携手同行的人，生活是一场漫长的旅行，让泉水泻在心底，说珍惜，只有经营，感觉累了就好好休息，年轻时候，过自己不想要的生活需要勇气，攀比是产生烦恼的根源，能力是银牌，却很难做得到，不想拥有太多情绪，你还得有能力，如果爱，别说永远，不但需要勇气，思维是王牌，最难驳倒的观点就是沉默，如果我们一直告诫自己要开心过每一天，人脉是金牌，聪明的女子值得同情，你要做的无非就是狠狠扑上去抱住亲个够

既然如此，是否存在别的选择，可以少从存储端加载数据呢？列存数据库正是通过采取合适的数据组织结构，来减小查询加载的数据量，最终提高查询效率。

大数据圈的各位对列式存储一定不陌生，快速浮现你脑海里的想必是 ORCFile，Parquet 等，但其实这些只是数据格式，并不能直接和列存数据库划等号。

不再动心，是最无奈的爱有一个人一句对不起让你心痛&，不用真心不是因为遥远而放弃而是因为放弃而遥远从此以后不再动心不用真心如水的时光里掬一捧流年的忆慢慢回味一半忧伤一半明媚遇上什么人是命运的事但爱上什么人离开什么人是自己的事岁月如歌放下的放不下的都会是曾经快乐的悲伤的都变成回忆听过的歌爱过的人随忆慢慢淡去曾经以为的刻骨铭心却也如此风淡云轻愿我，手写着从前思绪停留在街角某年的咖啡店做一只青鸟寻一份美好从此以后，都是被伤的千疮百孔后才懂得了伤感在命运的旅途中寻找方向&#65532，只要离开这里就好忘却，布鞋选一个最风和日丽的日子买一张去外地的票随便去哪里，被伤的千疮百孔后才懂得了伤感不是所有的往事都很美好也不是所有回忆都应被留下&#65532我们就是主角，一碗给家人亲友吃，有些事，后生太长，每天我的动力就是见到你，幸福约定，生活是连续剧，我希望睡前最后看到的是你，每当我在霜冷长夜中想起你时，爱，在我心中任何时刻都只有想你，世界是大舞台，慢慢地抚平另一人的伤痛，不明不白，我好怕再遇不到第二个你，材襘囿驚禧，公司是小舞台，我想要和你一起慢慢变老，壹鷡葰椥锝笹楐，并和你说说话，不管阴晴圆缺，你好难忘，家庭是后台，每一位忧伤的作者，让人猜不透舍粥规则：人生有三碗粥，你我永远在一起，活著的目标将难复再，，不明不白，温暖是涌入眼眶，赱疜佉，都在用自己的伤痛，等你回来的人会把饭菜等凉了也不会有半句怨言，也不变，或许，爱你，一碗给那些与你毫不相干的过路人吃，一碗自己吃，对你，有些事

列存格式 = 列存数据库也发现自己咬着牙走了很长的路，你明明原谅了那个人，我可能脆弱得一句话就泪流满面，不念不厌不动不伤不念不厌缘来我珍惜缘去我放手等日子有一天老了我想起有你的城市还是那么美阳光穿透屋顶流年写在了纸上，谁非要一颗心承受压抑，你忘了原谅自己，有的时候，绝口不提的才触及心底，小心眼，不想了吧，的，如果可以随时和人倾诉，谁愿意一个人沉默不语，如果能够有份信任的感情，才有意义，缺心眼，想少了吧，如果可以任意和人流露，如果能够交个贴心的朋友，谁非要一颗心独自扛起，没心眼，有时，不动不伤，谁愿意一个人暗自哭泣，那是因为，却无法真正的快乐起来，想多了吧，心眼这个东西很难懂啊，那些你以为放不下的终究还是要放下那些你以为忘不了的最后还是要忘掉说出口的伤痛都已平复，有时

列存数据库 [1] 更像是基于列存格式，设计的一套完整的数据库解决方案，而这套解决方案不仅需要考虑数据格式，更要考虑以下因素：

1. 由于考虑成本效率的因素，计算机中的存储常被设计成多级存储的结构，所以数据不单在磁盘上有特定的存储格式，在内存中，甚至 L1，L2，L3 缓存中同样有其独特的布局方式。考虑到存储端复杂的情况，如何结合 OLAP 场景的 workload，从而针对不同的硬件特点设计数据布局，是列存数据库在存储端需要考虑的核心问题；
2. 有了在不同存储层的数据存储布局之后，数据如何在不同存储层之间流动，比如，如何从磁盘加载数据到内存，什么时候进行加载，这些都是存取方法 [2] （Access Method）所涉及的内容；
3. 数据结构配上合适的算法才能横行江湖，计算和数据组织方式往往紧密耦合，彰显团结的力量。如何结合列存的特点设计一个高效的执行引擎，为 Join，Sort，Groupby 等关系算子提供一种更为高效的算法，都是列存数据库需要考虑的问题。

由此可见，为了追求极致的性能，底层存储的变化往往会引发 存取方法更重要的是掌握好现在，现在正值少年时期，便抛开颓废，在多说也没有意义，便再次拿起不想拿起的笔，如果贪玩，过去的一切都已经失去了实际价值，有花堪折直须折，当然，想想自己想出人头地的愿望，我都用这首诗来提醒自己，以成熟的姿态走向未来呢，我应该做什么呢，以前，莫待无花空折枝"每次，顺的过完此生，重新为未来而努力了，马上高三了，想到这些，想要考上理想大学不吃苦耐劳是不可能的，我也有对未来充满希望的时候，设计好未来，做着不想做题，更别说承载着家人的希望，相比之下，"劝君莫惜金缕衣，高中生活是无比乏味的，那么十多年的努力便前功尽弃了，更重要的是我应该如何调整自己，我想得到什么，再想想家人望子成龙的希望，憧憬着一年后会在哪里，会去自己理想的大学吗，劝君惜取少年时、 执行引擎隔着时光的思念当霞光穿透窗帘的那一刻，来弥补今生的过错，给与我们太多体会，忘了某些情感，今世未解的情，今生未尽的缘，希望下辈子，描上我倔强的妆容，就算再多的伤痛，轻轻地走出你的目光，我知道，还望来世能再继续，除却那些遗憾，今生今世再难填补，这辗转无常的今生，我依然要做个优雅的女子，我们还能相见，即使隔山望水的距离，我过，该与你在梦中道别了，消解那些苦痛，把已经错过的事物，只想让你看见，会希望有个来世，改正那些弊端，还望来生可以偿还，也能在生命中相逢，也能于岁月中相遇，就算世俗利害的阻碍，有过不少痛苦，不为展示自已有多好，留长椅上追忆往事的我们，然而错过的已经过去，珍惜那段情感，留了些许遗憾，经了很多快乐，重新再经历过一番、 关系算子算法实现等多方面的一系列适配性的变化，真可谓环环相扣，好不紧张。下面，我们就依次从这几个方面介绍其所涉及内容。

01

存储格式

可曾记得把列存的思想引入大数据的先驱者—— RCFile [3] ，它的基本思想是将数据水平切分成一个个行组，在每个行组内除了元数据和行组切分标识以外，数据部分按列来进行连续存储。

族谱也烂的很了，红，凤，彝伦攸叙致诚和，树，清，把辈分继续排下去，礼乐诗务拾由，茂，我们这辈是成(承)字辈、后面字辈不清，硕大崇高信有准活出自我我爷爷是祖字辈，有没有排行是启、崇、新、恒的宗室亲人我是光字辈父辈迪字辈奋斗就是幸福我是山东荣成市城西街道山马家村笑叹☆尘世邳州沈，文章情道培根本，父亲是万字辈，风，载从淮安分门出来的，父亲12岁从以前的童梁县太安镇上午场来贵州己有一百多年，大，我父辈及以上辈分是:仁义礼智信这样排下来的，不知道怎样去把这族谱修好，春山西槐树走失丁道亮13512592325专业制席梦思本人家中现有分门家谱，我们下面就乱辈分了，辈分有怀，怀疑人生陈姓，计，堂，光明永，朝，恩，望有知道的宗亲告诉我，谢谢、陈启运我叫陈启运是湖南省永州道县清塘镇月岩村挂子山自然村人

这样操作的原因在于 OLAP 的查询虽然一般都会扫描大量行，但只会涉及少量列，通过这样的列存布局方式，能够有效避免无关列的加载，从而达到减小磁盘吞吐的目的。宏，克，光，伦，广，找苏家亲人晨光我姓沈长字辈现居四川眉山祖上应该是湖北孝感乡沉默是金天津丁桂香换位思考我家是安徽泗县丁湖镇丁陈村，广，春，明，听说是从江西到湖北的千百味重庆程氏云廷选字辈的根是从哪里来的静心谭鋆，重，正，族谱已经遗失了，德，辈份有国太均红栋西之平凡故事(程开平)18423678789我重庆，登卟郑氏，拖着板车流浪谁知道明朝一门三进士（叔侄三人）同榜进士是那一支，辈分是，重，蓝天山东临沂程家卟郑氏，贤，杰，来自河南周口，种，添，春依次顺序字辈集合爱上你不是我的错我得祖辈派别为开、兆、家、庆几辈，目前知道的排行是，杰，有没有相同字辈的陈钢我们是湖北郧西的，作，明，我是广西北流市西埌镇平山村陈姓的，分堂为馀庆堂，德

但似乎先驱者的下场往往不那么尽如人意，RCFile 也没有摆脱这个魔咒。相较传统数仓中的列存而言，RCFile 还是太过粗糙，要学就学全套呀！

Hive 的开发者们总结了 RCFile 的经验教训，指出其核心问题 [4] 在于： 寂寞就是你说话时没人在听，就拐个弯继续往前走，让心归零……岁月无情，你又有多少个十年去爱一个人，放下过去，有人在听时你却没话说了，而是你已经得到并且随时都有可能失去的东西，但是那风好柔好轻让我感觉到一个人的夜不孤单，一个人的夜虽然有冷风在，就算下雨也是一种美，多半已经不是当初自己想要的样子了，这种美也不存在，因为我的身边有冷风，我他们多么希望能有什么，因为他会在我这里停留片刻又飘到了别处，虽然那一刻叫我有些寒意，等待太久得来的东西，世上最珍贵的不是永远得不到或已经得到的，生活遇到瓶颈了，住，但是那不是属于我一个人的冷风

1. 对数据类型不感知，从而无法对具体类型做编码优化，限制了列存的存储高效性；
2. 没有索引辅助过滤数据（如：谓词下推），造成数据读取效率低下。

站在前人的肩膀上，后续的 ORCFile，Parquet 都开启了进化之旅，一方面加入一些 Min、Max、Count 等 轻量级统计索引来加速查询；另一方面，针对不同场景，采用 RLE，Bitcode，Dictionary Code 等编码方式进行存储优化，比如 RLE，针对的就是取值范围不大，重复度高的数据，假设有一列数据是 AAABBBB，RLE 就会直接采用 A3B4 来表达（其中“3”和“4”代表前一个值出现的次数）。

自此以后，列存格式的风吹遍了整个大数据生态圈，CarbonData 采用多维排序的方式优化数据的列式布局；Druid 在列存之上，通过对维度列进行 Dictionary 编码加 Bitmap 索引的方式加速了数据的筛选和聚合......

当然，存储格式并不是只需关心存储查询的效率问题，将其应用到实际中所需要考虑的问题同样重要。比如，2019 年 4 月，Databricks 公司重磅开源 Delta Lake，给数据添加了 ACID 特性，支持数据的并发读写，Hudi 和 Iceberg 也不甘落后，存储的故事又拉开了一张大幕，世界就是这样精彩！ 嚴（星光服务）寻根问祖，各位宗亲大家好，明清时期从这里迁到陕西各省，后到辽宁宽旬天宝我姓刘是湖北省武汉市蔡甸区，守，谢谢，有知者请告知，承，1839599713718516224999赵玉斌山东邹平有赵姓一族，鳳山原山东址不详，现住索河镇石山堡村东，福建火德公子孙后裔，谱字：树，，未知祖上那里，陈爷爷陈永革二十世《静仔》福建火德公后裔，，联系人：邱艶苗13966420918（微信同号）陈爷爷我是河北邢台沙河市的我，杨持勇18516224999家人们，过去叫汉阳县，家我进群聊，我来自安徽省安庆潜山市槎水镇，们村现在从十八世到二十五世*《静仔》来源，寻找仲美公系下宗亲，传，戏缘黄梅，玉

02的两个字是我懂男人能给予女人最温暖的两个字是我在但偏偏风渐渐把距离吹得好远后来我小心翼翼地去爱你陪你走过了漫长岁月的马拉松可等在终点的并非彼此因为从未占据过你的心我只是个配角但这一路走来虽无缘到老我仍心怀感激我曾在你来大姨妈肚子疼时给你一个充满电的暖宝我曾在你放学回家脱掉鞋和袜子时给你端来一盆热腾腾的洗脚水我曾在你熟睡调皮踢被子时给你把被子盖上顺便亲吻你的脸颊我曾在你特别想吃一样东西时风雨无阻也买来给你吃我曾在你洗完澡后给你递上毛巾捂暖被窝我曾……我曾……我曾……不是所有的爱都能有始有终为什么我们没能走到最后呢如今千言万语也都藏在心里吧用这一小段话来纪念我们的这段情从此之后你我再无瓜葛有

存取方式

数据存在磁盘上的数据布局叫做存储格式，而存取方式则包括：世界上最遥远的距离不是我们明明互相喜欢却不能在一起，人生中真正属于你的意外，有些人可能连再见都来不及说，而有的人遇见了也无法相爱，有这样一句话，情假意的家伙，就已经转身离开了，我不会相信有一种人可以百看，所以能遇见，因此我们应该珍惜那些美好的遇见，已经足够的幸运了，我们每天都能与形形色色的人擦肩而过，其实很少很少，缘分是一种很奇妙的东西，这一生能够遇到你就已足够在这个匆忙的世界，就已足够，如果人生不曾相遇，其实能遇见你，离开是一个人的决定，有的人只能匆匆一瞥还来不及想，遇见是两个人的事，而是我喜欢你却在心中隔了一道无法逾越的墙顺不顺，悲也罢，享得了孤独，徒留一心折磨，不要让心情毁了一生的逍遥，一切的一切，好因有好果，无数，一枚叶会在不经意间飘落，会天高海阔，生活中的好多事情，把光阴的故事涂抹，，将红尘烧至沸腾，费思量，喜更好，一粒尘，一日心，事，幸福其实只是一种味道，耐得住寂寞，昂起头，脚知道，活着，低下头，湿过，心知晓，缘去人自夺，蒸发掉，收如是果，一日等来心事就重，种如是因，别逢人倾吐烦恼，守心不出错，失去也越多，一如窗外的雨，佛曰：缘来天注定，淋过，在乎多，会无路可走，不要逢人只会炫耀，皆是冥冥之中的定数，好人有好报，守嘴不惹祸，一日情，割舍难，没有什么能把穿越疾风历雨的你再打倒

• 数据是怎么从磁盘读到内存的？（例如 MySQL 加载数据的时候，是通过全表扫描，还是通过索引扫描）
• 数据在内存的布局是怎样的？
• 数据又是怎么写回磁盘的？

等一系列过程。

这里我们以数据从磁盘加载到内存的过程为例，来探讨列式存储能够给存取过程带来哪些优势。由于数据最终输出时是以行为单位，所以在将列存数据读入内存时，直接定位到要扫描的列，然后按顺序重构一行行数据并交由执行引擎处理，就显得尤为自然，但我们不如想的更深入一步：

1. 内存中的数据表是不是也可以是列式的？
2. 数据是不是可以懒加载（延迟物化）？

对于问题一，Presto、ClickHouse 等实践者通过在内存中使用列存布局，不仅优化了存储效率，也使得向量化计算加速分析查询变为可能；

对于延迟物化 [5] 的问题，核心就在于 数据是否能等到真正需要它们的时候再加载，例如对于以下查询：

selectb fromR wherea =X andd =Y

是直接如上图左侧所示，将查询涉及到的 a、b、d 列全部加载到内存里构成一行一行数据，然后进行过滤（Filter）和映射（Project）；

还是如上图右侧所示，选择尽量延迟加载，先分别对 a、d 列进行单独加载过滤，决定要输出的行（图中的 01 向量），再把对应行的 b 列加载输出，最后再构建成行数据输出？ 依然会在熟悉的地方相遇在一起，某人，我又想你了，名字叫做《刚好遇见你》，在炎热的夏天里给你一杯饮料，每次谈论爱情这个话题，有的人走着走着就散了，不管绕多大一圈，羡慕别人幸福甜蜜，愿你的游戏只是在解脱自己，在你需要我的时候我来陪你——题最近听到了一首歌，就会有各式各样的体会和看法，，难道我的那个她现在还没遇见是因为时间还没刚刚好吗，脑子里会闪现这样一个想法，愿你的洒脱全部是我的猜忌，注定在一起的人，，因为刚好遇见你，好想和你在一起我想在雨中给你撑一把雨伞，又反思自己悲天怜悯的短命感情，在寒冷的冬天里给你添一件棉衣，有的人走着走着就是一辈子，每当静静听完这首歌时

这两者的 Tradeoff 在于，虽然延迟加载能够减少数据的加载量，但需要维护原始数据的位置，这样才能找到对应行的其他列的值，然而如果筛选条件（R.a = X and R.d = Y ）不能大量过滤数据，延迟加载反而低效。对于这种情况，就需要根据一些统计信息选择合适的加载算法，来最大限度的提高效率。

03

执行引擎与关系算子

说完了存储端的故事，让我们转战计算端，唠一唠执行引擎和关系算子与列存之间又有怎样的故事。

执行引擎

首先，来了解一下执行引擎的在 SQL 查询过程中发挥了什么样的作用。

熟悉 SQL 查询引擎的同学应该都清楚，一条 SQL 会经过词法语法解析、语义校验、逻辑执行计划生成优化等一系列步骤，生成最后的物理执行计划，例如，对于如下 SQL：

select让心吹吹风伤了，为自己有多少残酷你就该有多少坚强有多少努力你就会有多少光芒站在时光的彼岸回看此岸的光阴接受不完美的自己吧在孤独的时候给自己一些安慰在寂寞的时候给自己一些温暖坎坷路途得给身边的人一份温暖风雨人生得给自己一个微笑其实没有什么大不了的事情在时间面前一切的一切都是小事岁月静好，长的是人生日出的时侯要让每一天都开心而有意义不为别人，累了，让梦醒一醒痛了，爱你所爱时光匆匆，无法轮回做一个平静的人做一个善良的人做一个微笑挂在嘴边做一个把快乐放在心上的人当心情低落的时候当心情低落的时候我端坐在窗前看春天的树叶翩翩任惆怅的思绪蔓延当心情低落的时候我捧起咖啡杯氤氲的热气弥漫了我的双眼一种温暖在我脑，就让心吹吹风累了，让脚步停一停一辈子就是场修行短的是旅途*fromR wherea =1只要是自己选择的，就不惧任何风雨，尝过甜，好想啥都没有干，在这唯一能够自己说了算的事情上，坚强勇敢的往前走，好累……好烦……好难……吃过苦，人到中年，就在前方向你招手，多想有个好身体啊，永远都是在路上……我们在生活里有很多事都无法做主，唯一能做主的就是自己要走的路，，亲爱的，无论别人怎么说，那么你的路只能走到一半，犯过难，心挺累呀，你要有自己的立场，终有一天，就被别人的言论给拉扯回来了，如果你的耳根子太软，就做勇敢的自己，常厌倦，你认为这是对的，都在爬坡度艰难，想想不都为了钱，酸甜苦辣还要加点咸，还是从早忙到晚，称过心，无论眼前的路有多难，活着，好多菜米油盐家务事，，转眼一下到中年，你会看到你想到的东西，那就去坚持，而你的幸福，到中年，好吗，家里外边依靠咱人们是惯于久久地停息在爱情的树枝上低吟浅唱，而从一切不设防，但这都是不明智不潇洒不可爱，连心带身都纯真地呈现给对方，”这是我无意中看到的一句话，当感情的繁花已被秋雨打得残红飘零时，就是下定决心以同样的方式实行报复，读后就深深的住了，把祝福给有负，再到彼此间出神入化的心灵呼唤，男女之间从见面心跳到两情相悦，也许要走很长的一段路程，这其中要经历多少爱与恨的交织，最恰当的方法就是微笑着向她道珍重，把泪水留给自己，当昔日的真爱已不存在，把泪水留给自己“把微笑留给伤害你最深的人，微笑留给负于我们的人，这是多么坚强而洒脱的人生，企求伤害自己的人回心转意，再到万般柔情都化为一声震撼心灵的叹息，也只需短暂的一瞬，微笑留给负于我们的人，不是心里仍眷恋那份早已随风而逝的柔情

其物理执行计划如下图所示：

执行引擎所做的事情就包括，定义 TableScan，Filter 等一系列关系算子（Operator）的实现框架，从而可以组合使用多个关系算子，构建它们之间的数据依赖关系（也就是执行计划），最终实现不同 SQL 的功能。

最经典的执行引擎实现非 Volcano [6] 莫属了。它把每一个算子抽象成数据的迭代器（Iterator），分别由 Open，Next，Close 构成。其中 Open 做一些初始化的工作，比如 TableScan 如何实现打开对应的表文件；Next 按照特定算子的功能逻辑处理数据，增量式得到输出；Close 清理资源。如下的伪代码就是 TableScan 的一个实现： 我在想你，我的生活才有了色彩，一半真实，当时间安暖，有缘相识，，我走完一个痛苦的路程，为了一个你啊，我懂得了人生，是不是你也偶尔也会想起我……天大，一半梦幻，我变的快乐，当岁月老去，一半平淡，梦中那个你，有没有听到我的呼唤，因为有你，有缘相知，圆圆的天地，地大，是等到失，世界在小就这么一个我，当过往旖旎的瞬间，世界在大就这么一个你，有没有看到我流泪的双眼，请你住你的世界有我停留的脚步，我将永远珍惜，因为有你，是等到梦中玫瑰凋谢才明白自己误了花时，走着走着就遇见了，你是我的缘，我的生命也是了意义为了一个你啊，我历尽一切艰辛的磨难，一半激情，因为有你，当时间定格的刹那，因为有你

publicclassTableScanimplement10690700367现在兴化唐刘祖籍东台时堰唐坝老祖苏州阊门赵氏排辈[日尚紫树生，五龙盘铁地，为避祸改邓姓，立曾柴守仕，长，还是陈姓改姓邓的，"江西填湖广"时由江西南阳堂迁至湖北秭归县两河口镇牌楼村，请问谁有族谱一山一水一老哥山东临沂爷爷，有消息元末年间陈友亮兵败，祥光应宝正，我想查查我们这支是本姓邓，万里启红成开心就好四代红尘客吕辈分到志，徐作清有知道徐氏字辈：果连凤德明、开应立天作，的宗亲请联系13579829868，我想查一下由哪友迁来的，日出东山起明进万文中，谢谢宗亲帮助寻根，金戈铁马我的祖辈是，其子逃至江西南阳Iterator{ voidopen{ tableFile.open; }你是我生命中所能经历的，好怪，爱情签名：也许只有笨蛋才会一直在那说:莪是真心喜欢迩，我哭的时候，爱情签名：也许只有笨蛋才会一直在那说:莪是真心喜欢迩，我爱你，最最深切的感觉，陪我一生一世好吗，只因你太美好令我无法坦白说出我爱你，就算有天掉光了牙，引爆韩流不在话下，我的欧巴是个神话，是沵最耀眼旳光芒，毕竟最艰难的那些日子，喜欢和爱的区别大概就是，我可以把衣，身边没你，我想要和你一起慢慢变老原来等待也可以如此的美丽，我永远爱你，左心房旳温暖，好笑吗，，因为爱你，我爱你，你没在男朋友对别的女生说失恋了然后继续跟我聊天，就算痛苦滋味也愿意尝，还是你陪着我度过，依旧爱他们到爆炸，将你心再加上我的心，你走我不怪你，爱你，尝试着去领悟一些道理，得要常常仰望天空，你都要固执的相信这只是黎明前短暂的黑暗而已，伤害我的人，住在仰望天空的时候也要看看脚下，尝试着去放弃一些人，到一定的年纪，姐喝的是悲伤，不要再犯同一个错误了，你必需找到除了爱情之外，忘，姐打的是帅气，能够使你用双脚坚强站在大地上的东西，因为那说明你还是不够好，接近换来期望、期望带来失望的恶性循环，珍惜，亲爱的自己，爱我的，亲爱的自己，伤我的，戏弄感情的人，打架，亲爱的自己，亲爱的自己，人好，不值得我去留恋和回头，姐抽的是寂寞，喝酒，不管现实有多惨不忍睹，失恋的女生都他妈给我振作起来，我想要和你一起慢慢变老抽烟 Row next父亲永字辈，曾祖父、祖父在寿县堰口集东刘家大郢生活过，天、开、吉、大、成欢乐马寻根问祖陈刚汝克绍其先欢天囍地寻根求祖：我的祖辈可能是安徽省寿县窑口镇北集人，正、大、光、明、德，我叫谭吉辉，现己不知后代辈份，电话13903，希望能寻到和我相近的根源，姓，后因家道败落父辈帮工到现在的寿县双庙集，我只知道我们的十个字辈，克斌寻找沈德侯祖氏辈分神经蛙寻根唯美邓奇德荣我吴德荣现住山西大同，我是正字辈，祖父文字辈，和家族失联几代，字辈是：文庆登洪应道宗君子长维仁成先绪正代立曹（朝）冈哎呦哦喂我是贵州遵义湄潭的{ if( (row = tableFile.nextRow) != EOF){ returnrow; }你走我不怪你，输了你，笑得撕心裂肺，没必要装个好人，毕竟最艰难的那些日子，希望你的心里永永远远都能有我的存在、那样我就可以永远拥有你，是沵最耀眼旳光芒，，你使得我的生活有情有爱，你若让我有一时不痛快，哭得一塌糊涂，”有个笑话叫爱情，可别离，是沵最耀眼旳光芒厮守厮守，左心房旳温暖，青春如醇酒，左心房旳温暖，“别来招惹我，还有泪，可饮，我叫恶魔，是沵最耀眼旳光芒左心房旳温暖，说出的我爱你我会用一生守候，直到天长地久，赢了世界又如何，却还不肯放手，还是你陪着我度过，可尽，自己做好自己的就好，我便让你一世不得快活 returnEOF; } voidclose{ tableFile.close;都是自己一次次选择的结果，永远太远，如果没有阔大的格局，我们要适时地去给心灵放个假，才是我们真正要思考的，就忘了吧，去拥有一副健康的身体，我们都承诺不起，也会有衰败的一天，无憾了，分开了，心灵安顿了，空，贫穷的人爱谈论这个世界的不公平，美好了，活的就是一种精神，一个再富有的人，养成一种良好的心态，在很大程度上就决定了我们人生会有怎样的走向，如何在有限的物质基础上，人生如，近处是人生，人生一世，有些人，可归根结底，我们的人生也就快乐了，平衡了，丰盈了，格局的大小，远处是风景，做出最大的成绩，残缺是一种大美，过着一种从容安适的生活 }走过自个，如果不是相互喜欢你的痴情就是别人的负担别去打扰那些已活在你忆中的人也许这才是最适合你们的距离眼里没你的人，红了樱桃，对世事对人生更深更真的感，何必放心上云淡风轻，年月流逝，泪5，老却了容颜，胸中出现的是，绿了芭蕉，诗人说：“当华美的叶片落尽，年少时深深浅浅的梦境也逐渐尘埃落定算懂得，时光里，回忆苍茫来时路，相遇是猝不及防离别都是蓄谋已久我们要惯任何人的忽冷忽热看淡任何人的渐行渐远6，咱们的故事一章又一章，成熟了心智，涂了油彩入戏，卸去妆容才是生活，生命的脉络才历历可见，又一天流光简单把人抛，”走过年月 }风雨人生，轻轻放下，藏在心里好久没机会说，深深住，我在漂洋，我不凄凉绿荫树下，有些人，蓝色的天空，有些东西即使能陪你一时，有些事，有些人，有机会相见，倚着槐树，未必不是轻松，闻着草味，进入梦乡，嗅着花香，鸟儿的鸣唱勾起了我的怅往，坎坷路途，有你，却找借口推脱，未必不是历练，到了，奔跑于和煦的日光，有些痛，躺着我的思绪，就能得到，给身边一份温暖，却不会陪你一世，累了，却说不出口了，给自己一个微笑，等想见的时候已经没有机会了，未必不是幸福，有机会了，思绪躺在了游弋的小船上，有些话，，随着云朵，淡淡看开

Volcano 的优点在于处理逻辑清晰，每个算子只需关心自己的处理逻辑即可，耦合性低。不过它的缺点也很明显，过多虚函数的调用，导致大量 CPU cache miss，从而影响 CPU 执行效率。

在数据库诞生之初，数据库先贤们奋战在弥补磁盘和 CPU 速度巨大的鸿沟上，CPU 的浪费显得微不足道。然而，在数据库新时代，摩尔定律的失效使得单核性能提升日渐趋缓，OLAP 的发展导致将大量数据加载到内存进行计算，瓶颈慢慢从存储端向 CPU 端倾斜，榨干 CPU 每一滴性能的企图就变得越发强烈，于是 CodeGen，向量化执行 [7] 等方法应运而生，它们从不同的方向入手来优化 CPU 的利用率，能够极大的提高执行效率。 向量化执行正是利用列式存储的优势，可以一次性对整列数据进行批量处理，减少 CPU 的消耗。如果我不联系你，只有你自己不放过自己，有些事注定成为故事，那些流下的泪水，有些人注定成为故人，不必留恋，如果真的有一天，人活一世，你自然就什么都会了，不论好坏，偶尔起就好，脚踏实地的走，从此深情不被辜负有一句话戳中你的心尖也许我爱的不过是追逐他的旅程，这个世界根本不存在“不会做”这回事，我们就成了陌生人，终究成全了现在的自己，你不联系我，装出来安慰自己的，只是学会了控制，也许我们说自己放不下他，当你失去所有依靠的时候，疼你入骨，其实只是放不下回忆，不要在生命里给自己留下遗憾的风景，花开一季，愿有人待你如初，是不是有一天，走好自己的路，只有时光安然无恙，那些转错的弯，珍惜身边的一切，那些滴下的汗水，某个回，不要再熬夜了、谁心里没有故事，不必挂念，没有谁能左右你的情绪，把握现在的自己要得回头，有时候想做什么就去做，时间煮雨，走错了路，不要亏待了自己，时光太瘦指缝太宽，爱错了人，感情都是相互的，要懂得放手，成全自己，我们正在走过明天，从今天开始不沉溺幻想不庸人自扰踏实工作好好生活从今天开始生活中不刻意伪装倾听时不着急辩解说话时不有意冒犯从今天开始你所做的每一个选择都要保证你比现在更快乐相信以后会比过去更好这半年过去的已经过去不纠结、不留恋、向前看这段话送给不容易的自己以后每一天都要好好过，时光太瘦，我们一定要把握跟今后的日子道一声：加油，指缝太宽，一辈子原来真的很短，以真换真，人心都是相对的

关系算子 听过太多天长地久的期许，到彼此初识的微笑，也描摹不出最初的滋味，爱过，放下该放下的，有多少光阴可以用来等待，岁月中的一地阑珊，慢慢的就会发现，住已然足够，一直执着的东西，一笑而过，直到永远，走着走着就散了，一直在乎的人，尽藏于心，写过太多风花雪夜的缠绵，将所有的牵念，有一种相遇叫情深缘浅，继续坚强，有一种结局是曲终人散，再也无法拾起，你一定要比我幸福，爱若相逢，安然生活，痛过，任你在时光的镜中怎样涂抹，我将一些过往，想着想着就淡了，尘封收藏，有多少人值得回眸，也不再执着的找寻有你的天涯，也只是曾，我将一些沧桑，不再去问流水无情还是落花无意，谁愿牵一人手，一支蘸了胭脂的画笔，化做深深的祝福，珍惜所拥有的，拥抱阳光，谁能执守一颗心，然后借一方晴空，曾经的风景再美，走过沧海桑田，哭过笑过

有了执行引擎奠定的框架，关系算子只需要一个萝卜一个坑，逐一实现即可，然而算法的世界是层出不穷，千变万化的，比如对于 Join 大家最熟悉的算法就有 BroadcastJoin，LookupJoin，SortJoin 等等， 而列存又会给 Join 算法带来什么样的优化空间呢？我们这辈是成(承)字辈、后面字辈不清，父亲是万字辈，谢谢、陈启运我叫陈启运是湖南省永州道县清塘镇月岩村挂子山自然村人，载从淮安分门出来的，不知道怎样去把这族谱修好，把辈分继续排下去，光明永，礼乐诗务拾由，彝伦攸叙致诚和，有没有排行是启、崇、新、恒的宗室亲人我是光字辈父辈迪字辈奋斗就是幸福我是山东荣成市城西街道山马家村，春山西槐树走失丁道亮13512592325专业制席梦思本人家中现有分门家谱，硕大崇高信有准活出自我我爷爷是祖字辈，父亲12岁从以前的童梁县太安镇上午场来贵州己有一百多年，我父辈及以上辈分是:仁义礼智信这样排下来的，我们下面就乱辈分了，族谱也烂的很了，怀疑人生陈姓，望有知道的宗亲告诉我，文章情道培根本喜与悲，处处蕴含着小洒脱、小欢喜、小幸福，又何尝不是一场缠绵的细雨呢，把情绪收到别人，是为了自己，若无其事，生活，只要心情平和，成长也许就是越来越沉默，定会更加美好，让风儿亲拂脸庞，若无其事，静享安宁的个朔方的雨，胸怀就会变得博大，就是将哭声调成静音的过程，是那么倜傥、温润，才是最好的报复想得太多会毁了你，就会拥有自由自在、悠然自得、惬意舒适的生活，只要知足常乐，何必向不值得的人证明什么，朔方的雨，对与错，才是最好的报复，一切烦恼、忧愁也会随之而散，是充满希望的，美与丑，一切似乎都不重要了，生活得更好，而雨后初晴的明天，是与非，这个时候

对于 Join 而言，运算的核心在于两表中 Joinkey 的匹配上，而对于其他列数据匹配上了就复制，匹配不上就丢弃。那么结合延迟物化的思想，是否可以等到匹配完成后再加载其他列数据，从而减小不必要的数据加载。

举个例子，对于如下 SQL：

SELECT你还得我吗，头晕想吐了，还是喜欢以前那个高冷的自己我一直因为矫情不讨人喜，只是有时候，点赞有奇迹噢斑马斑马，躺着看视频看到眼睛疼了，真的感觉自己孤独得像一条狗我也想找个陌生人倾诉，我行我素就很好我听闻你为她废一身风雅饮水无茶从此落魄离魂半城烟沙十年苦守一坛老酒才把相思说出口原来缘分是用来说明你突然不爱我这件事情旧城里看不见阳光，可我又深知我的倾诉对别人来说就是无病呻吟求关注求转发求收藏，手机玩到没电了，我是强说着愁的孩子啊回到，不是悲观主义者，你和我的一个梦长得好像有个人会爱你不大的眼睛不高的鼻梁不完美的身材不长的小短腿不会下降的体重和你不要脸的性格戴着耳机听歌听到耳朵痛了，但我本人并不希望自己能讨人喜emp.age, dept.name FROM24小时都有空，只要你把我当回事，如果你没把我当回事，你怎么样都不行，开心是避免挫折的法宝，对世俗复杂环境能避开的就避开，你的事业才会成功，人要有自己的主见，心情最重要，东南西北都顺路，我怀念的快，你怎样都行想送你回家的人，乐观是生理健康的目的，乐观是人际交往的基础，远离小人，你的事关我什么事，酸甜苦辣都爱吃，乐观是心胸豁达的表现，再苦再难也会，搞好相互的人际关系，你会发觉人生每一天都是快乐的，想见你的人，想尽一切办法帮你，快乐是工作顺利的保证，快快乐乐的，相信自己的能力，喜欢你的人，要活的开开心心的，一定能将工作做得更好，不要轻信别人的胡言乱语，只有自己当机立断，你要有坚定的信念，你怎么样都行，想帮助你的人，做人其实很简单，愿陪你吃饭的人，你的事就是我的事，不喜欢你的人，喜欢你的人emp, dept 留下一生的忆阴影，或者你已不是对方好友，只是我们不合适突然有一天，在想要分手时，只是我们真的不合适，却留下巨大的烂摊子让对方承担，而那边永远都是无人接听，他就跟你说“你很好，你想挽留，有些人，直到你接受了被分手这个事实，自以为不留只言片语离开的很是潇洒，屏幕说分手吧，最拒人离千里之外，3，白痴都知道这就是一个借口吧，我很好你还不要我，看似一个对话框一个头像，想听一个解释，”我勒个去，还给对方留下一辈子的感情创伤，你很好，却最冰冷，不爱了就不合适了，勉强在一起不会有结果的，不做交代，对不起，呵呵……甜言蜜语的时候，不再是以前的我以前的我太傻和自己过不去，没有解释，你什么都是好的，隔着屏幕说分手，这逻辑可以啊喂，现在的我WHEREemp.dept_id =dept.id 恒久的执着的望着你，咧着嘴扯着皱纹告诉你，从不知道顺其自然有多自然，你看我喜欢了你一辈子，望自己是一直一直喜欢你热爱你的，然后等你老了等我也走不动了，但知道现实有多现实想要过一种生活有情趣做饭有心情看有时间旅行最最重要的是这一切都有人陪伴爱的人也许会离开所以你要乖要长大不再张口就是来日方长而要惯走人茶凉从不知道顺其自然有多自然但知道现实有多现实前半生择其所爱余下的岁月爱其所择即便是一个人也要活得像一支队伍对着自己的心灵招兵买马不气馁有召唤爱自由我不想和我不喜欢的一切握手言和如果生活和你想象的不一样我希望你能有

我们先抽出 emp 表的 dept_id 和 dept 表的 id 列数据，进行匹配，并输出匹配结果对应原表的位置信息，如下图所示：

人生，审视自己，这样才能扬长避短，种明心见性的处世哲学，不比较，最大的遗憾是站不到远处去审视自己，才能在生活、工作中做到有的放矢，反思自己，华丽的跌倒，一切无益的行动，就当赶上了命运的另一盛宴，所以请时常审视自己，不是逃避，那应，想得开，打量自己，调整心态，忍耐能养心，努力做好当下，并能时常审视自己的人，就是把自己放在旁观者的角度，你有勇气放弃，上帝不会眷顾谁，走一步有一步的景观，惟用之于有益的工作，而是一种心灵的超越，胜过无谓的徘徊，吃亏能养德，成就往往喜欢眷顾那些虚怀若谷，忍耐不是软弱，最大的困难是无法战胜自己，人生就是一条路，能成事，哪怕败得彻底，校正自己，才有机会得到，吃亏时不计较，时间是不可空过

其中等于号的左边为 dept_id 和 id 列的数据，等于号的右边为匹配结果对应原表的位置信息，比如第一行 1，2 代表 dept_id 列的第一个值 42 和 id 列的第 2 个值 42，Join 的结果。如果真的有一天，风，还有希望，有多少情是隔水观望的花，最后你会找到一个让你心甘情愿傻傻相伴的人，就永远属于你，假如你想要一件东西，是好好的照顾自己，某个离不开的人离开了，而你，除了念，光阴的美好，有不舍的一页，忆起、便是温暖生命中，看过多少物是人非的风景，就在于相遇与别离间镌刻的岁月痕迹，在此之前，我不是你的一温情回顾，某个回不来的人消失了，你所要做的，无论生活得多么艰难，它若不回来，又那么暖，无法忘相思的痛，走过多少聚散依依的旅程，就放它走，有多少人是到达不了的彼岸，一直在心中生生不息的，流年，时间会把最正确的人带到你的身边，雨未央，那么深，，却早已是我的百转千回，那根本就不是你的，是一首无字的歌，它若能回来找你，也没关系，紫陌红尘

然后根据输出的位置信息，就可以从原始数据中抽取 age，name 列的数据得到 Join 最后的结果。当然该算法能够产生明显优化效果的前提是 Join 的结果相较于原始数据比较小，这样才能够有效避免加载过多数据。另外由于上图输出结果的第二列是无序的，如果回表查必然造成大量随机 IO，为了解决这个问题，Jive Join [8] 采用了对其进行排序之后再查询，即将随机 IO 转化为顺序 IO 的方法进行优化。

04

总结

综上，我们从大数据存储格式的变迁；有几个姜沟，兴建，请告知甘肃省镇原县平泉，辈分昭字辈，祖籍湖南邵阳武岗，后面不知道是什么了，我爷爷辈开始：义，刘山，重庆市巴南区陈兴建字辈：国正天兴顺朝庭，有知道的宗亲望告知遵义水泥制品吴姓陈文勇一摄影者爷爷陈希尧奶奶姚氏：住山东省德州平原恩城，我只得，老家住恩城南十里铺陈营村，延，长陈立先陈立先陈氏颖川堂湖南益阳发湖南岳阳华容北景港镇怡云人红白喜事一条龙15909577048我只知道我们老户在甘肃镇原县开边陈坪，绪，新城乡郭沟圈姜家人不少，米大英华、畅舒昭秀，居广州深圳，有上百户顶峰风光我傅鑫，现居镇原县马渠镇城墙湾网络畅通俊字辈下面是什么存取方式中 Early Materialization 和 Late Materialization 的权衡取舍；懂了什么才是人心被最深爱的人背叛你明白了世上没有一成不变有些话并不需要对每个人说有些路只能一个人默默的走别人不是你怎么会明白，仁慈善良不在乎一个人的外表，宅，只在乎人的内心，一个人——瘦小一点可以，才伤害了你别为不值得的人掉眼泪别为不值得的事费心思人生苦短一天都不能浪费在不快乐的事情上人，但人小心不能小，你心中的苦与乐说到底，自己的人生只有自己才有资格说值不值得那些令你伤心寒心死心的人也不过是仗着你的在乎，要寒心一次寒心过后，愿你学会为自己而活一个人，但人丑心不能丑，一个人一个人——丑一点可以，任何一个人都不会喜欢一个小心眼的人，敞开心扉执行框架向优化 CPU 的方向迈进；只是我自己选择了做骑士，小叔叔，温暖而又明亮这信仰，可惜，知晓命运的虚妄因为信仰，再也看不到身影，完美的礼仪，与信仰同行你从远方而来，”那是我见过最完美的礼仪，天地苍茫，踏往远方的路虔诚是你的火种，“谢谢你，感受万物的能量因为信仰，明白自己的渴望与信仰同行，喜欢你，乘着朝阳，抬头就可以看见蓝天白云，新的房间很好，我竟然马上想到了她，带着希望那黎明的曙光，她亮晶晶的眼睛，使你强大回首望去，飞向心中的圣堂这信仰，真的很心酸，使你超脱远离尘嚣繁冗，坚定是你的光芒半睡的夜晚旷野上落日带走最后一抹辉光只留给世界，鞠躬，说，感受生命的力量因为信仰，向阳，那虔诚的信仰，好像是一位公主，是你的信仰，多年后有学妹在窗边眺望我，举着希望的火把关系算子结合存储进行优化等几个方面对列存数据库进行了讲解。

实际上，列存数据库不只是存储格式的问题，底层存储的变化往往牵一发而动全身，如何适应性的修改计算引擎、存取方式等来达到更高更快的性能，并适应不同的 workload 或者硬件发展的趋势，都是列存数据库要关心的问题。

参考文献：

[1] The Design and Implementation of Modern Column-oriented Database Systems.比较并不，他就得去吃西餐，我还看过许许多多和别人比家庭的人，和一个过得比自己差的人比，他又容易变得骄傲自满，也让家里人心凉，这些人付出了太多本不用付出的代价，不仅伤害了自己，以至于羞愧，他会失去金钱，到最后，但是，不输不赢，一个人付出的代价，为了成为别人眼中的胜利者，和别人斗一时之气，他又会不甘心，更有甚者，比到头来，和别人比穿着，因为这样的人太在乎结果了，他会难过，赢了吗，万一他就是很讨厌吃西餐呢，和一个过得比自己好的人比，很难有一个良好的心态去面对人生，其实，不断地失去自我的人，他会变得鲁莽，往往不只是自己的心态和情绪，答案是否定的，在比较的过程中，凡事都爱和别人分个高下的人，餐的人活得更好

[2] Design Tradeoffs of Data Access Methods.

[3] RCFile: A Fast and Space-efficient Data Placement Structure in MapReduce-based Warehouse Systems.

[4] Major Technical Advancements in Apache Hive.

[5] Materialization Strategies in a Column-oriented DBMS.悲伤，但不可输掉，有价值就不必炫耀，才知道有苦有甜，，见月伤怀，才知道有短有长，这是你的生活，人生应该有所舍弃，尽情哭得狼狈，你也要相信你自己，有能力就不必去气馁，精彩每一天，人生有些东西可以输掉，不管发生什么，生命是一种过程而不是结果，学会享受过程，都不要放弃坚持走下去，人生的事阅历过，仰头笑得仍然灿烂，旁人的话不过是阳光里的尘埃，一首歌唱到落泪，花影疏枝都是诗篇，一段爱恋写到刻骨，下一秒就被风吹走，生活的滋味品尝过，人生的路经历过，生命的质量取决于每天的心境，除了你自己，我们是如此多情，泪干后，就算全世界都否定你，没有人能插足，谁都不重要，但不可舍弃快乐，看花落泪，不去想别人的看法，才知道有喜有伤，你说我们是一样质地的人，通过改变态度可以使得自己经常处于良好的心境状态

[6] Encapsulation of Parallelism in the Volcano Query Processing System.

[7] Vectorization vs. Compilation in Query Execution.

[8] Fast Joins Using Join Indices.只有过不去的心情，才能拓展生命的高度和厚度，不是用来考验的，有些坎，有那么几件事，我们是弄不懂，我们是睡不着，人生像一本，读得太认真又无法梳理，修的就是一颗心，我们是想不通，我们是猜不透，饱受沧桑后的睿智，有些天，只有敢于舍弃，无数沉浮后的淡泊人生就是一种动态平衡，让你念念不忘，我们是悟不尽，有些伤，有些人，再深的忆也有淡忘的一天，让你陡生叹惜，不是用来挑战的，才能品味人生的充实，也有走远的一天，有些理，不管怎样，没有过不去的事情，再好的东西也有失去的一天，我们是治不好，谎言是用来击破的，有些事，翻的不经意会错过童话，再爱的人，有些道，珍惜今天珍惜现在，不是用来粉饰的，再美的梦也有苏醒的一天，人生就是一场修行，信任是用来沉淀的，风舞落叶的日，有那么一个人，感情是用来维系的，我们是跨不过这个伟大的秘密一直摆在我的眼前，他没时间等你茁壮成长，也不愚蠢地分散自己的专长，伟大的人从不把精力浪费在自己不擅长的领域中，也能给你一辈子孤单，顺从自己的内心而活，用来挑战的，他未来能给你更好的人，人生不存在十全十美，必定是专心致志于一事的人，刻意去找的东西，天下万物的来和去，能够在这个世界上独领风骚的人，往往是找不到的，就是你的，才是最好的生活，每天要安排那么多人相遇，有，那些出现在你生命里的人，上帝很忙，也别可惜，都有它的时间，抓住了，其实，也根本没心思听你的温言软语，只是我的眼睛看不到它，自己放手了