星环分布式存储TDDMS.pdf
10墨值下载
背景介绍
2000 年以来，随着互联网和计算机技术的快速发展，需要处理的数据量更大、类型更丰富、速度要求更
快，传统集中式计算架构已无法适应数据海量、异构、多源等特点，在部署的扩展性、容错性、经济
性、灵活性等方面有一定局限性。比如集中式存储数据中心多是集中在一个专门的存储阵列系统中
（EMC的机柜式存储），机柜中有个专门的控制器用于业务端访问，底层将所有的磁盘抽象为一个资源
池，然后在抽象给上层业务使用。可以看到，这个控制器是所有数据链路的入口，在分布式计算技术
下，如果大量的计算都涉及比较高的IO带宽，那么这个入口就会成为性能瓶颈点。
谷歌于2003 年-2006 年间的三篇论文奠定了分布式存储和计算的基础。2006年，Apache基金会创建了
Hadoop开源项目，用来解决大规模的数据存储和离线计算的难题，开始解决商业场景下的技术问题。
分布式计算：当一个计算任务过于复杂不能被一台服务器独立完成的时候，我们就需要分布式计
算。分布式计算技术将一个大型任务切分为多个更小的任务，用多台计算机通过网络组装起来后，
然后将每个小任务交给一些服务器来独立完成，最终完成这个复杂的计算任务，大幅度的提高了性
能、弹性、可扩展性。Google是分布式计算的引导者，其发明的MapReduce计算框架是第一代被
成功用于大规模生产的分布式计算技术，而后Apache Hadoop社区实现了这个技术并开源，后被
业界大量采用。
分布式存储：分布式存储服务的原理是通过文件服务层将每台服务器上的磁盘设备统一管理和使用
起来，通过软件的方式来实现可靠性和资源池化，而无需将所有的存储集中起来，数据分散运行在
廉价的服务器上，提供了灾难冗余、存储弹性伸缩等能力。Apache HDFS谷歌在2003发表的
《Google File System》架构做了第一个开源的分布式存储的实现，并被企业界大量落地使用，推
动着开源社区迅速的完善该技术，逐渐成为私有化场景下分布式存储的一个事实标准。
星环科技基于分布式软件架构设计了全新的大数据技术栈，实现了统一的分布式计算技术、分布式一致
性技术、分布式存储管理技术和分布式事务管理技术。解决了上述技术挑战之外，还采用了统一、融合
的大数据技术架构，企业用户无需在不同的数据模型中引入不同的产品，仅需使用统一的计算、存储进
程，降低了成本，提高了数据处理的效率。并且，基于统一的数据存储层，同一份数据用户无需在不同
的数据模型中进行全量存储，不同模型只需要存储必要的数据内容即可，充分降低了企业用户的数据持
有成本，提升了数据开发和运行的效率。
得益于星环科技统一的计算引擎，用户既可以统一的使用SQL语言访问编译器，也可以使用丰富的API接
口来操作不同模型中（如表、文档、图等）的数据。统一的计算引擎抽象掉了底层的技术复杂度，用户
无需学习新的编译语言就可以轻松实现各类复杂跨模型查询，相比起散装架构，四层统一架构在开发成
本、运维成本以及学习成本上都极具优势。
本系列文章将先围绕分布式存储技术展开，有关分布式计算技术的技术解析待这系列文章更新完毕后讲
展开介绍。
分布式存储技术的架构挑战
从抽象的视角来看，一个分布式存储系统就是建立一个从访问路径（文件路径、块地址或对象哈希）到
实际数据的映射关系，并且可以支持读写。但是，这些数据是分布在不同服务器的不同的硬盘上，因此
整个系统需要考虑资源协调、容错性保障以及可扩展性等多个方面。下图是一个概念上的架构图，可以
看出来分布式存储技术的关键功能及挑战包括：
数据和元数据的数据分布、管理和读写策略，保证系统的可扩展性及一致性；
如何快速的找到元数据和数据，提供数据读写能力，尽可能的数据本地化计算，保证系统的性能；
数据的冗余、备份和协调策略来保障高可用；
冷热数据存储、数据压缩与数据去重等技术，保证海量数据存储的经济性；
良好的用户开发接口兼容性，如POSIX FS、S3、NFS协议等；
跨平台能力，譬如支持Linux、Unix和Windows系统等；
分布式存储的事务能力和安全能力；
分布式一致性技术是分布式系统的核心基础技术，星环自主研发的统一的分布式数据管理系统TDDMS实
现了分布式一致性技术，提高了分布式存储系统的可靠性、可用性和可扩展性。并且还支持跨数据中心
的部署，提供数据灾备能力和实时故障迁移等能力，实现了“两地三中心”等部署方式。
TDDMS是什么
TDDMS是星环自研的一个分布式数据管理系统，该系统搭建了一个通用的分布式存储处理框架，提供了
数据的分布管理、元信息管理、分布式事务、分布式一致性协议以及数据高可用保障。TDDMS 支持多
种不同的数据模型，并为不同的数据模型提供了格式化的数据读写接口，便于分布式计算引擎进行数据
读写等操作，真正实现了多源数据的高效融合。
与HDFS/TDFS等分布式文件系统定位不同，TDDMS本身不对外提供数据/文件存储服务，而是通过与存
储引擎结合的方式，对接不同的存储引擎插件，提供不同的数据模型，目前已接入包括列式关系存储引
擎Holodesk，图关系存储引擎StellarFS，倒排索引搜索引擎Lucene，以及KV存储引擎Tab（内置，不
对外提供服务）等多个存储引擎。
of 13
10墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论