在 Databricks，我们（健康地）痴迷于构建和寻找解决客户最大痛点的新方法，以便他们能够在所有数据中释放新价值——无论他们在组织中的角色如何。数据网格通过让团队完全控制其生命周期，同时实现更多的自助服务，帮助解决其中的一些挑战。数据湖库架构通过启用去中心化的方法来存储和处理数据，帮助组织推动他们的数据网格之旅，同时仍然集中安全、治理和发现。
这就是为什么今天，我们很高兴推出 MeshaVerse，这是一个由 Lakehouse 提供支持的数据网格，可让您通过 VR 驱动的体验对您的数据进行全面的交互式控制。MeshaVerse 通过您的Virtual Lakehouse中的可出租房间在您的 Delta Lake 数据之上引入了一个新的增强现实层。要开始使用，您只需要使用 Delta Lake 数据的虚拟克隆：
- 创建房间 sales_data
- 虚拟克隆 source_table_name
- 位置 MeshVerse/room
MeshaVerse 完全从基于云的 Lakehouse 中抽象出您的数据。MeshVerse 中实际上没有存储任何数据或元数据——不再有数据安全挑战或合规噩梦。
虚拟域数据作为产品
在通往数据网格的道路上，我们发现许多数据团队仍在努力发现和使用孤立的数据。为了解决这个问题，我们正在转向虚拟分布式域驱动架构中的虚拟数据。
随着 MeshVerse 连接器的开发，我们的工程师通过跨建筑量子的增强数据现实体验构建了 Lakehouse 的虚拟抽象数据室。这使数据团队能够将其数据的完整抽象构建到虚拟数据集中，创建虚拟域数据，然后可以使用与供应商无关的 VR 耳机或智能眼镜来使用这些数据。
作为产品的虚拟域数据通过满足以下要求，帮助数据团队将严格的数据集应用于数据集：
- 可发现：在虚拟房间中，可以使用 MeshVerse VR 智能眼镜发现数据。通过交互式体验，数据科学家、数据工程师和开发人员可以用手探索虚拟数据集。
- 可寻址：用户可以在 Lakehouse 中租用房间，使数据可以通过房间号直接寻址。
- 可共享：协作是 Databricks 的核心。借助 MeshaVerse，数据从业者可以在房间内会面，探索和分享多语言 delta 产品。
- 安全：在 MeshVerse 中没有可访问或可用的数据 - 即使使用基于角色的房间钥匙卡 - 安全性是无懈可击的。最大限度地减少安全威胁，同时简化法规遵从性。
这个怎么运作
在设计 MeshVerse 时，我们的主要重点是保持去中心化，同时确保数据可靠性、数据质量和规模。我们的新方法包括实现 Dymlink，一个数据湖中的符号链接，以及一个新的 SlinkSync（符号链接同步），一个将 Dymlink 链接在一起的符号链接——类似于链表。
通过确定哪些符号链接可以组成一个集合——使用直接概率匹配或间接逆概率匹配——我们能够推断出非发散序列的收敛标准（即数据的压缩表示），同时始终确保我们保持在曲线的梯度。因此，我们能够防止无限递归，这种递归可能会使从数据网格中检索到的所有数据过时。请继续关注未来的博客，我们将深入探讨这种方法。
使用更新的Databricks Brickchain实现实时和大规模地确保此虚拟数据的完整性，利用所有全球计算能力，因此提供了以一小部分足迹存储整个地球数据的潜力。
MeshaVerse 原则
Data Mesh 的实用性很大程度上归功于它的核心操作原则。根据这种方法，我们开发了自己的一套 MeshVerse 原则，旨在增强数据团队的能力并简化虚拟数据用例：
增强的数据所有权和架构
MeshVerse 中的域数据通过 MeshVerse AR 生成的感知信息得到增强，有时跨越多种感官模式，包括视觉、听觉、触觉、体感和嗅觉。MeshVerse AR 可以定义为一个包含三个基本特征的系统：真实数据和虚拟数据的结合、实时分析以及虚拟数据的准确 3D 配准。
数据作为捷径
数据爆炸是真实存在的。随着企业以指数方式积累更多数据，他们面临着数据沼泽和扩展挑战。MeshaVerse 系统地设计用于减少对数据流和管道构建的需求。通过我们的 VR 护目镜，与您的数据保持一致。即使所有这些都不是现成的。无需编码。
自助体验
类似 Airbnb 的体验，在 MeshVerse 内租一个房间。单独或与您的整个数据团队一起进行更加简化的协作。从一系列预先设计的 Lakehouse 设置中进行选择。
联合计算治理
数据的符号链接表示作为加密哈希存储在 Brickchain 中的块中，使任何参与方都可以验证数据是否完全安全。在 Brickchain 元数据的分布式账本的点对点网络中，在联合架构中进行管理。
下一步是什么
MeshaVerse 是 Databricks Lakehouse 的下一个演变，它加速了我们使 Databricks 变得简单、开放和多现实的愿景。这就是为什么我们将成立一个专门用于 MeshVerse 的新研发办公室。敬请关注更多详情！
原文标题：Introducing the MeshaVerse: Next-Gen Data Mesh 2.0
原文作者：Henning Kropp, Ioannis Papadopoulos, Ryan Simpson and Tahir Fayyaz
原文地址：https://www.databricks.com/blog/2022/04/01/introducing-the-meshaverse-next-gen-data-mesh-2-0.html
