孤岛使有效治理和发现变得复杂
随着生成式人工智能和大型语言模型 (LLM) 的出现，企业竞相从其数据资产（包括应用程序和模型）中释放尽可能多的商业价值。不幸的是，这些数据资产通常被锁定在多个云服务提供商和解决方案以及不同合作伙伴、客户和供应商生态系统的孤岛中。随着孤岛数量的增加，发现和民主化访问变得非常困难，并且管理在不同治理模型的不同系统之间移动数据资产的相关安全风险和成本变得极其复杂。
使用 Snowflake Horizon Catalog 简化大规模治理和发现
Snowflake 从成立之初的核心目标就是打破数据孤岛，以简单、一致的方式提供所有数据。然而，让数据访问变得简单还不够：还必须让数据查找变得简单、协作变得简单、组织的所有数据管理变得简单。这些见解激励我们构建 Snowflake Horizon Catalog。
通过 Horizon Catalog，我们力求构建一个能够反映我们对简单性和统一性的不懈追求的目录。Horizon Catalog 的核心是 Snowflake AI 数据云的统一全球存储库，其中包括结构化、半结构化和非结构化数据；模型；Snowflake Notebooks；Streamlit；Snowflake 原生应用；以及列表。在此存储库的基础上，我们围绕以下五个主题构建了一套功能：
-
安全性：Horizon Catalog 建立在强大的安全基础之上，包括强大的网络安全、强大的身份管理和身份验证，以及通过信任中心进行的持续风险监控和保护。此外，跨云的集中式基于角色的访问控制 (RBAC) 可帮助您确保数据从进入到使用时都受到保护。
-
合规性：Horizon Catalog 为客户提供工具来确保数据访问受到控制和审核、数据具有高完整性以及数据用于适当目的，具体通过以下功能实现：敏感数据检测的自动分类；保护数据的细粒度授权策略，例如通过基于标签的屏蔽和动态数据屏蔽；以及数据质量监控和数据沿袭可视化。
-
隐私：组织通常会出于隐私考虑而限制数据的使用。Horizon Catalog 的高级隐私功能（例如合成数据生成、差异隐私政策和 Snowflake 数据清洁室）可在保护隐私的同时实现数据分析和协作，从而开辟新的可能性。
-
发现：用户必须能够找到他们需要的数据、应用程序和模型，理解它们并无缝访问它们。无论数据格式或位置如何，Horizon Catalog 都可以无缝发现对数据进行操作的内容（数据、应用程序和模型）。
-
协作：Horizon Catalog 可实现与客户和供应商的安全协作，而无需在组织内部和外部移动数据。客户还可以使用Snowflake Marketplace中的第三方数据集、应用程序和 AI 产品来丰富和解锁他们的数据 。
在我们构建 Horizon Catalog 时，激励我们的一个核心原则是大规模易用性：即使是一个小团队也应该能够通过一套工具来保护和管理最复杂的数据资产。Horizon Catalog 的构建旨在易于使用，因为它具有以下特点：
-
多云和全球：您的数据资产可能跨云和区域，包括您的合作伙伴、客户或供应商可能存储数据的位置。Horizon Catalog 可帮助您使用单一治理和安全模型管理数据资产，该模型可在各个区域和所有三大云（AWS、Azure 和 GCP）以及受监管市场的主权云中一致运行。
-
通过设计实现集成：您不想花费宝贵的时间和资源来构建通常脆弱且不可靠的自定义集成。Horizon Catalog 的治理功能、发现界面和请求工作流通过设计实现集成，可帮助您确保执行的一致性和可靠性。例如，Horizon Catalog 的内部市场与治理和访问控制完全集成，为技术和业务用户提供简单的自助服务机制。同时，Horizon Catalog信任中心提供单一、统一的管理平台，可简化跨云安全监控，以发现安全风险并提供解决建议。
-
由 Snowflake Cortex AI 提供支持： Horizon Catalog 利用 Snowflake Cortex AI 来自动化和增强过去手动执行的任务。为了实现数据管理的自动化，Horizon Catalog 与 Cortex AI 集成，以智能地生成对象和列描述。您可以使用AI 支持的自然语言搜索来发现所需的数据。最后，您可以使用 AI 通过Snowflake Copilot、Cortex Analyst和Cortex Knowledge Extensions来理解和分析您的数据——所有这些都具有直观的自然语言界面。
-
可互操作：您需要一个平台，让您能够灵活地使用开放表格式以最大限度地减少锁定，并让您可以自由地为正确的工作负载选择正确的工具。Horizon Catalog 与 Apache Polaris（Apache Iceberg Tables 的开源目录）以及 Snowflake Open Catalog（由 Apache Polaris 提供支持的托管服务）集成，不仅可以无缝管理 Snowflake 内的对象，还可以无缝管理 Snowflake 之外的开放 Iceberg 对象。通过将 Horizon Catalog 的治理和发现功能扩展到由 Apache Polaris 和 Snowflake Open Catalog 中的任何其他兼容引擎创建的 Iceberg Tables，这种集成为企业提供了前所未有的数据选择、灵活性和控制力。Snowflake Horizon Catalog 合作伙伴生态系统进一步将 Horizon Catalog 的功能扩展到 Snowflake 和 Iceberg 之外。
借助 Horizon Catalog，数据管理员、管家、安全管理员和首席信息安全官可以了解、保护和审计跨地区和跨云的帐户和资产，同时允许数据团队在全球范围内发现、访问和共享数据、服务和应用程序，而无需 ETL。Horizon Catalog 建立在 Snowflake 在数据共享方面的现有领导地位之上——成千上万的客户在组织内部和跨组织共享数据，并在 Snowflake Marketplace 上采购数据或应用程序——以及在数据治理和安全方面的领导地位，拥有成千上万客户信赖的 RBAC、分类、标记和细粒度策略。同时，Horizon Catalog 将这些领先的原生治理和发现功能扩展到开放表格式，以增强跨元数据管理系统、查询引擎和云基础设施的互操作性。
原文地址：https://www.snowflake.com/en/blog/horizon-catalog-data-governance/
原文作者：
Prasanna Krishnan
Artin Avanes
