重磅分享 | 如何构建企业级数据超市？

麦聪软件 2022-01-19

536

随着企业发力数字化转型战略，数据的价值不断被挖掘和释放。麦聪软件作为数据消费数据超市领域领导者，在业内率先开发出适合企业内部数据超市产品，提升了企业数据消费能力赋能业务数字化，打通数据资产化最后一公里。本文将从以下几个方面分享—如何构建企业级数据超市赋能业务数字化。

数据超市的要素是什么？

数据超市的最重要的目标之一是将数据治理从用于数据采集、集成、存储、处理和利用的基础技术中抽象出来。

数据管理功能通常是从技术角度设计的，其中考虑的最重要的功能通常是性能、集成能力、处理能力、数据量、容错、高可用性等。然而，许多设计并没有更多的从业务功能角度考虑到数据消费、数据治理或用户体验互操作性能力。

除此以外一个组织需要有一个横向的数据视野，更接近业务语言，促进潜在数据消费者的访问和利用，这意味着这些功能设计必须由一个更高的层次视角来补充，允许实施和操作一个有效和高效的数据治理与技术无关的视野。

数据统一服务平台整体的功能架构

数据管理产品的核心应该主要是解决用户“找数难”和“消费难”两个主要的问题。同时对于集团数据资产化管理来看，可以集中管控集团需要管理的各个数据资产并进行业务分类，提高数据管理能力；对于业务用户来说，用户可以方便地获取需要的数据，提高企业对业务用户的数据消费能力，贯通企业不同的业务人员的数据需求。

如上图是数据统一服务平台整体的功能架构，权限的管理贯穿于数据统一服务平台的每个阶段。针对用户端的主要功能在于元数据的全文搜索和API的服务发布这一块，以完成用户对数据查询和数据获取的直接业务需求，最终来解决用户“找数据难”和“消费难”两大问题。用户可以对业务元数据和标签进行修改，以达到业务数据不断满足用户实际应用的需求。在API服务发布和消费的情况下，用户的高并发查询和大数据量的数据下载和访问是用户获取中很重要的两个点，用户对元数据的全文检索是有效降低用户使用数据难度的重点支撑，满足用户对数据消费的需求是整体系统的主体设计目标。基于上述的一系列功能最后通过数据超市打通数据消费的最后一公里，让业务用户可以自由消费企业内部数据。

麦聪软件数据超市主要功能展示如下：

市场门户

数据消费明细

如何成功的部署企业数据超市？

正如我们所知，单靠技术并不能解决所有数据管理使用的问题，所以根据麦聪的实际项目经验给出一些提示，可以降低数据超市的实施风险，快速获得成功。

转变思路，思考商业结果的最大化（例如，利润增加、成本降低、效率提高...），而不是底层的技术流程或只考虑监管的合规性。
定义一个基于角色和数据领域的合作治理模式，明确所有利益相关者的责任和职能（例如，业务领域的数据管理员，作为交叉角色的数据架构师，技术资产管理的数据工程师...）。
尽快让治理模式的参与者和利益相关者参与进来，并让他们参与到变革中来，寻找战略盟友。
定义一个元数据目录，使你能够根据当前的需求，从业务和技术的角度汇集你的组织的数据资产的所有知识和背景，但也考虑到未来的需求。
定义数据生命周期管理的流程，从集中式元数据存储库中不断完善企业元数据信息，同时充分考虑新的技术架构（数据湖，微服务架构等）带来的变化。
促进数据生产者和数据提供者充实元数据，以及消费者对其理解、潜在用途和新需求的反馈。
开发和实施数据超市治理层和数据平台之间的双向整合，从治理的角度改善数据资产的管理，不受数据采集、存储、转换、处理和利用技术的限制影响（例如，元数据提取的自动化，数据访问权限管理的主动治理，审计日志监控等）。
设计一个具体的沟通计划并促进变革管理。
从一个用例的实施开始，然后扩展到其他数据领域、系统或项目。
提供并加强员工在数据管理实践、数据素养和分析能力方面的培训。
建立一个与需求管理相结合的数据统一服务平台，以促进所有利益相关者的日常运作。
为数据资产定义分类标准，以帮助数据管理（如业务域、信息敏感性、适用法规......）并促进其使用。
将业务资产相互联系起来，并与技术资产联系起来，创建语义图和知识图，以促进其理解。
创建仪表盘、指标和警报，以监测数据超市及其流程，并注重持续改进。