随着每个人都在推动实时分析、响应速度更快的在线服务以及针对网络犯罪的更多保护，数据弹性已成为前沿和中心。简而言之，数据必须随时可用。这需要将传统思维转变为数据弹性策略，认识到它不再是一个技术问题；这是一个商业问题。
Precisely 的首席数据和信息官 Amy O’Connor 说：“弹性数据架构就是在正确的时间将正确的数据纳入正确的决策流程。” “为了适应当今决策过程的不断增长的速度和范围，数据架构必须高度可用，必须按需扩展，并且必须支持机器学习和人工智能等自动化决策。”
长期以来的挑战是，数据弹性一直是一个死水的 IT 问题，在业务层面并不紧迫——这种态度近年来一直在发生变化，尤其是随着大流行造成的破坏。过去 2 年一直是组织加强其数据运营的警钟，”Lexmark International 转型解决方案全球副总裁 Sudhir Mehta 说。“公司现在正在研究能够轻松适应所有类型风险的数据架构，而不仅仅是自然灾害或网络中断的狭隘焦点。正在进行的远程工作、供应链中断和越来越多的网络攻击的影响都有助于扩大数据弹性的范式。与此同时，弹性使组织能够发现新的创新方式，
这种危机的汇合使数据弹性成为最高级别的业务优先事项。Yugabyte 的创始人兼首席技术官 Karthik Ranganathan 表示：“通常情况下，弹性被视为对数据库的补充。” “但这会给未来带来很多痛苦。它在操作上也很昂贵并且难以执行。这使得花必要的时间在数据架构中设计适当级别的弹性非常重要。”
问题和挑战
COVID-19、竞争和网络犯罪正在提高人们对数据弹性需求的认识。“竞争是弹性数据架构的关键驱动力，”OvalEdge 首席执行官 Sharad Varshney 说。“组织必须能够比竞争对手更快地计算和访问分析。弹性数据架构提供了确保企业保持领先所需的敏捷性和可扩展性。他们可以避免手动扩展、报告瓶颈和分散数据问题的高成本。”
数字组织的兴起意味着网络犯罪分子的攻击面更大，更多数据面临风险。“数据越来越多地存储在多个云、SaaS 应用程序和边缘，”Druva 首席技术布道者 W. Curtis Preston 说。“这意味着数据中心不再是数据中心，这会带来更多的复杂性和风险。组织一直面临着试图跟上大量网络攻击的步伐。这些挑战推动了构建更具弹性的架构的需求，以确保数据安全，并确保在攻击发生时恢复快速且易于管理。”
数据在集中式和分散式环境之间的转移是需要弹性的另一个普遍因素。SAS 数据管理高级经理 Tapan Patel 表示，数据引力不断从集中式转向分散式。“当组织努力应对相互冲突的数据连接、集成和治理需求时，这会造成障碍和压力。随着数据复杂性的增加，提供可靠和可信的数据变得更加耗时、昂贵、劳动密集和孤立。”
数据弹性对于避免级联故障至关重要，级联故障对当今高度网络化的企业构成持续威胁。ISG 认知和分析首席顾问 Sush Apshankar 表示：“这是由于不同类型的依赖关系导致的小型本地故障导致整个系统瘫痪。” 例如，他说，“当一个集群出现故障并且其所有流量都转移到另一个集群时，就会发生过载。弹性架构使企业能够更加自给自足，更快地响应变化。”
弹性的组成部分
从用户和技术的角度来看数据弹性很重要。“从用户的角度来看，弹性通常由应用程序在发生意外中断时的持续性能来定义，”施耐德电气战略计划总监和解决方案架构师 Carsten Baumann 说。“从硬件的角度来看，网络、存储和计算平台必须是可操作的或提供确保应用程序继续执行的冗余级别。再往下看硬件堆栈，功率是最关键的。没有它，就无法提供任何所需的服务。这些基本要求经常被忽视。”
对实时计算的支持需要成为数据弹性计划的核心。“随着用户采用在线业务应用程序、移动应用程序和流媒体应用程序，利用实时数据是一项最高分析要求，”Patel 说。下一代数据架构“需要默认支持实时数据处理。传统的数据架构倾向于将数据资产锁定在存储库中，从而减缓洞察力和应用程序开发。”
GCOM 数据和分析副总裁、弗吉尼亚州前首席数字官 Carlos Rivero 表示，弹性数据架构“必须围绕提供持续服务的能力构建——无论如何”。“这意味着必须尽量减少网络或连接故障的机会，因为它们是最常见的服务中断源。” Rivero 还指出了管理云以提高弹性的重要性，并指出“必须谨慎选择多个可用区域进行备份和数据存储，并且这些不同的区域必须跨越多个地理区域，且底层基础设施既互斥又冗余。 ”
低估“公共云中的区域级故障保护可能是有问题的，”Ranganathan 表示同意。“地区可能因多种原因出现故障，例如暴风雪、建筑物火灾和长期停电。”
Heavy.ai 工程副总裁 Pey Silvester 表示，在开始数据项目之前建立数据架构组件“是了解数据将如何使用以及它将如何为业务带来价值的关键一步。” “对于弹性数据架构，组织将大数据架构框架作为数据基础架构和解决方案的蓝图非常重要。该框架定义了大数据解决方案的工作方式、必须使用的组件、信息的流动方式以及关键的安全细节。”
多云方法也应纳入弹性数据架构规划。“现在数据存在于多个云中，弹性架构必须能够帮助您保护数据，无论数据位于何处，”Preston 指出。“这包括建立在三个原则之上的多云控制面板：无基础设施、全球政策和具有中央监督的自助服务。通过自助服务，您可以将责任委托给数据和应用程序所有者，同时保持集中控制。”
Rivero 说，存储也是经常被忽视的等式的重要组成部分。“底层存储组件必须优先考虑数据本身的质量以及随附的元数据，同时能够无缝扩展或替换存储选项，”他说。“这些属性是基于云的技术的特征，它将大部分计算、处理、传输和存储活动从现场转移到安全的托管环境中。”
此外，从技术角度来看，本地弹性数据架构应该包括“物理分布式资源和每一层的负载均衡，以及基础设施监控、应用程序监控和服务监控——CPU负载、内存使用、查询执行、之间的交互不同的服务和应用程序组件，以及字节数，”Apshankar 说。在云层面，弹性数据架构应该建立在“一个开放且无缝的数据架构上，包括数据准备工具、数据可视化工具和敏捷协作工具”。理想的方法需要是“基础设施即代码，其中包括多个代码、数据中心、环境、模板和执行”。
障碍
当然，构建弹性数据架构并非一朝一夕的过程。将会出现一些障碍——不仅是技术上的，还有组织上的。“数据通常是在内部孤岛中创建并受到内部孤岛的限制，这些孤岛会阻止实时信息被广泛共享。如果无法访问数据，分析工作就会在团队之间重复，否则丰富的数据就会变得多余，”Mehta 说。
IT 团队正在努力跟上当今数据弹性挑战的步伐，“因为他们中的大多数仍在运行为不同时代设计的备份系统，”Preston 警告说。Preston 说，本地备份系统需要显着增强和安全升级，才能在当今每分钟多次勒索软件攻击的环境中发挥作用。“此外，由于全球人才短缺，IT 团队人员严重不足。这两件事加在一起意味着要做更多的事情——用更少的人来增强备份系统。
云服务可以帮助缓解其中的许多挑战。然而，“太多的组织无法利用原生云服务来帮助改进他们的数据架构，”Rivero 说。“此外，遗留技术是弹性的重大障碍。与其对现代化和云采用使用提升和转移方法，组织明智的做法是记录哪些业务流程有助于提供最关键的服务的质量数据。” 此外，他补充说，许多“提供开箱即用弹性的数据库可能没有所需的功能集。使用功能集有限但具有弹性的数据库来补充现有数据库是很诱人的。随着时间的推移，这种方法通常会严重影响功能开发的敏捷性。”
技能可用性是另一个面临挑战的领域，需要“寻找并留住数据工程、数据治理和数据科学所需的人才，”O’Connor 说。“大多数数据专业人员仍然花时间准备数据以用于分析用例，无论他们的角色如何。” 数据分析师、数据工程师和开发人员“在构建和生成协作数据管道方面面临着各种瓶颈，”Patel 说。“随着业务规则变得更加动态，传统的数据集成模式不够灵活，无法满足现代用户和应用程序的新需求。”
一个新时代
行业领袖和专家表示，这是数据弹性的新时代，因为它已获得企业的充分关注。这就是为什么将数据驻留计划放在企业 IT 议程的最前沿很重要的原因。以下是他们对开发高弹性数据架构的建议。
与业务保持一致。为了确保更大的数据弹性，行业领导者和专家强调需要使这些努力与企业保持密切联系。这有助于确定投资于员工时间和技术以提高弹性的优先事项。“制定适合企业需求的弹性战略，”鲍曼说。“明确应用程序失败时对业务的影响有助于制定切合实际的预算。” 这应该建立在“数据架构的用例方法”之上，Patel 建议道。“拥有一个框架来添加一个新项目（例如在现有数据仓库中添加一个数据湖）来满足需求并利用已有的优势可能是务实的。”
尽可能自动化。自动化需要成为所有弹性数据架构的关键部分。Preston 说，弹性数据架构“应该完全自动化并持续监控，最好是通过能够主动识别、警告和响应数据基础架构中的问题的系统”。“备份的存储方式应能防止恶意活动、意外删除或其他损坏。这应该包括使用军用级加密对传输中和静态的所有备份进行加密，并存储多个备份副本，其中至少一个副本与生产环境隔离。最终，这将有助于 IT 团队保护数据并在发生大规模删除或网络攻击时快速恢复，而无需支付赎金。” 手动数据管理“已成为过去。
评估技能、才能和不足。“建立一个强大的、功能强大的团队，”帕特尔建议道。为了使弹性数据架构栩栩如生，重要的是促进构建和运营数据管道的数据生产者与数据科学家和业务分析师等数据消费者之间更紧密的协作和交接。”
Patel 还建议了诸如 DataOps 之类的方法，这些方法将提供“一种结构化的方法来编排和自动化数据生命周期，包括适当的开发、测试、部署和监控数据管道。” O’Connor 建议通过“自动化数据架构中更可重复的任务来缩小这一人才差距。数据质量分析和改进、数据丰富以及数据编目和治理是可以找到好的工具来自动化部分工作的领域。”
看全图。如前所述，数据弹性已超出 IT 的界限，成为业务优先事项。Rivero 建议，专注于“构建能力而不是系统”。“与其将业务功能视为更大组织的独立、离散组件，不如将每个业务功能视为一种能力，在使用通用功能和利用共享数据的同时，有助于其整体成功。因此，设计互操作性而不是希望集成是很好的第一步。” 此外，Rivero 说，重要的是要了解各种业务流程如何支持服务交付，并有助于将数据收集到可操作的洞察力、服务到结果的各个点联系起来。
终极目标
归根结底，弹性数据架构的目标是“提供高度完整性的数据——准确、一致并富含上下文信息，”O’Connor 说。她补充说，这是出于“对主数据管理、数据集成和转换、数据分析和质量管理以及直接的丰富过程”的支持。“一个有弹性的数据架构必须具有确保数据隐私得到保障的政策、程序和操作能力。
作者：Joe McKendrick
文章来源：https://www.dbta.com/Editorial/Think-About-It/Exploring-The-Key-Pillars-of-a-Modern-Resilient-Data-Architecture-152329.aspx?PageNum=5
