随着人工智能技术的成熟,数据库管理正在迅速发展。本次互动探索探讨了自动化的优势所在、人类专业知识仍然必不可少的地方以及数据库专业人员的未来发展方向。
数据库管理中人工智能的兴起
将人工智能驱动的自动化和智能分析集成到数据库管理中正在重塑 DBA 的工作方式,在提高效率的同时带来新的挑战。随着组织继续创建和提取更多数据,对 DBA 的需求呈指数级增长:
- 需要管理的数据量更大
- 更多来源的数据类型更加多样化
- 更快的访问速度和最短的停机时间的要求
- DBA 数量相对较少,管理压力更大
AI 现在可以自动执行的任务
日常维护
-
传统方法:手动安排和监控备份、补丁和安全更新。 人工智能方法: Oracle 自治数据库等系统可自动处理备份和修补,无需人工干预。
-
DBA 的经历: “去年,我每天要花 3-4 个小时来确保我们的备份作业成功运行并安排维护窗口进行修补。这是令人麻木的工作。现在有了我们的人工智能自动化套件,我甚至不用考虑这些就能完成。我实际上有时间去解决几个月来一直搁置的数据库迁移项目。系统甚至会向我发送一份简单的每日摘要,介绍它在一夜之间处理的内容——不过说实话,我只有在无聊的时候才会看一眼。”
-
时间比较:曾经每天需要花费 3-4 个小时的工作现在可以自动完成,从而让 DBA 可以腾出时间进行战略工作。
性能调优
-传统方法:手动审查执行计划、统计数据和运行缓慢的查询。人工智能方法:人工智能驱动的查询优化可以分析现有的查询访问计划,并根据实际执行指标提供调整建议。
-
DBA 的经历: “还记得我们必须手动筛选执行计划并花费数天时间弄清楚为什么一份报告突然需要 20 分钟而不是 20 秒吗?我们新的基于 ML 的性能监控工具上周在用户注意到之前就发现了库存管理查询的一个问题。它根据不断变化的查询模式确定我们需要一个额外的索引,甚至为我生成了创建脚本。在实施之前我仍然对其进行了审查——我想是习惯使然——但它是正确的。该工具不断同时监控数千个查询,这是我手动永远无法做到的。”
-
效率提升: AI 可以同时持续监控数千个查询,这是人类 DBA 无法做到的。
预测问题解决
-
传统方法:问题发生后进行被动故障排除。人工智能方法:使用历史数据和实时信息预测潜在故障并提供补救建议。
-
一位 DBA 的经历: “周五下午,我正要出发参加女儿的足球比赛,这时我们的预测分析工具提示我:‘根据目前的增长模式,PROD-DB3 上可能在 48 小时内出现存储问题。’在过去,周日晚上数据库因为空间不足而下线时,我一定会接到恐慌电话。相反,我花了 10 分钟向卷中添加存储,然后才出发。我的周末一直很幸福,没有受到任何干扰,公司里甚至没有人知道有潜在的问题正在酝酿。系统估计,我们将在周日晚上 7 点左右达到关键存储,就在我们亚太地区办事处开始周一工作的时候。”
-
影响:通过在问题影响用户之前及早发现问题,可将停机时间减少高达 70%。
安全监控
-
传统方法:手动审查访问日志和安全警报。人工智能方法:机器学习算法分析访问模式,识别异常行为,并对潜在的安全漏洞发出警报。
-
一位 DBA 的经历: “我们的安全监控过去总是由我一有时间就扫描日志组成——老实说,这还不够频繁。上个月,我们的 AI 安全工具标记了一些有趣的事情:我们的一名开发人员在凌晨 2 点从一个从未见过的 IP 地址访问客户信用卡表。原来他当时正在海外度假,登录后没有通过 VPN 修复生产问题。虽然没有恶意,但这正是过去经常漏网的事情。系统全天候监控并了解每个用户的正常情况,这是我手动永远无法做到的。”
-
覆盖范围提升: AI 可以全天候监控 100% 的数据库活动,消除人工监控差距。
人类 DBA 仍优于人工智能的地方
复杂情境问题解决
- 真实场景: “上个季度,我们的电子商务平台每周二和周四上午 10 点左右都会出现这些奇怪的减速现象。我们的监控工具中没有出现任何问题 - CPU 正常,I/O 正常,内存利用率良好,没有阻塞或锁定问题。AI 性能调优系统一直建议我们已经实施的相同通用优化。
在咖啡机旁与营销团队聊天后,我终于把这些点联系起来了。原来,他们当时正在为每两周一次的活动分析运行大量数据提取,使用复杂的连接来访问我们的客户交易历史记录,这些连接虽然没有触发我们的正常阈值,但却造成了足够的资源争用,导致网站速度变慢。
人工智能完全错过了这个问题,因为它只是孤立地查看数据库指标。需要通过走廊对话并了解更广泛的业务运营才能解决这个问题。我们重新安排了他们的提取以在夜间运行,问题就完全消失了。无论多少查询调整都无法解决这个问题!”
- 人类为何在此表现出色:将不同系统中看似不相关的事件联系起来需要情境理解,而这正是人工智能系统目前所缺乏的。
驾驭组织政治
- 真实场景: “我们需要在主交易表上实施分区以提高性能。从技术上讲很简单,但需要维护窗口。销售部门希望将其推迟到季度末之后,营销部门需要在大型活动启动之前完成,财务部门担心月末报告,而首席执行官将在周五向投资者演示该系统。
AI 项目管理工具只是坚持“最佳技术实施日期”,而没有意识到这些相互竞争的优先事项。我花了三天时间开会,做了无数妥协,为人们买了很多咖啡,甚至同意在周六凌晨 2 点来上班,以尽量减少对副总裁的宠爱项目的影响。
最终,我让所有人都同意了一个适用于所有部门的解决方案。人工智能可能为我们提供了技术上完美的解决方案,但它在政治上却一蹶不振。有时数据库管理 20% 是技术技能,80% 是谈判和关系管理。”
- 人类为何在此表现出色:数据库管理通常需要在技术要求与商业政策和关系之间取得平衡——这是一项人类独有的技能。
道德数据管理决策
- 真实场景: “我们的营销部门找到我,希望我能够直接访问客户数据库,以便开展新的有针对性的活动。他们提出了关于个性化和改善客户体验的整套建议。AI 治理工具根据我们的标准政策评估了他们的请求,并建议授予他们对大多数字段的读取权限。
但我觉得有些事情不太对劲。我知道他们计划将这些数据与第三方信息结合起来,而我们的客户在注册时可能从未预料到这种做法。从技术上讲,根据我们广泛的隐私政策,这允许吗?是的。从道德上讲,这符合客户的合理预期吗?我不太相信。
我最终与他们合作创建了一个匿名数据集,为他们提供了所需的模式,而不会暴露个人客户身份。人工智能无法做出这种细致入微的道德判断,因为它不理解除了简单的规则遵守之外的含义。”
- 人类为何在此表现出色:道德考虑需要对组织价值观和监管环境有细致的理解,而人工智能无法完全掌握这些。
解释模糊的要求
- 真实场景: “财务团队发送了一张单子,上面只写着:‘需要数据库运行得更快,以便月底结账。’就是这样。没有提到任何细节、具体查询或报告。
我们的 AI 票务系统自动将其归类为一般性能问题,并建议运行标准调整脚本。当我打电话给财务总监时,原来他们实际上是在努力处理一份特定的对帐报告,由于最近的数据量增加,这份报告开始花费 4 个小时而不是 30 分钟。
经过 15 分钟的谈话,我针对他们的流程提出了一些有针对性的问题,我发现他们在月末结算时实际上只使用了报告中 15 个部分中的 3 个。我们创建了一个精简版本,运行时间只需 10 分钟,他们非常满意。
人工智能可能会对整个报告进行一些优化,但它不会想到问‘你现在真的需要所有这些信息吗?’有时,最好的解决方案根本不是技术性的。”
- 人类在此表现出色的原因:人类 DBA 利用多年的经验来解读用户的实际需求以及他们的要求。
现实世界的人工智能局限性
数据库推荐中的人工智能幻觉
- 真实场景: “上个月,当我们的新 AI 助手自信地建议删除交易表上的‘未使用索引’时,我差点心脏病发作。它向我展示了图表,表明该索引数周来一直未在日常操作中使用,并计算出我们将节省的存储和维护开销。
谢天谢地,我没有直接实施它的建议!该指数对于我们的月末财务对账流程绝对至关重要。它可能会闲置数周,但当财务部门在月底运行报告时,该指数会将运行时间从数小时缩短到数分钟。
人工智能只关注了 30 天的典型使用模式,完全忽略了我们业务的周期性。它对自己的建议非常有信心,如果我经验不足,我可能会相信它。这肯定会在月底成为一项简历生成事件!”
适合独特环境的千篇一律的解决方案
- 真实场景: “我们计划从本地 SQL Server 迁移到 Azure SQL 数据库,我要求我们的 AI 规划工具生成迁移策略。它为我提供了这个漂亮、详细的计划,其中包含所有标准最佳实践 — 分阶段迁移、测试协议、回退程序和工作。
问题是什么?我们完全没有意识到,我们有一个古老的遗留应用程序,它使用带有特定于 SQL Server 且与 Azure SQL 不兼容的提示的嵌入式 SQL 查询。我们的开发人员几年前修改了这些查询,以解决我们不寻常的数据分布的特定性能问题。
我花了三个星期与开发团队一起重写了这些查询,但 AI 从未标记过这些查询,因为它的迁移模板是为“标准”环境构建的。自 2010 年以来,我们的环境就不再是“标准”的!如果我们在没有人工审核的情况下按照 AI 计划进行迁移,那么迁移将以惨败告终。”
缺少商业背景
- 真实场景: “上个黑色星期五,我们的 AI 性能调优系统一直建议我们重建产品目录上的索引,以优化不断增加的查询负载。从技术上讲,这是绝对正确的——碎片化程度很高,重建后性能会提高。
AI 不知道的是,在假日购物季期间,我们会严格冻结代码。任何变更,即使是像索引维护这样有益的变更,在这个关键的收入时期,都需要进行大量测试并得到高管的批准。
我不得不连续四周推翻人工智能越来越紧急的建议。是的,我们使用的是碎片化的索引,但任何变化(无论多么常规)带来的业务风险都超过了一年中最繁忙的销售期间的性能收益。人工智能无法理解“目前足够好比完美但有风险更好”的概念。
新兴混合现实
我们看到的并不是完全接管,而是 AI 系统和人类 DBA 之间协作的演变:
- 现代 DBA 的日常生活: “我的工作与五年前完全不同。我的一天从审查 AI 系统的夜间建议开始——它通常会自动处理大约十几个小的优化,但会标记更复杂的优化以供我批准。
上周,它检测到我们应用程序数据库访问中存在一种不寻常的模式,后来发现这是一项新功能,但没有人告诉我。人工智能将其标记为“异常行为”,但无法确定这是有问题的还是新出现的。我与开发团队进行了简短的交谈,确认这是意料之中的事,并更新了人工智能的基线,以便它不会在将来标记类似的模式。
现在,我花在编写维护脚本或执行例行监控上的时间少了很多。相反,我正在研究我们的数据治理框架,规划我们的下一代架构,并且——具有讽刺意味的是——训练我们的人工智能系统以更好地理解我们的具体环境。我的工作量并没有减少;我正在做不同的、更具战略性的工作。
上个月,当我们的存储子系统发生故障时,人工智能检测到了早期预警信号,但无法确定根本原因。我依靠多年前类似事件的经验,识别出其中的规律,并防止了重大故障。我们组成了一支优秀的团队——人工智能永远不会疲倦,可以同时观察一切,而我则带来多年实战经验带来的背景信息和判断力。”
未来的 DBA:进化,而不是灭绝
在人工智能时代,数据库管理的未来将是不断适应和成长。虽然人工智能将用于自动化许多日常任务,但 DBA 的作用仍然很重要,不仅要确保数据完整性、安全性和合规性,还要监督人工智能的建议和行动。
一位有远见的 DBA 反思道: “看,我可以对抗人工智能浪潮,但为什么呢?它处理了我以前讨厌做的所有事情。一年多来,我再也没有因为备份工作失败而在凌晨 2 点被吵醒过。监控系统可以在大多数问题变成大问题之前就发现它们。
相反,我一直在学习更多关于数据科学和机器学习的知识,以便更好地理解和验证我们的人工智能系统在做什么。我也更多地参与了商业方面——当你不把所有的时间都花在维持运转上时,你实际上可以专注于数据如何推动商业价值。
我团队中的初级 DBA 拥有与我当时完全不同的技能。从第一天起,他们就更加专注于自动化、云架构和数据集成。基础知识仍然很重要 — 您需要了解幕后发生的事情 — 但日常工作正在迅速发展。
我认为人工智能不会很快取代 DBA,但它绝对会取代那些拒绝适应的 DBA。这项工作越来越少涉及日常维护,而更多地涉及战略、治理和利用数据作为业务资产。说实话?这比照看备份工作和编写相同的索引维护脚本一百次有趣得多。”
具有前瞻性的 DBA 并不担心被取代,而是将 AI 作为处理重复性工作的强大助手,让他们能够将自己的专业知识应用到数据库管理中更具挑战性和回报的方面。
原文地址:https://hackernoon.com/the-future-of-database-administration-is-evolution-not-extinction
原文作者:Arvind Toorpu




