大模型的时代汹涌来袭，资深从业者甚至认为，“这一次大模型拐点会让所有服务经济中的人、蓝领基本受影响”。但是，这和云原生有什么关系呢？
事实上，云原生提供的自动化部署和管理、弹性伸缩等能力是大模型应用提高效率和降低成本所必备的。以独领风骚的OpenAI为例，早在2021年，该公司的Kubernetes集群就已扩展到7500个节点，为GPT-3、CLIP和DALL·E等大模型提供可扩展的基础设施，当然也支持神经语言模型的缩放定律等快速的小规模迭代研究。
即使暂未深度整合AI能力，许多企业的创新业务，也已经大规模部署到云原生基础设施上。在云原生集群规模不断扩大、应用架构日益复杂的背景下，企业也会面临与曾经的OpenAI相似的挑战——如何保证集群健康运行，让业务创新顺利开展。对金融、能源等在经济活动中需要不间断响应服务的行业而言更是如此，某头部证券客户在接入服务网格时就曾对网易数帆提出：期望第一时间监控和感知 Sidecar 报错。
那么，如何系统性地实现目标，避免为不可预知的故障所累？“云原生应用架构往往基于云计算基础设施，是否能将云原生的特性应用到业务场景上，用观测性、应用韧性、高可用性、故障自愈的能力消除不确定性对业务系统带来的影响？”网易数帆云原生解决方案专家朱剑峰给出了思考方向。
在近日举办的ArchSummit全球架构师峰会上，朱剑峰深入分享了网易数帆云原生稳定性保障体系的演进与实践。按照事件生命周期，他将增强业务系统的稳定性风险保障能力的建设路径梳理为三部曲：事前提供风险预测，降低故障发生概率；事中通过故障感知自动根因分析快速止损，降低故障影响；事后完善故障改进追踪能力，实现稳定性建设目标。
这个路径其实也是业界很多专家的共识，但网易数帆的实践有什么特色？
可观测性加持，稳定性保障摆脱专家依赖
“云原生分布式技术为我们带来的敏捷迭代支撑业务发展的能力。但是基于云原生架构能够额外提供的可观测性、故障自愈能力是被低估的。”朱剑峰说。
以事前风险预见和事后根因分析的基础支撑能力为例。朱剑峰指出，传统APM采集的链路、指标、日志无法覆盖所有场景，往往只知道故障现象（甚至有些故障是无法观测到的），无法定位根因，缺少关键节点的指标支撑，也就无从排查。这好比体检没做CT，遇到问题需要SRE、DBA专家凭经验人肉排查，排障成本高，且难以标准化。
立体化监控平台可以规避这一问题，该平台不仅关联应用相关的各层的指标、链路、日志数据快速指向影响应用稳定性的根因，甚至能通过深度指标关联配合时间模型算法预测出可能出现的异常风险。立体化监控的实现，深度采集指标极为关键。网易数帆借助云原生架构，整合了应用性能监控APM、内核指标采集eBPF、Kubernetes指标采集工具链等平台，打造了立体化监控平台，完成了基础支撑能力的要求，并支持预判一些趋势性典型故障，如服务调用缓慢、服务响应抖动等，以减少对实际业务的影响。
值得注意的是，立体化监控采集的深度指标是晦涩复杂的，故而整个排障过程仍然大量依赖专业SRE、DBA老专家介入诊断。幸运的是，通过分析运维工单排障工时的构成，网易数帆发现云原生场景下大量的人工排障诊断工作具有明显的规律。因此，网易数帆经过探索，将80%以上故障场景的重复排障流程和指标特征进行了梳理，形成了专家诊断经验库，并可基于核心事件捕捉，自动推送预案或自动化执行。
在行业实践中，这一方案已经帮助多家头部金融企业及时发现多次故障隐患，预见可能发生的故障并提前干预，提升系统稳定性。例如某券商全年发现数十起SSD写穿掉盘的情况，引导业务提前操作，从而保证相关数据库读写的稳定性，避免SSD导致的I/O抖动。
用好故障自愈，免疫系统是未来
网易数帆对于未来的探索是故障自愈，朱剑峰将其称为“云原生稳定性风险免疫”。这其中存在两个难点，一是有状态的中间件集群出现故障如何自愈，二是当爆炸半径影响到集群调度时如何选择自愈策略，网易数帆目前主要依靠规则引擎决策树，但已经开始尝试借助智能大模型提取关键事件错误信息辅助决策，以提升决策效果。
“云原生稳定性保障的核心价值——可以理解为一套完整的稳定性免疫系统，通过故障演练，将chaos作为疫苗工厂，稳定性保障平台为免疫系统；抗体的组成，就是一系列的监控和运维专家经验，加上整个编排、流水线执行系统，我们通过持续巡检，故障演练工具让抗体越来越成熟，使专家规则不仅在特定的互联网大流量业务下有效，也能复制到不同的行业业态中持续发挥风险免疫的作用。”朱剑峰总结说。
基于稳定性保障设计理念和实践经验，网易数帆已经推出云原生风险预见和云原生根因分析两款产品，开放给行业客户，用以促进云原生架构进化。如果您也想直接拥有老专家的能力，打造专属的稳定性免疫系统，就来撩吧。
关于数帆
