过去的半个世纪，计算与通信技术经历了持续的指数级增长，在容量、效率和能力方面彻底重塑了社会形态。在这段时期，我们共同见证了每个CPU所含晶体管数量激增五千万倍，互联网从最初仅有4个节点的萌芽状态，发展成为覆盖53.9亿个节点的庞大网络。
尽管这些成就已经足够令人震撼，但由此催生的人类潜能更是令人瞩目，有时甚至仿佛科幻小说中的场景提前降临。如今，我们几乎能够即时触及不断扩展的人类知识宝库，唯一的限制仅在于我们自身的理解能力。实时语言翻译技术已经打破了语言交流的壁垒，而感应技术与网络速度的飞跃正逐步实现实时全息投影，为远程互动带来前所未有的真实感。这股计算能力的浪潮还推动了新一代人工智能系统的崛起，它们正攻克着时代最艰巨的科学与工程难题，例如以原子级精度即时预测蛋白质的三维结构，或运用先进的文本到图像生成技术，创造出与用户创意高度契合的高质量、逼真图像。
维持这种底层技术进步的迅猛势头绝非易事。每隔十年至十五年，我们便需直面基础性的挑战，唯有通过创新性的发明与突破，才能维系基础设施效率与规模的指数级增长，进而催生全新类别的服务。正如每跨越千倍的增长都会揭示新的、更为艰巨的基本限制，唯有克服这些限制，才能开启变革性的机遇之门。当前，我们正站在这样一个历史性的分水岭上，面临着代际罕见的挑战与机遇并存的局面。此时，计算需求对基础设施而言似乎永无止境，且仍在加速增长。
回顾计算技术发展历程，我们已走过了四次重大变革，每一次都开启了计算领域的“新时代”。在此，我们提出一个历史性的分类框架，旨在定义并推动第五代的到来。这一代将以数据中心为导向，以声明式编程为基础，以结果为驱动，以软件定义为特征，并致力于主动向人类传递深刻洞察。尽管每个先前的时代都将曾经的幻想变为现实，但第五代将带来前所未有的巨大变革，有望极大地促进知识与机会的民主化。然而，这一进程也将要求我们攻克计算领域中最本质、跨层级的难题。
1947年：巴丁（John Bardeen）、布拉顿（Walter H. Brattain）和肖克利（William Shockley）共同发明了首个实用的晶体管。 1948年：香农（Claude Shannon）提出了信息论，这一理论成为所有网络通信的基石。 1949年：计算机中的存储程序概念开始付诸实践。 1956年：高级编程语言问世。 1964年：跨不同硬件世代的指令集架构应运而生。 1965年：摩尔定律被提出，预言集成电路上的晶体管数量将每18至24个月翻一番。 1967年：多用户操作系统实现了资源的保护性共享。 1969年：ARPANet诞生，标志着现代互联网的雏形初现。
这些里程碑式的突破共同奠定了第0代末期的现代计算基础：基于集成电路的四台计算机运行着稳定的指令集架构，通过多用户、时间共享的操作系统紧密相连，并接入分组交换的互联网。这一看似不起眼的起点，却为随后时代的指数级飞跃奠定了坚实的基础。
第1代（约1970-1985）：初步接触
显著发展：SQL、FTP、电子邮件和Telnet 计算机间交互时间：约100毫秒 特征： 低带宽、高延迟的网络 昂贵计算机之间有限的直接交互 基于字符的人机交互方式 开源软件的萌芽 突破：个人计算机
第2代（约1985-1995）：计算机间的通信
显著发展：远程过程调用（RPC）、客户端/服务器计算模式、局域网（LAN）的兴起、领导选举和一致性算法的引入 计算机间交互时间：10毫秒 特征： 网络速度10Mbps TCP/IP协议使互联网架构具备全球扩展能力 全32位CPU集成于单一芯片 多台计算机间资源共享成为常态 突破：万维网
第3代（约1995-2005）：全球规模的计算
第3代见证了HTTP和万维网的真正飞跃，将网络计算的力量普及至大众，彻底打破了个人计算的界限。为了紧跟互联网持续指数级增长及全球用户需求的步伐，这一时期确立了现代计算的多项关键设计模式。
显著发展：HTTP、三层服务架构、大规模集群、互联网搜索 计算机间交互时间：1毫秒 特征： 网络速度100Mbps至1Gbps 自治系统与BGP协议 复杂应用不再局限于单一服务器，实现跨多台服务器的扩展 网络索引与搜索技术普及，面向大众的电子邮件服务 突破：基于集群的互联网服务、移动优先设计、多线程与指令级并行技术
第4代（约2005-2020）：无处不在的信息
显著发展：全球蜂窝数据网络覆盖、全球级服务、无处不在的视频服务 计算机间交互时间：100微秒 特征： 网络速度10-100Gbps，闪存技术 多核心CPU 跨局域网扩展的基础设施兴起（如GFS、MapReduce、Hadoop） 移动应用，全球蜂窝数据网络 突破：主流机器学习技术、专用计算硬件易于获取、云计算
第5代（约2020-至今）：从信息到洞察
显著发展：机器学习、生成式AI、隐私保护、可持续性发展、社会基础设施 计算机间交互时间：10微秒 特征： 网络速度达200 Gbps至1+ Tbps 节能且高速的无线网络实现全面覆盖 专用加速器（如TPU、GPU、智能网卡） 插槽级互连网络、光学技术、联邦架构 互联的空间、车辆、家电、可穿戴设备等 突破：众多前沿技术即将涌现
如果不从计算设计和组织层面进行根本性变革，我们将难以满足社会对计算基础设施日益增长的需求。为了应对这些挑战，新的计算架构、硬件创新和多样化的软件架构将成为定义第五代计算的关键。
虽然难以精确预测第五代计算领域的所有突破性进展，但我们可以预见，每一代计算技术都实现了规模、效率、成本性能的百倍提升，同时增强了安全性和可靠性。随着规模和能力需求的持续增长，在没有摩尔定律和登纳德缩放定律直接支持的情况下实现类似增长将是一项艰巨的任务。然而，我们预计广泛而深远的变革将涵盖：
声明式编程模型（Declarative programming models）
传统的基于冯·诺依曼架构的顺序代码执行模式，尽管几十年来一直服务于开发者，但面对分布式和多线程计算的兴起，其局限性日益显现。现代命令式代码通常需要复杂且低效的结构来管理异步性、异构性等问题。未来，随着复杂性的进一步增加，新的声明式编程模型将聚焦于表达意图、用户和业务逻辑，而执行流程的管理和应对动态部署条件则交由更智能的编译器和机器学习驱动的运行时系统处理。
硬件模块化与定制化（Hardware segmentation）
早期通用服务器架构尚能满足数据中心多元工作负载的需求，但随着特定计算需求（如机器学习训练与推理、视频处理等）的兴起，存储、内存、延迟、带宽和通信之间的平衡变得更加复杂。在通用计算性能逐年稳步提升的背景下，集中攻克少数关键任务以实现显著性能提升的策略变得更加迫切。这要求我们在更短的时间内设计、验证、认证和部署可组合的硬件ASIC和内存单元，以满足快速变化的市场需求。
软件定义基础设施（Software-defined infrastructure）
随着底层基础设施日益复杂且分布式化程度不断加深，从内存到CPU的多个虚拟化层级共同构建起单一服务器抽象，并专门为单个应用程序提供服务。这一趋势将在未来持续深化，因为基础设施将不断横向扩展并呈现更加异构化的特征。硬件定制化、声明式编程模型以及由成千上万台服务器组成的分布式计算环境，将推动虚拟化技术超越单台服务器的范畴，涵盖单台服务器、多台服务器、存储/内存阵列和集群上的分布式计算，甚至在某些情况下，整合整个园区资源，以高效地完成最终任务。
可证明安全的计算（Provably secure computation）
在过去追求计算效率的时代，安全性和可靠性往往被忽视。如今，随着线上生活的普及，个人、企业和政府对隐私和保密性的需求日益增长。数据主权，即对数据物理位置（包括衍生数据）的严格管控，变得愈发重要，这不仅是为了符合政府政策，也是为了透明化机器学习生成内容的来源。尽管这可能会导致基础性能的轻微下降，但这些需求必须作为首要考量和约束条件。
可持续性（Sustainability）
计算的前三个时代在不增加功耗的情况下实现了性能的飞跃。然而，随着第四代登纳德缩放定律的失效，全球计算功耗急剧上升，部分抵消了云托管基础设施相比早期本地设计在能效方面2到3倍的提升。云服务商们纷纷承诺向碳中和甚至零碳能源转型。但数据和计算需求仍将持续甚至加快增长，导致能效和碳排放成为评估系统的主要指标。尤其需要注意的是，基础设施建设和运营全生命周期的碳足迹需要得到更好的监测和优化。
算法创新（Algorithmic innovation）
在性能飞速发展的浪潮中，软件效率的提升却往往被忽视。随着硬件组件进步速度的放缓，优化软件和算法成为新的关注重点。研究表明，系统代码中蕴藏着大量可带来2到10倍性能提升的优化空间。高效识别并开发相关技术，以在大规模生产系统中稳定实现这些收益，成为关键机遇。利用大型语言模型（LLMs）的最新进展部分自动化这一过程，将是第五代的关键加速器。
分布式硬件与软件基础设施的横向扩展效率有望提升超过10倍。 通过软件定义基础设施，精准匹配应用程序资源需求（计算、加速器、内存、存储、网络等），可实现效率的再次飞跃，提升10倍以上。 与传统通用计算架构相比，下一代加速器和专用硬件组件将展现超过10倍的性能优势。 最后，一个难以量化的重要机遇在于，大幅提升系统可靠性与安全性的同时，激发开发者的生产力。
立足于上述发展趋势，我们正处于下一代技术驱动下的千倍效率提升的拐点，这将重塑基础设施服务，并有望通过多模态模型和生成式AI的突破性进展，开启计算服务的全新时代。定义、构建和部署下一代计算技术的机遇并不常见，而第五次技术浪潮的涌动，或将成为迄今为止最为宏伟的技术变革与挑战，它呼唤着前所未有的责任感、协作精神和远见卓识，这或许是自计算技术诞生以来最为壮阔的一次飞跃。
Source:Amin Vahdat; Coming of age in the fifth epoch of distributed computing, accelerated by machine learning; February 16, 2024
--【本文完】---
近期受欢迎的文章：
更多交流，可添加本人微信
（请附姓名/单位/关注领域）
