暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

从云计算到生成式AI,回顾re:Invent挑战技术革新之路

亚马逊云科技 2024-12-02
154



过去20年技术发展风云变幻,从云计算的出现,到生成式AI走进每个企业每位用户,亚马逊云科技始终以创新者的姿态引领着行业发展。



今天为各位介绍

2006年发布Amazon S3

到今天的18年间

亚马逊云科技

持续投资与深耕的三大核心技术路线


18年技术积淀

构筑全栈Serverless


Serverless战略的核心优势在于让用户彻底摆脱运维服务器基础设施的负担,将精力集中在构建和交付创新应用上。Serverless服务能够自动扩缩容,按实际使用情况付费,避免了资源浪费,降低了企业的IT成本支出。同时,Serverless架构可以无缝集成亚马逊云科技的各种服务和开发工具,提升开发效率,加快产品上线速度。Serverless应用天然具备高可用性和可扩展性,有助于企业业务的快速增长,抓住市场机遇。通过采用Serverless架构,企业可以真正做到专注于核心业务创新,释放更大的商业价值。


从2006年发布Amazon S3,到现在的18年间,亚马逊云科技一直在Serverless领域持续创新和发展,构筑从数据存储、到数据分析、以及人工智能领域的全栈Serverless:




  • 2006 Amazon S3设计最初即遵从无服务器架构设计理念


  • 2012年推出Amazon DynamoDB无服务器NoSQL数据库,2014年发布Amazon Lambda无服务器计算服务,开启云上存储数据,运行代码新模式;Amazon Lambda能确保服务瞬时扩展,且性能或行为不变,开发者能够专注于应用本身;


  • 2017年全面拥抱Serverless,发布了一系列支持Serverless应用开发的服务;


  • 至今不断升级,发展更完整的Serverless服务,包括人工智能、机器学习服务,以及如今蓬勃发展的生成式AI服务。








坚定优化成本

投资自研芯片逾十年


作为云计算领域的领导者,亚马逊云科技深知硬件对于构建高效、安全、低成本的优质云服务至关重要。软件问题虽可快速修复,但硬件往往需从头开发,周期漫长。洞察这一挑战,2013年亚马逊云科技倡导开发定制硬件,为客户提供更多创新可能。自此,亚马逊云科技开启了定制芯片的历程。



首款自研网络芯片Nitro


作为亚马逊云科技首款定制芯片,Nitro芯片的推出标志着云计算厂商开始了自主设计和制造芯片的新时代。Nitro芯片旨在加强Amazon EC2实例的安全性和隔离性,同时提高网络吞吐量。它集成了多种功能,包括内存保护、存储卸载、安全监控等。通过硬件分区和虚拟化技术,Nitro芯片确保每个客户工作负载都彼此隔离,降低了安全风险。


自2018年首次推出以来,Nitro芯片系列已扩展第五代产品,性能不断提升。它们广泛应用于Amazon EC2实例中,为客户提供卓越的计算性能和安全保障。亚马逊云科技坚持投资Nitro芯片,是对自主硬件创新的长期承诺。


基于Arm架构的CPU

Graviton芯片


Graviton芯片属于通用处理器系列,是亚马逊云科技基于ARM架构设计的定制CPU。它旨在为广泛的云工作负载提供高性能和成本效率。相比于传统的x86处理器,基于ARM架构的Graviton芯片功耗更低,成本更优。


第一代Graviton芯片于2018年推出,而最新一代的Graviton4芯片于2023年re:Invent发布后,已在今年7月完成了大规模部署。


Graviton迭代至第四代,核心数已达到96个;内核采用了当前顶级的Arm Neoverse V2架构,这也是业界最早支持Arm v9架构的芯片之一。存储方面,Graviton4在缓存容量、内存容量和带宽等多个方面全面升级。比如每个核心的L2缓存扩大一倍到2MB,这样二级缓存总量达到192MB;同时支持12通道DDR5-5600,内存带宽提升75%,峰值带宽可以达到537.6GB/s。高速接口方面,Graviton4支持高达96通道的PCIe 5.0高速接口,非常适合数据中心云计算和云存储场景。



借助自主CPU,亚马逊云科技为客户提供了更高的灵活性和成本效益。


专为高性能AI训练

打造的Trainium芯片


Trainium是亚马逊云科技专为超过1千亿个参数模型的深度学习训练打造的机器学习芯片Trainium已针对训练自然语言处理、计算机视觉和推荐器模型进行了优化,这些模型用于文本摘要、代码生成、问题解答、图像和视频生成、推荐和欺诈检测等各种应用程序。


Trainium2则是面向AI大模型的高性能训练芯片,与第一代Trainium芯片相比,Trainium2训练速度提升至4倍,能够部署在多达10万个芯片的计算集群中,大幅降低了模型训练时间,同时能效提升多达2倍


加速AI推理负载的

Inferentia芯片


Inferentia是一款专为机器学习推理而设计的芯片与通用GPU相比,Inferentia芯片针对特定工作负载进行了专门优化。它具有大规模并行处理能力,可同时处理数百万个低精度运算。在数据中心环境下,Inferentia提供了媲美GPU的性能,但功耗更低、成本更优。


Inferentia芯片首次亮相于2019年,应用于Amazon SageMaker托管实例中。两年后发布了第二代Inferentia芯片,提升了性能和能效比。这款芯片广泛应用于物联网、语音识别等众多传统AI应用及生成式AI应用中。


Anthropic选择亚马逊云科技作为其模型训练的首要合作伙伴,并计划利用Amazon Trainium和Amazon Inferentia芯片来训练和部署未来的基础模型。







持续投资,高速发展

云上数据与AI堆栈


今天的生成式AI技术,来源于机器学习的深度学习分支,本质是通过百亿、千亿级参数的基础模型算法,生成图片、文本、代码、甚至语音、视频等内容的技术。20多年来,人工智能和机器学习始终是亚马逊关注的焦点,客户在亚马逊使用的许多功能都是由机器学习驱动的,如亚马逊电商推荐引擎、履约中心机器人分拣路径、亚马逊供应链预测和规划、Prime  Air(无人机)和Amazon Go、Alexa 等业务的背后都由机器学习驱动。


数据则是人工智能和机器学习的基座。凭借领先的数据服务,以及全球庞大的客户数量和应用场景,亚马逊云科技在数据领域积累了丰富的最佳实践与行业经验,持续高速迭代数据与AI服务堆栈。


始于2006年

历久弥新,持续构建强大的数据基座


自2006年发布存储服务Amazon S3开始,亚马逊云科技就开启了云原生数据服务探索之旅,发展全面的数据服务为生成式AI提供强大的数据基座。


  • 构建统一的数据平台:亚马逊云科技旨在构建一个统一的数据平台,从存储到分析,再到监控和治理,涵盖了数据生命周期的方方面面。无论是对象存储(S3)、数据仓库(Redshift)、数据湖(Lake Formation)、流数据处理(Kinesis)还是大数据分析(EMR)等,都提供了完整的产品线。这些服务可以无缝集成,使客户能够轻松构建端到端的数据解决方案。


  • 提供多种数据引擎选择:支持多种数据库和数据处理引擎,如关系型数据库(RDS、Aurora)、键值文档数据库(DynamoDB)等等,满足不同场景的需求。对于分析型工作负载,也提供了Athena等大数据分析引擎。


  • 强大的数据集成能力:提供了强大的数据集成工具,如Glue、Data Pipeline等,帮助客户轻松地从各种数据源采集、转换和加载数据到存储和分析服务中。这简化了数据集成的复杂性。


  • 提升数据安全和合规性:安全与合规是亚马逊云科技数据战略的重中之重,提供多重安全措施和合规认证,如Amazon Key Management Service、CloudHSM等,保护客户的数据隐私、机密性、合规性。



Good Data,Good AI。亚马逊云科技持续构建强大、安全、经济的数据基座,为客户提供更先进、更智能的数据解决方案,让客户能够轻松处理各种规模和类型的数据,挖掘数据中蕴含的价值,在生成式AI时代不断创新,保持竞争力。


2017年

Amazon SageMaker重磅发布

进入人工智能和机器学习加速时代


2017年

简化机器学习开发,释放数据生产力



发布首个机器学习集成开发环境Amazon SageMaker,破除软硬件环境限制及资金门槛,释放数据科学家生产力。Amazon  SageMaker以全托管的方式,消除了基础设施管理的繁琐工作,并且将各种工具部署在一个平台上,让数据科学家不需要花时间构建机器学习的基础架构,直接利用开箱即用的集成环境,专注于机器学习本身,将数据科学家从繁琐的数据工作中解放出来,尽情释放生产力。


2018年

强化学习驱动,降低机器学习门槛



发布Amazon DeepRacer,一款由强化学习、3D赛车模拟器驱动,真车1/18大小的全自动驾驶赛车,极大地降低机器学习门槛。Amazon  DeepRacer内置了强化学习框架,使用者通过简单设置模型训练参数就可以在线上Amazon DeepRacer模拟器中直接训练、评估和调整驱动赛车的强化学习模型,然后将自己的模型部署到Amazon DeepRacer上,从而获得堪比现实世界的自动驾驶经验。


2018年至今

源于亚马逊,持续创新赋能企业



亚马逊云科技于re:Invent 2018宣布推出Amazon Personalize,应亚马逊零售电商业务需求而生,Personalize就像拥有自己的Amazon.com机器学习个性化团队一样,每天24小时随时待命。无论是在应用程序内部及时提供视频推荐,还是适时提供个性化通知电子邮件,Amazon Personalize带来的基于您的数据的个性化体验,可以为客户提高营销活动的参与度、转化率和性能,带来更高的业务回报。


亚马逊云科技还推出了一系列专门构建的AI服务,包括Amazon Lex(对话式人工智能机器人)、Amazon Polly(用深度学习技术合成高质量自然人声)、Amazon  Rekognition(利用机器学习自动执行图像识别和视频分析)、Amazon  Textract(从文档中自动提取文本、手写内容和数据等)、Amazon Translate(流畅准确的机器翻译)、Amazon  Transcribe(自动将语音转换为文本)等,帮助客户更好、更快地利用机器学习和人工智能进行创新。


2023年生成式AI爆发至今

重大发布精彩纷呈

各类服务高速迭代


专为生成式AI构建的加速器底座

为云上训练和部署模型

提供超高性价比



亚马逊云科技为模型训练和应用端大规模的部署提供了齐全的计算、高速联网和高性能存储选项。


计算基础设施方面亚马逊云科技与英伟达保持了紧密合作,为满足客户在深度学习、生成式AI和HPC工作负载方面对高性能和可扩展性的需求,从2023年至今,基于英伟达H100、H200等GPU的实例已在海外地区陆续发布,是第一家在生产环境中提供H200 GPU的云厂商。亚马逊云科技将持续与英伟达合作,为客户提供易用的高性能基础设施。


自2019年起陆续发布的自研芯片Amazon Trainium和Amazon Inferentia可提供在云上训练模型和运行推理的超高性价比。目前大模型参数量级常常到达数千亿甚至数万亿,无论是训练还是部署,都对芯片的计算能力带来了极大的挑战,包括高性能、低成本、安全可靠,快速部署等等。迭代至第二代的inferentia2以及Tranium2对比上一代都提供了更高的能效比,也为客户提供了更多选择。


全托管式生成式AI服务

Amazon Bedrock提供

丰富的基础模型选择

帮助更多客户构建和扩展

生成式AI应用程序



Amazon Bedrock是一项完全托管的服务,客户无需管理任何基础设施,即可调用来自全球领先AI公司的高性能基础模型,以构建安全合规的应用。


自2023年发布至今,Amazon Bedrock上支持的模型已超过40个,并且陆续支持了包括:导入定制模型、支持微调、利用自有数据进行检索增强生成(RAG)、全托管Agent、负责任的AI Guardrails在内的多个功能,为客户构建生成式AI应用程序提供了完整、便捷的选择。



面向企业与开发者

开箱即用的生成式AI助手Amazon Q



Amazon Q是专为企业用户定制的生成式AI助手,现已发布面向企业的 Amazon Q Business,Amazon Q in QuickSight和专业开发人员的Amazon Q Developer等功能。Amazon Q功能强大,易用性高,能够满足企业和开发人员在数据分析、软件开发等方面的需求。


亚马逊云科技不断完善,为客户提供从算力设施、基础模型、构建工具到上层应用的完整生成式AI技术堆栈。








技术的迭代速度不断加快,但亚马逊云科技始终保持着对未来的敏锐洞察和持续投资的决心,不仅服务于当下客户需求,更在为未来持续的技术变革做好充分准备。


回顾历年

每一年都是无与伦比的精彩

今年

又将见证哪些令人期待的创新与发布?

请于12月2日锁定

2024亚马逊云科技re:Invent全球大会

敬请期待!



马上点击“阅读原文”

即刻报名2024亚马逊云科技re:Invent





期待你的分享  收藏  在看  点赞

亚马逊的一小步,云计算的一大步!


点击阅读原文,获取更多精彩内容!

文章转载自亚马逊云科技,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论