容器云平台的新机遇与新挑战
续前篇:详解|容器云平台产品与应用解析
云原生技术发展
云原生最初由 CNCF 提出之后,经过这几年发展,不断落地实践和丰富,已经完成了概念普及阶段,进入了快速发展期。云原生技术以其高效、轻量、与应用紧密结合、快速响应的特点帮助 企业构建更加适用于云上的应用服务。
云原生产业联盟发布的《云原生发展白皮书 - 2020》提到,过去几年中,云原生关键技术正在被广泛采纳,如 43.9% 的用户已在生产环境中采纳容器技术,超过七成的用户已经或计划使用微服务架构进行业务开发部署等,这使得用户对云原生技术的认知和使用进入新的阶段,技术 生态也在快速的更迭,特征明显。
云原生技术生态日趋完善,细分项目不断涌现。相较于早年的云原生技术生态主要集中在容器、 微服务、DevOps 等技术领域,现如今的技术生态已扩展至底层技术、编排及管理技术、安全技术、监测分析技术以及场景化应用等众多分支,初步形成了支撑应用云原生化构建的全生命周期 技术链。同时细分领域的技术也趋于多元化发展,如在容器技术领域,从 Docker 这种通用场景的容器技术逐渐演进出安全容器、边缘容器、Serverless 容器、裸金属容器等多种技术形态。
企业级需求
企业上云的初期阶段是把现有 IT 系统搬迁到云上,更多在虚拟化层面的改造工作,随着云计算生态的蓬勃发展,原有的应用架构陈旧,在扩展性、适配性、弹性伸缩、资源调度、开发运维 等方面与云计算架构的优势不匹配,无法真正发挥云的价值。云原生技术通过标准化资源,轻 量化弹性调度等特征,应用场景较为广泛,随着技术和生态不断成熟和完善,有效缓解企业上 云顾虑,真正发挥云的价值。
数据联邦和联邦学习
数据联邦
在大型现代企业中,组织中的各部门使用不同数据库管理系统来存储和搜索其重要数据,这几 乎是不可避免的。竞争、不断发展的技术、合并、收购、地域分布以及扩展中不可避免的分散 等因素都会造成这种多样性。但只有将这些系统中的信息组合起来,企业才会认识到这些系统 所包含数据的整体价值。
联邦学习
联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换 时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算 结点之间开展高效率的机器学习。联邦学习可使用的机器学习算法包括神经网络、随机森林等 重要算法。其有望成为下一代人工智能协同算法和协作网络的基础。
混合云和多云
混合云
云计算发展过程中,出于数据安全考虑,企业往往愿意使用私有云。但是私有云建设周期长, 成本高,无法满足互联网业务的特点,因此希望使用公有云,以获取可伸缩的计算资源。在这 种情况下混合云被越来越多地采用,它将公有云和私有云进行混合和匹配,以获得最佳的效 果。混合云是将本地基础设施(通常是私有云)与公有云结合在一起的云计算环境。混合云包 括内部系统(或私有云)和第三方公有云服务的混合,两个平台之间使用统一的云管系统。
多云
多云是一种云方式,由多个云供应商提供的多个云服务组成,包括公有云服务提供商(如 AWS 和 Microsoft Azure)和私有云服务提供商(如 VMware 和 Oracle)。多云是混合云的一种形式,用于表示在多个不同的公有云环境中运行。本质上,多云是指订阅多个公有云服务,而混 合云是指同一组服务的多个部署模式(公有、私有或遗留)。多云部署通常是避免供应商与单 个云服务提供商锁定的策略的一部分。
灾备
结合近年国内出现的大范围自然灾害,以同城双中心加异地灾备中心的 “两地三中心”的灾备模式也随之出现,这一方案兼具高可用性和灾难备份的能力。
同城双中心是指在同城或邻近城市建立两个可独立承担关键系统运行的数据中心,双中心具备 基本等同的业务处理能力并通过高速链路实时同步数据,日常情况下可同时分担业务及管理系 统的运行,并可切换运行;灾难情况下可在基本不丢失数据的情况下进行灾备应急切换,保持 业务连续运行。
异地灾备中心是指在异地的城市建立一个备份的灾备中心,用于双中心的数据备份,当双中心 出现自然灾害等原因而发生故障时,异地灾备中心可以用备份数据进行业务的恢复。
云边协同
随着 5G 通信技术的发展,越来越多的实时性强的业务开始兴起,如自动驾驶、AR/VR、智能家居、工业自动化等,传统的云计算加端业务的集中式处理模型很难满足大量数据传输和实时处 理的需求。因此,云边端的处理模型应运而生,即边缘计算。
边缘计算的兴起,使得如何为边缘侧赋能成为业界关注的热点。边缘的具体形态分为边缘云和 边缘终端。边缘云是云计算向网络边缘侧进行拓展而产生的新形态,是未来产业关注重点,是 连接云和边缘终端的重要桥梁。边缘终端位于边缘云与数据源头路径之间,靠近用户或数据源 头的任意具备一定硬件配置的设备,包括边缘网关、边缘服务器、智能盒子等终端设备。围绕 边缘云与边缘终端,在CDN、视频渲染、游戏、工业制造、自动驾驶、农业、智慧园区、交通管理、安防监控等应用场景。
边缘云和中心云(数据中心)的协同,是云计算从单一数据中心部署向不同物理位置多数据中 心部署、从中心化架构向分布式架构扩展的新模式。
安全
云上的安全态势也成为企业数字化转型最大挑战之一。根据中国信通院调查报告显示,42.4%的企业在选择公有云服务商时会考虑服务安全性,43% 的企业在私有云安全上的投入占 IT 总投入的 10% 以上,企业如何构建安全云平台成为上云的关键要素。
但与数字化升级的进度相比,企业安全体系建设发展相对缓慢。企业在上云过程中,安全建设 相对滞后,通常在云平台建设完成之后才启动安全能力建设,仅仅作为补充措施,以传统安全 防护模式为主。传统的安全防护方案存在硬件设备昂贵、安全资源利用率低、部署困难、云上 数据难以获取、数据流通差、安全产品联动性差等弊端。
在企业上云的全程融入安全能力,或直接选择安全实力更强的云平台,有助于解决传统安全建 设理念存在的弊端。云原生安全理念并不是只解决云原生技术带来的安全问题,而是一个全新 的安全理念,旨在将安全与云计算深度融合,将安全能力内置于云平台中,实现云化部署、数 据联通、产品联动,可以充分利用安全资源,降低安全解决方案使用成本,帮助云计算客户更 安全地上云。
从支撑传统应用到支撑数字化应用 - 数据云平台(Data Cloud)
对于企业或组织而言,由于内部对于数据资源的应用不再仅仅局限于 IT 部门,越来越多的内部项目组与分支机构加入大数据平台的使用中,加之数据处理技术的不断发展,如何解决基础平 台的资源隔离问题、管理分配问题、编排调度问题;如何将企业业务应用需要的基础服务能力做更好地抽象,降低应用所需的基础服务的环境搭建、开发、测试部署周期,提升 IT 支撑效能;如何更好地管理众多的基于大数据与人工智能开发的应用等成为企业亟需解决的问题。
2020 年 9 月 16 日,云原生数据库厂商 Snowflake 在纽交所上市,总市值超 700 亿美元,成为有史以来规模最大的软件 IPO。Snowflake 的高歌猛进成为了数据云平台发展趋势的最佳佐证。云原生数据库的核心是存储与计算分离,同时还具备高性能、高可扩展、一致性、符合标准、
容错、易于管理和多云支持等特性。这样的理念与容器云支撑数据云的技术方式不谋而合,都 通过数据云来统一支持企业的数据科学、数据工程、数据湖、数据仓库等在内的数字化需求。 不同之处在于,前者面向公有云,而容器云能在私有云场景下提供更多支持。
容器云平台的形成伴随着 Docker、Kubernetes 等容器技术的发展,与微服务等技术概念的形成,大数据与人工智能基础平台开始基于容器云构建底层资源管理与调度平台。容器云就像一 个分布式的操作系统,将集群中的各类硬件资源进行封装、管理以及调度,将封装的资源作为 容器承载大数据的相关组件进程,再将这些容器进行编排,组成一个个的大数据和人工智能的 基础服务,如分布式文件系统HDFS、NoSQL 数据库 Hbase、分布式分析型数据库Inceptor、分布式流处理平台 Slipstream、分布式机器学习组件 Sophon 等。
由这些基础服务编排构建公共能力服务层,提供如数据仓库、数据集市、图数据库、全文搜索 数据库、流处理服务、NoSQL 数据库、机器学习平台服务、定制图像识别服务等,为企业打造全新的数据处理核心系统。基于这一核心系统服务于各类企业的不同部门。通过资源隔离技 术,通过对每个租户的资源分配和权限管理,满足业务分析人员的个性化分析需求,专注于业 务逻辑的开发和数据的分析挖掘。
星环科技(上海)有限公司已开始使用容器化大数据云平台的理念进行了成功的商业化运行。2020 年 6 月 5 日,云计算开源产业联盟在 OSCAR 开源先锋日云原生专场活动中公布了“云原生应用十大优秀案例”的评选结果,其中由星环科技(上海)有限公司提供服务的中国联通容 器化大数据能力开放平台,经委员会组织权威专家评审通过并收录入编。

云原生应用十大优秀案例名单
未来,企业或组织在数字化转型当中各类新的诉求,给企业或组织从底层 IT 基础设施到数据服务化和应用化提出了更高要求。对此,大数据 + 容器云 + 人工智能的融合,实现了多云平台、多数据中心的数据打通和统一管理,帮助企业或组织达到平台化、生态化的数字化转型目标。
结语
相比疲态尽显的传统虚拟机技术,容器技术轻量、高效,解决了应用交付和运维的诸多痛点, 正在推动传统应用转型为云原生应用,从而也促使容器云平台进入到一个爆发式发展的阶段。
容器集群管理工具 Kubernetes,通过了大规模生产环境和关键业务持续运行的考验,技术逐渐成熟,已经成为了构建容器云平台事实上的标准,国内外各大云服务厂商也相继推出了基于Kubernentes 的容器云产品。
基于容器技术,将人工智能、大数据与云计算融合,是新时代的需求与自然趋势,统一的容器 云平台支撑企业不同的工作负载,高效连接应用和数据,让用户更专注于业务创新或将成为容 器云平台发展的最大挑战。
如果你觉得这个系列有价值,也欢迎转发给有需要的朋友。
往期推荐
关注 云世 微信公众号。
《云原生:一文读懂K8s架构原则和对象设计》

---END---




