vivo 云原生容器探索和落地实践

首先是容器技术和云原生理念的介绍。

1.1 容器技术简介

1.2 云原生理念介绍

它把云原生分为3种核心技术和2个核心理念：

• 3种核心技术：分别是容器、微服务、服务网格。

• 2个核心理念：分别指不可变基础设施和声明式API。

但是，不管是那一种定义，容器都是其基础，是云原生落地的核心技术手段。

1.3 云原生价值分析

任何技术和理念，都必须有实际的业务价值。从效率、成本、质量三个维度，来分析云原生和容器的技术价值，可总结如下：

• 效率：可实现持续交付部署快、镜像封装可移植、弹性计算秒扩容。

• 成本：可实现按需分配不浪费、统一调度高填充、混合部署少碎片。

• 质量：可实现运行状态可观测、故障发生可自愈、集群管理可运维。

新技术的引入带来新的价值，也必然会引入新的问题，接下来介绍vivo在容器技术上的探索和实践。

2.1 试点探索

在vivo的算法场景中，机器学习平台负责算法模型迭代，是互联网算法业务中核心的一环，早期的平台基于传统的架构，在效率、成本、性能和体验上均有一定的不足，无法满足算法业务快速增长的诉求。基于此，我们首先在算法场景进行容器的试点探索。从2018年开始，我们以容器作为基础底座，打造了vivo的一站式云原生机器学习平台，向上支撑了公司的算法中台，为算法工程师提供数据管理、模型训练、模型管理、模型部署等能力，为广告、推荐和搜索等业务赋能。

vivo的云原生机器学习平台具备如下5大优势：

• 场景全：业务端到端，覆盖推荐、广告、搜索多场景。

• 体验好：排队时间短，用户体验优，任务P99排队时长小于45分钟。

• 成本低：调度能力好，资源利用率高，CPU利用率均值大于45%。

• 效率高：网络规模大，训练跑得快，训练速度8.3亿样本每小时。

• 结果优：算法迭代稳定，训练成功率高，训练成功率大于95%。

vivo云原生机器学习平台，成功为算法实现了降本、提效，让云原生和容器价值初露锋芒。

2.2 价值挖掘

基于前面机器学习平台的试点成果，我们深入分析和挖掘容器和云原生的价值，结合vivo的情况，我们发现容器和云原生是企业大规模降本和提效的最佳方案。

1）在降本方面

2）在提效方面

2.3 战略升级

2.4.1 集群挑战

要提供大规模的生产可用的容器服务，容器集群的可用性首先会面临诸多挑战。下面介绍vivo容器化，在生产集群建设过程中遇到的4个比较大的挑战。

• 集群规模快速增长：vivo集群服务器规模上万个宿主机节点，管理的集群数十个，单集群规模2千+，实例数10万+，对集群性能和机器管理挑战极大。
  

• 集群运维、运营和标准化：由于早期集群管理不规范，黑屏化操作和人为误操作等问题层出不穷，集群运维人员每天因为各种救火忙得焦头烂额。

• 集群容器监控架构和可观测性：随着集群规模快速增长，容器的监控组件面临极大压力，对容器监控的采集、存储和展示，提出更高的要求。

• 线上K8s版本升级迭代：面对Kubernetes版本的快速迭代，需要实现给飞行的飞机换引擎。

针对挑战，我们的应对方案分别是：高可用、可观测、标准化和自动化。其中容器监控和k8s版本无损升级的挑战，vivo公众号有详细技术方案的介绍，本文侧重介绍集群高可用和运维自动化两部分。

2.4.2 平台挑战

除了集群稳定性的挑战，平台也将面临各种挑战，由于容器平台和周边生态能力不完善，对业务存在较高的适配和迁移成本。总结起来我们遇到的挑战主要有4点：

• 容器IP的变化：k8s早期把业务都设计成无状态的，其原生实现是每次发布容器的IP都会变化，这对部分依赖固定IP的传统业务不太友好，业务改造成本较高。

• 周边生态的适配和兼容：包括发布系统、中间件微服务平台、内部开发框架和流量接入层等

• 用户使用习惯：vivo有比较成熟的发布平台，用户习惯按机房发布，习惯资源分配和发布分开操作。

• 价值输出：运维研发效率的提升不好量化，容器成本优势短期不好衡量。

上面这些挑战，推动我们要进行容器周边生态打通，同时通过增强容器平台产品能力，来适配各种业务场景，降低用户的迁移成本。

2.5 最佳实践

2.5.1 容器集群高可用建设

接下来，介绍vivo在容器集群高可用建设中的最佳实践，我们是从故障预防、故障发现和故障恢复，3个维度来构建容器集群可用性保障体系的。

1、在故障预防上，我们分别从流程工具、容灾能力和基础架构3个方面来进行建设：

• 流程工具：主要包含故障预案和故障演练，以及通过建设运维管理平台，来实现运维标准化、白屏化和自动化。

• 容灾能力：主要是构建业务跨故障域容灾能力，保障集群故障时，服务和业务流量能跨集群调度和快速一键迁移等。

• 基础架构：主要是通过屏蔽用户对底层集群的感知，一个机房多套集群，一个业务同时部署在多个集群上，避免单集群故障对业务造成影响。

2.5.2 容器集群自动化运维

除了容器集群自身稳定性建设，在运维自动化方面，我们建设了容器多集群管理平台，实现集群配置标准化，核心运维场景白屏化，来提升运维效率。

2.5.3 容器平台架构升级

为适应业务容器化在内部的快速普及和推广，我们升级了vivo的容器平台架构。

2.5.4 容器平台能力增强

vivo内部容器化场景比较多样化，为了让业务能够安心、低成本的接入和使用容器的能力，在推广过程中，我们基于开源+自研做了容器的适配和原生能力的增强。

下面对6个产品能力增强进行简单的分享：

• 云原生工作负载增强：基于开源的openkruise，对原生deployment、statefulset等workload进行了增强，实现诸如原地升级、发布暂停、流式和配置优先级等扩展能力。

• 服务无损发布增强：基于内部框架和平台自主研发，实现HTTP、RPC等协议框架的流量无损发布。

• 容器镜像安全：基于开源的Harbor定制开发，实现容器镜像安全扫描和卡控能力。

• 容器镜像加速：基于开源dragonfly2定制扩展，让大规模集群镜像的分发性能提升80%以上。

• IP固定能力增强：基于有状态服务和CNI进行自研，支撑黑白名单、有状态服务场景诉求，降低业务接入改造成本。

• 多集群管理能力增强：基于开源Karmada进行功能优化和扩展，提升业务容灾能力，支撑单集群横向扩展能力。

当然，在充分享受开源红利的同时，我们也持续地参与开源协同，回馈社区。在使用和自研的过程中，我们也把自己生产实践过程中发现的问题和积累的经验提交到社区，例如Dragonfly2、Karmada等。

2.5.5 容器CICD一体化

vivo的CICD平台底层架构是基于JenKins+Spinnaker实现的，整个容器构建和部署流程如下：

• 首先，用户在CICD平台上创建好发布过程的流水线配置并保存。

• 其次，CI环节可实现和内部GitLab对接，拉取代码，基于jenkins进行代码编译和镜像构建，构建好的镜像经过安全扫描后，推送到开发环境的镜像仓库。

• 最后，在CD环节，CICD平台会调用容器平台提供的API，进行开发、测试、预发和生产环境的部署操作。

2.5.6 统一流量接入

接下来，介绍容器生态里，最重要的业务流量接入层的打通。

2.6 实践成果

2.6.1 产品能力矩阵完善

经过多年的打磨和建设，vivo容器产品能力矩阵趋于完善，整个产品能力矩阵，分为4层：

• 基础服务层：包含3类服务，镜像管理、集群运维和集群监控。

• 能力层：包含6个核心能力，分别是集群调度、CAAS-API、容器配置、容器业务监控告警、容器日志和平台扩展能力。

• 平台层：包含2大平台能力，分别是CI和CD。

• 业务层：当前覆盖了vivo互联网所有业务场景。

2.6.2 业务接入成果凸显

接下来，会具体介绍下vivo容器推广情况。

目前容器在vivo内部主要覆盖4大场景，分别是：互联网在线业务、算法在线、大数据计算和AI算法训练等。接下来，会从接入规模和价值来简单介绍。

• 互联网在线服务：内部各个业务线均有大量服务运行在容器上，例如vivo商城、账号、浏览器、快应用、天气等，已经接入服务600+。

• 算法在线服务：当前接入500+服务，3000+服务器，涉及推广搜的各个业务线。

• 大数据计算服务：包含离线计算如Spark，实时计算如Flink、Olap等场景，当前接入集群20+。

• AI算法训练：主要是提供GPU、CPU异构计算，业务场景如Tensorflow、mpi等场景，算力十几万核，以及若干GPU卡。

业务容器化后，给业务在降本提效上带来的效果非常明显，包括但不限于扩缩容效率、弹性伸缩能力、业务自愈能力、资源成本等方面。

2.7 实践总结

基于我们的探索和实践，可总结为技术价值、推广策略、平台建设和云原生突破4个维度的思考。

• 找价值：关注新技术，但不执着于技术本身，必须结合业务痛点和价值。

• 定策略：自下而上小范围试点探索，产生实际的业务价值，影响自上而下的战略调整。

• 建平台：当已经有比较完善的平台和能力时，要找到容器的切入点，进行融合共建，切忌推到重来；对于需要从0到1建设的新能力，需要果断的孵化创新。

• 求突破：在业务容器化过程中，为了快速容器化，我们做了许多的兼容和适配。为了更好的降本提效，未来，我们希望引导用户，实现从使用云原生，到用好云原生的突破。

总的来说，技术服务于业务，企业应基于自身现状，寻找合适的解决方案，并为业务创造价值。

3.1 vivo基础架构发展

从过去看未来发展，回顾过去10年历程，vivo基础架构的发展经历了3个阶段：

• 阶段一：传统研发运维阶段，从2011到2018年，从早期的do分离研发模式，到基于openstack+kvm的虚拟化方案落地。

• 阶段二：应用架构互联网化阶段，从2018到2020年，容器化开始在vivo内部兴起。

• 阶段三：云原生基础架构演进阶段，从2021年到现在，云原生和容器将会在vivo内部有更多场景的应用和推广，如在离线混部等。

3.2 vivo云原生未来展望

• 我们的愿景是：一次开发到处运行，通过自动运维实现极致效率和成本最优！

• 对开发人员：我们希望大家成为那只遨游海上的蓝色鲸鱼，驮着我们的业务应用，一次构建到处分发，灵活调度和运维。

• 对管理者：我们希望追求效率的同时，能够实现成本最优。