优秀实践 | 中国邮政储蓄银行构建容器云

文 / 中国邮政储蓄银行数据中心 张志鹏 刘畅 袁佳

面对银行业务持续创新、应用快速迭代、微服务等新技术大规模应用不断深化、软硬件升级改造进程稳步推进的复杂背景，作为国有六大行的邮储银行，始终坚持把科技创新作为“头号任务”，在不凝滞于物、与时俱进的同时，以打造“一体化、规模化、集成化、可进化”数智一体的企业级容器云为目标，采用容器云新型基础设施放大创新驱动的“乘数效应”，加快实现信息科技自立自强，为邮储银行数字化转型之路按下“加速键”。

深入容器云建设目标，实现“数智一体”金融服务场景落地

九层之台，起于垒土。“自主创新、安全高效”原则是邮储银行企业级容器云总体设计规划的根基，“顶层设计、统一规划”理念则是容器云建设的动力。作为行业科技的关键技术，容器云贯穿银行整体价值链，通过打造“以需求为底，以求变为新”的新型IT基础设施驱动业务创新，建设成从面向资源到面向服务转变的全栈容器云，成为“数智一体”金融服务场景落地的重要支撑。

以容器云一体化满足应用服务全栈需求。针对底层资源和微服务治理，实现端到端软硬一体化；针对环境生态安全和云原生运维，实现管理一体化；针对容器多集群管理和边缘计算实现云边一体化，为组建全栈式服务提供了坚实基础。

以容器云规模化全面覆盖业务场景需要。通过对计算、存储等资源开展自上而下的管理，实现业务规模应动态弹性扩缩容，全面拥抱容器规模化。在应对服务的大规模的批量发布更新时，将实现性能的整体提升，并以其强大的技术支撑力，保障大规模集群的稳定运行。

以容器云标准化实施标准配置、统一管理。以统一技术栈标准，实现对组件的规划、建设、更新等统一管理，更能符合开源软件管理规范，打造标准的配置基线。同时，标准化的容器云将为业务应用开发、运行和赋能提供一致的服务供给，统一标准管理服务、镜像、集群，从而形成标准的接入方式和规范的应用运行模式。

以容器云数智化提升业务运行治理能力。一方面，数智化的容器云将以“智慧+场景”为导向，深度赋能业务发展，实现多元算力调度资源的容器化和智能决策算法，服务全行数字化转型。另一方面，它能以资源对象为基础，持续保障运行、维护，提升数据基座下的云原生智能化运营治理能力。

构建平滑演进的企业级架构，成为层级技术迭代的重要保障

结合云原生技术发展趋势，企业级容器云立足现有技术栈和基础环境，对标业界标准和社区和同业最佳实践，将内部的平台服务云、容器服务云、基础服务云分成不同层级分别建设、模块化组装，并通过各层间解耦构建可平滑演进的企业级架构，从而成为层级技术迭代的重要保障。

标准基础设施，支撑应用容器化改造。基于松耦合+标准化方式整合容器云整体架构，并制定多集群管理、多租户隔离、网络架构、存储架构、运维架构、集成功能、高可用等标准，实现了平台建设标准化；技术栈标准、服务能力标准、运行模式标准也将遵循“以场景为抓手提炼通用能力，以应用为导向适配改造”原则，高效支撑应用容器化。

下沉通用能力，构建云原生运维体系。将服务治理、弹性资源管理、运维可观测等通用能力下沉至基础设施层统一建设，并与业务系统解耦，形成独立演进能力。将发布的全链路灰度、行为的可观测可回滚、日志的统一采集、指标的规范度量、调用链的标准模型分析等充分融合，构建的云原生运维体系，能使自动化运维迈向数智化转型新进程。

完善微服务治理，规划企业级分布式架构。通过服务网格技术，将微服务能力下沉到基础设施层，同时支持Spring Cloud及Service Mesh的双栈微服务治理框架，实现异构系统服务治理。同时，将技术中台作为云原生产品一部分，打造兼容单元化架构和云原生架构，构建应用单元化多活体系，具备多地多中心服务的统一注册与生命周期的统一管理，实现从同城双活架构向异地多活架构的演进。

实现共融生态，打造“全景”容器云平台。随着全技术栈的不断丰富，云原生新技术与平台在边缘计算、容灾多活、数据治理、AI智能等各领域的深度融合，已成功覆盖人工智能、物联网、区块链等全业务场景，打造端到端的支撑能力，实现从全技术栈到全场景的容器云共融生态。

制定容器云规划路径，以模块组装促进云原生共融生态

容器云架构体系建设主要集中在基础服务云、容器服务云、平台服务云三大板块，对金融服务场景落地起到不同作用，具体如下。

“基础服务云”整体架构采用成熟的OpenStack为技术底座，以统一云化的虚拟资源池和专用高性能硬件资源从“专云专用”向“标准云”过渡，形成具有邮储银行特色的云计算架构体系。以超大规模云平台标准化交付模式，成为基础设施承载的“稳定器”。

“容器服务云”整体架构采用“Kubernetes底座+核心组件插件化”构建基于虚拟化层部署提供多元容器算力，实现异构资源管理的支撑。结合SDN虚拟化网络架构，容器服务云对外暴露POD地址，并以丰富的存储形式达成网络、存储、运维可视化、资源调度的一体化和标准化，成为持续整合云原生技术栈的“遥控器”。

“平台服务云”提供可复用的通用基础框架、双模IT的微服务治理体系和标准中间件、数据库产品，为业务应用实现塑造稳定的运行环境并打造完整标准的基础功能，以沉淀通用的云原生技术覆盖各类业务场景，支持应用分布式微服务改造，成为应用架构平台化、平台服务化、全场景数智化的“加速器”。

与架构体系相对应，展现容器云标准能力建设范畴

容器云标准能力建设范畴主要集中在基础服务云能力、容器服务云能力，平台服务云能力三部分，具体如下。

1.基础服务云能力

计算资源池能力：围绕云主机、裸金属所需的各类资源池进行标准化构建，对整体云的规划、建设、运维和管理进行标准化约束，从而保证容器平台的冗余能力和虚拟化层的高可用能力。

SDN虚拟化网络能力：主要定义网络类服务与云平台的集成、负载均衡能力等相关规范。使用SDN架构构建灵活的云平台大二层网络，能方便云主机网络的规划、设计及容器宿主机的分散部署。

存储资源池能力：以本地硬盘、集中存储、分布式存储虚拟为统一的云平台存储资源池，提供文件存储，块存储和对象存储等多样存储池，进一步满足不同业务场景的服务水平要求。

2.容器服务云能力

弹性资源池管理：分为计算资源管理、网络资源管理、存储管理，前者在提供Pod标准模型制定相关分散、调度策略的同时，以弹性扩缩容能力实现多项目多租户隔离。前者提供的标准Calico和ENI两种网络方案能适配应用所需的场景，且支持给业务分配固定IP池和随机IP。后者则满足CSI标准，将根据应用的使用场景，提供基于本地、分布式存储服务，保障数据和配置的持久化。

应用发布管理：提供多元化的应用市场，具备应用快速创建和交付能力。该市场提供了应用资源统一认证的应用编排模版，通过管理、配置、更新将一系列资源以软件包的形式进行管理。为使服务变更过程更为平滑有序，蓝绿、金丝雀等多元发布方式均涵盖其中，与基于流量、报文头内容的灰度发布策略完美适配。

云原生运维管理：主要以三种方式实现可观测运维。对突出的业务指标和应用，中间件指标进行统一采集，用于丰富弹性扩缩容的指标；对链路指标进行实时的汇聚计算，动态展示所有交易行为，不仅可以单笔调用追踪，还能宏观掌握跨系统端到端的全交易链路；实现横向各业务系统日志统一汇聚，纵向各层应用、微服务套件、中间件、数据库、操作系统、云平台日志的垂直打通，支撑百亿级日志检索秒级响应与智能化分析模型，筑牢云原生数智运维底座。

服务网格管理：容器平台基于Istio构建无侵入式微服务框架，以服务网格接入处理服务间通信，管理服务之间的通断、熔断和限流，充分满足了云原生应用程序中复杂服务拓扑可靠地交付请求。同时基于实际场景，实现服务网格与微服务治理体系的融合。

安全运行管理：具备支持secret资源，管理应用敏感数据，支持容器以非特权模式运行，支持网络隔离策略，支持租户级别和集群配置的数据安全备份，支持镜像漏洞的安全扫描能力等能力。

容器镜像库管理：容器云的镜像库采用两层架构，即各集群具备集群层镜像仓库，且在云管平台部署总体镜像仓库，从而将不同项目的公有库和私有库分别管理，并配置项目不同集群间镜像复制策略，以及不同项目镜像配额和清理策略。

3.平台服务云能力

中间件市场管理：容器服务云为有状态中间件提供标准资源的动态分配能力及通用中间件的镜像产品，支持自定义的中间件、微服务套件、数据库的产品管理。通过建立一套云原生中间件Operator的标准，完成高可用切换规范化，完成横、纵向扩容自动化，完成备份、监控等运维能力通用化，实现中间件等服务与云原生平台融合对接。

微服务治理：具备标准化的SpringCloud和Service Mesh双栈微服务治理能力，配以可视化配置和管理能力，使业务以非侵入方式接入监控。而Istio组件进的故障注入则提升了混沌工程能力。通过动态服务路由和流量的调整的能力，与现有技术栈对接共建，固化出故障自愈，高可用容灾等新基础设施功能。

数据库组件管理：基于Kubernetes Operator进行深度扩展，在复杂场景下支撑各种数据库的调度和管理；基于Kubernetes Operator来封装和沉淀对数据库的管理经验，建立健全各数据库组件容器化所需的部署、扩缩容、监控报警、故障恢复等关键能力。

以平台基础设施为底，深入探讨企业级容器云数智道路

顶层设计、统筹推进。 坚持“云原生+自主创新”一盘棋，以一体化建设强化顶层设计，加强后发优势与提升数据稳准、赋能数字化业务转型等工作的统筹推进，打造架构统一、互联互通、数据共享的容器云。按照试点先行、先点后面、复制推广的思路，有步骤、分批次推进实施。

先易后难，循序渐进。 坚持以应用服务为中心，科学实施云原生战略，坚持以“优质服务、用户至上”的理念，持续推动容器云的探索和演进。根据日益增长的升级改造需求和以“小步快跑”为基准的业务发展需要，容器云的建设应充分兼顾业务系统的稳定性，全面布局业务系统双轨运行机制；同时，坚持传统与智能化服务创新并进，不断增强云原生基础设施的可用性、可行性、可靠性。

需求引领、互联融合。 注重数字化转型发展的实际需求，围绕基础建设、云原生建设理念等关键领域痛难点，不断实践、重点突破、持续创新，及时响应业务统筹管理，切实打造出符合自身需求的数字化转型平台。强化技术融合、业务融合、数据融合，实现跨部门、跨区域、跨层级的数据共享、信息服务和流程再造，通过容器云实现从底层基础设施到上层应用系统等领域资源深度融合，从而打破“信息孤岛”和数据壁垒。

兼容并蓄，安全发展。 通过复用已有平台基础设施，整合现有软、硬件系统资源，融合重构云原生服务能力，以容器云平台贯穿业务系统、数据系统、基础设施、网络系统、安全系统，补齐短板，健全组织，重塑运维支撑保障体系，并以“统一谋划、统一部署、统一推进、统一实施”为基础原则，深耕信息化建设与网络安全领域。坚持安全与发展并重，日新日进，臻于匠心，以企业级容器云支持具有邮储银行特色的云原生生态。