ucloud 夯实云计算底层系统基石,UCloud不断演进全球基础架构能力
推荐文章
本次大会上,UCloud基础架构平台线总经理王凯,分享了UCloud对于云计算基础架构的深度洞察和设计能力,并介绍了综合性的企业级云计算基础架构解决方案。
基础架构是云计算底层系统的基石,是底层实力。
云计算基础设施的稳定和可靠,是云计算公司的底层实力。王凯表示:“如果云计算产品未来提供的是IT信息化综合服务,那么基础架构就是云计算底层的系统基石。”
王凯介绍,相对于云产品,基础架构有两个特点,第一是基础架构模式重,因为它不同于一般的软件架构,而是需要大规模重资产的基础物理建设;第二是基础架构建设节奏慢,因为它处于系统底层,就意味着上层有诸多应用,这些应用不容易被编排和改造,为了避免底层的变化会影响上层应用,基础架构要相对稳定。
基础架构这两个特点,决定其在整个设计、规划、建造过程中,需要更多更丰富的经验,还要有更加前瞻的视野。
UCloud在成立以后的七年里对整个基础设施建设持续重大投入,并形成了自己的建设思路 “给客户提供最合适的基础设施”。
王凯回顾了UCloud数据中心建设过程。早期,UCloud客户主要集中在北京、上海、广州、香港这些城市,UCloud在这些核心节点建设了数据中心;2016年-2017年,随着用户出海业务的迅速发展,为了给出海企业拓展提供帮助,UCloud迅速布局了整个海外节点;随着自身业务发展和体量持续扩大,以及大型、超大型数据中心技术成熟,网络接入节点仍然在核心区,而存储和高密计算根据延时需求,逐渐倾向部署在非核心区,可以利用更好的自然环境和土地、电力条件,以获取更低的运营成本和更高的经济效益。
此时;差异性、定制化基础设施成为客户的诉求。鉴于对客户需求的这个判断,2018年UCloud建设了福建GPU可用区,专门为AI和高密计算提供支持;同时还正在开工建设北方的乌兰察布数据中心,充分利用当地自然条件等优势,将作为低成本、可定制的基地型数据中心,为北方地区的计算、冷存储业务提供支持。
基础设施是点,物理网络是信息通道,大容量、全球化且高可用的业务诉求对物理网络的提出了极高的挑战。
超大型的数据中心和全球化的趋势对物理网络提出了更高的要求。基于这样的挑战,UCloud首先发布了物理网络的DCN4.0架构。
该架构有三个特点:
第一是弹性高容量,DCN4.0架构采用3级CLOS架构,支持20K到80K个物理节点接入;
第二是高速网络,DCN4.0架构使用25G接入设计和100G的网络核心汇聚设计,支持1:1的收敛比,使用无损以太网技术,充分保证DC内部充足的带宽和极低的时延;
第三是采用POD设计,王凯介绍:“数据中心的建设迭代过程很慢,但在软件的不断迭代中,我们又希望对软件不断升级的网络架构需求提供支持。”UCloud将积累的网络设计能力产品化,抽象出来形成POD,单个POD提供一致的网络能力,将内部分区的架构设计转化成网络对内的产品能力,兼顾成本、架构设计演进、创新三者平衡。
网络工程师工作一年抵不上民工一铲子?物理网络要求高可用
“解决了容量问题,我们接下来是关注数据中心高可用”王凯介绍:“网上有个段子,网络工程师工作一年,抵不上民工一铲子。”这句话指的基础设施高可用非常难,城域网的光缆经常出现这样那样问题。
为了保证数据中心高可用性,避免其受不确定因素影响,UCloud在2018年新推出的网络城域网架构,将原来的2pop升级为3pop,整个单数据中心的可用性从原来的6个9提升到了9个9,全年数据中心理论“不可用”的时长从3分钟变成了0.09秒。
针对城域网,UCloud发布了DC Group架构。DC Group架构将地理位置相近的DC通过full-mesh的结构联系起来,作为同一个AZ对外提供服务。这样形成了三个优势,第一是低延时,距离十公里以内的DC延时可以控制在0.2毫秒,相对业务是无感知的。第二是通过冗余和带宽,通过100G和400G的高密度波分,对DC Group之间的数据中心提供了6.4T的大带宽,保证了整个业务的流量。第三是滚动升级持续扩容,当原有数据中心不够用时,可以通过新建新一代DC的方式,满足新业务在原AZ里上线的要求,同时将新数据中心的产品架构挂在在原有的DC Group进行升级扩容,兼顾整个数据中心生命周期和容量管理。
针对广域网,发布四个产品架构,包括三个广域网架构,一个边缘网络架构。其中,广域网三个架构是洲际节点、UTN网络、UBN网络,洲际节点主要负责多地区internet的带宽接入,目前在23个地区有30+BGP出口,在海外拥有近1T的带宽;UTN网络是多业务传输网,它与UCloud全球基础设施和起来,甚至可以让客户通过UTN和UCloud全球基础设施打造属于自己独立的全球基础架构;UBN网络是UCloud在UTN之上搭建的数据网,主要是实现流量调度功能,包括Anycast和分布式DDos的功能都是在这张网络上落地。
王凯还重点介绍了UCloud“罗马”网络产品,罗马依托于UTN、UBN、UDPN网络、UCloud全球加速节点,甚至其他的运营商资源共同搭建而成,核心价值是为客户提供就近接入和链路动态调度,主要应用场景是实现最后一公里接入、极速的多云互联和廉价的广域网全球加速。
从数据中心的DCN到城域网的3POP、DC Group,再到广域网的UTN、UBN和洲际节点,最后到边缘的罗马产品,UCloud基于对网络架构的理解,为客户提供了一套完整综合的解决方案。
虚拟网络,既是难点又是核心技术点
“虚拟网络是云计算的难点,也是一个核心技术点。”
2012年,UCloud开始使用虚拟网络,采用EBTables和IPTables的组合架构做用户隔离,但是UCloud的团队很快发现这个技术方案不足以向客户提供安全、稳定的服务。2013年,UCloud的虚拟网络开始采用SDN技术实现租户隔离,也就是VPC(Virtual Private Cloud)。同时将第一代虚拟的SDN交换机引入,将物理机设备引入公有云体系;2014年和2015年,为了性能优化,引入了DPDK高性能网关;2016年和2017年,升级VPC2.0,将原有的经典网络和VPC1.0网络客户,在客户没有感知的情况下,全部无缝升级到VPC2.0。使用包括IP跨AZ漂移、ULB跨AZ挂载等特性。
创新升级为客户创造了更好的使用体验,但UCloud远远没有止步于此。随着云计算行业发展,传统企业的云业务场景,给虚拟网络的自身的健壮性,高性能和易用性提出了更高的要求,应对这些诉求,2018年UCloud推出包括UXR、智能网关和IPv6三大特性的下一代网络架构VPC3.0,目前还在考虑构建下一代架构VPC4.0。
UXR具备路由和解耦特性,使UCloud虚拟网络可以将公有云、物理云、托管云等各个独立分区以及对外接入网关全部通过UXR互联,这样既实现了各个业务模块的解耦,又确保每个分区都可以基于自己规模扩展,以此确保整个网络的平行拓展和对外的连接,真正实现网络的分区路由。同时通过使用可编程芯片交换机,ucloud上线了国内首家线上自研虚拟网络汇聚路由器,确保了6.5T 128字节稳定线速转发,保证了核心虚拟网络设备的高速性能。
智能网关是在UCloud原有的宿主基础上使用智能网卡,将原有的虚拟网络封装和转发功能移交到智能网卡,通过部分硬件卸载的方式完成,通过这种方式使转发能力提升整整10倍。这个方案的另外一个优势可以统一VPC内部架构,将公有云和未来单机的Bare Metal设备在功能和拓扑上一致,客户不用区分云主机和物理机的差异。
IPv6方面,UCloud目前已经通过NAT64实现了IPv6转化服务接入,同时还通过可编程交换机开发了ulb7,实现整个IPv6的负载均衡接入。VPC3.0架构还支持整个IPv6的主动式流表下发,这就意味着UCloud可以无损支持纯的IPv6网络。
云计算不是冰冷冷的技术,更是IT基础架构的服务,客户需要的不光是单一产品,更是全方位的解决方案。通过7年的积累和完善,除了技术和资源,UCloud还积累了丰富的海量运营的体系经验,包括:多维度立体化的监控体系、海量资源的全生命周期管理、全球数据中心自动化持续交付流水线、高效稳定SRE运维支撑、全流程的持续服务改进和极致可靠的安全防护。
王凯认为,整个基础架构体系,体现了UCloud漫长的技术积累,是包括资源整合的能力、架构优化能力、技术研发能力、海量运营能力在内的综合能力体现。在产业升级大趋势中,UCloud将继续随业务成长,不断演进全球基础架构能力并对外综合输出,为上层业务和客户提供服务,赋能产业变革。
来源:中国网