基于k8s的DevOps实践之路

Tommy744
• 阅读 1710

原标题:基于k8s的DevOps实践之路

很多快速发展的公司都面临着一个巨大挑战:在需求不断动态横向扩容的同时继续保持系统的高可用性。如何有效解决这一问题,Kubernetes(k8s)应运而生。k8s以运行可扩展工作负载而闻名,它可以根据资源使用情况调整工作负载。

白山科技云分发团队基于多年的DevOps实践经验,在白山会运维日第三期与Thoughtworks咨询师陈海鹏及业内运维同学共同探讨基于k8s的DevOps实践经验。

白山运维工程师张灿强从用户故事、产品设计、实践之路、未来思考等角度分享了白山基于k8s搭建自动化运维IaaS平台的思路。

用户故事

首先,我们从开发整个环节来看用户故事,思考如何将平台做的更简单。

基于k8s的DevOps实践之路

DevOps开发阶段

从图上的开发过程,我们可以梳理出目前的需求主要包括:为服务解决方案、云开发平台、CI/CD、基于k8s的IaaS、可观察性、边缘计算、Serverless、DApp,我们最终确定了目前需要完成的4项核心功能,并确定了优先级:

1. CI/CD

2. 基于k8s的IaaS

3. 数据可视化

4. 云开发平台

明确需求后,我们考虑过以上功能是否需要直接外采或自研。外采的好处在于可以快速部署,但实际研发过程中,我们只需要其中部分功能,“全家桶”的捆绑无法满足灵活自定义的需求,难以进行后续进一步演进开发。根据实际情况,我们最终考虑一步步自研完成。

产品设计

在产品设计阶段,我们需要既能保证快速上线,同时满足后期局部的可修改性,我们为这个长期项目做了乐高式松耦合设计:

基于k8s的DevOps实践之路

架构图

松耦合架构允许每一层只完成该部分的功能,最小化对上下的耦合度,保证局部修改对整个系统影响最小。例如:我们需要部署一个Prometheus监控,运维同学无需管理源码,我们只需要直接从配置开始进入部署,或者把镜像缓存到本地后开始部署。

实践之路

1.CI/CD

在开始之前我们首先确定了Git工作流,我们考虑过主干开发,考虑到主客观条件以及我们的目标是让开发变成一件简单的事情,我们最终采用了如下图的开发流程。

基于k8s的DevOps实践之路

CI/CD研发我们最初选用的是Jenkins。但是我们的Git用的是Bitbucket,初期用户体验并不是很好,而且部署的权限控制、账号体系都比较繁琐。为达到更好用户体验目的,我们现在开始尝试使用Bamboo研发CI/CD。

除了用户体验外,在使用Jenkins期间,Jenkinsfile前期的管理也比较粗糙,项目增多后分叉也变的很多,迭代和维护都很繁琐。为更好地管理Bamboo的配置,我们采用了Git子树,以达到方便升级的效果;同时我们也把执行动作脚本化,既确保差异管理又能脱离CI/CD体系,本地即可完成独立调试开发。

2.测试

在整个实践过程中遇到的最大问题在于测试、测试推广以及快速构建各种集成测试环境。

测试推广更多的属于管理问题,研发可以涉及的主要在于:自动化生成一些测试和基镜,帮助项目快速补齐部分测试。

关于如何快速构建各种集成测试环境,我们使用Helm来部署每个项目。通过主Helm 包的依赖尽可能快速地构建关联环境。

环境构建只是开始,环境有了,我们需要测试它们,目前自动化测试最为合适。

如果这个过程有测试部门参与会简单很多,根据业务线和场景去做各个测试管理和维护。

在没有测试部门参与的情况下我们该怎么做?如果代码是同语言大仓库,这个问题也会很简单,只需进行关联回归即可。但是我们面临的现实情况是:一个CDN系统设计涉及各个组件各种环境和语言。我们的解决方式是把测试链条的各个环节落实到各自的项目上,谁开发谁负责原则。我们只管理关系链,做上线前回归。

基于k8s的DevOps实践之路

快速部署关联系统方案

3云开发平台

很多开发者都会遇到多个项目开发环境的切换问题,例如:很多同语言的新老项目版本差异较大、需自定义环境设置;或者很多新人想要入手一个项目搭建开发环境就要耗费大量时间。

我们的原则是把开发变成一件很简单的事情。我们正在尝试使用Eclipse Che的工作空间管理的方式来管理项目开发环境,以降低开发门槛。Eclipse Che是一个开源的解决方案,这里不作过多介绍,感兴趣的朋友可以自己了解下。

未来思考

产品的最终形态可能是什么样子?

基于k8s的DevOps实践之路

目前按照目前的优先级,火箭右侧的4项核心功能是我们优先要做的。就像上面所说的松耦合架构有利于产品的局部迭代升级,局部的量变有可能带来产品的质变。

往前一步,我们需要做什么,才能更贴近用户?应该是微服务解决方案。

往后一步,我们需要做什么,才能更贴近云服务?目前能确定的是对标产品是容器云,那这个平台的卖点就是一个完整开发工具链的容器云。

关于边缘计算,作为IaaS层的k8s换成KubeEdge等或许我们产品就具备了边缘计算的能力。

如果区块链的DApp或是Serverless成熟的IaaS层的修改替换更容易让产品快速适应市场。返回搜狐,查看更多

责任编辑:

本文转自 https://www.sohu.com/a/316030913_446710,如有侵权,请联系删除。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
5个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Stella981 Stella981
3年前
DOIS 2019 DevOps国际峰会北京站来袭~
DevOps国际峰会是国内唯一的国际性DevOps技术峰会,由OSCAR 联盟指导、DevOps时代社区与高效运维社区联合主办,共邀全球80余名顶级专家畅谈DevOps体系与方法、过程与实践、工具与技术。会议召开时间:2019070508:00至2019070618:00结束会议召开地点:北京主办单位:DevOps
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
11个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这