Jenkins 和 Kubernetes 云上的神秘代理

Stella981
• 阅读 632

Jenkins 和 Kubernetes 云上的神秘代理

导读:最近我们构建和部署服务的方式与原来相比简直突飞猛进,像那种笨拙的、单一的、用于构建单体式应用程序的方式已经是过去式了。我们努力了这么久,终于达到了现在的效果。现在的应用为了提供更好的拓展性和可维护性,都会去拆解成各种相互依赖小、解耦性强的微服务,这些服务有各自的依赖和进度。如果想去构建服务,从一开始,就应该使用 CI/CD 的方式;当然,如果你走上了这条路, Jenkins 就是你的良师益友。

作者:Mandy Hubbard / 译者:于志鹏

来源:Jenkins(ID:Jenkins-Community)

如果你是做微服务,那让我们在开始之前先花些时间想一想。如果只在 Jenkins 上构建单体式应用程序,那你肯定每天都会运行很多 Jenkins job, 而且要不厌其烦地运行很多次。所以,我们应该好好想清楚如何来做出一些改变。其实只需要付出一些努力,Jenkins 就可以很好地解决这种事情。

Jenkins 进阶之路

作为 DevOps 从业者,我遇到的最大问题是如何管理并优化自己的 Jenkins agent 结构。如果只是实验性地用 Jenkins跑一些流水线,那根本不用考虑 agent 的事情。如果每天要跑成百上千条流水线的话,那怎么去做优化就是一件非常非常重要的事情。在 Jenkins 进阶之路中,我也尝试了各种不同的方式来寻找Jenkins agent 的最佳使用方式。如果你也和我一样经历过,那下面这些事情你一定会很熟悉。

下面是我在这些年中使用 Jenkins 的各个阶段:

1. 所有构建都在 master 节点上跑,在这个节点上运行所有的组件。(我给这个阶段起了个可爱的名字, Hello Jenkins)

2. 创建一个 Jenkins EC2 代理,并且在这个代理上运行所有的构建, 就是大而全,这个节点什么都能做。如果需要同时做多条任务,那就把这个大而全的节点克隆一份。(这个阶段我命名为  Monster Agent.)

3. 为每种服务创建不同的 Jenkins EC2 的节点(这个阶段叫Snowflake Agent.)

4. 在容器中运行流水线的所有步骤。 比如,在 Jenkins 中使用 Docker Plugin 插件将代理挂载到容器中,或者使用 multi-stage Dockerfiles 把所有构建,测试打包的流程都封装起来。这两种方法都是很好的容器抽象化的开端,并且允许轻松地将制品从一个容器复制到另一个容器。当然了,每种方法都需要访问 Docker engine 。为了让我的 Jenkins 代理能够正常工作,现在我用以下几种方式来管理 docker host:

* 在Jenkins 主容器中运行一个Docker engine - Docker in Docker (DinD);

* 把主机上的 Docker socket 挂载到容器中,让容器能够以 sidecar 的方式运行;

* 为 Jenkins 主服务器配置单个外部 EC2 Docker 主机,以用于在容器中启动构建;

* 使用 EC2 插件和包含 Docker Engine 的 AMI 动态启动代理,然后运行多阶段 Dockerfile 中的所有步骤。

以上这些阶段各有利弊,但都是为了让我们从管理 Jenkins 节点中解放出来。不过,最近我又进阶到了另外一个阶段:Jenkins on Kubernetes。

一旦在 Jenkins 中把构建节点和 job 都容器化了,迁移工作平台将变得十分简单易行。这里郑重声明一下,在使用这个方法前我一直没有接触过 Kubernetes。也就是说,在 Google Cloud Platform(GCP)GKE 中创建 Kubernetes 集群,使用 Helm Chart启动 Jenkins master ,并在 Kubernetes 集群中的 Jenkins 代理中运行构建是非常简单的。

流水线脚本中启动 K8s 中的代理

如何配置 Jenkins 才能使流水线脚本能够在 K8s 集群中启动 Jenkins 节点。首先要先安装 Kubernetes plugin 插件。有意思的是,当我用 Helm chart 来安装Jenkins 时,安装好的 Jenkins 里面已经有了该插件。还有一个前提,启动的 Jenkins 节点要和 Jenkins master 在同一个 K8s 集群里。

一旦在 K8s 中运行了 Jenkins master 节点,只需要简单配置几步,就能启动一个小构建。

配置 Jenkins Master

为了保证 Jenkins 能够访问 K8s 集群的资源,首先需要按照以下步骤创建一些凭据:

1. 进入 Jenkins 的 UI 界面,点击左边导航栏里的凭据链接

2. 点击 Stores scoped to Jenkins 列表下 global 中的 Add credentials (将鼠标悬停在链接旁边即可看到箭头)

3. 点击添加凭证

4. 写好 Kubernetes Service Account

5. 将范围设置为全局

6. 点击 OK 按钮

这样 Jenkins 就可以使用这个凭据去访问 K8s 的资源。

在 Jenkins Master 中配置云

下一步就是在 Jenkins 中设置云的配置:

1. 进入 Jenkins UI 界面,点击 系统管理 → 系统设置;

2. 进入管理界面后查找 『云』(一般在下面),然后点击 『新增一个云』,选择 kubernetes 类型;

3. 如下这些是必填的参数:

Name 自定义, 默认是 kubernetes;

Kubernetes URL https://kubernetes.default -一般是从 service account 自动配置;

Kubernetes Namespace 一般是 default  除非要在一个特殊的命名空间 ,否则不要动;

Credentials 选择上一步创建的凭据;

Jenkins URL http://<your_jenkins_hostname>:8080;

Jenkins tunnel <your_jenkins_hostname>:5555 - 用来和 Jenkins 启动的 agent 进行交互的端口;

Jenkins 和 Kubernetes 云上的神秘代理

你看,只需要几个参数就能在 K8s 集群中启动一些节点了,当然你的环境需要的话也可以做一些其他的调整。

现在你已经可以通过定义一些 pod 实现Jenkins master 访问 K8s 集群了。pod其实是 K8s 中的概念,在一个 pod 里面会有一个或者多个容器,它们共享网络还有存储,我们可以在这个 pod 中执行一些构建工作。每一个 Jenkins 节点都是作为 K8s pod 来启动的。这个 pod 里面经常会包含一个默认的 JNLP 容器,还有一些pod 模板中定义的容器。现在有至少两种方法来定义pod template。

通过 Jenkins UI 配置一个 pod template

1. Manage Jenkins → Configure Systems;

2. 找到之前配置 Jenkins K8s 的地方;

3. 点击 Add Pod Template button 选择 Kubernetes Pod Template;

4. 输入下面的值:

Name 自定义;

Namespace default -除非想换个在上一步自定义的命名空间;

Labels 自定义 - 这个将用来匹配你在 jenkinsfile 中的 label 值;

Usage 如果想让这个 pod 作为默认节点的话,就选择 "Use this node as much as possible", 如果选择 "Only build jobs with label matching expressions matching this node" 的话 那就是只有在 Jenkins 脚本中定义的label匹配的构建才能使用这个节点;

The name of the pod template to inherit from  这个可以置空,现在还用不到;

Containers 在 pod 中启动的容器,下面会有详细介绍;

EnvVars 在 pod 中注入的环境变量;

Volumes 在 pod 中挂载的任何一种卷;

Jenkins 和 Kubernetes 云上的神秘代理

需要记住,在一个 pod 中会有不止一个容器,它们都是共存的。如果你是用 Helm chart 安装 Jenkins 的话,pod 中就会包含 JNLP 这个容器,这个容器也是 Jenkins agent 中必须包含的。为了完成更多服务的构建,还需要添加一些其他工具链的容器。

添加容器模板

1. 进入 Jenkins UI 界面,回到上一步创建 pod template ;

2. 点击 Add Container 按钮, 选择 Container Template;

3. 输入下面的值:

Name 自定义;

Docker image 根据需求来写,比如在构建一个go 写的应用时,可以输入 golang:1.11-alpine3.8;

Label 表明要用在流水线脚本中引用此容器模板的标签字符串;

Always pull image 如果想让 pod 启动的时候都去拉取镜像就选择这个;

Jenkins 和 Kubernetes 云上的神秘代理

你可以保留其他参数的默认值,但是可以看到该插件可以对 pod 以及在其中运行的各个容器进行详细控制。你可以通过此插件设置在 Kubernetes pod 配置中的任何值。你还可以通过输入原始 YAML 来注入配置数据。无需因选项过多而分心,选择配置它们中的一小部分就可以获得工作环境。

单击容器模板中的“添加环境变量”按钮,将环境变量注入特定容器,也可以单击模板中的“添加环境变量”按钮,将环境变量注入所有的容器。

以下环境变量会自动注入默认的 JNLP 容器,来保障它能自动连接到 Jenkins 主服务器:

* `JENKINS_URL`: Jenkins 网页界面网址

* `JENKINS_JNLP_URL`: Jenkins 特定 slave 中 jnlp 的 url

* `JENKINS_SECRET`: 身份验证的密钥

* `JENKINS_NAME`: Jenkins 代理的名称

如果单击“添加卷”按钮,将看到几个用于添加卷的选项,这里使用 Host Path Volume 选项将 docker socket 安装在 pod 中。然后,可以运行安装了 Docker 客户端的容器,并且来构建和推送 Docker 镜像。

此时,我们为 Kubernetes 集群创建了一个云配置,并定义了一个由一个或多个容器组成的 pod。现在如何使用它来运行 Jenkins 工作?

很简单,只需要我们在 Jenkins 流水线脚本中通过标签引用 pod 和容器就可以了。

本文中的示例是使用脚本流水线,当然您可以使用声明式流水线语法实现相同的结果:

node('test-pod') {

stage('Checkout') {

checkout scm

}

stage('Build'){

container('go-agent') {

// This is where we build our code.

}

}

}

用 jenkinsfile 来实现相同的功能

通过 UI 配置插件现在看起来很不错。但有一个明显的问题,配置不能像源代码一样进行版本控制和存储。幸运的是,您可以直接在 Jenkinsfile 中创建整个 pod 定义。哈哈,在 Jenkinsfile 中有什么不能做的呢?

可以将 UI 或 YAML 定义中可用的任何配置参数添加到 `podTemplate` 和`containerTemplate` 部分。

在下面的示例中,我已经定义了一个包含两个容器模板的 pod。

pod 标签将会用于节点,表示想要启动此 pod 实例。

直接在节点内定义但没有在容器块中定义的任何步骤,都可以在默认的 JNLP 容器中运行。

容器块用于表示该容器块内的步骤应在具有给定标签的容器内运行。我已经定义了一个标签为 `golang` 的容器模板,我将用它来构建 Go 可执行文件,最终将其打包成 Docker 镜像。在 `volumes` 中,已经指出想要挂载主机的 Docker 套接字,但仍然需要 Docker 客户端使用 Docker API 与它进行交互。因此,已经定义了一个标签为 `docker` 的容器模板,该模板使用安装了 Docker 客户端的镜像。

podTemplate(

name: 'test-pod',

label: 'test-pod',

containers: [

containerTemplate(name: 'golang', image: 'golang:1.9.4-alpine3.7'),

containerTemplate(name: 'docker', image:'trion/jenkins-docker-client'),

],

volumes: [

hostPathVolume(mountPath: '/var/run/docker.sock',

hostPath: '/var/run/docker.sock',

],

{

//node = the pod label

node('test-pod'){

//container = the container label

stage('Build'){

container('golang'){

// This is where we build our code.

}

}

stage('Build Docker Image'){

container(‘docker’){

// This is where we build the Docker image

}

}

}

})

在基于 Docker 的流水线脚本中,我构建了 Docker 镜像并将其推送到 Docker 仓库,对我来说,能够复制这些配置信息非常重要。完成后,我已准备好使用`gcloud`(Google Cloud SDK)构建镜像,并将该镜像推送到 Google Container Registry,以便部署到 K8s 群集。

使用 gcloud 镜像指定了一个容器模板,并将 docker 命令更改为 gcloud 命令。、

就这么简单!

podTemplate(

name: 'test-pod',

label: 'test-pod',

containers: [

containerTemplate(name: 'golang', image: 'golang:1.9.4-alpine3.7'),

containerTemplate(name: 'gcloud', image:'gcr.io/cloud-builders/gcloud'),

],

{

//node = the pod label

node('test-pod'){

//container = the container label

stage('Build'){

container('golang'){

// This is where we build our code.

}

}

stage('Build Docker Image'){

container(‘gcloud’){

//This is where we build and push our Docker image.

}

}

}

})

在 Kubernetes 上运行 Jenkins master、Jenkins 代理,构建和部署示例应用程序其实只花了几个小时。但之后,我花了一个周末的时间才深入了解该平台。如果你学得够快,相信你在几天内就可以完全掌握并且灵活运用这个平台了。

K8S培训推荐

Kubernetes线下实战培训,采用3+1+1新的培训模式(3天线下实战培训,1年内可免费再次参加,每期前10名报名,可免费参加价值3600元的线上直播班),资深一线讲师,实操环境实践,现场答疑互动,培训内容覆盖:Docker方面:Docker架构、镜像、数据存储、网络、以及最佳实践。Kubernetes实战内容,Kubernetes设计、Pod、常用对象操作,Kuberentes调度系统、QoS、Helm、网络、存储、CI/CD、日志监控等。

北京:5月10-12日

报名:https://www.bagevent.com/event/2376547

上海:5月17-19日

报名:https://www.bagevent.com/event/2409655

深圳:5月24-26日

报名:https://www.bagevent.com/event/2409699

Jenkins 和 Kubernetes 云上的神秘代理

Jenkins 和 Kubernetes 云上的神秘代理

推荐阅读

本文分享自微信公众号 - K8S中文社区(k8schina)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
4个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这