Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

Stella981
• 阅读 1369

本次通过Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD,当容器镜像推送到 Harbor镜像库中之后,自动触发docker pull 更新 Kubernetes 环境中的容器镜像。

实验拓扑图:

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

由于在之前的文章中已经部署过k8s集群、harbor、kuboard,所以就不在这里介绍了,大家可以结合以下文章进行部署;本次重点介绍CICD自动化的实现与落地。

Breeze1.19.0部署Kubernetes1.19.0高可用集群:

https://blog.51cto.com/890909/2538107

Kuboard图形化管理k8s集群及harbor镜像库集成:

https://blog.51cto.com/890909/2538334

解决Jenkins初始化插件失败:

https://blog.51cto.com/890909/2488882

一. Gitlab配置:

去gitlab官网下载最新版rpm包,拷贝到gitlab服务器,我这里下载了gitlab-ce-13.4.1-ce.0.el7.x86_64.rpm

# yum install -y gitlab-ce-13.4.1-ce.0.el7.x86_64.rpm

修改Hosts:

# vim /etc/hosts

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

修改gitlab.rb文件,添加gitlab登录地址:

# vim /etc/gitlab/gitlab.rb

external_url 'http://192.168.50.17'

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

重新配置gitlab:

# gitlab-ctl reconfigure

等待完成后,用浏览器登录“http://192.168.50.17”,修改登录密码,用root用户登录。

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

创建项目:

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

⑴ 通过http克隆项目:

登录到client客户端:

# yum install -y git

# vim /etc/hosts

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

# git clone http://192.168.50.17/root/cicd.git

# ls

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

# cd cicd/

# ls -a   //查看隐藏文件

测试提交文件:

# vim index.html

666666    v6

# git add .

# git config --global user.name "Aizenwong"

# git config --global user.email "test@123.com"

# git commit -m "v1"

# git push -u origin master    //输入root和密码

登录gitlab进行查看:

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

# cd

# rm -rf cicd/

⑵ 通过SSH克隆:

登录到client客户端:

# ssh-keygen -N ""

# ls .ssh/

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

# cat .ssh/id_rsa.pub     //复制红色框内密钥

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

登录到gitlab网站:

点击右上角,"settings"

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

添加客户端SSH KEY:

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

以后可以通过SSH免密提交代码了

测试:

# git clone git@192.168.50.17:root/cicd.git

# cd cicd/

# vim index.html

88888888    v8

#  git add .

# git commit -m "v8"

# git config --global user.name "Aizenwong"

# git config --global user.email "test@123.com"

# git push

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

二. 配置Jenkins:

到jenkins和java官网下载rpm包,不在赘述,我这里下载的是jenkins-2.259-1.1.noarch.rpm、jdk-8u261-linux-x64.rpm

#  yum install -y jenkins-2.259-1.1.noarch.rpm

#  yum install -y git docker

#  rpm -ivh jdk-8u261-linux-x64.rpm

#  service jenkins start

#  chkconfig jenkins on

⑴ 登录jenkins:

在浏览器输入“http://192.168.50.18:8080”,复制地址/var/lib/jenkins/secrets/initialAdminPassword

登录jenkins服务器解锁:

#  cat /var/lib/jenkins/secrets/initialAdminPassword       //复制密钥

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

⑵ 安装推荐的插件:

此处附上解决初始化插件问题解决地址:https://blog.51cto.com/890909/2488882

⑶ 用admin登录,自行更改密码:

① 插件管理:

插件管理----可选插件----“查找docker”,选择"docker-build-step和Docker",进行安装。

安装完成后的效果:

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

⑶ 系统配置:

① 进入系统配置----Docker Builder

Docker URL     tcp://192.168.50.15:2375

点击,Test Connection进行测试。

 Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

由于harbor默认没有启用docker远程连接,还需要先设置docker远程连接,才能访问2375端口,方法如下:

登录到harbor主机:

#  systemctl edit docker.service

[Service]
ExecStart=
ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://0.0.0.0:2375

#  systemctl daemon-reload ; systemctl restart docker

#  netstat -tnlp | grep 2375

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

② 新增一个docker云:

新版jenkins更改了docker云配置位置:

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

输入一样的URL:

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

⑷ 权限设置:

#  vim /etc/sudoers.d/jenkins

jenkins jenkins=(root)NOPASSWD:/bin/rm

#  gpasswd -a jenkins root

#  service jenkins restart

⑸ jenkins主机登录harbor镜像库报错解决方法:

在docker login harbor主机时,发现无法访问,从网上找来解决方案:

#  find / -name docker.service -type f

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

#  vim /usr/lib/systemd/system/docker.service

ExecStart=/usr/bin/dockerd-current \
          --insecure-registry=192.168.50.15

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

#  systemctl daemon-reload ; systemctl restart docker

#  docker login 192.168.50.15 -u admin -p Harbor12345

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

⑹ 创建任务:

新建任务,CICD,选择自由风格

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

配置:

构建触发器:

勾选"触发远程构建",身份验证令牌输入相关令牌码

记住jenkins URL,gitlab webhook会用到,http://192.168.50.18:8080/job/CICD/build?token=password

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

构建:

选择执行shell:

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

在执行shell里输入相关命令:

cd /zz
sudo rm -rf *
git clone http://192.168.50.17/root/cicd.git
version=$(date +"%Y.%m.%d.%H.%M.%S")
name=192.168.50.15/cicd/cicd-nginx:$version
docker build -t $name cicd
docker login 192.168.50.15 -u admin -p password
docker push $name
bash /root/rm_all_images.sh
curl -X PATCH \
  -H "content-type: application/strategic-merge-patch+json" \
  -H "Authorization:Bearer eyJhbGciOiJSUzI1NiIsImtpZCI6InlUT1lkZjgwNHhBdjlQNnRtSHVoYjg4MGlFUzI4S21sOE1RVkJSZzlNY3MifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJrdWJvYXJkLXVzZXItdG9rZW4tdDk0N2oiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoia3Vib2FyZC11c2VyIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiYjJhOTBiMzQtOGQxMS00NDI5LTlkMjItYWIwYzIzMjU4YzZmIiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmt1Ym9hcmQtdXNlciJ9.7TkJZf21AdNnnYRpLi--ft3sC_iBy6qQk_BgKNREP1hrfOsSpqe_rI4YFg2MKlm6nMadhEL6WC3zSFdgwcI9em9iAeZ5-DxIliDXhm620dClN5ILzO4n0NC9pARB7uRo_KAFIdwJEV4Bjw5hTlPiFNFX6bqY0P9Lx7iM7uluDP2cEvcIKeHSQ_WLfbgzTAs8wvudQbSFVgbdSnJ8npG1lgDT2lXn3Dpqq4FSLipA5GE-J-BWnsJTLuZObTlHyMDs7EKwnWFq7vImVS9HgntUmh48h0qFJmh1LQSbwmfdiVMMsrZuUaFPYhQ-oNqqFrNYZTo6o5gb7pnilvpiIj4kYw" \
  -d '{"spec":{"template":{"spec":{"containers":[{"name":"nginx","image":"192.168.50.15/cicd/cicd-nginx:'$version'"}]}}}}' \
  "http://192.168.50.16:32567/k8s-api/apis/apps/v1/namespaces/cicd/deployments/nginx"

保存,后面我再讲每条命令的作用。

⑺ kuboard创建Deployment:

在cicd命名空间创建nginx的Deployment,NodePort为32568

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

点击CI/CD集成,会发现有相关更新镜像教程:

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

我们找到自动触发教程,查看如何集成:

教程的大致意思是,镜像版本改成$变量,这样在每次触发时,会更新为最新镜像,在我的脚本中为"192.168.50.15/cicd/cicd-nginx:'$version'"

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

⑻ 这里我来讲解一下我所写脚本的作用:

cd /zz         ##jenkins服务新建zz目录
sudo rm -rf *  ##每次进入zz都先清空目录,不然会导致下次构建时无法克隆目录
git clone        ##http模式克隆gitlab项目目录 
version=$(date +"%Y.%m.%d.%H.%M.%S")                ##镜像版本,我利用系统时间来进行镜像版本$version
name=192.168.50.15/cicd/cicd-nginx:$version          ##上传镜像到指定harbor项目下
docker build -t $name cicd                       ##制作dockerfile文件,
docker login 192.168.50.15 -u admin -p password    ##登录harbor,否则无法docker push
docker push $name                                      ##docker push 镜像到harbor,镜像为变量$name
bash /root/rm_all_images.sh                             ##这里我写了一个jenkins服务器,清空docker镜像脚本,节约空间
curl -X PATCH \                                       ##这里就是kuboard自动生成的登录远程master vip ip的Authorization:Bearer,注意修改镜像信息
  -H "content-type: application/strategic-merge-patch+json" \
  -H "Authorization:Bearer eyJhbGciOiJSUzI1NiIsImtpZCI6InlUT1lkZjgwNHhBdjlQNnRtSHVoYjg4MGlFUzI4S21sOE1RVkJSZzlNY3MifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJrdWJvYXJkLXVzZXItdG9rZW4tdDk0N2oiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoia3Vib2FyZC11c2VyIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiYjJhOTBiMzQtOGQxMS00NDI5LTlkMjItYWIwYzIzMjU4YzZmIiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmt1Ym9hcmQtdXNlciJ9.7TkJZf21AdNnnYRpLi--ft3sC_iBy6qQk_BgKNREP1hrfOsSpqe_rI4YFg2MKlm6nMadhEL6WC3zSFdgwcI9em9iAeZ5-DxIliDXhm620dClN5ILzO4n0NC9pARB7uRo_KAFIdwJEV4Bjw5hTlPiFNFX6bqY0P9Lx7iM7uluDP2cEvcIKeHSQ_WLfbgzTAs8wvudQbSFVgbdSnJ8npG1lgDT2lXn3Dpqq4FSLipA5GE-J-BWnsJTLuZObTlHyMDs7EKwnWFq7vImVS9HgntUmh48h0qFJmh1LQSbwmfdiVMMsrZuUaFPYhQ-oNqqFrNYZTo6o5gb7pnilvpiIj4kYw" \
  -d '{"spec":{"template":{"spec":{"containers":[{"name":"nginx","image":"192.168.50.15/cicd/cicd-nginx:'$version'"}]}}}}' \
  "http://192.168.50.16:32567/k8s-api/apis/apps/v1/namespaces/cicd/deployments/nginx"

⑼ 查看nginx服务:

在浏览器输入master vip ip + 32568端口:

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

⑽ 配置gitlab与jenkins的联动:

在jenkins主机上:

#  mkdir /zz

#  chown jenkins.jenkins /zz

登录jenkins网站:

安全----全局安全配置

① 授权策略:

"登录用户可以做任何事",勾选"匿名用户具有可读权限"

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

② 跨站请求伪造保护:

目前高版本的jenkins无法手动关闭,需要在jenkins主机里修改:

#  vim /etc/sysconfig/jenkins

JENKINS_JAVA_OPTIONS="-Djava.awt.headless=true -Dhudson.security.csrf.GlobalCrumbIssuerConfiguration.DISABLE_CSRF_PROTECTION=true"

添加蓝框部分:

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

#  service jenkins restart

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

③ 登录到gitlab网页:

点击"扳手"按钮,Settings----Network----Outbound requests,勾选"Allow requests to the local network from web hooks and services"

"Save changes"

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

进入cicd项目,Settings----Integrations----Go to Webhooks

URL输入:http://192.168.50.18:8080/job/CICD/build?token=password

Add webhook

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

三. 实战CICD项目:

登录client客户端:

#  cd cicd/

#  vim index.html

Hello CICD!    V10

#  vim Dockerfile      //编写Dockerfile,利用harbor已有镜像创建

FROM 192.168.50.15/cicd/nginx
MAINTAINER      Aizenwong
ADD index.html  /usr/share/nginx/html
EXPOSE  80
CMD     ["nginx", "-g","daemon off;"]

#  git add .

#  git commit -m "v10"

#  git push

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

四. 镜像回滚:

先登录harbor,查看镜像版本:

找一个时间最早的镜像,进行回滚

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

登录到kuboard:

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

Gitlab+Jenkins+K8s集群+Kuboard+Harbor实现自动化CICD

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
4个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
Kubernetes和TensorFlow集群搭建
原创未名小宇宙2018012022:48:35@引用自今日头条莫问出处莫问归途本文演示在Kubernetes集群上搭建TensorFlow集群。集群如下:(请不要问node1哪去了,因为TA罢工了)!Kubernetes和TensorFlow集群搭建(https://oscimg.oschina.net/oscnet
Stella981 Stella981
3年前
Android So动态加载 优雅实现与原理分析
背景:漫品Android客户端集成适配转换功能(基于目标识别(So库35M)和人脸识别库(5M)),导致apk体积50M左右,为优化客户端体验,决定实现So文件动态加载.!(https://oscimg.oschina.net/oscnet/00d1ff90e4b34869664fef59e3ec3fdd20b.png)点击上方“蓝字”关注我
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
35岁是技术人的天花板吗?
35岁是技术人的天花板吗?我非常不认同“35岁现象”,人类没有那么脆弱,人类的智力不会说是35岁之后就停止发展,更不是说35岁之后就没有机会了。马云35岁还在教书,任正非35岁还在工厂上班。为什么技术人员到35岁就应该退役了呢?所以35岁根本就不是一个问题,我今年已经37岁了,我发现我才刚刚找到自己的节奏,刚刚上路。
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这