k8s部署环境
- 公有云环境：AWS、腾讯云、阿里云等等
- 私有云：OpenStack、vSphere等
- Baremetal环境：物理服务器或独立虚拟机（底层没有云环境）。
k8s部署方式
Minikube：Kubernetes官网提供的微型分布式环境，适合学习、初次体验，不过应该需要梯子才能用。
Kubeadm：由于二进制部署方式过于复杂，所以后来出现了Kubeadm的部署方式，这种方式其实是将k8s的各组件容器化了。注意，使用容器方式部署Master节点各组件时，需要安装kubelet和docker组件去实例化容器。这种方式有些缺点：
- 这些运行容器所需要的部分镜像在gcr.io（谷歌的镜像站）上，你懂得，架梯子才能访问。
- k8s集群内部通信采用的是TLS认证机制，但是内部都内网通信，所以一般采用自建CA，此种方式部署，其中的证书不是自己签的，所以搞不好啥时候就过期了，所以生产环境不适用
- 不支持Master节点高可用，一旦Master节点挂了，容器管理怎么办？监控、故障恢复谁处理？
二进制部署：相对复杂，生产环境适用。将重要组件以守护进程的方式部署
还有一些云厂商专有的部署方式，如kops，这里就不一一介绍了。
二次封装的k8s发行版
- Rancher：Rancher Labs基于k8s的二次封装发行版。
- Tectonic：CoreOS公司基于k8s的二次封装发行版。
- Openshift：Redhat基于k8s的二次封装发行版，只留下k8s的成熟功能，部署更加便捷，需要有ansible基础。相比较知名的发行版就是Rancher和Openshift
k8s部署要点
测试环境
- 单Master，单etcd
- Node节点随意。
- NFS存储
生产环境
高可用Master，高可用etcd，至少三个。
- kube-apiserver是无状态的，可以配置多实例。利用nginx或者haproxy做反代，并借助keepalived实现冗余。
- kube-scheduler和kube-controller-manager各自只能有一个活动实例（同时几个scheduler去掉都同一个Pod，听谁的。），但是可以建多个实例备用。他们自带leader选举功能，且默认开启此功能。
多Node主机，数量越多，冗余能力越强。
ceph或glusterfs等分布式存储
主机环境预设
- 如果有条件，最好搭建一个内网ntp服务，用来同步时间
- 配置好各节点间的hosts解析
- 禁用防火墙和Selinux，防止混淆
- 各节点禁用swap，使用swap虽然暂时能节省一些物理内存，但也会造成性能下降。安装时会自动检查此项，不禁用会导致安装出错，不过也有参数可以忽略。。。
kubeadm部署k8s
- 主机规划
主机名
IP
角色
环境
k8s-m1
192.168.2.124
控住节点
Centos 7.6，配置最少2核CPU，2G内存
k8s-n1
192.168.2.244
数据节点
Centos 7.6
- 准备工作（所有节点）
1. 我没有搭建自己的ntp，就用个定时任务替代了吧。
[root@k8s-m1 ~]# crontab -l
# time sync
*/5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com &>/dev/null
2. 配置主机名解析
[root@k8s-m1 ~]# tail -3 /etc/hosts
192.168.2.124 k8s-m1
192.168.2.244 k8s-n1
3. 关闭防火墙和selinux
[root@k8s-m1 ~]# systemctl stop firewalld.service
[root@k8s-m1 ~]# systemctl disable firewalld.service
[root@k8s-m1 ~]# sed -i.bak 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
[root@k8s-m1 ~]# setenforce 0
4. 禁用swap，默认情况下系统的swap都是打开的。
# 我在自己电脑上创建的虚拟机做的实验，资源有限，这里就不禁用swap了。emmmm....禁用命令如下：
[root@k8s-m1 ~]# swapoff -a
# 上面只是临时生效，永久生效把fstab文件中所有的swap条目注释掉。
[root@k8s-m1 ~]# cat /etc/fstab | grep swap
#UUID=0226cdc9-a352-4779-bffb-13e6b794e98b swap swap defaults 0 0
5. 设置开机自动启用ipvs内核模块 Node节点中的kube-proxy支持iptables和ipvs两种模式。从v1.2版本开始，iptables就作为kube-proxy的默认操作模式，v1.8引入了ipvs模式，v1.11可以正式使用。iptables和ipvs都是基于netfilter安全框架，相比iptables来说，ipvs能够为大型集群提供了更好的扩展性和性能，并且可以支持更加复杂的负载均衡算法。ipvs依赖于iptables，咱先把准备工作做好，用不用再说。
vim /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
ipvs_dir='/usr/lib/modules/`uname -r`/kernel/net/netfilter/ipvs'
for m in `ls $ipvs_dir | grep -o ^[^.]*`
do
/sbin/modinfo -F filename $m &>/dev/null
if [ $? -eq 0 ];then
/sbin/modprobe $m
fi
done
# 加载模块的脚本先写好，放在开机自动加载的modules目录中，但是先不要给执行权限，咱现在还用不到。
6. 配置免密传输文件。此步骤可选，我为了拷贝东西方便。
[root@k8s-m1 ~]# cd /server/scripts/
[root@k8s-m1 scripts]# yum -y install sshpass
[root@k8s-m1 scripts]# vim batch.sh
#!/bin/bash
rm -rf /root/.ssh/id_dsa*
ssh-keygen -t dsa -f /root/.ssh/id_dsa -P '' -q
for ip in $*
do
sshpass -p 123456 ssh-copy-id -i /root/.ssh/id_dsa.pub -o StrictHostKeyChecking=no 10.0.0.$ip &>/dev/null
echo -e "\n\033[32m-----主机10.0.0.$ip公钥分发完成-----\033[0m\n"
done
[root@k8s-m1 scripts]# sh batch.sh 20 21 22
[root@k8s-m1 scripts]# cd
- 安装程序（所有节点）
1. 安装docker
[root@k8s-m1 ~]# wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@k8s-m1 ~]# yum -y install docker-ce
# docker自1.13版本起，启动后会默认会把防火墙的FORWARD策略改为DROP，这可能会影响k8s集群的报文转发功能，所以我们需要将FORWARD链的默认策略改为ACCEPT。
[root@k8s-m1 ~]# vim /usr/lib/systemd/system/docker.service。
ExecStartPost=/usr/sbin/iptables -P FORWARD ACCEPT # 当docker启动后额外执行此条命令。此行加到ExecStart行下面。
[root@k8s-m1 ~]# systemctl daemon-reload
[root@k8s-m1 ~]# systemctl start docker
[root@k8s-m1 ~]# systemctl enable docker
# 使用docker info命令有报告警信息，这里如若放任不管，后面集群初始化和node节点加入集群都会报错。
[root@k8s-m1 ~]# docker info
WARNING: bridge-nf-call-iptables is disabled
WARNING: bridge-nf-call-ip6tables is disabled
# 使用下面命令可以看到这俩个参数我们确实没有开启
[root@k8s-m1 ~]# sysctl -a | grep bridge
net.bridge.bridge-nf-call-ip6tables = 0
net.bridge.bridge-nf-call-iptables = 0
[root@k8s-m1 ~]# vim /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
[root@k8s-m1 ~]# sysctl -p /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
2. 配置k8s的yum仓库，并安装相关程序。仓库的配置方法可以在阿里云镜像仓库上的kubernetes目录的帮助中查看。
# 阿里云镜像站的Kubernetes项目下el7目录中只有一个repodata，这种方式表明里面的程序包是按照当前状态构建生成的，不能够直接下载，只能本地配置yum仓库。
[root@k8s-m1 ~]# vim /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
[root@k8s-m1 ~]# yum makecache
[root@k8s-m1 ~]# yum -y install kubeadm-1.15.2 kubectl-1.15.2 kubelet-1.15.2
[root@k8s-m1 ~]# systemctl start kubelet.service
[root@k8s-m1 ~]# systemctl enable kubelet.service
- 修改配置并初始化集群（master节点）
1. 修改配置文件，即便检测到swap没有禁用，也不报错。
root@k8s-m1 ~]# vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--fail-swap-on=false"
2. kubeadm命令使用
[root@k8s-m1 ~]# kubeadm --help
Usage:
kubeadm [command]
Available Commands:
alpha # 处于测试中不太完善的命令
config # 显示当前配置
init # 初始化集群
join # 各Node节点加入集群中时使用
reset # 每个节点都可以用，把配置还原到最初始的状态。
upgrade # 升级集群的版本。
# print参数也是有子命令的，使用下面命令可以查看集群初始化时的预设配置，其中一些与我们真实环境不匹配，可以在初始化时手动指定修改。
[root@k8s-m1 ~]# kubeadm config print init-defaults # 下面只截取部分配置
imageRepository: k8s.gcr.io # 默认加载镜像的仓库，需要梯子才能访问，如果知道国内别的仓库有需要的镜像，初始化时可以手动指定仓库地址。
kind: ClusterConfiguration
kubernetesVersion: v1.15.2 # k8s版本，这是初始化会加载的配置，如果与你预期的版本不符，自行修改。
networking:
dnsDomain: cluster.local
serviceSubnet: 10.96.0.0/12 # Service网络默认地址。
scheduler: {}
# 至于Pod网络，k8s只提供了CNI，真正实现网络通信，需要借助第三方插件，如flannel、calico，两者都蛮火的，不过它们的默认网络地址不同。flannel的默认地址是10.244.0.0/16，calico的默认地址是192.168.0.0/16。如果不使用默认地址，则在部署网路插件时指定的网络地址要与k8s部署时指定的Pod网络地址一致。
3. 拉取镜像，并进行k8s集群初始化
# 使用命令行参数。指定kubernetes版本与前面下载kubeadm等程序版本一致；使用flannel插件，所以先指定网络地址；指定忽略Swap的错误检查，注意大小写；最后使用--dry-run参数测试能否执行成功
[root@k8s-m1 ~]# kubeadm init --kubernetes-version="v1.15.2" --pod-network-cidr="10.244.0.0/16" --ignore-preflight-errors=Swap --dry-run
[root@k8s-m1 ~]# echo $?
0
# 测试是没有问题的，因为还么有开始拉镜像，如果去掉--dry-runde参数执行，就会报如下错误：访问不了gcr.io。
[ERROR ImagePull]: failed to pull image k8s.gcr.io/kube-apiserver:v1.15.2: output: Error response from daemon: Get https://k8s.gcr.io/v2/: proxyconnect tcp: dial tcp 218.255.73.143:80: connect: connection refused, error: exit status 1
# 前面说过，kubeadm部署的k8s需要用到的镜像有一部分在k8s.gcr.io上，因为某种不可描述的原因导致我们拉取不到，所以只能找找国内的资源，可以先看看kubeadm需要哪些镜像。
[root@k8s-m1 ~]# kubeadm config images list
W0812 14:25:08.711840 4589 version.go:98] could not fetch a Kubernetes version from the internet: unable to get URL "https://dl.k8s.io/release/stable-1.txt": Get https://dl.k8s.io/release/stable-1.txt: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers) # 访问不到grc.io
W0812 14:25:08.711926 4589 version.go:99] falling back to the local client version: v1.15.2 # 本地客户端版本
k8s.gcr.io/kube-apiserver:v1.15.2
k8s.gcr.io/kube-controller-manager:v1.15.2
k8s.gcr.io/kube-scheduler:v1.15.2
k8s.gcr.io/kube-proxy:v1.15.2
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.3.10
k8s.gcr.io/coredns:1.3.1
# 手动下载镜像，然后修改tag
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/kube-apiserver:v1.15.2
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/kube-controller-manager-amd64:v1.15.2
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/kube-scheduler-amd64:v1.15.2
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/kube-proxy:v1.15.2
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/pause:3.1
[root@k8s-m1 ~]# docker pull mirrorgooglecontainers/etcd:3.3.10
[root@k8s-m1 ~]# docker pull coredns/coredns:1.3.1
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/kube-apiserver:v1.15.2 k8s.gcr.io/kube-apiserver:v1.15.2
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/kube-controller-manager-amd64:v1.15.2 k8s.gcr.io/kube-controller-manager:v1.15.2
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/kube-scheduler-amd64:v1.15.2 k8s.gcr.io/kube-scheduler:v1.15.2
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/kube-proxy:v1.15.2 k8s.gcr.io/kube-proxy:v1.15.2
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1
[root@k8s-m1 ~]# docker tag mirrorgooglecontainers/etcd:3.3.10 k8s.gcr.io/etcd:3.3.10
[root@k8s-m1 ~]# docker tag coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1
# 删除掉不用的镜像，最终如下：
[root@k8s-m1 ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
k8s.gcr.io/kube-apiserver v1.15.2 34a53be6c9a7 6 days ago 207MB
k8s.gcr.io/kube-proxy v1.15.2 167bbf6c9338 6 days ago 82.4MB
k8s.gcr.io/kube-scheduler v1.15.2 38d61dd6e105 3 weeks ago 81.1MB
k8s.gcr.io/kube-controller-manager v1.15.2 575346c7506b 3 weeks ago 159MB
k8s.gcr.io/coredns 1.3.1 eb516548c180 7 months ago 40.3MB
k8s.gcr.io/etcd 3.3.10 2c4adeb21b4f 8 months ago 258MB
k8s.gcr.io/pause 3.1 da86e6ba6ca1 19 months ago 742kB
# 开始执行初始化操作。如果初始化出错，可以使用kubeadm reset命令删除初始化过程产生的文件，重置到初始状态。
[root@k8s-m1 ~]# kubeadm init --kubernetes-version="v1.15.2" --pod-network-cidr="10.244.0.0/16" --service-cidr="10.96.0.0/12" --apiserver-advertise-address="0.0.0.0" --ignore-preflight-errors=Swap
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user: # 以普通用户执行下面命令
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster. # 提示需要安装网络插件
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.2.124:6443 --token a6o1sb.30kajnbrq83qnr8r \
--discovery-token-ca-cert-hash sha256:f46d7a79ec6e939c44a4c0425c892fa9ee816012ef2f675ac36002b2473210e3 # Node节点加入集群的命令，注意保存。
# 此处为了方便就直接用root用户进行操作了。
[root@k8s-m1 ~]# mkdir -p $HOME/.kube
[root@k8s-m1 ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@k8s-m1 ~]# chown $(id -u):$(id -g) $HOME/.kube/config # 管理员下此步骤可省略
# 查看集群当前的状态
[root@k8s-m1 ~]# kubectl get cs
NAME STATUS MESSAGE ERROR
controller-manager Healthy ok
scheduler Healthy ok
etcd-0 Healthy {"health":"true"}
# 查看集群版本
[root@k8s-m1 ~]# kubectl version --short=true
Client Version: v1.15.2
Server Version: v1.15.2
# 查看集群信息
[root@k8s-m1 ~]# kubectl cluster-info
Kubernetes master is running at https://192.168.2.124:6443
KubeDNS is running at https://192.168.2.124:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy
To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.
# config的配置文件是一定要有的，没有的话，kubectl get nodes命令就执行不了，注意配置文件一定不能泄露。node上也有此命令，但是不能执行get的操作，因为apiserver监听在master的6443的端口，除非你master节点的配置文件拷贝到node上，否则node执行kubectl get nodes就只会找本机的8080，这是没有结果的。
[root@k8s-m1 ~]# netstat -lntp | grep -i apiserve
tcp6 0 0 :::6443 :::* LISTEN 16341/kube-apiserve
[root@k8s-m1 ~]# kubectl config view | grep server
server: https://192.168.2.124:6443
[root@k8s-n1 ~]# kubectl get nodes
The connection to the server localhost:8080 was refused - did you specify the right host or port?
# 现在只有一个master节点，状态是未就绪，需要部署网络插件。
[root@k8s-m1 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-m1 NotReady master 18m v1.15.2
4. 部署flannel网络插件，部署的命令在GitHub页面搜索"Deploying flannel manually"就可以找到。
[root@k8s-m1 ~]# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 安装完看下Pod的运行状态
[root@k8s-m1 ~]# kubectl get pods
No resources found.
# 没有找到是因为集群本身是被划分为多个名称空间的， kubectl get pods命令默认查的是default名称空间
[root@k8s-m1 ~]# kubectl get ns
NAME STATUS AGE
default Active 14m
kube-node-lease Active 15m
kube-public Active 15m
kube-system Active 15m
# 使用-n的参数指定查找名称空间下的Pod。flannel插件到running的状态取决于网速
[root@k8s-m1 ~]# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-5c98db65d4-mzw28 1/1 Running 0 14m
coredns-5c98db65d4-zl5cs 1/1 Running 0 14m
etcd-k8s-m1 1/1 Running 0 13m
kube-apiserver-k8s-m1 1/1 Running 0 13m
kube-controller-manager-k8s-m1 1/1 Running 0 13m
kube-flannel-ds-amd64-qd5js 1/1 Running 0 112s
kube-proxy-9p5qd 1/1 Running 0 14m
kube-scheduler-k8s-m1 1/1 Running 0 13m
[root@k8s-m1 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-m1 Ready master 15m v1.15.2
# 这些组件都是以Pod的方式启动，可以查看本机启动的容器，名字都是以Pod开头的。
[root@k8s-m1 ~]# docker ps -a
- 配置Node节点加入到k8s集群（所有Node节点）
1. 修改配置文件。
root@k8s-n1 ~]# vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--fail-swap-on=false"
2. node节点加入集群时，也是需要容器方式启动一些组件的，这里你就直接从k8s-m1导出再导入到node节点。
[root@k8s-m1 ~]# docker save -o node.gz k8s.gcr.io/pause:3.1 k8s.gcr.io/kube-proxy:v1.15.2 quay.io/coreos/flannel:v0.11.0-amd64
[root@k8s-m1 ~]# scp node.gz k8s-n1:/root/
[root@k8s-n1 ~]# docker load -i node.gz
3. 执行上面kubeadm初始化结尾注明的命令。此过程会自动启动kubelet。
[root@k8s-n1 ~]# kubeadm join 192.168.2.124:6443 --token a6o1sb.30kajnbrq83qnr8r --discovery-token-ca-cert-hash sha256:f46d7a79ec6e939c44a4c0425c892fa9ee816012ef2f675ac36002b2473210e3 --ignore-preflight-errors=Swap
[WARNING SystemVerification]: this Docker version is not on the list of validated versions: 19.03.1. Latest validated version: 18.09 # 这个警告信息表明，用的docker版本太新了，还不在k8s已验证的列表里面，最新已验证的版本是18.09.生产环境还是要注意版本匹配。
[root@k8s-n1 ~]# systemctl enable kubelet.service
4. 稍微等一会去master上看，就发现k8s-n1已经ready了。
[root@k8s-m1 ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-m1 Ready master 119m v1.15.2
k8s-n1 Ready <none> 30m v1.15.2
5. 如果忘记了token和token的hash值，可以用下面命令获取。
# token信息，如果有多行，就找kubeadm对应的token信息
[root@k8s-m1 ~]# kubeadm token list | awk '{print $1}'
TOKEN
a6o1sb.30kajnbrq83qnr8r
# CA公钥的hash值
[root@k8s-m1 ~]# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
f46d7a79ec6e939c44a4c0425c892fa9ee816012ef2f675ac36002b2473210e3
6. 资源时间有限，如果有更多的node节点操作方式也是一样。
写作不易，转载请注明出处，谢谢~~
