Kubernetes 动手系列想通过一系列动手的 demo ，来帮助读者快速的理解上手 Kubernetes 一些运行机制。会包括如下内容：
手动部署
开发一个 operator
开发 webhook
开发 chart 包
开发 scheduler
开发 stroagecalss
开发 cloud provider
virtual kubelet
本文要求读者对 Kubernetes 的架构和使用有基本的了解。
本文通过手工简单部署一个 K8S 集群来了解 K8S 整体的架构，以及内部组件的关系。
本文介绍的部署过程主要是为了让读者能够理解 K8S 的运行原理，为了简化流程，这里不涉及高可用、高性能等解决方案。
安装说明：
本文仅仅是在两个节点上部署所有的组件，如图所示包括 MASTER 和 NODE
所有的组件都安装在 /opt/{component} 的根目录下，包括二进制文件和配置文件
另外组件进程由 systemd 来管理，其配置文件在 /etc/systemd/system/{component}.service
本文所有的安装代码已经放在 https://github.com/bilc/kubernetes-deploy，供大家参考。
1 前期准备
配置环境变量文件 environment，如下，只修改 MASTER_IP 和 NODE_IP 即可。
export MASTER_IP=10.1.0.86
主要需要配置免密登录和下载二进制文件，这里的 download.sh 下载的文件可能需要翻墙解决。
ssh-keygen #生成免密登录的公私钥
2 证书生成
首先介绍一下证书文件类型：
ca.pem, ca-key.pem：证书颁发机构自己的证书和私钥
*.pem, *-key.pem：该模块的证书和私钥
*.kubeconfig：访问 K8S 的配置文件，内部包括集群的 apiserver、ca、自己的证书和私钥，作用等同配置单独公私钥等参数。
在签发证书时，注意作为被访问节点时，需要将自己被访问所有入口 IP 和域名都放到证书 hosts 字段。
命令
参数作用
参数
说明
kube-apiserver
访问etcd
--etcd-cafile=${DIR}/ca.pem \\
--etcd-certfile=${DIR}/kubernetes.pem \\
--etcd-keyfile=${DIR}/kubernetes-key.pem \\
访问kubelet
--kubelet-certificate-authority=${DIR}/ca.pem \\
--kubelet-client-certificate=${DIR}/kubernetes.pem \\
--kubelet-client-key=${DIR}/kubernetes-key.pem \\
apiserver 对 kubelet 的依赖主要是需要 proxy 一些命令
例如 kubectl exec
被其他组件访问
--client-ca-file=${DIR}/ca.pem \\
--tls-cert-file=${DIR}/kubernetes.pem \\
--tls-private-key-file=${DIR}/kubernetes-key.pem \\
secret资源的加密
--service-account-key-file=${DIR}/service-account.pem
需要与kube-contrller manager 配合使用
kube-controller-manager
secret资源的加密
--service-account-private-key-file=
/opt/kube-controller-manager/service-account-key.pem \\
访问kube-apiserver
--kubeconfig=/opt/kube-controller-manager/kube-controller-manager.kubeconfig \\
为pod内访问集群签发证书
--cluster-signing-cert-file=/opt/kube-controller-manager/ca.pem \\
--cluster-signing-key-file=/opt/kube-controller-manager/ca-key.pem \\
kube-scheduler
访问kube-apiserver
kubeconfig: "/opt/kube-scheduler/kube-scheduler.kubeconfig"
kubelet
访问kube-apiserver
--kubeconfig=/opt/kubelet/${NODE_IP}.kubeconfig \\
被kube-apiserver访问
tlsCertFile: "/opt/kubelet/${NODE_IP}.pem"
tlsPrivateKeyFile: "/opt/kubelet/${NODE_IP}-key.pem"
clientCAFile: "/opt/kubelet/ca.pem"
etcd
被客户端访问
--trusted-ca-file=/opt/etcd/ca.pem \\
--cert-file=/opt/etcd/etcd.pem \\
--key-file=/opt/etcd/etcd-key.pem \\
访问peer和被peer访问
--peer-trusted-ca-file=/opt/etcd/ca.pem \\
--peer-cert-file=/opt/etcd/etcd.pem \\
--peer-key-file=/opt/etcd/etcd-key.pem \\
生成证书的示例如下：
所有执行命令执行如下：
. environment
3 部署ETCD
生产环境的 etcd 需要部署三节点或者五节点，这里为了节省资源和方便部署，只部署单节点即可。
4 部署MASTER
这里不一一列举所有参数意义，如果需要可以参考官网，几个重点参数如下：
部署 kube-apiserver 主要的参数除了一些证书配置，还包括：
--service-cluster-ip-range=${SERVICE_CIDR} \\ service 分配 IP 的范围
--service-node-port-range=${NODE_PORT_RANGE} \\ Nodeport 分配端口
kube-controller-manager 的重点参数：
--allocate-node-cidrs=true \\ 为 node 上的 pod 分配 IP 段
--cluster-cidr=${CLUSTER_CIDR} \\ pod 总的 IP 段
--service-cluster-ip-range=${SERVICE_CIDR} \\ service 的 IP 范围
kube-scheduler 会主动连接 apiserver 并 watch 相关事件
. environment
5 部署NODE
node 上主要包括 kubelet ，kube-proxy 和容器服务。
其中容器服务相关的标准有 CRI 和 OCI ：
CRI ( Container Runtime Interface ) 是 Kubernetes 定义的一组 gRPC 服务。Kubelet 作为客户端，基于gRPC 框架，通过 Socket 和容器运行时通信。它包括两类服务：镜像服务（ImageService）和运行时服务 ( RuntimeService ) ，一些实现包括：containerd，cri-o。
OCI ( Open Container Initiative ) 定义了创建容器的格式和运行时的开源行业标准，包括镜像规范 ( Image-Specification ) 和运行时规范 ( RuntimeSpecification ) ，一些实现包括：runc，kata。
如下图所示，本文使用下图中的第二种方式：
. environment
6 部署 Flannel 和 CoreDNS
接下来部署 Kubernetes 的网络相关的插件，Flannel 和 CoreDNS。
CoreDNS 是 Kubernetes 域名服务器的一种实现方案，通过与 API Server 同步 service 和 pod 数据，来做 DNS 解析。运行示意如下：
Flannel 是为 Kubernetes 提供的 overlay 网络方案，会在每一个宿主机上运行名为 flanneId 代理，其负责为宿主机预先分配一个子网，并为 Pod 分配 IP 地址。Flannel 使用 Kubernetes 或 etcd 来存储网络配置、分配的子网和主机公共IP等信息。数据包则通过 VXLAN 、UDP 或 host-gw 这些类型的后端机制进行转发。如下图所示：
. environment
7 验证集群
kubectl apply ./pod.yaml
本文以 Kubernetes 1.18 版本为例，简单的进行了部署，主要是为了读者能够从中理解 Kubernetes 的组件关系。在部署中，一般出现的问题是证书和权限导致的，不同的版本要求不同，在部署中需要注意。
了解更多微服务、云原生技术的相关信息，请关注我们的微信公众号【云原生计算】！
