在企业实践中，通常会部署多个OpenShift集群：开发测试、生产等。每个集群都是独立的，通过物理资源进行隔离。这种方式管理简单，易于理解，但是消耗的资源更多，每个集群都需要额外的控制节点及运维节点。有没有办法，使不同环境运行在同一个集群上，并且它们之间实现隔离呢？答案是可以的。

对于不同的环境，做好资源隔离，我们需要对计算资源——宿主机做好规划，同时还需要对网络做好规划。宿主机的隔离，可以通过给主机添加label的方法，规划pod的调度。本篇中，我们只针对网络Route部分做好开发测试环境与生产环境的隔离。

OpenShift集群Route分片机制

大家都知道OpenShift管理南北流量是通过Route来实现的，所谓的Route本质就是一个Haproxy/Nginx服务，与K8S中的Ingress类似。
默认情况下，OpenShift集群的Router是全局共用的，也就是说，在创建新的Route资源、Pod更新或者证书更新时，所有的OpenShift Router Pod都会更新Haproxy/Nginx的配置，并重新加载。所有的Route后台应用可以通过任一Router服务访问。通过创建多个Router服务，并使用Route分片机制，将不同的应用配置到不同的Router上，实现应用Router服务的隔离。下图为多Router节点分片的架构图。

OpenShift Router通过分片实现不同环境网络南北流量隔离

多Router节点分片

该架构图中，并没有考虑将节点隔离，只是通过适当的路由来做流量划分。

流量入口为集群外部的负载均衡器。我们只考虑*.apps-prod.example.com与*.apps-dev.example.com域名访问情况。
*.apps-prod.example.com域名的后端服务为router-prod
*.apps-dev.example.com域名的后端服务为router-dev
每个router都强制设置Route的域名subdomain格式【可选】
router-prod路由设置的subdomain为：${name}-${namespace}.apps-prod.example.com
router-dev路由设置的subdomain为：${name}-${namespace}.apps-dev.example.com

$ oc adm router router-prod --replicas=2 --force-subdomain='${name}-${namespace}.apps-prod.example.com'$ oc adm router router-dev --replicas=1 --force-subdomain='${name}-${namespace}.apps-dev.example.com'

对于已完成部署的Router服务可以使用如下命令设置

$ oc adm router router-prod  --replicas=2 --force-subdomain='${name}-${namespace}.apps-prod.example.com' --dry-run -o yaml | oc apply -f -

此时新建的所有Route的host将无法自定义设置，而会被将被强制设置为两个，其格式为：${name}-${namespace}.apps-prod.example.com 与${name}-${namespace}.apps-dev.example.com。

接下来是最重要的一步，为每个Router应用设置Project过滤器，只有带有指定Label的Project下的Route资源才能在该Router下创建配置。
router-pod路由设置过滤器为：router=prod
router-dev路由设置过滤器为：router=dev

$ oc set env dc/router-prod NAMESPACE_LABELS="router=prod"$ oc set env dc/router-dev NAMESPACE_LABELS="router=dev"

请确保带有Labelrouter=prod的Router应用部署在带有Labelrouter=prod的Infra节点上，同样带有Labelrouter=dev的Router应用部署在带有Labelrouter=dev的Infra节点上。该创建步骤合在一起的脚本如下，即在创建的时候指定Node，及环境变量

$ # prod router节点$ oc label node infra1 "router=prod"$ oc label node infra2 "router=prod"$ oc adm router router-prod --replicas=2 --force-subdomain='${name}-${namespace}.apps-prod.example.com' --selector=router=prod$ oc set env dc/router-prod NAMESPACE_LABELS="router=prod"$ # dev router节点$ oc label node infra3 "router=dev"$ oc adm router router-dev --replicas=1 --force-subdomain='${name}-${namespace}.apps-dev.example.com' --selector=router=dev$ oc set env dc/router-dev NAMESPACE_LABELS="router=dev"

设置对应Label的Project，将会自动匹配该Project下的Route资源与Router服务
创建新的project，添加Labelrouter=prod，将会把该Project下的Route资源配置在prod Router服务中，同理Labelrouter=dev下的Route资源配置将会在dev Router服务中配置。

$ # 创建project project-prod-1设置Label router=prod$ oc new-project project-prod-1$ oc label namespace project-prod-1 router=prod$ # 创建project project-dev-1设置Label router=dev$ oc new-project project-dev-1$ oc label namespace project-dev-1 router=dev
此时创建的应用，将会自动进行Router选择配置。Projectrouter=prod下创建的Route将会自动在Routerrouter=prod下配置，同时它的域名格式为：
${name}-${namespace}.apps-prod.example.com。
同样的Projectrouter=dev下创建的Route将会自动在Routerrouter=dev下配置，同时它的域名格式为：
${name}-${namespace}.apps-dev.example.com。

总结

企业级容器云平台建设之资源管理一文中，总结了资源管理分为四部分：计算、网络、存储、镜像仓库。真正实现不同环境的隔离，这四个方面都需要考虑。本文的主要内容说明了网络部分南北流量的隔离。
通过Route流量分片机制，将不同环境下的应用部署在同一个OpenShift集群中，在满足网络南北流量隔离的情况下，减少了集群的数量，节约管理及硬件成本。
要实现集群网络中东西流量的隔离，可以在不同环境下的宿主机之间建立防火墙来实现，同时也可以使用OpenShift的ovs-multitenant或者ovs-networkpolicy网络策略来实现。可阅读之前写的文章：Openshift的网络策略networkpolicy
计算隔离必须保证不同环境下的应用不会运行在同一台宿主机下，以避免它们之间相互影响，抢占资源。这就需要使用OpenShift的调度策略来实现。可阅读之前写的文章：玩转Openshift中Pod调度
存储隔离。可以通过创建不同的storageclass为不同的环境提供服务。
镜像仓库隔离。可以创建多个镜像仓库，同时也可以使用一套镜像仓库，而使用不同的project来作镜像间的逻辑隔离。