目录
(1).前置阅读
(2).前置说明
(3).基础镜像
1.oraclejdk-docker-image
2.oraclejdk-skywalking-docker-image
3.apollo-skywalking-pro镜像
(4).apollo&skywalking生产级容器化
(5).关键配置
(6).特别注意
1.sk-agent和sky-oap一定要配置正确的时区
2.sk-oap的elasticsearch版本选择
3.制作apollo-skywalking-docker-image镜像注意sk-plugin选择
4.apollo-portal开启多副本要注意配置session亲和性
5.使用oraclejdk
6.修改支持的环境
(7).相关文章
(1).前置阅读
1.阿里云&kubernetes&微服务生产实践-6：skywalking-6.4.0生产级别容器化
2.阿里云&kubernetes&微服务生产实践-1：apollo架构-1
(2).前置说明
本例相对于官方做了如下几处改动：
1.修改基础镜像为oracle-jdk，并增加redis-cli, telnet等常用工具包。
2.基础镜像增加skywalking-agent的支持，通过configmap中的配置参数来决定在启动apollo服务的时候是否开启链路追踪。
(3).基础镜像
1.oraclejdk-docker-image
第一层基础镜像。
使用oraclejdk8制作的镜像，包含telnet, redis-cli, mysql-client等工具包。
地址： https://github.com/hepyu/oraclejdk-docker-image
2.oraclejdk-skywalking-docker-image
第二层镜像，基于oraclejdk-docker-image镜像。
加入了skywalking-agent支持。
地址： https://github.com/hepyu/oraclejdk-skywalking-docker-image
3.apollo-skywalking-pro镜像
基于镜像oraclejdk-skywalking-docker-image制作。
(4).apollo&skywalking生产级容器化
笔者提供生产级的配置文件，位于：
https://github.com/hepyu/k8s-app-config/tree/master/product/standard/apollo-skywalking-pro
注意本例配置中pv默认是本地存储，生产环境需要改为云存储。
顺次执行：
kubectl apply -f apollo-namespace.yaml
cd apollo-configservice
kubectl apply -f .
cd apollo-adminservice
kubectl apply -f .
cd apollo-portal
kubectl apply -f .
最终的生产效果：
原图文件位于：
(5).关键配置
skywalking的关键配置位于config/admin/portal下的config.yaml文件，通过环境变量SKYWALKING_AGENT来配置是否开启skywalking-agent探针；当然也可以在这里调整JVM启动参数。
当配置如下时表示关闭skywalking-agent探针：SKYWALKING_AGENT: ''
SERVICE_NAME: apollo-configservice
(6).特别注意
1.sk-agent和sky-oap一定要配置正确的时区
都要配置: TIME_ZONE: Asia/Shanghai
因为skywalking的默认时区是UTC0，大陆的APP的服务的时区是UTC8，如果sk-agent和sk-oap的时区不一致时，sk-ui不会显示数据/拓扑。
2.sk-oap的elasticsearch版本选择
尽量选择sk使用的版本，比如sk6.4.0用的是es6.3.2那我们搭建es时就要选择这个版本。避免es版本差异带来的各种奇怪问题。
3.制作apollo-skywalking-docker-image镜像注意sk-plugin选择
参照官方/社区的issue：https://github.com/ctripcorp/apollo/issues/2448
我们的目的是：
a. 监控Apollo-Config、Admin、Portal之间的调用以及拓扑
b. 监控Apollo-Client 与 Config之间的调用及拓扑
第一种情况：Portal与Config/Admin之间采用RestTemplate/HttpClient 发起调用，这个插件在Skywalking支持列表。
第二种情况，Apollo-Client 采用的是 HttpURLConnection 发起Http请求。和 HttpClient 有些区别，默认插件不支持。需要使用可选插件：bootstrap-plugins/apm-jdk-http-plugin-6.4.0.jar，将这个jar包拷贝到plugins目录下。
4.apollo-portal开启多副本要注意配置session亲和性
config/admin/portal的负载均衡都需要配置：sessionAffinity: ClientIP；
如果你还是用的ingress代理apollo-portal，那么ingress也需要配置亲和性保证session的正确传递：
nginx.ingress.kubernetes.io/affinity: cookie
ingress的亲和性配置参见文件：
如果不配置亲和性，apollo-portal开启多副本后将出现无法登陆的现象。
5.使用oraclejdk
因为apollo官方的镜像里没有调试工具，如jstat等，很不方便。
6.修改支持的环境
在apolloPortalDB的ServerConfig表中存放了支持的环境：pro,uat,fat,dev，如果只配置了pro，需要把其余的3个删除，否则portal会一直报错：
''' Env is down. env: UAT, failed times: 39, meta server address: http://apollo.meta '''
(7).相关文章
1.官方地址容器化配置地址：
https://github.com/ctripcorp/apollo/tree/master/scripts/apollo-on-kubernetes/kubernetes
2.官方apollo容器化步骤(Step by Step):
https://github.com/ctripcorp/apollo/blob/master/scripts/apollo-on-kubernetes/README.md
3.笔者apollo容器化步骤(Step by Step):
kubernetes-6：使用yaml方式进行apollo容器化
本文分享自微信公众号 - 千里行走（a_thousands_of_miles）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
