Openshift 4.3环境的离线Operatorhub安装

Stella981
• 阅读 655

这几天在客户环境中搞Operatorhub的离线，因为已经安装了OpenShift 4.3的集群，所以目标是只将考核的Service Mesh和Serverless模块安装上去即刻，因为前期工作关系，我曾在离线的4.2环境安装过类似组件，所以稍作准备就出发了，但这几天遇到的问题和坑确实不少，4.3和4.2相比在离线方面有很大的改进，但又埋了另外一些坑，本文算是大致的一个记录。

另外感谢各位前辈及前浪的指引，让我在一片混乱中清晰了思路。

1.制作catalog的镜像

因为网络环境太慢，所以建议大家直接mirror到本地的仓库然后再进行

oc image mirror  registry.redhat.io/openshift4/ose-operator-registry:v4.3 registry.example.com/openshift4/ose-operator-registry

形成本地的catalog镜像

oc adm catalog build --appregistry-org redhat-operators  --from=registry.example.com/openshift4/ose-operator-registry:v4.3 --to=registry.example.com/olm/redhat-operators:v1 --insecure

形成要mirror下载的镜像文件

oc adm  catalog mirror  --manifests-only   registry.example.com/olm/redhat-operators:v1  registry.example.com  --insecure

形成的目录结构如下

[root@registry test]# tree redhat-operators-manifests/
redhat-operators-manifests/
├── imageContentSourcePolicy.yaml
└── mapping.txt

打开mapping.txt文件看一下

registry.redhat.io/openshift-service-mesh/istio-rhel8-operator:1.0.5=registry.example.com/openshift-service-mesh/istio-rhel8-operator:1.0.5
registry.redhat.io/openshift-service-mesh/3scale-istio-adapter-rhel8@sha256:00fb544a95b16c652cc571396679c65d5889b2cfe6f1a0176f560a1678309a35=registry.example.com/openshift-service-mesh/3scale-istio-adapter-rhel8
registry.redhat.io/container-native-virtualization/kubevirt-kvm-info-nfd-plugin@sha256:bb120df34c6eef21431a074f11a1aab80e019621e86b3ffef4d10d24cb64d2df=registry.example.com/container-native-virtualization/kubevirt-kvm-info-nfd-plugin

基本上全是安装operator需要的sha256码的镜像，以及和本地register server的对应关系了。

最好的做法是基于下面的语句把所有的镜像都下载下来，但因为我们只需要两个模块，所以采用了手工的模式。(这也就注定了大量的工作时间和反复的镜像导入)

oc apply -f ./redhat-operators-manifests

2.形成离线的Operatorhub Catalog.

这个步骤比较容易。主要是

oc patch OperatorHub cluster --type json \
    -p '[{"op": "add", "path": "/spec/disableAllDefaultSources", "value": true}]'

然后建立一个文件catalogsource.yaml

apiVersion: operators.coreos.com/v1alpha1
kind: CatalogSource
metadata:
  name: my-operator-catalog
  namespace: openshift-marketplace
spec:
  sourceType: grpc
  image: registry.example.com/olm/redhat-operators:v1
  displayName: My Operator Catalog
  publisher: grpc

建立完成后检查，operatorhub界面里面应该有所有红帽的镜像

oc create -f catalogsource.yaml

oc get pods -n openshift-marketplace
oc get catalogsource -n openshift-marketplace
oc describe catalogsource internal-mirrored-operatorhub-catalog -n openshift-marketplace

3.基于模块下载Operator及组件镜像

到了这一步就满满的坑了，先安装一个ElasticSearch Operator,然后发现Image Pull Error,再mapping中找到具体的sha256码，比如

registry.redhat.io/openshift4/ose-elasticsearch-operator@sha256:aa0c7b11a655454c5ac6cbc772bc16e51ca5004eedccf03c52971e8228832370

按照4.2的做法，只是需要运行

oc image mirror registry.redhat.io/openshift4/ose-elasticsearch-operator@sha256:0203a2a6d55763ed09b2517c656d035af439553c7915e55e4cc93f5bcda3989f registry.example.com/openshift4/ose-elasticsearch-operator

然后运行成功后，为了验证，需要在本地拉取一下

podman pull registry.example.com/openshift4/ose-elasticsearch-operator@sha256:0203a2a6d55763ed09b2517c656d035af439553c7915e55e4cc93f5bcda3989f

你会发现根本拉不下来，据说这是因为在4.3中某些镜像属于多层的sh256码，而解决办法是

skopeo copy --all docker://registry.redhat.io/openshift4/ose-elasticsearch-operator@sha256:0203a2a6d55763ed09b2517c656d035af439553c7915e55e4cc93f5bcda3989f docker://registry.example.com/openshift4/ose-elasticsearch-operator

然后将registry的存放地址打成tar包，在离线环境解开就可。

因为大部分的operator的镜像都是sha256模式，所以需要一个一个的skopeo。此处消耗大量时间。

4. sample-registres.conf文件

这个文件的目的是为了将源地址和目标地址进行映射，并且让ocp的crio知道如何去下载源地址的镜像。

unqualified-search-registries = ["docker.io"]

[[registry]]
  location = "quay.io/openshift-release-dev/ocp-release"
  insecure = false
  blocked = false
  mirror-by-digest-only = false
  prefix = ""

  [[registry.mirror]]
    location = "YOUR_REGISTRY_URL/ocp4/openshift4"
    insecure = false

[[registry]]
  location = "quay.io/openshift-release-dev/ocp-v4.0-art-dev"
  insecure = false
  blocked = false
  mirror-by-digest-only = false
  prefix = ""

  [[registry.mirror]]
    location = "YOUR_REGISTRY_URL/ocp4/openshift4"
    insecure = false

[[registry]]
  location = "registry.redhat.io/distributed-tracing"
  insecure = false
  blocked = false
  mirror-by-digest-only = false
  prefix = ""

  [[registry.mirror]]
    location = "YOUR_REGISTRY_URL/distributed-tracing"
    insecure = false

[[registry]]
  location = "registry.redhat.io/openshift-service-mesh"
  insecure = false
  blocked = false
  mirror-by-digest-only = false
  prefix = ""

  [[registry.mirror]]
    location = "YOUR_REGISTRY_URL/openshift-service-mesh"
    insecure = false

[[registry]]
  location = "registry.redhat.io/openshift4"
  insecure = false
  blocked = false
  mirror-by-digest-only = false
  prefix = ""

  [[registry.mirror]]
    location = "YOUR_REGISTRY_URL/openshift4"
    insecure = false

而这个配置需要刷到集群的每台机器上去，这个刷机的动作是由machine-config这个cluster operator完成的，正常步骤是

创建一个machineconfig.yaml,然后运行刷机。。。。

cat sample-registries.conf | base64 | tr -d '\n'

apiVersion: machineconfiguration.openshift.io/v1
kind: MachineConfig
metadata:
  annotations:
  labels:
    machineconfiguration.openshift.io/role: worker
  name: 50-worker-container-registry-conf
spec:
  config:
    ignition:
      version: 2.2.0
    storage:
      files:
      - contents:
          source: data:text/plain;charset=utf-8;base64,${YOUR_FILE_CONTENT_IN_BASE64}
          verification: {}
        filesystem: root
        mode: 420
        path: /etc/containers/registries.conf

oc apply -f machineconfig.yaml

然后当前集群的machine-config的Cluster Operator的状态为false,尝试修复未果，心生一计，直接将这个sample-registres.conf覆盖每一台机器的registries.conf，覆盖完成记得重新启动crio

systemctl restart crio

如果不放心，可以直接在node上运行,如果正常，应该可以出来。

podman pull registry.redhat.io/.....@sha256....

5. Knative

一切安装就绪，在尝试helloworld-go的时候，又出现了X509的问题，找了半天，发现是一个已知问题，之前一直在aws公有云上尝试，所以没遇到，但如果将例子程序放在本地的镜像仓库中就必现了，

客官可见： https://github.com/knative/serving/issues/5126

解决办法也很野蛮，直接在configmap中跳过tag解析，（下面代码仅作参考，我是基于图形界面修改的)

oc -n knative-serving edit configmap config-deployment
 apiVersion: v1
 data:
   queueSidecarImage: gcr.azk8s.cn/knative-releases/knative.dev/serving/cmd/queue@sha256:5ff357b66622c98f24c56bba0a866be5e097306b83c5e6c41c28b6e87ec64c7c
   registriesSkippingTagResolving: registry.example.com

一切正常后，发现event的source的创建方式变了,cronjobsource已经deprecated,不让创建，只好通过下面命令

$ oc get inmemorychannel

NAME         READY   REASON   URL                                                      AGE
imc-msgtxr   True             http://imc-msgtxr-kn-channel.kn-demo.svc.cluster.local   24s

kn source ping create msgtxr-pingsource \
--schedule="* * * * *" \
--data="This message is from PingSource" \
--sink=http://imc-msgtxr-kn-channel.kn-demo.svc.cluster.local

创建完成后终于一切正常，而我也终于有机会苟延残喘，记录一下。 :(

openshiftsha256前端前端
点赞
收藏
评论区
推荐文章
blmius blmius
•
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时，报错：原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等，这样可以更容易地在不同的环境中使用MySQL。全局s
4069
0
0
helloworld_34035044 helloworld_34035044
•
2年前
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时，如何在新增行里自动增加id呢？能新增整数排序id吗？目前可以在新增行里自动增加id，但只能用uuid函数增加UUID编码，不能新增整数排序id。uuid函数说明：获取一个UUID，可以在填报表中用来创建数据ID语法：uuid()或uuid(sep)参数说明：sep布尔值，生成的uuid中是否包含分隔符''，缺省为
1112
0
0
待兔 待兔
•
3个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
1044
0
0
Jacquelyn38 Jacquelyn38
•
3年前
2020年前端实用代码段，为你的工作保驾护航
有空的时候，自己总结了几个代码段，在开发中也经常使用，谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
2361
0
0
Stella981 Stella981
•
3年前
Python之time模块的时间戳、时间字符串格式化与转换
Python处理时间和时间戳的内置模块就有time，和datetime两个，本文先说time模块。关于时间戳的几个概念时间戳，根据1970年1月1日00:00:00开始按秒计算的偏移量。时间元组（struct_time），包含9个元素。 time.struct_time(tm_y
1242
0
0
Easter79 Easter79
•
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中，有一些需要使用全局唯一ID的场景，这种时候为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID，并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求，最初Twitter把存储系统从MySQL迁移
1160
0
0
Wesley13 Wesley13
•
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败，请联系管理员！');中国在东8区所以加8方法二：selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
1286
0
0
Stella981 Stella981
•
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段，id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
1146
0
0
Wesley13 Wesley13
•
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
1486
0
0
Python进阶者 Python进阶者
•
9个月前
Excel中这日期老是出来00：00：00，怎么用Pandas把这个去除
大家好，我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下：这日期老是出来00：00：00，怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下：pd.toexcel之前把这
483
0
0
Stella981
Stella981
Lv1
接天莲叶无穷碧，映日荷花别样红。
文章
1.7w
粉丝
42
获赞
28
热门文章
OpenVPN下载、安装、配置及使用详解
GitHub神器，一个可以白嫖全网无损音乐的神器
OpenWrt 路由器过滤广告的N种方法
Python—执行系统命令的四种方法（os.system、os.popen、commands、subprocess）
SS端加密以及obfs混淆