NSX ALB + Harbor + OpenShift 4.8 UPI安装配置实验笔记系列目录
目录
1 在vCenter里准备虚机
1.1 为master和worker主机配置反关联规则
2 安装bootstrap
2.1 安装bootstrap
2.2 在operator主机ssh进bootstrap
2.3 在operator主机准备Kubeconfig文件
2.4 检查Master主机的Registry库配置是否正确
2.5 在Operator上查看安装完成前日志
2.6 在Operator上查看整体安装日志
2.7 检查AVI中bootstrap的服务是否已启动
3 安装master
3.1 安装master节点
3.2 检查Master主机的Registry库配置是否正确
3.3 在Operator主机上查看安装日志
3.4 检查master集群状态
3.5 检查AVI中master集群的服务是否已启动
4 部署worker节点
4.1 安装worker节点
4.2 检查Master主机的Registry库配置是否正确
4.3 检查待处理的CSR,并批准所有CSR请求
4.4 检查集群状态
5 获取集群console地址及kubeadmin密码
注:使用RHCOS安装OCP集群,则不需要配置yum源,如果使用RHEL或是CentOS来安装OCP则需要配置Yum源。为了简化操作,此处使用RHCOS
1 在vCenter里准备虚机
在vCenter里按之前规划准备虚机,并挂载RHCOS的ISO文件。OS类型为RHEL8 64bit。
1.1 为master和worker主机配置反关联规则
1). 在vCenter中选中OCP所有的Cluster->配置->虚拟机/主机规则->添加
2). 分别为OCP Master和Worker创建反关联规则,输入对应的名称如“OCP-Master_Anti-Affinity”,类型选择“单独的虚拟机”,然后点击“添加”,将对应的虚机加入后确定。
2 安装bootstrap
2.1 安装bootstrap
1). 启动bootstrap虚机,自RHCOS ISO引导进入系统,并打开Web console;
2). 查看本地磁盘号,并记录:
fdisk -l
3). 查看本地网卡连接:
nmcli connection show
4). 配置网络信息,以便能与operator主机通讯;
可使用nmcli或是nmtui配置,其中nmtui为图形界面,可按提示操作即可,如下图示例(配置完后,记得需要激活一下):
nmcli配置:
nmcli con mod "Wired connection 1" ipv4.method manual ipv4.addresses 192.168.170.50/24 ipv4.gateway 192.168.170.1 ipv4.dns 192.168.110.10 connection.autoconnet yes ipv4.dns-search "ocp.corp.tanzu"
5). 重启NetworkManager服务,使配置生效,然后进行测试:
sudo systemctl start NetworkManager
6). 通过Operator上的ignition进行bootstrap的安装
sudo coreos-install install /dev/sda -I http://operator.corp.tanzu/ignition/ocp/bootstrap.ign -n --insecure-ignition
此处“-n等同于--copy-network”将上面配置的IP配置信息带入安装配置中。
7). 等待安装完成后重启主机
reboot
2.2 在operator主机ssh进bootstrap
rm -rf ~/.ssh/known_hosts
ssh -i ${SSH_PRI_FILE} core@bootstrap.${OCP_CLUSTER_ID}.${DOMAIN}
2.3 在operator主机准备Kubeconfig文件
方式一:将kubeconfig文件copy至操作用户目录下:
mkdir ~/.kube
cp ${IGN_PATH}/auth/kubeconfig ~/.kube/config
方式二:声明变量:
export KUBECONFIG=${IGN_PATH}/auth/kubeconfig
2.4 检查Master主机的Registry库配置是否正确
ssh -i ${SSH_PRI_FILE} core@bootstrap.${OCP_CLUSTER_ID}.${DOMAIN} "sudo cat /etc/containers/registries.conf"
2.5 在Operator上查看安装完成前日志
openshift-install --dir ${IGN_PATH} wait-for bootstrap-complete --log-level=debug
2.6 在Operator上查看整体安装日志
openshift-install --dir ${IGN_PATH} wait-for install-complete
2.7 检查NSX ALB(AVI)中bootstrap的服务是否已启动
在NSX ALB管理界面的Application->Dashboard中找到对应的OCP API Service,然后展看,看其Pool的活动状态,红色为非活动状态:
3 安装master
3.1 安装master节点
与Bootstrap节点安装步骤相同,但注意ignition文件使用“master.ign”
1). 启动master的三台虚机,自RHCOS ISO引导进入系统,并打开Web console;
2). 查看本地磁盘号,并记录:
fdisk -l
3). 查看本地网卡连接:
nmcli connection show
4). 配置网络信息,以便能与operator主机通讯;
可使用nmcli或是nmtui配置,其中nmtui为图形界面,可按提示操作即可,配置完后,记得需要激活一下。
此处记录nmcli配置:
nmcli con mod "Wired connection 1" ipv4.method manual ipv4.addresses 192.168.170.51/24 ipv4.gateway 192.168.170.1 ipv4.dns 192.168.110.10 connection.autoconnet yes ipv4.dns-search "ocp.corp.tanzu"
5). 重启NetworkManager服务,使配置生效,然后进行测试:
sudo systemctl start NetworkManager
6). 通过Operator上的ignition进行bootstrap的安装
sudo coreos-install install /dev/sda -I http://operator.corp.tanzu/ignition/ocp/master.ign -n --insecure-ignition
此处“-n等同于--copy-network”将上面配置的IP配置信息带入安装配置中。
7). 等待安装完成后重启主机
reboot
3.2 检查Master主机的Registry库配置是否正确
ssh -i ${SSH_PRI_FILE} core@master01.${OCP_CLUSTER_ID}.${DOMAIN} "sudo cat /etc/containers/registries.conf"
3.3 在Operator主机上查看安装日志
查看master的不同安装阶段信息:
ssh -i ${SSH_PRI_FILE} core@bootstrap.${OCP_CLUSTER_ID}.${DOMAIN} "journalctl -b -f -u bootkube.service"
查看安装日志信息:
openshift-install --dir ${IGN_PATH} wait-for bootstrap-complete --log-level=debug
或者使用如下命令:
tail -f ${IGN_PATH}/.openshift_install.log
当log提示“INFO It is now safe to remove the bootstrap resources”后,bootstrap主机即可关机或移除,如下图:
3.4 检查master集群状态
oc get nodes
oc get clusterversion
当出现以上“some cluster operators have not yet rolled out”,则可以进入下一步部署。
3.5 检查AVI中master集群的服务是否已启动
4 部署worker节点
4.1 安装worker节点
与Bootstrap节点安装步骤相同,但注意ignition文件使用“worker.ign”
1). 启动master的三台虚机,自RHCOS ISO引导进入系统,并打开Web console;
2). 查看本地磁盘号,并记录:
fdisk -l
3). 查看本地网卡连接:
nmcli connection show
4). 配置网络信息,以便能与operator主机通讯;
可使用nmcli或是nmtui配置,其中nmtui为图形界面,可按提示操作即可,配置完后,记得需要激活一下。
此处记录nmcli配置:
nmcli con mod "Wired connection 1" ipv4.method manual ipv4.addresses 192.168.170.54/24 ipv4.gateway 192.168.170.1 ipv4.dns 192.168.110.10 connection.autoconnet yes ipv4.dns-search "ocp.corp.tanzu"
5). 重启NetworkManager服务,使配置生效,然后进行测试:
sudo systemctl start NetworkManager
6). 通过Operator上的ignition进行bootstrap的安装
sudo coreos-install install /dev/sda -I http://operator.corp.tanzu/ignition/ocp/worker.ign -n --insecure-ignition
此处“-n等同于--copy-network”将上面配置的IP配置信息带入安装配置中。
7). 等待安装完成后重启主机
reboot
4.2 检查Master主机的Registry库配置是否正确
ssh -i ${SSH_PRI_FILE} core@worker01.${OCP_CLUSTER_ID}.${DOMAIN} "sudo cat /etc/containers/registries.conf"
4.3 检查待处理的CSR,并批准所有CSR请求
1). 检查待处理的CSR
oc get csr
2). 使用命令批准所有CSR请求
oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}} {{end}}{{end}}' | xargs --no-run-if-empty oc adm certificate approve
3). 重复工检查CSR请求,并批准所有请求,真到没有新的pending csr出现
4). 再次检查
4.4 检查集群状态
oc get co
查看Available列是否已全为True,如下图:
oc get clusterversion
查看Available列是否已为True,如下图:
5 获取集群console地址及kubeadmin密码
openshift-install --dir ${IGN_PATH} wait-for install-complete
再次检查集群node情况:
本文链接:https://my.lmcjl.com/post/6452.html
4 评论