🦊 安装rancher
# 安装rancher
## 保存文件
```shell
cp kube_config_rancher-cluster.yml rancher/
cp rancher-cluster.rkestate rancher/
cp rancher-cluster.yml rancher/
```
## 添加 Helm Chart 仓库
上传helm并添加执行权限
```sh
chmod +x ~/helm
mv ~/helm /usr/local/bin
```
**执行命令，[hostname]是可以自定义的域名，比如rancher.hdec.com**
```shell
#网络环境下可执行以下命令下载rancher包
helm repo add rancher-stable https://releases.rancher.com/server-charts/stable
helm fetch rancher-stable/rancher --version 2.4.11
#离线环境可直接使用安装包内已准备好的rancher包rancher-2.4.11.tgz
helm template rancher ./rancher-2.4.11.tgz --output-dir . --namespace cattle-system --set hostname=[hostname] --set rancherImage=reg.hdec.com/rancher/rancher --set ingress.tls.source=secret --set systemDefaultRegistry=reg.hdec.com --set useBundledSystemChart=true
```
如果您使用的是由私有 CA 签名的证书(自签名 SSL 证书)，则在`--set ingress.tls.source=secret`之后添加`--set privateCA=true`
>i 使用生成自签名SSL证书，是要加`--set privateCA=true`的
## SSL 配置
生成自签名 SSL 证书，或使用已有的证书
### 生成自签名 SSL 证书
```sh
#!/bin/bash -e
help ()
{
echo ' ================================================================ '
echo ' --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；'
echo ' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；'
echo ' --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（SSL_TRUSTED_DOMAIN）,多个扩展域名用逗号隔开；'
echo ' --ssl-size: ssl加密位数，默认2048；'
echo ' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
echo ' 使用示例:'
echo ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
echo ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
echo ' ================================================================'
}
case "$1" in
-h|--help) help; exit;;
esac
if [[ $1 == '' ]];then
help;
exit;
fi
CMDOPTS="$*"
for OPTS in $CMDOPTS;
do
key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
case "$key" in
--ssl-domain) SSL_DOMAIN=$value ;;
--ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
--ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
--ssl-size) SSL_SIZE=$value ;;
--ssl-date) SSL_DATE=$value ;;
--ca-date) CA_DATE=$value ;;
--ssl-cn) CN=$value ;;
esac
done
# CA相关配置
CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=cattle-ca
# ssl相关配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}
## 国家代码(2个字母的代号),默认CN;
CN=${CN:-CN}
SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crt
echo -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m | 生成 SSL Cert | \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"
if [[ -e ./${CA_KEY} ]]; then
echo -e "\033[32m ====> 1. 发现已存在CA私钥，备份"${CA_KEY}"为"${CA_KEY}"-bak，然后重新创建 \033[0m"
mv ${CA_KEY} "${CA_KEY}"-bak
openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
else
echo -e "\033[32m ====> 1. 生成新的CA私钥 ${CA_KEY} \033[0m"
openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
fi
if [[ -e ./${CA_CERT} ]]; then
echo -e "\033[32m ====> 2. 发现已存在CA证书，先备份"${CA_CERT}"为"${CA_CERT}"-bak，然后重新创建 \033[0m"
mv ${CA_CERT} "${CA_CERT}"-bak
openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
else
echo -e "\033[32m ====> 2. 生成新的CA证书 ${CA_CERT} \033[0m"
openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
fi
echo -e "\033[32m ====> 3. 生成Openssl配置文件 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOM
if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} || -n ${SSL_DOMAIN} ]]; then
cat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOM
IFS=","
dns=(${SSL_TRUSTED_DOMAIN})
dns+=(${SSL_DOMAIN})
for i in "${!dns[@]}"; do
echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
done
if [[ -n ${SSL_TRUSTED_IP} ]]; then
ip=(${SSL_TRUSTED_IP})
for i in "${!ip[@]}"; do
echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
done
fi
fi
echo -e "\033[32m ====> 4. 生成服务SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}
echo -e "\033[32m ====> 5. 生成服务SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}
echo -e "\033[32m ====> 6. 生成服务SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
-CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
-days ${SSL_DATE} -extensions v3_req \
-extfile ${SSL_CONFIG}
echo -e "\033[32m ====> 7. 证书制作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以YAML格式输出结果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/ /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/ /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/ /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/ /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/ /'
echo
echo -e "\033[32m ====> 9. 附加CA证书到Cert文件 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/ /'
echo
echo -e "\033[32m ====> 10. 重命名服务证书 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt
```
脚本说明
- 复制以上代码另存为`create_self-signed-cert.sh`或者其他您喜欢的文件名。
- 脚本参数
```shell
--ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；
--ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；
--ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（TRUSTED_DOMAIN）,多个TRUSTED_DOMAIN用逗号隔开；
--ssl-size: ssl加密位数，默认2048；
--ssl-cn: 国家代码(2个字母的代号),默认CN；
使用示例:
./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \
--ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650
```
可直接使用以下示例命令生成ssl证书
```sh
./create_self-signed-cert.sh --ssl-domain [hostname] --ssl-size 2048 --ssl-date 3650
```
### 验证证书
> 注意: 因为使用的是自签名证书，浏览器会提示证书的颁发机构是未知的。
把生成的 ca 证书和去除密码的私钥文件部署到 web 服务器后，执行以下命令验证:
- 通过 openssl 本地校验
`openssl verify -CAfile cacerts.pem tls.crt` 应该返回状态为 `ok`
`openssl x509 -in tls.crt -noout -text`执行后查看对应的域名和扩展 iP 是否正确
- 不加 CA 证书验证
```shell
openssl s_client -connect demo.rancher.com:443 -servername demo.rancher.com
```
- 添加 CA 证书验证
```shell
openssl s_client -connect demo.rancher.com:443 -servername demo.rancher.com -CAfile server-ca.crt
```
## 启动rancher
上传kubectl并添加执行权限
```sh
chmod +x ~/kubectl
mv ~/kubectl /usr/local/bin
```
执行命令
```shell
kubectl --kubeconfig kube_config_rancher-cluster.yml create namespace cattle-system #创建namespace
kubectl --kubeconfig kube_config_rancher-cluster.yml -n cattle-system create secret tls tls-rancher-ingress --cert=tls.crt --key=tls.key # 指定证书路径
#自签名证书需添加私有ca证书 kubectl --kubeconfig kube_config_rancher-cluster.yml -n cattle-system create secret generic tls-ca --from-file=cacerts.pem
kubectl --kubeconfig kube_config_rancher-cluster.yml -n cattle-system apply -R -f rancher
```
这几个步骤容易出错，而且不是幂等的操作，需要学习一下`kubectl`相关的命令。
至此安装完成
## 配置nginx
可以使用docker进行部署
由于rancher会占用80和443端口，于是将2334和2335端口暴露出来
```
docker run -p 2334:80 -p 2335:443 --name rancher-nginx -v /root/nginx.conf:/etc/nginx/nginx.conf -d reg.hdec.com/basicimage/nginx:1.21.4
```
会出问题的的：
~~docker run -p 80:80 -p 443:443 --name rancher-nginx -v /root/nginx.conf:/etc/nginx/conf.d/nginx.conf -d reg.hdec.com/basicimage/nginx:1.21.4~~
最好加上`--restart always`选项，让容器可以自动启动
nginx.conf的配置:
```
worker_processes 4;
worker_rlimit_nofile 40000;
events {
worker_connections 8192;
}
stream {
upstream rancher_servers_http {
least_conn;
server 10.215.49.90:80 max_fails=3 fail_timeout=5s;
server 10.215.49.91:80 max_fails=3 fail_timeout=5s;
server 10.215.49.92:80 max_fails=3 fail_timeout=5s;
}
server {
listen 80;
proxy_pass rancher_servers_http;
}
upstream rancher_servers_https {
least_conn;
server 10.215.49.90:443 max_fails=3 fail_timeout=5s;
server 10.215.49.91:443 max_fails=3 fail_timeout=5s;
server 10.215.49.92:443 max_fails=3 fail_timeout=5s;
}
server {
listen 443;
proxy_pass rancher_servers_https;
}
}
```
## 访问rancher
要想访问rancher，需要通过域名的方式去访问，不能通过IP去访问，可以在hosts中配置
```
10.215.49.91 rancher.hdec.com
```
其中`10.215.49.91`是负载均衡的节点，`rancher.hdec.com`是当初自定义的域名
然后就可以在浏览器中看到rancher界面了