K8S部署Nacos集群
简介
Nacos是阿里巴巴开源的一个动态服务发现、配置管理和服务管理平台,特别设计用于简化云原生应用的构建与管理。Nacos的核心特性包括:
服务发现与健康检查:Nacos支持DNS与RPC方式的服务发现机制,能够自动发现、路由及负载均衡微服务。它通过健康检查机制监控服务实例状态,确保只将请求转发给健康的实例
动态配置服务:提供了一个集中式的外部化配置存储,允许你在Nacos中集中管理应用的配置,应用可以在运行时动态获取或更新这些配置。配置变更时,Nacos能实时推送到相关应用
动态DNS服务:具备动态DNS服务功能,支持权重路由,为流量管理如蓝绿部署、灰度发布、流量镜像等场景提供灵活性
命名空间与分组管理:通过命名空间和分组,Nacos支持多环境或多租户的隔离,使得不同环境或团队的服务与配置可以独立管理,互不影响
权限控制与安全:Nacos提供了用户认证与授权机制,确保只有合法用户才能访问和修改服务及配置信息,提升了系统的安全性
服务与元数据管理:强大的服务和元数据管理能力,方便进行微服务及其相关信息的维护
Nacos旨在提升微服务平台的构建、部署与运维效率,不仅适用于云端环境,也适合传统数据中心。关于Nacos的部署,它默认开放四个端口以支持其功能,其中最重要的是客户端、控制台及OpenAPI使用的HTTP端口8848,以及客户端gRPC请求服务端端口9848。在集群部署时,通常只需对外暴露这两个端口即可
部署Nacos集群
Nacos项目环境
项目下载地址:https://github.com/alibaba/nacos/releases
参考文档:
https://nacos.io/zh-cn/docs/use-nacos-with-kubernetes.html
https://nacos.io/docs/latest/guide/user/auth/
https://nacos.io/blog/faq/nacos-user-question-history13425/
操作系统:Ubuntu 22.04
K8S版本:1.28.2
MySQL:5.7.44
Nacos:2.4.0
本文Nacos后端使用mysql存储,通过statefulset部署单实例mysql,生产环境必须部署mysql主从集群,并且根据自己的实际情况设定环境即可
创建Storage Class存储
获取NFS Subdir External Provisioner部署文件
$ wget https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner/archive/refs/tags/nfs-subdir-external-provisioner-4.0.18.zip
$ unzip -o nfs-subdir-external-provisioner-4.0.18.zip
$ cd nfs-subdir-external-provisioner-nfs-subdir-external-provisioner-4.0.18/deploy/
创建命令空间
$ kubectl create ns nacos-test
创建RBAC资源
$ sed -i'' "s/namespace:.*/namespace: nacos-test/g" rbac.yaml deployment.yaml
$ kubectl create -f rbac.yaml
$ vim deployment.yaml
注意:/data/nfs/nacos目录一定要提前创建好
$ kubectl apply -f deployment.yaml
$ kubectl get deployment,pods -n nacos-test
部署Storage Class
$ vim class.yaml
$ kubectl apply -f class.yaml
$ kubectl get sc
配置mysql清单文件nacos-mysql.yaml
$ vim nacos-mysql.yaml
配置mysql的secret
---
apiVersion: v1
data:
# 密码为root
mysql_root_password: cm9vdA==
kind: Secret
metadata:
name: mysql-password
namespace: nacos-test
配置mysql的svc
---
apiVersion: v1
kind: Service
metadata:
name: nacos-mysql-svc
namespace: nacos-test
labels:
app: mysql
spec:
ports:
- port: 3306
name: mysql
targetPort: 3306
nodePort: 30306
selector:
app: mysql
type: NodePort
sessionAffinity: ClientIP
配置mysql的statefulset
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: nacos-mysql
namespace: nacos-test
spec:
selector:
matchLabels:
app: mysql
serviceName: "nacos-mysql-svc"
replicas: 1
template:
metadata:
labels:
app: mysql
spec:
terminationGracePeriodSeconds: 10
containers:
- args:
- --character-set-server=utf8mb4
- --collation-server=utf8mb4_unicode_ci
- --lower_case_table_names=1
- --default-time_zone=+8:00
name: mysql
image: swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/mysql:5.7.44
ports:
- containerPort: 3306
name: mysql
volumeMounts:
- name: mysql-data
mountPath: /var/lib/mysql
env:
- name: MYSQL_ROOT_PASSWORD
valueFrom:
secretKeyRef:
key: mysql_root_password
name: mysql-password
volumeClaimTemplates:
- metadata:
name: mysql-data
annotations:
volume.beta.kubernetes.io/storage-class: "nfs-client"
spec:
accessModes: [ "ReadWriteMany" ]
resources:
requests:
storage: 5Gi
$ kubectl apply -f nacos-mysql.yaml
查看mysql各资源状态
$ kubectl get pvc,svc,pod -n nacos-test
导入mysql初始化数据
nacos 2.4.0的mysql初始化sql文件:
https://github.com/alibaba/nacos/blob/2.4.0/distribution/conf/mysql-schema.sql
初始化sql文件在nacos每个版本的源码目录的conf目录下
mysql的service的3306端口已经映射为30306
$ mysql -u root -p -h 192.168.3.132 -P 30306
mysql> create database nacos_config;
mysql> source /home/ubuntu2204/schma.sql;
生成configMap清单
$ kubectl create configmap nacos-config -n nacos-test \
--from-literal=mode=cluster \
--from-literal=nacos-servers='nacos-0.nacos-test-svc.nacos-test.svc.cluster.local:8848 nacos-1.nacos-test-svc.nacos-test.svc.cluster.local:8848' \
--from-literal=spring-datasource-platform=mysql \
--from-literal=mysql-service-host='nacos-mysql-0.nacos-mysql-svc.nacos-test.svc.cluster.local' \
--from-literal=mysql-service-port=3306 \
--from-literal=mysql-service-db-name=nacos_config \
--from-literal=mysql-service-user=root \
--from-literal=mysql-database-num=1 \
--from-literal=mysql-service-db-param='characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useSSL=false' \
--from-literal=jvm-xms=656m \
--from-literal=jvm-xmx=856m \
--from-literal=jvm-xmn=428m \
--from-literal=nacos-auth-enable=true \
--from-literal=nacos-core-auth-server-identity-key=test \
--from-literal=nacos-core-auth-server-identity-value=test \
--from-literal=nacos-auth-token=SecretKeyM1Z2WDc4dnVyZkQ3NmZMZjZ3RHRwZnJjNFROdkJOemEK \
--dry-run=client -o yaml
注意:nacos 2.2.2及其以后版本必须配置以下参数才会有登录认证界面
传统部署方式需要修改application.properties的以下几个参数
nacos.core.auth.enabled=true #开启认证授权
nacos.core.auth.system.type=nacos #认证类型
nacos.core.auth.plugin.nacos.token.secret.key=SecretKeyM1Z2WDc4dnVyZkQ3NmZMZjZ3RHRwZnJjNFROdkJOemEK #nacos的token
nacos.core.auth.server.identity.key=test #这里配置的key可以是任意值
nacos.core.auth.server.identity.value=test
容器类部署需要传入以下环境变量
NACOS_AUTH_ENABLE=true
NACOS_CORE_AUTH_SERVER_IDENTITY_KEY=test
NACOS_CORE_AUTH_SERVER_IDENTITY_VALUE=test
NACOS_AUTH_TOKEN=SecretKeyM1Z2WDc4dnVyZkQ3NmZMZjZ3RHRwZnJjNFROdkJOemEK
参考官方文档:https://nacos.io/docs/latest/guide/user/auth/
如果以上参数未添加会出现以下错误:
Nacos的hub官方镜像提供了很多可以传给容器的环境变量:https://hub.docker.com/r/nacos/nacos-server
Nacos官方文档系统参数:https://nacos.io/docs/latest/manual/admin/system-configurations/
变量名 | 描述 |
---|---|
MODE | nacos启动模式,cluster为集群模式,standalone为单节点模式 |
NACOS_SERVERS | nacos集群的服务器地址,格式为ip1:port ip2:port多个用空格隔开 |
SPRING_DATASOURCE_PLATFORM | nacos使用的数据库,单节点支持mysql,默认为空 |
PREFER_HOST_MODE | 是否支持主机名,默认是IP,k8s部署必须开启此变量 |
NACOS_SERVER_IP | 多网络环境中配置nacos服务IP |
NACOS_APPLICATION_PORT | nacos服务端口,默认是8848 |
MYSQL_SERVICE_HOST | mysql数据库地址 |
MYSQL_SERVICE_PORT | mysql端口 |
MYSQL_SERVICE_DB_NAME | nacos的mysql数据库名 |
MYSQL_SERVICE_USER | nacos访问数据库的用户名 |
MYSQL_SERVICE_PASSWORD | nacos访问数据库的用户名密码 |
MYSQL_DATABASE_NUM | mysql数据库的数量,默认为1 |
MYSQL_SERVICE_DB_PARAM | mysql连接字符串后面的参数,默认:characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useSSL=false |
JVM_XMS | jvm永久区最小大小,默认1G |
JVM_XMX | jvm永久区最大大小,默认1G |
JVM_XMN | jvm新生区大小,默认512M |
JVM_MS | -XX:MetaspaceSize元空间大小,默认128M |
JVM_MMS | -XX:MaxMetaspaceSize最大元空间大小,默认320M |
NACOS_DEBUG | 是否开启远程DEBUG,默认开启 |
TOMCAT_ACCESSLOG_ENABLED | 是否开启nacos中的tomcat访问日志,默认关闭 |
NACOS_AUTH_SYSTEM_TYPE | nacos的认证方式,默认以及仅仅支持nacos |
NACOS_AUTH_ENABLE | 是否开启认证授权,默认关闭 |
NACOS_AUTH_TOKEN_EXPIRE_SECONDS | token过期时间,默认18000s |
NACOS_AUTH_TOKEN | nacos的token,开启授权后需要指定 |
NACOS_AUTH_CACHE_ENABLE | 开启或关闭认证信息缓存,默认关闭,开启后信息更新会有15s延迟 |
MEMBER_LIST | 通过环境变量或配置文件的方式设置集群地址列表 |
EMBEDDED_STORAGE | 是否开启集群嵌入式存储模式,默认为空 |
NACOS_AUTH_USER_AGENT_AUTH_WHITE_ENABLE | 是否开启nacos认证用户白名单 |
NACOS_AUTH_IDENTITY_KEY | nacos认证授权指定key |
NACOS_AUTH_IDENTITY_VALUE | nacos认证授权指定key的值 |
NACOS_SECURITY_IGNORE_URLS | nacos忽略安全校验的地址 |
DB_POOL_CONNECTION_TIMEOUT | 数据库连接池超时时间,单位为毫秒 |
NACOS_CONSOLE_UI_ENABLED | 开启或关闭nacos控制台,默认开启 |
NACOS_CORE_PARAM_CHECK_ENABLED | 是否开启nacos服务端参数校验,默认false |
配置nacos集群清单文件nacos-test.yaml
$ vim nacos-test.yaml
#配置nacos的configMap
apiVersion: v1
kind: ConfigMap
metadata:
name: nacos-config
namespace: nacos-test
data:
jvm-xmn: 428m
jvm-xms: 656m
jvm-xmx: 856m
mode: cluster
mysql-database-num: "1"
mysql-service-db-name: nacos_config
mysql-service-db-param: characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useSSL=false
mysql-service-host: nacos-mysql-0.nacos-mysql-svc.nacos-test.svc.cluster.local
mysql-service-port: "3306"
mysql-service-user: root
mysql-service-pd: root
nacos-servers: nacos-0.nacos-headless.nacos-test.svc.cluster.local:8848 nacos-1.nacos-headless.nacos-test.svc.cluster.local:8848
spring-datasource-platform: mysql
nacos-auth-enable: "true"
nacos-auth-token: "SecretKeyM1Z2WDc4dnVyZkQ3NmZMZjZ3RHRwZnJjNFROdkJOemEK"
nacos-core-auth-server-identity-key: "test"
nacos-core-auth-server-identity-value: "test"
#配置nacos集群对外访问的service
---
apiVersion: v1
kind: Service
metadata:
name: nacos-external
namespace: nacos-test
labels:
app: nacos-external
spec:
ports:
- name: 8848-8848
protocol: TCP
port: 8848
targetPort: 8848
nodePort: 31848
type: NodePort
selector:
app: nacos
#配置nacos集群的无头服务
---
apiVersion: v1
kind: Service
metadata:
name: nacos-headless
namespace: nacos-test
labels:
app: nacos
spec:
ports:
- port: 8848
name: server
targetPort: 8848
- name: clien-rpc
port: 9848
targetPort: 9848
- name: old-ratf-rpc
port: 7848
targetPort: 7848
- name: ratf-rpc
port: 9849
targetPort: 9849
clusterIP: None
type: ClusterIP
selector:
app: nacos
#配置nacos的statefulset
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: nacos
namespace: nacos-test
spec:
selector:
matchLabels:
app: nacos
serviceName: "nacos-headless"
replicas: 2
template:
metadata:
labels:
app: nacos
spec:
terminationGracePeriodSeconds: 10
serviceAccountName: nfs-client-provisioner
containers:
- name: nacos
image: swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/nacos/nacos-server:v2.4.0
ports:
- name: server
containerPort: 8848
- name: clien-rpc
containerPort: 9848
- name: old-ratf-rpc
containerPort: 7848
- name: ratf-rpc
containerPort: 9849
env:
- name: PREFER_HOST_MODE
value: hostname
- name: JVM_XMN
valueFrom:
configMapKeyRef:
key: jvm-xmn
name: nacos-config
- name: JVM_XMS
valueFrom:
configMapKeyRef:
key: jvm-xms
name: nacos-config
- name: JVM_XMX
valueFrom:
configMapKeyRef:
key: jvm-xmx
name: nacos-config
- name: MODE
valueFrom:
configMapKeyRef:
key: mode
name: nacos-config
- name: MYSQL_DATABASE_NUM
valueFrom:
configMapKeyRef:
key: mysql-database-num
name: nacos-config
- name: MYSQL_SERVICE_DB_NAME
valueFrom:
configMapKeyRef:
key: mysql-service-db-name
name: nacos-config
- name: MYSQL_SERVICE_DB_PARAM
valueFrom:
configMapKeyRef:
key: mysql-service-db-param
name: nacos-config
- name: MYSQL_SERVICE_HOST
valueFrom:
configMapKeyRef:
key: mysql-service-host
name: nacos-config
- name: MYSQL_SERVICE_PASSWORD
valueFrom:
configMapKeyRef:
key: mysql-service-pd
name: nacos-config
- name: MYSQL_SERVICE_PORT
valueFrom:
configMapKeyRef:
key: mysql-service-port
name: nacos-config
- name: MYSQL_SERVICE_USER
valueFrom:
configMapKeyRef:
key: mysql-service-user
name: nacos-config
- name: NACOS_SERVERS
valueFrom:
configMapKeyRef:
key: nacos-servers
name: nacos-config
- name: MEMBER_LIST
valueFrom:
configMapKeyRef:
key: nacos-servers
name: nacos-config
- name: SPRING_DATASOURCE_PLATFORM
valueFrom:
configMapKeyRef:
key: spring-datasource-platform
name: nacos-config
- name: NACOS_AUTH_ENABLE
valueFrom:
configMapKeyRef:
key: nacos-auth-enable
name: nacos-config
- name: NACOS_CORE_AUTH_SERVER_IDENTITY_KEY
valueFrom:
configMapKeyRef:
key: nacos-core-auth-server-identity-key
name: nacos-config
- name: NACOS_CORE_AUTH_SERVER_IDENTITY_VALUE
valueFrom:
configMapKeyRef:
key: nacos-core-auth-server-identity-value
name: nacos-config
- name: NACOS_AUTH_TOKEN
valueFrom:
configMapKeyRef:
key: nacos-auth-token
name: nacos-config
volumeMounts:
- name: datadir
mountPath: /home/nacos/data
- name: logdir
mountPath: /home/nacos/logs
volumeClaimTemplates:
- metadata:
name: datadir
annotations:
volume.beta.kubernetes.io/storage-class: "nfs-client"
spec:
accessModes: [ "ReadWriteMany" ]
resources:
requests:
storage: 5Gi
- metadata:
name: logdir
annotations:
volume.beta.kubernetes.io/storage-class: "nfs-client"
spec:
accessModes: [ "ReadWriteMany" ]
resources:
requests:
storage: 5Gi
$ kubectl apply -f nacos-test.yaml
查看各个资源状态
$ kubectl get pod,svc,pvc -n nacos-test
查看初始化日志
$ kubectl logs -f nacos-1 -n nacos-test
在nacos某一节点的初始化日志中可以看到nacos的自动发现脚本自动将找到的集群节点的DNS加入到cluster.conf文件中
访问登录Nacos
自2.4.0版本开始,Nacos构建时不再提供管理员用户nacos的默认密码,需要在首次开启鉴权后,通过API或 Nacos控制台进行管理员用户nacos的密码初始化 。当Nacos集群开启鉴权后,访问Nacos控制台时,会校验管理员用户nacos的密码是否已经初始化,若发现未初始化密码时,则会跳转至初始化密码的页面进行初始化
资源清单中已经将nacos的访问端口映射为30848,使用浏览器访问k8s集群的任何一个节点IP都可以访问nacos登录界面,这里使用http://192.168.3.132:30848/nacos,默认用户名是nacos,密码也是nacos
出现“权限认证失败”后点击确定,然后输入上面初始化的用户名和密码登录,查看“集群管理”->“节点管理”,可以看到两个nacos节点都为up状态
测试配置
找到“配置管理”->“配置列表”,点击“创建配置”,填写完基本信息后点击“发布”
登录数据库查看信息
mysql> use nacos_config;
mysql> select * from `nacos_config`.`config_info`;
通过Nacos API接口测试
使用用户名和密码登陆nacos集群,若用户名和密码正确会返回Token信息
$ curl -X POST 'http://192.168.8.181:31848/nacos/v1/auth/login' -d 'username=nacos&password=nacos'
{"accessToken":"eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyOTA3Njc3MH0.jBDTcSYb6q9mg2IBLwJieu53jQthmRqwTB35f6lmRjY","tokenTtl":18000,"globalAdmin":true,"username":"nacos"}
服务注册
$ curl -X POST 'http://192.168.8.181:31848/nacos/v1/ns/instance?accessToken=eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyOTA3Njc3MH0.jBDTcSYb6q9mg2IBLwJieu53jQthmRqwTB35f6lmRjY&serviceName=nacos.naming.serviceName&ip=192.168.8.181&port=30306'
返回ok
服务发现
$ curl -X GET 'http://192.168.8.181:31848/nacos/v1/ns/instance/list?accessToken=eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyOTA3Njc3MH0.jBDTcSYb6q9mg2IBLwJieu53jQthmRqwTB35f6lmRjY&serviceName=nacos.naming.serviceName'
返回
{"name":"DEFAULT_GROUP@@nacos.naming.serviceName","groupName":"DEFAULT_GROUP","clusters":"","cacheMillis":10000,"hosts":[],"lastRefTime":1729060467432,"checksum":"","allIPs":false,"reachProtectionThreshold":false,"valid":true}
发布配置
$ curl -X POST 'http://192.168.8.181:31848/nacos/v1/cs/configs?accessToken=eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyOTA3Njc3MH0.jBDTcSYb6q9mg2IBLwJieu53jQthmRqwTB35f6lmRjY&dataId=nacos.cfg.dataId&group=test&content=helloWorld"
返回true
获取配置
$ curl -X GET 'http://192.168.8.181:31848/nacos/v1/cs/configs?accessToken=eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyOTA3Njc3MH0.jBDTcSYb6q9mg2IBLwJieu53jQthmRqwTB35f6lmRjY&dataId=nacos.cfg.dataId&group=test'
返回helloWorld