服务发现概述
通常,稍有规模的系统架构需要抽象楚相当数量的服务,这些服务间可能存在复杂的依赖关系和通信模型,考虑到容器编排环境的动态特性,让客户端获知服务端的地址便成了难题之一。kubernetes系统上的Service为pod中的服务类应用提供了一个固定的访问入口,但pod客户端中的应用还需要借助服务发现机制获取特定服务的IP和端口。
简单来说,服务发现就是服务或者应用之间相互定位的过程,它并非什么新概念,传统的单体应用动态性不强,更新和重新发布频度较低,通常以月甚至以年计,几乎无须进行自动伸缩,因此服务发现的概念无须显性强调。通常,传统的单体应用网络位置发生变化时,由IT人员手动更新一下相关的配置文件基本就能解决问题,但在遵循微服务架构设计理念的场景中,应用被拆分众多小服务,各服务实例按需创建且变动频繁,配置信息基本无法事先写入配置文件中并及时跟踪反应动态变化,服务发现的重要性便随之凸显。
服务发现机制的基本实现,一般是事前部署好一个网络位置较为稳定的服务注册中心(也叫服务总线),由服务提供者(服务端)向注册中心注册自己的位置信息,并在变动后即时予以更新,相应地,服务消费方周期性地从注册中心获取服务提供者的最新位置信息,从而发现要访问的目标服务资源。复杂的服务发现机制还会让服务提供者其描述信息、状态信息及资源使用信息等,以供消费者实现更为复杂的服务选择逻辑。
实践中,根据其发现过程的实现方式,服务发现还可分为两种类型:客户端发现和服务端发现。
客户端发现:由客户端到服务注册中心发现其依赖的服务的相关信息,因此,它需要内置特定的服务发现程序和发现逻辑。
服务端发现:这种方式额外要用到一个称为中央路由器或服务均衡器的组件;服务消费者将请求发往中央路由器或者负载均衡器,由它们负载查询服务注册中心获取服务提供者的位置信息,并将服务消费者的请求转发给服务提供者。
由此可见,服务注册中是服务发现得以落地的核心组件。事实上,DNS可以算是最为原始的服务发现系统之一,但在服务的动态性很强的场景中,DNS记录的传播速度可能会跟不上服务的变更速度,因此它并不适用于微服务环境中。
在传统实践中,常见的服务注册中心是ZooKeeper和etcd等分布式键值存储系统,它们可提供基本的数据存储功能,但距离实现完整的服务发现机制还有大量的二次开发任务需要完成,而且,它们更注重数据一致性而不得不弱化可用性,这背离了微服务发现场景中更注重服务可用性的需求。
云原生服务发现
如果你想要在应用程序中使用 Kubernetes API 进行服务发现,则可以查询 API 服务器用于匹配 EndpointSlices。 只要服务中的这组 Pod 发生变化,Kubernetes 就会为服务更新 EndpointSlices。
对于非本机应用程序,Kubernetes 提供了在应用程序和后端 Pod 之间放置网络端口或负载均衡器的方法。
服务发现模式
Kubernetes 支持两种基本的服务发现模式 —— 环境变量和 DNS。
环境变量
当 Pod 运行在某 Node 上时,kubelet 会为每个活跃的 Service 添加一组环境变量。 kubelet 为 Pod 添加环境变量 {SVCNAME}_SERVICE_HOST 和 {SVCNAME}_SERVICE_PORT。 这里 Service 的名称被转为大写字母,横线被转换成下划线。 它还支持与 Docker Engine 的 "legacy container links" 特性兼容的变量
Kubernetes Service环境变量
kubernetes为每个Service资源生成包括以下形式的环境变量在内的一系列环境变量,在同一名称空间中创建的pod对象都会自动拥有这些变量。
{SVCNAME}_SERVICE_HOST
{SVCNAME}_SERVICE_PORT
Docker Link形式的环境变量
Docker使用--link选项实现容器连接时所设置的环境变量形式。在创建pod对象时,kubernetes也会把与此形式兼容的一系列环境变量注入pod对象中。
基于环境变量的服务发现功能简单、易用,但存在一定局限,例如只有那些与新建pod对象在同一名称空间中且事先存在的Service对象的信息才会以环境变量形式注入,而那些不在同一名称空间,或者在pod资源创建之后才创建的Service对象的相关环境变量则不会被添加。
REDIS_PRIMARY_SERVICE_HOST=10.0.0.11
REDIS_PRIMARY_SERVICE_PORT=6379
REDIS_PRIMARY_PORT=tcp://10.0.0.11:6379
REDIS_PRIMARY_PORT_6379_TCP=tcp://10.0.0.11:6379
REDIS_PRIMARY_PORT_6379_TCP_PROTO=tcp
REDIS_PRIMARY_PORT_6379_TCP_PORT=6379
REDIS_PRIMARY_PORT_6379_TCP_ADDR=10.0.0.11
基于DNS的服务发现
名称解析和服务发现是kubernetes系统许多功能得以实现的基础服务,ClusterDNS通常是集群安装完成后应该立即部署的附加组件。kubernetes集群上的每个Service资源对象在创建时都会被自动指派一个遵循<service>.<ns>.svc.<zone>格式的名称,并由ClusterDNS为该名称自动生成资源记录,service、ns和zone分别代表服务的名称、名称空间的名称和集群的域名。例如demoapp-svc的DNS名称为demoapp-svc.default.svc.cluster.local.,其中cluster.local.是未明确指定域名后缀 的集群默认使用的域名。
无论使用kubeDNS还是CoreDNS,它们提供了基于DNS服务发现解决方案都会负责为该DNS名称解析相应的资源记录类型以实现服务发现。以拥有ClusterIP的多种Service资源类型(ClusterIP、NodePort和LoadBalancer)为例,每个service对象都会有一下3个类型的DNS资源记录。
根据ClusterIP的地址类型,为IPv4生成A记录,为IPv6生成AAAA记录。
<service>.<ns>.svc.<zone>.<ttl> IN A <cluster-ip>
<service>.<ns>.svc.<zone>.<ttl> IN AAAA <cluster-ip>
为每个定义了名称的端口生成一个SRV记录,未命名的端口号则不具该记录。
_<port>._<proto>.<service>.<ns>.svc.<zone>.<ttl> IN SRV <weight> <priority> <port-number> <service>.<ns>.svc.<zone>.
对于每个给定的A记录(例如a.b.c.d)或AAAA记录(例如a1a2a3a4:b1b2b3b4:c1c2c3c4:d1d2d3d4:e1e2e3e4:f1f2f3f4:g1g2g3g4:h1h2h3h4)都要生成PTR记录,它们各自的格式如下:
<d>.<c>.<b>.<a>.in-addr-arpa. <ttl> IN PTR <service>.<ns>.svc.<zone>.
h4.h3.h2.h1.g4.g3.g2.g1.e4.e3.e2.e1.d4.d3.d2.d1.c4.c3.c2.c1.b4.b3.b2.b1.a4.a3.a2.a1.ipv6.arpa <ttl> IN PTR <service>.<ns>.svc.<zone>.
例如,前面在defalut名称空间中创建的Service对象demoapp-svc的地址为10.97.72.1,且为TCP协议的80端口取名http,对于默认的cluster.local域名来说,它会拥有如下3个DNS资源记录。
A记录:demoapp-svc.default.svc.cluster.local.30 IN A 10.97.72.1
SRV记录:_http._tcp.demoapp-svc.default.svc.cluster.local.30 IN SRV 0 100 80 demoapp-svc.default.svc.cluster.local.
PTR记录:1.72.97.10.in-addr.arpa.30 IN PTR demoapp-svc.default.svc.cluster.local。
kubelet会为创建的每一个容器在/etc/resolv.conf配置文件中生成DNS查询客户端依赖的必要配置,相关的配置信息源自kubelet的配置参数。各容器的DNS服务器由clusterDNS参数的值设定,它的取值为kube-system名称空间中的Service对象kube-dns的ClusterIP,默认为10.96.0.10,而DNS搜索域的值由clusterDomain参数的值设定,若部署kubernetes集群时未特别指定,其值为cluster.local、svc.cluster.local和NAMESPACENAME.svc.cluster.local。示例:
search default.svc.cluster.local svc.cluster.local
cluster.local
options ndots:5
上述search参数中指定的DNS个搜索域是以次序指定的几个域名后缀,它们各自的域名如下所示:
<ns>.svc.<zone>:附带有特定名称空间 的域名,例如default.svc.cluster.local。
svc.<zone>:附带了kubernetes表示Service专用子域svc的域名。例如svc.cluster.local。
<zone>:集群本地域名,例如cluster.local。
各容器能够直接向集群上的ClusterDNS发起服务名称和端口名称解析请求完成服务发现,各名称也支持短格式,由搜索域自动补齐相关的后缀。
为了减少搜索次数,无论是否处于同一名称空间,客户端都可以直接使用FQDN格式的名称解析Service名称和端口名称,这也是在某应用的配置文件中引用其他服务时建议遵循的方式。
Pod的DNS解析策略与配置
kubernetes还支持在单个pod资源规范上自定义解析策略和配置,它们分别使用spec.dnsPolicy和spec.dnsConfig进行定义,并组合生效。目前,kubernetes支持如下DNS解析策略,它们定义在spec.dnsPolicy字段上。
Default:从运行所在的节点继承DNS名称解析相关的配置。
ClusterFirst:在集群DNS服务器上解析集群域内的名称,其它域名的解析则交由从节点继承而来的上游名称服务器。
ClusterFirstWithHostNet:专用于在设置了hostNetwork的pod对象上使用的ClusterFirst策略,任何配置了hostNetwork的pod对象都应该显式使用该策略。
None:用户忽略kubernetes集群的默认设定,而仅使用由dnsConfig自定义的配置。
pod资源的自定义DNS配置要通过嵌套在spec.dnsConfig字段中的如下几个字段进行,它们的最终生效结果要结合dnsPolicy的定义生成。
nameservers <[]string>:DNS名称服务器列表,它附加在由dnsPolicy生成的DNS名称服务器之后。
searches <[]string>:DNS名称解析时的搜索域,它附加在dnsPolicy生成的搜索域之后。
options <[]Object>:DNS解析选项列表,它将会同dnsPolicy生成的解析选项合并成最终生效的定义。
示例
下面配置清单示例(pod-with-dnspolicy.yaml)中定义的Pod资源完全使用自定义的配置,它通过将dnsPolicy设置为None而拒绝从节点继承DNS配置信息,并在dnsConfig中自定义了要使用的DNS服务、搜索域和DNS选项。
apiVersion: v1
kind: Pod
metadata:
name: pod-with-dnspolicy
namespace: default
spec:
containers:
- name: demo
image: ikubernetes/demoapp:v1.0
imagePullPolicy: IfNotPresent
dnsPolicy: None
dnsConfig:
nameservers:
- 10.96.0.10
- 223.5.5.5
- 223.6.6.6
searches:
- svc.cluster.local
- cluster.local
- ilinux.io
options:
- name: ndots
value: "5"
将上述配置清单中定义的Pod资源创建到集群之上,它最终会生成类似如下内容的/etc/resolv.conf配置文件。
nameserver 10.96.0.10
nameserver 223.5.5.5
nameserver 223.6.6.6
search svc.cluster.local cluster.local ilinux.io
options ndots:5
上面配置中的搜索域要求,即便是客户端与目标服务位于同一名称空间,也要求在短格式的服务名称上显式指定其所处的名称空间。
配置CoreDNS
CoreDNS是高度模块化的DNS服务器,几乎全部功能均由可插拔插件实现,CoreDNS调用的插件及相关的配置定义在称为Corefile的配置文件中,CoreDNS主要用于定义各服务器监听地址和端口授权解析以及加载的插件等。配置格式如下:
ZONE:[PORT] {
[PLUGIN]...
}
参数说明
- ZONE:定义该服务器授权解析的区域,它监听由PORT指定的端口。
- PLUGIN:定义要加载的插件,每个插件可能存在一系列属性,而每个属性还可能存在可配置的参数。
示例
apiVersion: v1
kind: ConfigMap
metadata:
name: coredns
namespace: kube-system
data:
Corefile: |
.:53 {
errors # 将错误日志发往标准输出stdout
health {
lameduck 5s
} # 通过http://localhost:8080/health报告健康状态
ready # 待所有插件就绪后通过8181端口响应“200 OK”以报告就绪状态
kubernetes cluster.local in-addr.arpa ip6.arpa {
pods insecure
fallthrough in-addr.arpa ip6.arpa
ttl 30
} # Kubernetes系统的本地区域及专用的名称解析配置
prometheus :9153 # 通过http://localhost:9153/metrics输出指标数据
forward . /etc/resolv.conf # 非Kubernetes本地域名的解析转发逻辑
cache 30 # 缓存时长
loop # 探测转发循环并终止其过程
reload # Corefile内容改变时自动重载配置信息
loadbalance # A、AAAA或MX记录的负载均衡器,使用round-robin算法
}
在该配置文件中,专用于kubernetes系统上的名称解析服务由名为kubernetes的插件进行定义,该插件负载处理指定的权威区域中的所有查询,例如上面示例中的正向解析区域cluster.local,以及反向解析区域in-addr.arpa和ipv6.arpa。该插件支持多个配置参数,例如endpoint、tls、kubeconfig、namespace、labels、pods、ttl和fallthrough等。上面示例中用到的3个参数的功能如下:
pods POD-MODE:设置用于处理基于pod IP地址的A记录的工作模式,以便在直接同pod建立SSL通信时验证证书信息;默认值为disable,表示不处理pod请求,总是相应NXDOMAIN;在其它可用值中,insecure表示直接响应A记录而无须向kubernetes进行校验,目标在于兼容kube-dns;而verified表示仅在指定名称空间中存在一个与A记录中的IP地址相匹配的pod对象时才会将结果响应给客户端。
fallthrough [ZONES...]:常规情况下,该插件的权威区域解析结果为NXDOMAIN时即为最终结果,而该参数允许将该响应的请求继续转为后续的其它插件处理;省略指定目标区域时表示生效于所有区域,否则,将仅生效于指定的区域。
ttl:自定义响应结果的可缓存时长,默认为5秒,可用值范围为[0,3600]。
那些非由kubernetes插件所负载解析的本地匹配的名称,将由forward插件定义的方式转发给其它DNS服务器进行解析,示例中的配置表示将根区域的解析请求转发给主机配置文件/etc/resolv.conf中指定的DNS服务器进行。若要将请求直接转发给指定的DNS服务器,则将该文件路径替换为目标DNS服务的IP地址即可,多个IP地址之间以空白字符分隔。例如,下面的配置示例表示将除了ilinux.io区域之外的其它请求转给223.5.5.5或223.6.6.6进行解析。
. {
forward . 223.5.5.5 223.6.6.6 {
except ilinux.io
}
}
参考文档
https://coredns.io/plugins/
标签:发现,服务,kubernetes,svc,cluster,名称,DNS,local From: https://www.cnblogs.com/wangguishe/p/16383394.html