Kubernetes节点本地缓存

2023-12-18 35

NodeLocal DNSCache功能通过在每个集群节点上作为Daemon在Kubernetes集群中，NodeLocal DNSCache功能通过在每个集群节点上作为DaemonSet运行一个DNS缓存代理来提高DNS性能。本篇教程将介绍如何使用Kubernetes中的NodeLocal DNSCache功能。

一、准备

必须拥有一个 Kubernetes 的集群，同时必须配置 kubectl 命令行工具与集群通信。建议在至少有两个不作为控制平面主机的节点的集群上运行本教程。如果还没有集群，可以通过 Minikube 构建一个自己的集群，或者可以使用下面的 Kubernetes 练习环境之一：

Killercoda
玩转 Kubernetes

要获知版本信息，请输入 kubectl version.

二、引言

NodeLocal DNSCache 通过在集群节点上作为 DaemonSet 运行 DNS 缓存代理来提高集群 DNS 性能。在当今的体系结构中，运行在 ‘ClusterFirst’ DNS 模式下的 Pod 可以连接到 kube-dns serviceIP 进行 DNS 查询。通过 kube-proxy 添加的 iptables 规则将其转换为 kube-dns/CoreDNS 端点。

借助这种新架构，Pod 将可以访问在同一节点上运行的 DNS 缓存代理，从而避免 iptables DNAT 规则和连接跟踪。本地缓存代理将查询 kube-dns 服务以获取集群主机名的缓存缺失（默认为 “cluster.local” 后缀）。

三、动机

使用当前的 DNS 体系结构，如果没有本地 kube-dns/CoreDNS 实例，则具有最高 DNS QPS 的 Pod 可能必须延伸到另一个节点。在这种场景下，拥有本地缓存将有助于改善延迟；
跳过 iptables DNAT 和连接跟踪将有助于减少 conntrack 竞争并避免 UDP DNS 条目填满 conntrack 表；
从本地缓存代理到 kube-dns 服务的连接可以升级为 TCP。 TCP conntrack 条目将在连接关闭时被删除，相反 UDP 条目必须超时（默认 nf_conntrack_udp_timeout 是 30 秒）；
将 DNS 查询从 UDP 升级到 TCP 将减少由于被丢弃的 UDP 包和 DNS 超时而带来的尾部等待时间；这类延时通常长达 30 秒（3 次重试 + 10 秒超时）。由于 nodelocal 缓存监听 UDP DNS 查询，应用不需要变更；
在节点级别对 DNS 请求的度量和可见性；
可以重新启用负缓存，从而减少对 kube-dns 服务的查询数量。

四、架构图

启用 NodeLocal DNSCache 之后，DNS 查询所遵循的路径如下：

此图显示了 NodeLocal DNSCache 如何处理 DNS 查询。

五、配置

NodeLocal DNSCache 的本地侦听 IP 地址可以是任何地址，只要该地址不和集群里现有的 IP 地址发生冲突。推荐使用本地范围内的地址，例如，IPv4 链路本地区段 ‘169.254.0.0/16’ 内的地址，或者 IPv6 唯一本地地址区段 ‘fd00::/8’ 内的地址。

可以使用以下步骤启动此功能：

根据示例 nodelocaldns.yaml 准备一个清单，把它保存为 nodelocaldns.yaml；
如果使用 IPv6，在使用 ‘IP:Port’ 格式的时候需要把 CoreDNS 配置文件里的所有 IPv6 地址用方括号包起来。如果使用上述的示例清单，需要把配置行 L70 修改为： “health [__PILLAR__LOCAL__DNS__]:8080″；
把清单里的变量更改为正确的值：

kubedns=`kubectl get svc kube-dns -n kube-system -o jsonpath={.spec.clusterIP}`
domain=<cluster-domain>
localdns=<node-local-address>

<cluster-domain> 的默认值是 “cluster.local”。<node-local-address> 是 NodeLocal DNSCache 选择的本地侦听 IP 地址。
如果 kube-proxy 运行在 IPTABLES 模式：

sed -i "s/__PILLAR__LOCAL__DNS__/$localdns/g; s/__PILLAR__DNS__DOMAIN__/$domain/g; s/__PILLAR__DNS__SERVER__/$kubedns/g" nodelocaldns.yaml
node-local-dns Pod 会设置 __PILLAR__CLUSTER__DNS__ 和 __PILLAR__UPSTREAM__SERVERS__。

在此模式下, node-local-dns Pod 会同时侦听 kube-dns 服务的 IP 地址和 <node-local-address> 的地址，以便 Pod 可以使用其中任何一个 IP 地址来查询 DNS 记录。
如果 kube-proxy 运行在 IPVS 模式：

sed -i "s/__PILLAR__LOCAL__DNS__/$localdns/g; s/__PILLAR__DNS__DOMAIN__/$domain/g; s/,__PILLAR__DNS__SERVER__//g; s/__PILLAR__CLUSTER__DNS__/$kubedns/g" nodelocaldns.yaml

在此模式下，node-local-dns Pod 只会侦听 <node-local-address> 的地址。 node-local-dns 接口不能绑定 kube-dns 的集群 IP 地址，因为 IPVS 负载均衡使用的接口已经占用了该地址。 node-local-dns Pod 会设置 __PILLAR__UPSTREAM__SERVERS__。

运行 kubectl create -f nodelocaldns.yaml；
如果 kube-proxy 运行在 IPVS 模式，需要修改 kubelet 的 –cluster-dns 参数 NodeLocal DNSCache 正在侦听的 <node-local-address> 地址。否则，不需要修改 –cluster-dns 参数，因为 NodeLocal DNSCache 会同时侦听 kube-dns 服务的 IP 地址和 <node-local-address> 的地址。

启用后，node-local-dns Pod 将在每个集群节点上的 kube-system 名字空间中运行。此 Pod 在缓存模式下运行 CoreDNS，因此每个节点都可以使用不同插件公开的所有 CoreDNS 指标。

如果要禁用该功能，可以使用 kubectl delete -f <manifest> 来删除 DaemonSet。还应该回滚对 kubelet 配置所做的所有改动。

六、StubDomains和上游服务器配置

node-local-dns Pod 能够自动读取 kube-system 名字空间中 kube-dns ConfigMap 中保存的 StubDomains 和上游服务器信息。ConfigMap 中的内容需要遵从此示例中所给的格式。 node-local-dns ConfigMap 也可被直接修改，使用 Corefile 格式设置 stubDomain 配置。某些云厂商可能不允许直接修改 node-local-dns ConfigMap 的内容。在这种情况下，可以更新 kube-dns ConfigMap。

七、设置内存限制

node-local-dns Pod 使用内存来保存缓存项并处理查询。由于它们并不监视 Kubernetes 对象变化，集群规模或者 Service/EndpointSlices 的数量都不会直接影响内存用量。内存用量会受到 DNS 查询模式的影响。

注意：The default cache size is 10000 entries, which uses about 30 MB when completely filled. （默认的缓存大小是 10000 个表项，当完全填充时会使用约 30 MB 内存）

这一数值是（缓存完全被填充时）每个服务器块的内存用量。通过设置小一点的缓存大小可以降低内存用量。并发查询的数量会影响内存需求，因为用来处理查询请求而创建的 Go 协程都需要一定量的内存。可以在 forward 插件中使用 max_concurrent 选项设置并发查询数量上限。

如果一个 node-local-dns Pod 尝试使用的内存超出可提供的内存量（因为系统资源总量的，或者所配置的资源约束）的原因，操作系统可能会关闭这一 Pod 的容器。发生这种情况时，被终止的（”OOMKilled”）容器不会清理其启动期间所添加的定制包过滤规则。该 node-local-dns 容器应该会被重启（因其作为 DaemonSet 的一部分被管理），但因上述原因可能每次容器失败时都会导致 DNS 有一小段时间不可用： the packet filtering rules direct DNS queries to a local Pod that is unhealthy （包过滤器规则将 DNS 查询转发到本地某个不健康的 Pod）。

通过不带限制地运行 node-local-dns Pod 并度量其内存用量峰值，可以为其确定一个合适的内存限制值。也可以安装并使用一个运行在 “Recommender Mode（建议者模式）” 的 VerticalPodAutoscaler，并查看该组件输出的建议信息。