Kubernetes静态加密数据

Kubernetes静态API数据加密可以保护敏感信息不被未经授权的用户访问，允许用户编辑的持久 API 资源数据的所有 API 都支持静态加密。 例如可以启用静态加密 Secret，此静态加密是对 etcd 集群或运行 kube-apiserver 的主机上的文件系统的任何系统级加密的补充。

此任务涵盖使用 Kubernetes API 存储的资源数据的加密。 例如，可以加密 Secret 对象，包括它们包含的键值数据。如果要加密安装到容器中的文件系统中的数据，则需要：

• 使用提供加密 volumes 的存储集成；
• 在自己的应用程序中加密数据。

一、准备

1、必须拥有一个 Kubernetes 的集群，同时必须配置 kubectl 命令行工具与集群通信。 建议在至少有两个不作为控制平面主机的节点的集群上运行本教程。 如果还没有集群，可以通过 Minikube 构建一个自己的集群，或者可以使用下面的 Kubernetes 练习环境之一：

• Killercoda
• 玩转 Kubernetes

2、此任务假设将 Kubernetes API 服务器组件以静态 Pod 方式运行在每个控制平面节点上。

3、集群的控制平面必须使用 etcd v3.x（主版本 3，任何次要版本）。

4、要加密自定义资源，集群必须运行 Kubernetes v1.26 或更高版本。

5、在 Kubernetes v1.27 或更高版本中可以使用通配符匹配资源。

要获知版本信息，请输入 kubectl version.

二、确定已启用静态加密

kube-apiserver 的参数 –encryption-provider-config 控制 API 数据在 etcd 中的加密方式。 该配置作为一个名为 EncryptionConfiguration 的 API 提供。下面提供了一个示例配置。

对于高可用配置（有两个或多个控制平面节点），加密配置文件必须相同！ 否则，kube-apiserver 组件无法解密存储在 etcd 中的数据。

三、理解静态数据加密

---
#
# 注意：这是一个示例配置。请勿将其用于你自己的集群！
#
apiVersion: apiserver.config.k8s.io/v1
kind: EncryptionConfiguration
resources:
  - resources:
      - secrets
      - configmaps
      - pandas.awesome.bears.example # 自定义资源 API
    providers:
      # 此配置不提供数据机密性。
      # 第一个配置的 provider 正在指定将资源存储为纯文本的 "identity" 机制。
      - identity: {} # 纯文本，换言之未加密
      - aesgcm:
          keys:
            - name: key1
              secret: c2VjcmV0IGlzIHNlY3VyZQ==
            - name: key2
              secret: dGhpcyBpcyBwYXNzd29yZA==
      - aescbc:
          keys:
            - name: key1
              secret: c2VjcmV0IGlzIHNlY3VyZQ==
            - name: key2
              secret: dGhpcyBpcyBwYXNzd29yZA==
      - secretbox:
          keys:
            - name: key1
              secret: YWJjZGVmZ2hpamtsbW5vcHFyc3R1dnd4eXoxMjM0NTY=
  - resources:
      - events
    providers:
      - identity: {} # 即使如下指定 *.* 也不会加密 events
  - resources:
      - '*.apps' # 通配符匹配需要 Kubernetes 1.27 或更高版本
    providers:
      - aescbc:
          keys:
          - name: key2
            secret: c2VjcmV0IGlzIHNlY3VyZSwgb3IgaXMgaXQ/Cg==
  - resources:
      - '*.*' # 通配符匹配需要 Kubernetes 1.27 或更高版本
    providers:
      - aescbc:
          keys:
          - name: key3
            secret: c2VjcmV0IGlzIHNlY3VyZSwgSSB0aGluaw==

每个 resources 数组项目是一个单独的完整的配置。 resources.resources 字段是应加密的 Kubernetes 资源（例如 Secret、ConfigMap 或其他资源）名称 （resource 或 resource.group）的数组。

如果自定义资源被添加到 EncryptionConfiguration 并且集群版本为 1.26 或更高版本， 则 EncryptionConfiguration 中提到的任何新创建的自定义资源都将被加密。 在该版本之前存在于 etcd 中的任何自定义资源和配置不会被加密，直到它们被下一次写入到存储为止， 这与内置资源的行为相同。

providers 数组是可能的加密提供程序的有序列表，用于所列出的 API。 每个提供程序支持多个密钥 – 解密时会按顺序尝试这些密钥， 如果这是第一个提供程序，其第一个密钥将被用于加密。

每个条目只能指定一个提供程序类型（可以是 identity 或 aescbc，但不能在同一个项目中同时指定二者）。 列表中的第一个提供程序用于加密写入存储的资源。 当从存储器读取资源时，与存储的数据匹配的所有提供程序将按顺序尝试解密数据。 如果由于格式或密钥不匹配而导致没有提供程序能够读取存储的数据，则会返回一个错误，以防止客户端访问该资源。

EncryptionConfiguration 支持使用通配符指定应加密的资源。 使用 “*.<group>” 加密 group 内的所有资源（例如以上例子中的 “*.apps”）或使用 “*.*” 加密所有资源。“*.” 可用于加密核心组中的所有资源。“*.*” 将加密所有资源，甚至包括 API 服务器启动之后添加的自定义资源。

注意：不允许在同一资源列表或跨多个条目中使用相互重疊的通配符，因为这样一来配置的一部分将无法生效。 resources 列表的处理顺序和优先级由配置中列出的顺序决定。

如果启用了通配符，但想要针对特定资源退出加密，则可以通过添加带有资源名称的新 resources 数组项， 后跟附带 identity 提供商的 providers 数组项。例如，如果启用了 “*.*”， 但想要排除对 events 资源的加密，则应向 resources 数组添加一个新项（以 events 为资源名称）， 后跟包含 identity 的提供程序数组。新项应如下所示：

- resources:
- events
providers:
- identity: {}

确保新项列在资源数组中的通配符 “*.*” 项之前，使新项优先。

注意：如果通过加密配置无法读取资源（因为密钥已更改），唯一的方法是直接从底层 etcd 中删除该密钥。 任何尝试读取资源的调用将会失败，直到它被删除或提供有效的解密密钥。

可用的提供程序：

在为集群的 Kubernetes API 数据配置静态加密之前，需要选择要使用的提供程序。

下表描述了每个可用的提供程序：

如果没有另外指定，identity 提供程序将作为默认选项。 identity 提供程序不会加密存储的数据，并且提供无附加的机密保护。

四、密钥存储

1、本地密钥存储

使用本地管理的密钥对 Secret 数据进行加密可以防止 etcd 受到威胁，但无法防范主机受到威胁的情况。 由于加密密钥被存储在主机上的 EncryptionConfiguration YAML 文件中，有经验的攻击者可以访问该文件并提取加密密钥。

2、托管的（KMS）密钥存储

KMS 提供程序使用封套加密：Kubernetes 使用一个数据密钥来加密资源，然后使用托管的加密服务来加密该数据密钥。 Kubernetes 为每个资源生成唯一的数据密钥。API 服务器将数据密钥的加密版本与密文一起存储在 etcd 中； API 服务器在读取资源时，调用托管的加密服务并提供密文和（加密的）数据密钥。 在托管的加密服务中，提供程序使用密钥加密密钥来解密数据密钥，解密数据密钥后恢复为明文。 在控制平面和 KMS 之间的通信需要在传输过程中提供 TLS 这类保护。

使用封套加密会依赖于密钥加密密钥，此密钥不存储在 Kubernetes 中。 就 KMS 而言，如果攻击者意图未经授权地访问明文值，则需要同时入侵 etcd 和 第三方 KMS 提供程序。

五、编辑加密配置文件

加密配置文件可能包含可以解密 etcd 中内容的密钥。 如果此配置文件包含任何密钥信息，必须在所有控制平面主机上合理限制权限， 以便只有运行 kube-apiserver 的用户可以读取此配置。

创建一个新的加密配置文件。其内容应类似于：

---
apiVersion: apiserver.config.k8s.io/v1
kind: EncryptionConfiguration
resources:
  - resources:
      - secrets
      - configmaps
      - pandas.awesome.bears.example
    providers:
      - aescbc:
          keys:
            - name: key1
              # 参见以下文本了解有关 Secret 值的详情
              secret: <BASE 64 ENCODED SECRET>
      - identity: {} # 这个回退允许读取未加密的 Secret；
                     # 例如，在初始迁移期间

遵循如下步骤来创建一个新的 Secret：

1、生成一个 32 字节的随机密钥并进行 base64 编码。如果在 Linux 或 macOS 上，请运行以下命令：

head -c 32 /dev/urandom | base64

2、将这个值放入到 EncryptionConfiguration 结构体的 secret 字段中。

3、设置 kube-apiserver 的 –encryption-provider-config 参数，将其指向配置文件所在位置。

将需要把新的加密配置文件挂载到 kube-apiserver 静态 Pod。以下是这个操作的示例：

（1）将新的加密配置文件保存到控制平面节点上的 /etc/kubernetes/enc/enc.yaml。

（2）编辑 kube-apiserver 静态 Pod 的清单：/etc/kubernetes/manifests/kube-apiserver.yaml， 代码范例如下：

---
#
# 这是一个静态 Pod 的清单片段。
# 检查是否适用于你的集群和 API 服务器。
#
apiVersion: v1
kind: Pod
metadata:
annotations:
 kubeadm.kubernetes.io/kube-apiserver.advertise-address.endpoint: 10.20.30.40:443
creationTimestamp: null
labels:
 app.kubernetes.io/component: kube-apiserver
 tier: control-plane
name: kube-apiserver
namespace: kube-system
spec:
containers:
- command:
 - kube-apiserver
 ...
 - --encryption-provider-config=/etc/kubernetes/enc/enc.yaml  # 增加这一行
 volumeMounts:
 ...
 - name: enc                           # 增加这一行
   mountPath: /etc/kubernetes/enc      # 增加这一行
   readOnly: true                      # 增加这一行
 ...
volumes:
...
- name: enc                             # 增加这一行
 hostPath:                             # 增加这一行
   path: /etc/kubernetes/enc           # 增加这一行
   type: DirectoryOrCreate             # 增加这一行
...

4、重启 API 服务器。

注意：配置文件包含可以解密 etcd 内容的密钥，因此必须正确限制控制平面节点的访问权限， 以便只有能运行 kube-apiserver 的用户才能读取它。

重新配置其他控制平面主机：如果集群中有多个 API 服务器，应轮流将更改部署到每个 API 服务器。确保在每个控制平面主机上使用相同的加密配置。

验证数据已被加密：数据在写入 etcd 时会被加密。重新启动 kube-apiserver 后，任何新创建或更新的 Secret 或在 EncryptionConfiguration 中配置的其他资源类别都应在存储时被加密。如果想要检查，可以使用 etcdctl 命令行程序来检索 Secret 数据内容。

以下示例演示了如何对加密 Secret API 进行检查。

创建一个新的 Secret，名称为 secret1，命名空间为 default：

kubectl create secret generic secret1 -n default --from-literal=mykey=mydata

使用 etcdctl 命令行工具，从 etcd 中读取 Secret：

ETCDCTL_API=3 etcdctl get /registry/secrets/default/secret1 [...] | hexdump -C

这里的 […] 是用来连接 etcd 服务的额外参数。

例如：

<code class="language-shell" data-lang="shell">ETCDCTL_API=3 etcdctl \
   --cacert=/etc/kubernetes/pki/etcd/ca.crt   \
   --cert=/etc/kubernetes/pki/etcd/server.crt \
   --key=/etc/kubernetes/pki/etcd/server.key  \
   get /registry/secrets/default/secret1 | hexdump -C

输出类似于（有删减）：

00000000  2f 72 65 67 69 73 74 72  79 2f 73 65 63 72 65 74  |/registry/secret|
00000010  73 2f 64 65 66 61 75 6c  74 2f 73 65 63 72 65 74  |s/default/secret|
00000020  31 0a 6b 38 73 3a 65 6e  63 3a 61 65 73 63 62 63  |1.k8s:enc:aescbc|
00000030  3a 76 31 3a 6b 65 79 31  3a c7 6c e7 d3 09 bc 06  |:v1:key1:.l.....|
00000040  25 51 91 e4 e0 6c e5 b1  4d 7a 8b 3d b9 c2 7c 6e  |%Q...l..Mz.=..|n|
00000050  b4 79 df 05 28 ae 0d 8e  5f 35 13 2c c0 18 99 3e  |.y..(..._5.,...>|
[...]
00000110  23 3a 0d fc 28 ca 48 2d  6b 2d 46 cc 72 0b 70 4c  |#:..(.H-k-F.r.pL|
00000120  a5 fc 35 43 12 4e 60 ef  bf 6f fe cf df 0b ad 1f  |..5C.N`..o......|
00000130  82 c4 88 53 02 da 3e 66  ff 0a                    |...S..>f..|
0000013a

验证存储的密钥前缀是否为 k8s:enc:aescbc:v1:，这表明 aescbc provider 已加密结果数据。 确认 etcd 中显示的密钥名称和上述 EncryptionConfiguration 中指定的密钥名称一致。 在此例中，可以看到在 etcd 和 EncryptionConfiguration 中使用了名为 key1 的加密密钥。

通过 API 检索，验证 Secret 是否被正确解密：

kubectl get secret secret1 -n default -o yaml

其输出应该包含 mykey: bXlkYXRh，其中 mydata 的内容使用 base64 进行加密。

确保所有相关数据都被加密：

仅仅确保新对象被加密通常是不够的：还希望对已经存储的对象进行加密。例如，已经配置了集群，使得 Secret 在写入时进行加密。 为每个 Secret 执行替换操作将加密那些对象保持不变的静态内容。

可以在集群中的所有 Secret 上进行此项变更：

# 以能够读写所有 Secret 的管理员身份运行此命令
kubectl get secrets --all-namespaces -o json | kubectl replace -f -

上面的命令读取所有 Secret，然后使用相同的数据更新这些 Secret，以便应用服务端加密。

如果由于冲突写入而发生错误，请重试该命令。 多次运行此命令是安全的。对于较大的集群，可能希望通过命名空间或更新脚本来对 Secret 进行划分。

六、轮换解密密钥

在不发生停机的情况下更改 Secret 需要多步操作，特别是在有多个 kube-apiserver 进程正在运行的高可用环境中。

1、生成一个新密钥并将其添加为所有服务器上当前提供程序的第二个密钥条目。

2、重新启动所有 kube-apiserver 进程以确保每台服务器都可以使用新密钥进行解密。

3、将新密钥设置为 keys 数组中的第一个条目，以便在配置中使用其进行加密。

4、重新启动所有 kube-apiserver 进程以确保每个服务器现在都使用新密钥进行加密。

5、运行 kubectl get secrets –all-namespaces -o json | kubectl replace -f – 以用新密钥加密所有现有的 Secret。

6、在使用新密钥备份 etcd 后，从配置中删除旧的解密密钥并更新所有密钥。

当只运行一个 kube-apiserver 实例时，第 2 步可以忽略。

七、解密所有数据

要禁用静态加密，请将 identity 提供程序 作为配置中的第一个条目并重新启动所有 kube-apiserver 进程。

---
apiVersion: apiserver.config.k8s.io/v1
kind: EncryptionConfiguration
resources:
  - resources:
      - secrets
    providers:
      - identity: {}
      - aescbc:
          keys:
            - name: key1
              secret: <BASE 64 ENCODED SECRET>

然后运行以下命令以强制解密所有 Secret：

kubectl get secrets --all-namespaces -o json | kubectl replace -f -

八、配置自动重新加载

可以配置加密提供程序配置的自动重新加载。 该设置决定了 API 服务器 是仅在启动时加载一次为 –encryption-provider-config 指定的文件， 还是在每次更改该文件时都自动加载。 启用此选项可允许在不重启 API 服务器的情况下更改静态加密所需的密钥。

要允许自动重新加载， 可使用 –encryption-provider-config-automatic-reload=true 运行 API 服务器。