跳到主要内容

BackupRepo

概述​

BackupRepo 是备份数据的存储仓库，支持配置 OSS（阿里云对象存储），S3（亚马逊对象存储），COS（腾讯云对象存储），GCS（谷歌云对象存储），OBS（华为云对象存储），MinIO 等兼容 S3 协议的对象存储作为备份仓库。

用户可以创建多个 BackupRepo 以适应不同的场景。例如，根据不同的业务需求，可以把业务 A 的数据存储在 A 仓库，把业务 B 的数据存储在 B 仓库，或者可以按地区配置多个仓库以实现异地容灾。在创建备份时，你需要指定备份仓库。你也可以创建一个默认的备份仓库，如果在创建备份时未指定具体的仓库，KubeBlocks 将使用此默认仓库来存储备份数据。

开始之前​

请确保你已经：

安装 MinIO​

如果你没有使用云厂商的对象存储，可在 Kubernetes 中部署开源服务 MinIO，用它来配置 BackupRepo。如果你正在使用云厂商提供的对象存储服务，可以直接跳转至配置 BackupRepo。

步骤：

  1. 在 kb-system 命名空间中安装 MinIO。

    helm install minio oci://registry-1.docker.io/bitnamicharts/minio --namespace kb-system --create-namespace --set "extraEnvVars[0].name=MINIO_BROWSER_LOGIN_ANIMATION" --set "extraEnvVars[0].value=off"

    如果上述仓库地址网络无法连接，可使用以下命令安装。

    helm repo add kubeblocks-apps https://jihulab.com/api/v4/projects/152630/packages/helm/stable
    helm install minio kubeblocks-apps/minio --namespace kb-system --create-namespace --set "extraEnvVars[0].name=MINIO_BROWSER_LOGIN_ANIMATION" --set "extraEnvVars[0].value=off"

  2. 获取初始的用户名和密码.

    # 初始 username
    echo $(kubectl get secret --namespace kb-system minio -o jsonpath="{.data.root-user}" | base64 -d)

    # 初始 password
    echo $(kubectl get secret --namespace kb-system minio -o jsonpath="{.data.root-password}" | base64 -d)

  3. 生成连接凭证。

    执行 kubectl port-forward --namespace kb-system svc/minio 9001:9001，然后访问 127.0.0.1:9001 进入登录页面。

    登录到仪表盘后，生成 access key 和 secret key。

    backup-and-restore-backup-repo-1

  4. 创建 bucket。

    在 MinIO 仪表盘上创建一个名为 test-minio 的存储桶。

    backup-and-restore-backup-repo-2 backup-and-restore-backup-repo3

备注

安装的 MinIO 的访问地址（端口）为 http://minio.kb-system.svc.cluster.local:9000，用于配置 BackupRepo。在本例中，kb-system 是安装 MinIO 的命名空间的名称。

配置 BackupRepo​

准备好对象存储服务后，就可以配置 BackupRepo 了。KubeBlocks 提供两种配置方式：

  • 按需手动配置 BackupRepo。
  • 安装 KubeBlocks 时自动配置 BackupRepo。

访问 BackupRepo​

备份和恢复任务在运行时，有两种访问远端对象存储的方式：

  • 使用命令行工具，通过网络直接访问远端存储。
  • 通过 CSI Driver 将远端存储映射到本地，工作进程可以像访问本地文件一样访问远端存储。

我们将这两种访问方式分别命名为 “Tool” 和 “Mount” 。用户在创建 BackupRepo 时可以通过 accessMethod 字段指定其访问方式，创建之后不能修改。

一般来说，推荐使用 “Tool”，因为相比 “Mount”，它不必安装额外的 CSI Driver，减少了一层依赖。

不过，由于备份和恢复任务需要运行在数据库集群所在的 namespace 下，在 “Tool” 方式下，我们会自动将访问远端存储所需的密钥以 secret 资源的形式同步到这些 namespace 中，以供我们的数据传输工具使用。在多租户隔离的情况下，如果你认为这种同步 secret 的做法会带来安全隐患，可以选择使用 “Mount”。

手动配置 BackupRepo​

如果在安装 KubeBlocks 时没有配置 BackupRepo 信息，你可以按照以下说明进行手动配置。

  1. 安装 S3 CSI driver（仅访问方式为 “Mount” 时需要安装）。

    # 启用 CSI-S3 引擎
    kbcli addon enable csi-s3

    # 如需控制 addon 的安装，则添加其他参数
    # 默认 csi-s3 会在所有 node 安装 daemonSet pod，可以配置 tolerations，安装在指定 node
    kbcli addon enable csi-s3 \
      --tolerations '[{"key":"taintkey","operator":"Equal","effect":"NoSchedule","value":"true"}]' \
      --tolerations 'daemonset:[{"key":"taintkey","operator":"Equal","effect":"NoSchedule","value":"true"}]'

    # 查看 CSI-S3 状态，确保其状态为 enabled  
    kbcli addon list csi-s3

  2. 创建 BackupRepo。

    kbcli backuprepo create my-repo \
      --provider s3 \
      --region cn-northwest-1 \
      --bucket test-kb-backup \
      --access-key-id <ACCESS KEY> \
      --secret-access-key <SECRET KEY> \
      --access-method Tool \ 
      --default

    你也可将 --access-method 配置为 Mount。

    以上命令创建了一个名为 my-repo 的默认备份仓库。

    • my-repo 为仓库名，可以留空不填，此时 kbcli 会使用形如 backuprepo-xxxxx 的随机名字。

    • --default 表示该仓库是默认仓库。全局只能有一个默认仓库，如果系统中存在多个默认仓库，KubeBlocks 无法选出应该使用哪个仓库（这个行为跟 K8s 的 default StorageClass 类似），会导致备份失败。使用 kbcli 创建 BackupRepo 能避免出现这种情况，因为 kbcli 在创建时会确保当前没有第二个默认仓库。

    • --provider 参数对应后端存储类型，即 storageProvider，可选值为 s3、cos、gcs-s3comp、obs、oss、minio、s3-compatible、ftp、nfs。不同存储所需的命令行参数不同，可以通过 kbcli backuprepo create --provider STORAGE-PROVIDER-NAME -h 命令查看参数信息（注意 --provider 参数是必需的）。

      kbcli backuprepo create 命令执行成功后，就会在系统中创建一个类型为 BackupRepo 的 K8s 资源，可以通过修改该资源的 annotation 来调整默认仓库。

      # 取消默认仓库
      kubectl annotate backuprepo old-default-repo \
        --overwrite=true \
        dataprotection.kubeblocks.io/is-default-repo=false
      # 设置新的默认仓库
      kubectl annotate backuprepo backuprepo-4qms6 \
        --overwrite=true \
        dataprotection.kubeblocks.io/is-default-repo=true

  3. 查看 BackupRepo 及其状态。

    如果 STATUS 为 Ready，说明 BackupRepo 已经准备就绪。

    kbcli backuprepo list
备注

如果 BackupRepo 状态显示 Failed，或者长时间处于 PreChecking 状态，可执行 kubectl describe backuprepo my-repo 或 kbcli backuprepo describe my-repo 命令，根据 status.conditions 中的信息，查找异常原因。

建议从以下方面进行排查：

  • 检查配置内容是否正确，如 endpoint，accessKeyId 和 secretAccessKey 等参数是否正确填写。
  • 对于其他自建的对象存储，如 Ceph Object Storage ，可尝试使用 s3-compatible StorageProvider。由于 s3 StorageProvider 默认使用 virtual hosting 风格的 URL 访问服务端，自建对象存储很可能不支持这种访问方式。
  • 如提示 InvalidLocationConstraint 错误，请先检查 region 参数是否正确填写。如果仍有 InvalidLocationConstraint 报错，可尝试将 region 参数留空不填。
  • 如果长时间处于 PreChecking 状态，很可能是网络问题。请确保在 K8s 集群内能正常访问存储服务，例如可运行一个 Pod，在 Pod 里面通过对应的客户端尝试连接存储服务。
  • KubeBlocks 内部使用 rclone 传输数据，请确保能通过 rclone 正常访问当前所使用的存储服务。

自动配置 BackupRepo​

安装 KubeBlocks 时，可以通过配置文件指定 BackupRepo 相关信息，KubeBlocks 会根据配置信息创建 BackupRepo。

  1. 准备配置文件。

    以 AWS 的 S3 为例，配置文件 backuprepo.yaml 如下：

    backupRepo:
      create: true
      storageProvider: s3
      config:
        region: cn-northwest-1
        bucket: test-kb-backup
      secrets:
        accessKeyId: <ACCESS KEY>
        secretAccessKey: <SECRET KEY>
    • region 表示 S3 所在区域。
    • bucket 表示 S3 的桶名称。
    • accessKeyId 表示 AWS 的 Access Key。
    • secretAccessKey 表示 AWS 的 Secret Key。
    • storageProvider 表示对象存储提供者，该示例中为 s3。
备注
  • KubeBlocks 中，storageProvider 目前可选 s3、cos、gcs-s3comp、obs、oss、minio、s3-compatible、ftp、nfs。
  • 不同 storageProvider 所需的配置信息并不统一，上面展示的 config 和 secrets 适用于 S3。
  • 执行 kubectl get storageproviders.dataprotection.kubeblocks.io 命令可以查看支持的 storageProvider。

  1. 安装 KubeBlocks 时指定配置文件。

    kbcli kubeblocks install -f backuprepo.yaml

    安装完成后，可以执行命令查看 BackupRepo。

    kbcli backuprepo list