跳到主要内容

用 KubeBlocks 管理 Qdrant

生成式人工智能的爆火引发了人们对向量数据库的关注。

Qdrant（读作：quadrant）是向量相似性搜索引擎和向量数据库。它提供了生产可用的服务和便捷的 API，用于存储、搜索和管理点（即带有额外负载的向量）。Qdrant 专门针对扩展过滤功能进行了优化，使其在各种神经网络或基于语义的匹配、分面搜索以及其他应用中充分发挥作用。

目前，KubeBlocks 支持 Qdrant 的管理和运维。本文档展示了如何通过 kbcli、kubectl 或 YAML 文件等当时创建和管理 Qdrant 集群。您可以在 GitHub 仓库查看 YAML 示例。

开始之前​

创建集群​

步骤：

KubeBlocks 通过 Cluster 定义集群。以下是创建 Qdrant 集群的示例。Pod 默认分布在不同节点。但如果您只有一个节点可用于部署集群，可将 spec.affinity.topologyKeys 设置为 null。

备注

生产环境中，不建议将所有副本部署在同一个节点上，因为这可能会降低集群的可用性。

cat <<EOF | kubectl apply -f -
apiVersion: apps.kubeblocks.io/v1alpha1
kind: Cluster
metadata:
  name: mycluster
  namespace: demo
spec:
  terminationPolicy: Delete
  componentSpecs:
  - name: qdrant
    componentDef: qdrant
    affinity:
      podAntiAffinity: Preferred
      topologyKeys:
      - kubernetes.io/hostname
      tenancy: SharedNode
    tolerations:
    - key: kb-data
      operator: Equal
      value: 'true'
      effect: NoSchedule
    disableExporter: true 
    replicas: 2
    resources:
      limits:
        cpu: '0.5'
        memory: 0.5Gi
      requests:
        cpu: '0.5'
        memory: 0.5Gi
    volumeClaimTemplates:
    - name: data
      spec:
        accessModes:
        - ReadWriteOnce
        resources:
          requests:
            storage: 20Gi
EOF
字段定义
spec.terminationPolicy集群的终止策略，默认值为 Delete，有效值为 DoNotTerminate、Halt、Delete 和 WipeOut。具体定义可参考 终止策略。
spec.affinity为集群的 Pods 定义了一组节点亲和性调度规则。该字段可控制 Pods 在集群中节点上的分布。
spec.affinity.podAntiAffinity定义了不在同一 component 中的 Pods 的反亲和性水平。该字段决定了 Pods 以何种方式跨节点分布，以提升可用性和性能。
spec.affinity.topologyKeys用于定义 Pod 反亲和性和 Pod 分布约束的拓扑域的节点标签值。
spec.tolerations该字段为数组，用于定义集群中 Pods 的容忍，确保 Pod 可被调度到具有匹配污点的节点上。
spec.componentSpecs集群 components 列表，定义了集群 components。该字段允许对集群中的每个 component 进行自定义配置。
spec.componentSpecs.componentDefRef表示 cluster definition 中定义的 component definition 的名称，可通过执行 kubectl get clusterdefinition qdrant -o json | jq '.spec.componentDefs[].name' 命令获取 component definition 名称。
spec.componentSpecs.name定义了 component 的名称。
spec.componentSpecs.disableExporter定义了是否开启监控功能。
spec.componentSpecs.replicas定义了 component 中 replicas 的数量。
spec.componentSpecs.resources定义了 component 的资源要求。

KubeBlocks operator 监控 Cluster CRD 并创建集群和全部依赖资源。您可执行以下命令获取集群创建的所有资源信息。

kubectl get all,secret,rolebinding,serviceaccount -l app.kubernetes.io/instance=mycluster -n demo

执行以下命令，查看已创建的 Qdrant 集群：

kubectl get cluster mycluster -n demo -o yaml

连接到 Qdrant 集群​

Qdrant 提供两种客户端访问协议：HTTP 和 gRPC，它们分别使用端口 6333 和 6334 进行通信。根据客户端所在的位置，你可以使用不同的方法连接到 Qdrant 集群。

备注

如果你的集群在 AWS 上，请先安装 AWS 负载均衡控制器。

  • 如果客户端在 K8s 集群内部，执行 kbcli cluster describe qdrant 命令获取集群的 ClusterIP 地址或相应的 K8s 集群域名。
  • 如果客户端在 K8s 集群外部但在同一 VPC 内，执行 kbcli cluster expose qdrant --enable=true --type=vpc 命令获取数据库集群的 VPC 负载均衡器地址。
  • 如果客户端在 VPC 外部，执行 kbcli cluster expose qdrant --enable=true --type=internet 命令打开数据库集群的公共网络可达地址。

扩缩容​

水平扩缩容​

水平扩缩容改变 Pod 的数量。例如，您可以将副本从三个扩展到五个。

从 v0.9.0 开始，KubeBlocks 还支持了指定实例扩缩容。可通过 水平扩缩容文档 文档了解更多细节和示例。

开始之前​

确认集群状态是否为 Running。否则，后续相关操作可能会失败。

kubectl get cluster mycluster -n demo
>
NAME        CLUSTER-DEFINITION   VERSION        TERMINATION-POLICY     STATUS    AGE
mycluster   qdrant                              Delete                 Running   47m

步骤​

  1. 对指定的集群应用 OpsRequest，可根据您的需求配置参数。

    以下示例演示了增加 2 个副本。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: ops-horizontal-scaling
      namespace: demo
    spec:
      clusterName: mycluster
      type: HorizontalScaling
      horizontalScaling:
      - componentName: qdrant
        scaleOut:
          replicaChanges: 2
    EOF

    如果您想要缩容，可将 scaleOut 替换为 scaleIn。

    以下示例演示了删除 2 个副本。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: ops-horizontal-scaling
      namespace: demo
    spec:
      clusterName: mycluster
      type: HorizontalScaling
      horizontalScaling:
      - componentName: qdrant
        scaleIn:
          replicaChanges: 2
    EOF

  2. 查看运维操作状态，验证水平扩缩容是否成功。

    kubectl get ops -n demo
    >
    NAMESPACE   NAME                     TYPE                CLUSTER     STATUS    PROGRESS   AGE
    demo        ops-horizontal-scaling   HorizontalScaling   mycluster   Succeed   3/3        6m

    如果有报错，可执行 kubectl describe ops -n demo 命令查看该运维操作的相关事件，协助排障。

  3. 当 OpsRequest 状态为 Succeed 或集群状态再次回到 Running 后，查看相应资源是否变更。

    kubectl describe cluster mycluster -n demo

垂直扩缩容​

你可以通过更改资源需求和限制（CPU 和存储）来垂直扩展集群。例如，可通过垂直扩容将资源类别从 1C2G 调整为 2C4G。

开始之前​

确认集群状态是否为 Running。否则，后续相关操作可能会失败。

kubectl get cluster mycluster -n demo
>
NAME        CLUSTER-DEFINITION   VERSION        TERMINATION-POLICY     STATUS    AGE
mycluster   qdrant                              Delete                 Running   47m

步骤​

  1. 对指定的集群应用 OpsRequest，可根据您的需求配置参数。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: ops-vertical-scaling
      namespace: demo
    spec:
      clusterName: mycluster
      type: VerticalScaling
      verticalScaling:
      - componentName: qdrant
        requests:
          memory: "2Gi"
          cpu: "1"
        limits:
          memory: "4Gi"
          cpu: "2"
    EOF

  2. 查看运维任务状态，验证垂直扩缩容操作是否成功。

    kubectl get ops -n demo
    >
    NAMESPACE   NAME                   TYPE              CLUSTER     STATUS    PROGRESS   AGE
    demo        ops-vertical-scaling   VerticalScaling   mycluster   Succeed   3/3        6m

    如果有报错，可执行 kubectl describe ops -n demo 命令查看该运维操作的相关事件，协助排障。

  3. 当 OpsRequest 状态为 Succeed 或集群状态再次回到 Running 后，查看相应资源是否变更。

    kubectl describe cluster mycluster -n demo

磁盘扩容​

开始之前​

确保集群处于 Running 状态，否则以下操作可能会失败。

kubectl get cluster mycluster -n demo
>
NAME        CLUSTER-DEFINITION   VERSION        TERMINATION-POLICY     STATUS    AGE
mycluster   qdrant                              Delete                 Running   47m

步骤：

  1. 应用 OpsRequest。根据需求更改 storage 的值，并执行以下命令来更改集群的存储容量。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: ops-volume-expansion
      namespace: demo
    spec:
      clusterName: mycluster
      type: VolumeExpansion
      volumeExpansion:
      - componentName: qdrant
        volumeClaimTemplates:
        - name: data
          storage: "40Gi"
    EOF

  2. 验证磁盘扩容操作是否成功。

    kubectl get ops -n demo
    >
    NAMESPACE   NAME                   TYPE              CLUSTER     STATUS    PROGRESS   AGE
    demo        ops-volume-expansion   VolumeExpansion   mycluster   Succeed   3/3        6m

    如果操作过程中出现报错，可通过 kubectl describe ops -n demo 查看该操作的事件，协助排障。

  3. 查看对应的集群资源是否变更。

    kubectl describe cluster mycluster -n demo

重启​

  1. 创建 OpsRequest 重启集群。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: ops-restart
      namespace: demo
    spec:
      clusterName: mycluster
      type: Restart 
      restart:
      - componentName: qdrant
    EOF

  2. 查看 Pod 和重启操作的状态，验证该操作是否成功。

    kubectl get pod -n demo
    kubectl get ops ops-restart -n demo

    重启过程中，Pod 有如下两种状态：

    • STATUS=Terminating：表示集群正在重启。
    • STATUS=Running：表示集群已重启。

    如果操作过程中出现报错，可通过 kubectl describe ops -n demo 查看该操作的事件，协助排障。

停止/启动集群​

您可以停止/启动集群以释放计算资源。停止集群后，其计算资源将被释放，也就是说 Kubernetes 的 Pod 将被释放，但其存储资源仍将被保留。您也可以重新启动该集群，使其恢复到停止集群前的状态。

停止集群​

  1. 配置集群名称，并执行以下命令来停止该集群。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: ops-stop
      namespace: demo
    spec:
      clusterName: mycluster
      type: Stop
    EOF

  2. 查看集群状态，确认集群是否已停止。

    kubectl get cluster mycluster -n demo

启动集群​

  1. 配置集群名称，并执行以下命令来启动该集群。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: ops-start
      namespace: demo
    spec:
      clusterName: mycluster
      type: Start
    EOF

  2. 查看集群状态，确认集群是否已再次运行。

    kubectl get cluster mycluster -n demo

删除集群​

终止策略​

备注

终止策略决定了删除集群的方式，可在创建集群时进行设置。

终止策略删除操作
DoNotTerminateDoNotTerminate 禁止删除操作。
HaltHalt 删除集群资源（如 Pods、Services 等），但保留 PVC。停止其他运维操作的同时，保留了数据。但 Halt 策略在 v0.9.1 中已删除，设置为 Halt 的效果与 DoNotTerminate 相同。
DeleteDelete 在 Halt 的基础上，删除 PVC 及所有持久数据。
WipeOutWipeOut 删除所有集群资源，包括外部存储中的卷快照和备份。使用该策略将会删除全部数据，特别是在非生产环境，该策略将会带来不可逆的数据丢失。请谨慎使用。

执行以下命令查看终止策略。

kubectl -n demo get cluster mycluster
>
NAME           CLUSTER-DEFINITION   VERSION        TERMINATION-POLICY   STATUS     AGE
mycluster      kafka                kafka-3.3.2    Delete               Running    19m

步骤​

执行以下命令，删除集群。

kubectl delete -n demo cluster mycluster

如果想删除集群和所有相关资源，可以将终止策略修改为 WipeOut，然后再删除该集群。

kubectl patch -n demo cluster mycluster -p '{"spec":{"terminationPolicy":"WipeOut"}}' --type="merge"

kubectl delete -n demo cluster mycluster