跳到主要内容

用 KubeBlocks 管理 StarRocks

StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。

本文档展示了如何通过 kbcli、kubectl 或 YAML 文件等当时创建和管理 StarRocks 集群。您可以在 GitHub 仓库查看 YAML 示例。

开始之前​

创建集群​

步骤：

KubeBlocks 通过 Cluster 定义集群。以下是创建 StarRocks 集群的示例。Pod 默认分布在不同节点。但如果您只有一个节点可用于部署集群，可将 spec.affinity.topologyKeys 设置为 null。

备注

生产环境中，不建议将所有副本部署在同一个节点上，因为这可能会降低集群的可用性。

cat <<EOF | kubectl apply -f -
apiVersion: apps.kubeblocks.io/v1alpha1
kind: Cluster
metadata:
  name: mycluster
  namespace: demo
spec:
  clusterDefinitionRef: starrocks-ce
  terminationPolicy: Delete
  topology: shared-nothing
  tolerations:
    - key: kb-data
      operator: Equal
      value: 'true'
      effect: NoSchedule
  componentSpecs:
    - name: fe
      componentDef: starrocks-ce-fe
      serviceVersion: 3.3.0
      replicas: 1
      resources:
        limits:
          cpu: "1"
          memory: "1Gi"
        requests:
          cpu: "1"
          memory: "1Gi"
      volumeClaimTemplates:
        - name: data # ref clusterDefinition components.containers.volumeMounts.name
          spec:
            accessModes:
              - ReadWriteOnce
            resources:
              requests:
                storage: 20Gi
    - name: be
      componentDef: starrocks-ce-be
      serviceVersion: 3.3.0
      replicas: 1
      resources:
        limits:
          cpu: "1"
          memory: "1Gi"
        requests:
          cpu: "1"
          memory: "1Gi"
      volumeClaimTemplates:
      - name: data
        spec:
          accessModes:
          - ReadWriteOnce
          resources:
            requests:
              storage: "20Gi"
EOF
字段定义
spec.terminationPolicy集群的终止策略，默认值为 Delete，有效值为 DoNotTerminate、Halt、Delete 和 WipeOut。具体定义可参考 终止策略。
spec.affinity为集群的 Pods 定义了一组节点亲和性调度规则。该字段可控制 Pods 在集群中节点上的分布。
spec.affinity.podAntiAffinity定义了不在同一 component 中的 Pods 的反亲和性水平。该字段决定了 Pods 以何种方式跨节点分布，以提升可用性和性能。
spec.affinity.topologyKeys用于定义 Pod 反亲和性和 Pod 分布约束的拓扑域的节点标签值。
spec.tolerations该字段为数组，用于定义集群中 Pods 的容忍，确保 Pod 可被调度到具有匹配污点的节点上。
spec.componentSpecs集群 components 列表，定义了集群 components。该字段允许对集群中的每个 component 进行自定义配置。
spec.componentSpecs.componentDefRef表示 cluster definition 中定义的 component definition 的名称，可通过执行 kubectl get clusterdefinition starrocks -o json | jq '.spec.componentDefs[].name' 命令获取 component definition 名称。
spec.componentSpecs.name定义了 component 的名称。
spec.componentSpecs.disableExporter定义了是否开启监控功能。
spec.componentSpecs.replicas定义了 component 中 replicas 的数量。
spec.componentSpecs.resources定义了 component 的资源要求。

KubeBlocks operator 监控 Cluster CRD 并创建集群和全部依赖资源。您可执行以下命令获取集群创建的所有资源信息。

kubectl get all,secret,rolebinding,serviceaccount -l app.kubernetes.io/instance=mycluster -n demo

执行以下命令，查看已创建的 StarRocks 集群。

kubectl get cluster mycluster -n demo -o yaml

扩缩容​

垂直扩缩容​

开始之前​

确认集群状态是否为 Running。否则，后续相关操作可能会失败。

kubectl get cluster mycluster -n demo
>
NAME        CLUSTER-DEFINITION    VERSION              TERMINATION-POLICY     STATUS    AGE
mycluster   starrocks             starrocks-ce-3.1.1   Delete                 Running   47m

步骤​

  1. 对指定的集群应用 OpsRequest，可根据您的需求配置参数。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: mycluster-vertical-scaling
      namespace: demo
    spec:
      clusterName: mycluster
      type: VerticalScaling
      verticalScaling:
      - componentName: fe
        requests:
          memory: "2Gi"
          cpu: "1"
        limits:
          memory: "4Gi"
          cpu: "2"
    EOF

  2. 查看运维任务状态，验证垂直扩缩容操作是否成功。

    kubectl get ops -n demo
    >
    NAMESPACE   NAME                         TYPE              CLUSTER     STATUS    PROGRESS   AGE
    demo        mycluster-vertical-scaling   VerticalScaling   mycluster   Succeed   3/3        6m

    如果有报错，可执行 kubectl describe ops -n demo 命令查看该运维操作的相关事件，协助排障。

  3. 当 OpsRequest 状态为 Succeed 或集群状态再次回到 Running 后，查看相应资源是否变更。

    kubectl describe cluster mycluster -n demo

水平扩缩容​

水平扩展改变 Pod 的数量。例如，您可以将副本从三个扩展到五个。

从 v0.9.0 开始，KubeBlocks 还支持了指定实例扩缩容。可通过 水平扩缩容文档 文档了解更多细节和示例。

开始之前​

确认集群状态是否为 Running。否则，后续相关操作可能会失败。

kubectl get cluster mycluster -n demo
>
NAME        CLUSTER-DEFINITION    VERSION              TERMINATION-POLICY     STATUS    AGE
mycluster   starrocks             starrocks-ce-3.1.1   Delete                 Running   47m

步骤​

  1. 对指定的集群应用 OpsRequest，可根据您的需求配置参数。

    以下示例演示了增加 2 个副本。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: mycluster-horizontal-scaling
      namespace: demo
    spec:
      clusterName: mycluster
      type: HorizontalScaling
      horizontalScaling:
      - componentName: fe
        scaleOut:
          replicaChanges: 2
    EOF

    如果您想要缩容，可将 scaleOut 替换为 scaleIn。

    以下示例演示了删除 2 个副本。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: mycluster-horizontal-scaling
      namespace: demo
    spec:
      clusterName: mycluster
      type: HorizontalScaling
      horizontalScaling:
      - componentName: fe
        scaleIn:
          replicaChanges: 2
    EOF

  2. 查看运维操作状态，验证水平扩缩容是否成功。

    kubectl get ops -n demo
    >
    NAMESPACE   NAME                           TYPE                CLUSTER     STATUS    PROGRESS   AGE
    demo        mycluster-horizontal-scaling   HorizontalScaling   mycluster   Succeed   3/3        6m

    如果有报错，可执行 kubectl describe ops -n demo 命令查看该运维操作的相关事件，协助排障。

  3. 当 OpsRequest 状态为 Succeed 或集群状态再次回到 Running 后，查看相应资源是否变更。

    kubectl describe cluster mycluster -n demo

磁盘扩容​

开始之前​

确认集群状态是否为 Running。否则，后续相关操作可能会失败。

kubectl get cluster mycluster -n demo
>
NAME        CLUSTER-DEFINITION    VERSION              TERMINATION-POLICY     STATUS    AGE
mycluster   starrocks             starrocks-ce-3.1.1   Delete                 Running   47m

步骤​

  1. 应用 OpsRequest。根据需求更改 storage 的值，并执行以下命令来更改集群的存储容量。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: mycluster-volume-expansion
      namespace: demo
    spec:
      clusterName: mycluster
      type: VolumeExpansion
      volumeExpansion:
      - componentName: be
        volumeClaimTemplates:
        - name: be-storage
          storage: "40Gi"
    EOF

  2. 查看磁盘扩容操作是否成功。

    kubectl get ops -n demo
    >
    NAMESPACE   NAME                         TYPE              CLUSTER     STATUS    PROGRESS   AGE
    demo        mycluster-volume-expansion   VolumeExpansion   mycluster   Succeed   3/3        6m

    如果有报错，可执行 kubectl describe ops -n demo 命令查看该运维操作的相关事件，协助排障。

  3. 当 OpsRequest 状态为 Succeed 或集群状态再次回到 Running 后，查看相应资源是否变更。

    kubectl describe cluster mycluster -n demo

停止/启动集群​

您可以停止/启动集群以释放计算资源。当集群停止时，其计算资源将被释放，也就是说 Kubernetes 的 Pod 将被释放，但其存储资源仍将被保留。您也可以重新启动该集群，使其恢复到停止集群前的状态。

停止集群​

  1. 配置集群名称，并执行以下命令来停止该集群。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: mycluster-stop
      namespace: demo
    spec:
      clusterName: mycluster
      type: Stop
    EOF

  2. 查看集群状态，确认集群是否已停止。

    kubectl get cluster mycluster -n demo

启动集群​

  1. 配置集群名称，并执行以下命令来启动该集群。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: mycluster-start
      namespace: demo
    spec:
      clusterName: mycluster
      type: Start
    EOF

  2. 查看集群状态，确认集群是否已再次运行。

    kubectl get cluster mycluster -n demo

重启集群​

KubeBlocks 支持重启集群中的所有 Pod。当数据库出现异常时，也可以尝试重启集群。

备注

集群重启后，主节点可能会发生变化。

  1. 执行以下命令，重启集群。

    kubectl apply -f - <<EOF
    apiVersion: apps.kubeblocks.io/v1alpha1
    kind: OpsRequest
    metadata:
      name: mycluster-restart
      namespace: demo
    spec:
      clusterName: mycluster
      type: Restart 
      restart:
      - componentName: be
    EOF

  2. 查看 pod 和运维操作状态，验证重启操作是否成功。

    kubectl get pod -n demo

    kubectl get ops ops-restart -n demo

    重启过程中，Pod 有如下两种状态：

    • STATUS=Terminating：表示集群正在重启。
    • STATUS=Running：表示集群已重启。

    如果操作过程中出现报错，可通过 kubectl describe ops -n demo 查看该操作的事件，协助排障。

删除集群​

终止策略​

备注

终止策略决定了删除集群的方式。

终止策略删除操作
DoNotTerminateDoNotTerminate 禁止删除操作。
HaltHalt 删除集群资源（如 Pods、Services 等），但保留 PVC。停止其他运维操作的同时，保留了数据。但 Halt 策略在 v0.9.1 中已删除，设置为 Halt 的效果与 DoNotTerminate 相同。
DeleteDelete 在 Halt 的基础上，删除 PVC 及所有持久数据。
WipeOutWipeOut 删除所有集群资源，包括外部存储中的卷快照和备份。使用该策略将会删除全部数据，特别是在非生产环境，该策略将会带来不可逆的数据丢失。请谨慎使用。

执行以下命令查看终止策略。

kubectl get cluster mycluster -n demo
>
NAME        CLUSTER-DEFINITION    VERSION              TERMINATION-POLICY     STATUS    AGE
mycluster   starrocks             starrocks-ce-3.1.1   Delete                 Running   47m

步骤​

执行以下命令，删除集群。

kubectl delete cluster mycluster -n demo

如果想删除集群和所有相关资源，可以将终止策略修改为 WipeOut，然后再删除该集群。

kubectl patch -n demo cluster mycluster -p '{"spec":{"terminationPolicy":"WipeOut"}}' --type="merge"

kubectl delete -n demo cluster mycluster