Partilhar via


Recursos implantados com clusters de Big Data do SQL Server

Aplica-se a:SQL Server 2019 (15.x)

Important

Os Clusters de Big Data do Microsoft SQL Server 2019 foram desativados. O suporte para clusters de Big Data do SQL Server 2019 terminou em 28 de fevereiro de 2025. Para obter mais informações, consulte a postagem no blog de anúncios e as opções de Big Data na plataforma microsoft SQL Server.

Este artigo descreve os recursos que um Cluster de Big Data do SQL Server implanta.

Um cluster de Big Data implanta pods com base no perfil de implantação. Para obter detalhes, consulte Configurações padrão.

Este artigo descreve os pods implantados com o perfil aks-dev-test-ha e inclui um cluster do Spark. Consulte o Kubernetes para ver os pods implantados em seu cluster. O exemplo a seguir retorna uma lista de pods em um namespace específico.

kubectl get pods -n <namespace>

Substitua <namespace> pelo nome do cluster de Big Data.

Para obter mais informações, confira Como implantar Clusters de Big Data do SQL Server no Kubernetes.

O diagrama a seguir exibe os componentes implantados em um Cluster de Big Data:

big-data-cluster-diagram

Para obter informações sobre a arquitetura, consulte Introdução a clusters de Big Data do SQL Server.

Deployed pods

A tabela a seguir lista pods implantados em um Cluster de Big Data.

Name Area
control-<nnnn> Control
controldb-<#> Control
controlwd-<nnnn> Control
logsdb-<#> Control
logsui-<nnnn> Control
metricsdb-<#> Control
metricsdc-<nnnn> Control
metricsui-<nnnn> Control
mgmtproxy-<nnnn> Control
zookeeper-<#> Control
dns-<nnnn> Control
master-<#n> Master instance
operator-<nnnn> Master instance
compute-<#n>-<#m> Compute pool
data-<#>-<#> Data pool
storage-<#>-<#> Storage pool
nmnode-<#>-<#> Storage pool
sparkhead-<#> Storage pool
appproxy-<#m> Application pool
gateway-<#> Gateway service

Nem todos os pods são incluídos em todos os clusters de Big Data. As implantações com alta disponibilidade ou integração com o Active Directory incluem pods específicos.

Pods específicos de alta disponibilidade:

  • operator-<nnnn>
  • zookeeper-<#>

Pods específicos do Active Directory:

  • dns-<nnnn>

As seções a seguir descrevem os compartimentos e listam os contêineres em cada compartimento.

Control

Os pods de controle fornecem o serviço de controle.

Pod name Count Tipo de controlador do Kubernetes Contêineres
control-# 1 ReplicaSet - controller

- security-support

- fluentbit
controldb 1 StatefulSet - mssql-server

- fluentbit
controlwd 1 ReplicaSet - controlwatchdog
logsdb-# 1 StatefulSet - elasticsearch
logsui 1 ReplicaSet - kibana
metricsdb-# 1 StatefulSet - influxdb
metricsdc 1 por nó do Kubernetes. DaemonSet - telegraf
metricsui-nnnn 1 ReplicaSet - grafana
mgmtproxy-nnnn 1 ReplicaSet - service-proxy

- fluentbit
dns-nnnn 0 ou 1 para integração do Active Directory ReplicaSet - dns

- fluentbit

Master instance

master-<#n> é a instância mestra do SQL Server.

  • Gerencia o pool de dados por meio de DDL
  • Manipula dados no pool de dados por meio de DML
  • Transfere a execução de consultas analíticas para o pool de dados
Pod name Count Tipo de controlador do Kubernetes Contêineres
master-<#n> 1 ou mais para alta disponibilidade. StatefulSet - mssql-server

- fluentbit

- collectd

- mssql-ha-supervisor *
operator* 0 ou 1 para alta disponibilidade ReplicaSet - mssql-ha-operator

* Somente implantações de alta disponibilidade. O operador implementa e registra a definição de recurso personalizada para o SQL Server e os recursos do Grupo de Disponibilidade. Quando o operador é implantado, ele se registra como um ouvinte para notificações sobre os recursos do SQL Server que estão sendo implantados no cluster do Kubernetes. mssql-ha-supervisor dá suporte ao grupo de disponibilidade.

Cada master pod contém uma instância do SQL Server. Uma implantação de alta disponibilidade inclui três pods. Cada pod inclui uma instância do SQL Server com bancos de dados em um Grupo de Disponibilidade Always On do SQL Server.

Dependendo da carga de trabalho, inclua pods adicionais no momento da implantação.

Compute pool

O pool de computação fornece uma instância do SQL Server para computação.

Pod name Count Tipo de controlador do Kubernetes Contêineres
compute-<#n>-<#m> 1 ou mais. StatefulSet - mssql-server

- fluentbit

- collectd
  • #n identifica o pool de computação.
  • #m identifica a ID da instância dentro do pool.

As instâncias do pool de computação do SQL Server são sem estado. Eles apenas precisam de espaço de armazenamento para tempdb.

Dependendo da carga de trabalho, inclua pods adicionais no momento da implantação.

Data pool

O pool de dados fornece instâncias do SQL Server para armazenamento e computação.

Pod name Count Tipo de controlador do Kubernetes Contêineres
data-<#n>-<#m> 0 ou mais StatefulSet - mssql-server

- fluentbit

- collectd
  • #n identifica o pool de dados.
  • #m identifica a ID da instância dentro do pool.

Adicione pods adicionais no momento da implantação, dependendo da carga de trabalho.

Storage pool

O pool de armazenamento fornece ingestão de dados por meio do Spark, armazenamento no HDFS, acesso a dados por meio de pontos de extremidade do HDFS e do SQL Server.

Pod name Count Tipo de controlador do Kubernetes Contêineres
storage-0-# 1 ou mais. Adicione pods adicionais no momento da implantação, dependendo da carga de trabalho. StatefulSet - hadoop

- mssql-server

- fluentbit

nmnode-0-# 1 ou mais para alta disponibilidade StatefulSet - hadoop

- fluentbit
sparkehead-# 1 ou mais para alta disponibilidade StatefulSet - hadoop-yarn-jobhistory

- hadoop-livy-sparkhistory

- hadoop-hivemetastore

-- fluentbit
zookeeper 0 ou 3 para alta disponibilidade. StatefulSet - zookeeper

- fluentbit

Application pool

O pool de aplicativos está incluído em alguns dos perfis de configuração de teste. O grupo de aplicativos hospeda proxies de serviço de aplicações que você define ao implantar suas aplicações para Clusters de Big Data.

appproxy é uma API Web intermediária entre os aplicativos do pool de aplicações. Ele autentica os usuários e encaminha as solicitações para os aplicativos.

Pod name Tipo de controlador do Kubernetes Contêineres
appproxy ReplicaSet - app-service-proxy

- fluentbit

Para obter mais informações, consulte Introdução à implantação de aplicativos em um cluster de Big Data.

Adicione pods adicionais no momento da implantação, dependendo da carga de trabalho.

Gateway service

Os serviços de gateway fornecem o gateway knox para Spark, HDFS, Yarn, interface do usuário do Yarn e interface do usuário do Spark.

Pod name Tipo de controlador do Kubernetes Contêineres
gateway-<#> StatefulSet - knox

- fluentbit

Há suporte apenas para um gateway.

Referências de contêiner de software livre

Para versões e projetos de software livre específicos, consulte a referência de software open-source.

Next steps

Para saber mais sobre o Clusters de Big Data do SQL Server, confira os seguintes recursos: