Gerir o dimensionamento horizontal do cluster (expandir horizontalmente) no Azure Data Explorer para responder a variações na procura.

O dimensionamento adequado de um cluster é fundamental para o desempenho do Azure Data Explorer. Um tamanho de cluster estático pode levar à subutilização ou superutilização, nenhum dos quais é ideal. Como a demanda em um cluster não pode ser prevista com precisão absoluta, é melhor dimensionar um cluster, adicionando e removendo capacidade e recursos de CPU com a mudança da demanda.

Há dois fluxos de trabalho para dimensionar um cluster do Azure Data Explorer:

• Escalabilidade horizontal, também chamada de escalabilidade interna e externa.
• Dimensionamento vertical, também chamado de escalonamento para cima e para baixo. Este artigo explica o fluxo de trabalho de dimensionamento horizontal.

Configurar dimensionamento horizontal

Usando o dimensionamento horizontal, você pode dimensionar a contagem de instâncias automaticamente, com base em regras e agendas predefinidas. Para especificar as configurações de dimensionamento automático para o cluster:

1. No portal do Azure, vá para seu recurso de cluster do Azure Data Explorer. Em Configurações, selecione Escalonar horizontalmente.

2. Na janela Dimensionamento, selecione o método de dimensionamento automático desejado: Escala manual, Escala automática otimizada ou Escala automática personalizada.

Balança manual

Na opção de escala manual, o cluster tem uma capacidade estática que não muda automaticamente. Selecione a capacidade estática usando a barra de contagem de instâncias . O dimensionamento do cluster permanece na configuração selecionada até ser alterado.

Dimensionamento automático otimizado (opção recomendada)

O dimensionamento automático otimizado é a configuração padrão durante a criação do cluster e o método de dimensionamento recomendado. Esse método otimiza o desempenho e o custo do cluster, da seguinte maneira:

• Se o cluster estiver subutilizado, ele será dimensionado para reduzir o custo sem afetar o desempenho necessário.
• Se o cluster for sobreutilizado, ele será ampliado para manter o desempenho ideal.

Para configurar o dimensionamento automático otimizado:

1. Selecione Dimensionamento automático otimizado.

2. Especifique uma contagem mínima e máxima de instâncias. O dimensionamento automático do cluster varia entre esses valores com base na carga.

3. Selecione Guardar.

   

O dimensionamento automático otimizado começa a funcionar. Você pode exibir suas ações no sinal de atividade do cluster no Azure.

Lógica de dimensionamento otimizado automático

O dimensionamento automático otimizado usa lógica preditiva ou reativa. A lógica preditiva rastreia o padrão de uso do cluster e, quando identifica a sazonalidade com alta confiança, gerencia o dimensionamento do cluster. Caso contrário, a lógica reativa que rastreia o uso real do cluster será usada para tomar decisões sobre operações de escala de cluster com base no nível atual de uso de recursos.

As principais métricas para fluxos preditivos e reativos são:

• CPU
• Fator de utilização do cache
• Utilização da ingestão

A lógica preditiva e reativa está vinculada aos limites de tamanho do cluster, o número mínimo e máximo de instâncias, conforme definido na configuração otimizada de dimensionamento automático. Operações frequentes de escala para fora e escala para dentro do cluster são indesejáveis devido ao impacto nos recursos do cluster e ao tempo necessário para adicionar ou remover instâncias, bem como para reequilibrar o cache quente em todos os nós.

Escalonamento automático preditivo

A lógica preditiva prevê o uso do cluster para o dia seguinte com base em seu padrão de uso nas últimas semanas. A previsão é usada para criar um cronograma de operações de redução ou operações de aumento para ajustar antecipadamente o tamanho do cluster. Essa abordagem permite que o dimensionamento do cluster e o rebalanceamento de dados sejam concluídos a tempo de quando a carga for alterada. Essa lógica é especialmente eficaz para padrões sazonais, como picos de uso diários ou semanais.

No entanto, em cenários em que um pico exclusivo de uso excede a previsão, a escala automática otimizada recorre à lógica reativa. Quando essa situação ocorre, as operações de dimensionamento ou expansão não são planejadas com base no nível mais recente de uso de recursos.

Escalonamento automático reativo

Escalonamento Horizontal

Quando o cluster se aproxima de um estado de superutilização, ocorre uma operação de expansão para manter o desempenho ideal. Uma operação de expansão acontece quando ocorre pelo menos uma das seguintes condições:

• A utilização do cache é alta por mais de uma hora
• A CPU está alta por mais de uma hora
• A utilização da ingestão é alta por mais de uma hora

Escala em

Quando o cluster é subutilizado, ocorre uma redução nas operações para reduzir os custos, mantendo o desempenho ideal. Várias métricas confirmam que é seguro reduzir o dimensionamento do cluster.

Para garantir que não haja sobrecarga de recursos, as seguintes métricas são avaliadas antes que a redução de escala seja executada:

• A utilização do cache não é alta
• CPU está abaixo da média
• A utilização da ingestão está abaixo da média
• Se a ingestão de streaming for usada, a utilização da ingestão de streaming não será alta
• A métrica Manter a vida ativa está acima de um mínimo definido, processada corretamente e dentro do prazo, indicando que o cluster está responsivo
• O serviço não limita as consultas.
• O número de consultas com falha permanece abaixo de um mínimo definido.

Dimensionamento automático personalizado

Embora o dimensionamento automático otimizado seja a opção de dimensionamento recomendada, o dimensionamento automático personalizado do Azure também é suportado. Usando o dimensionamento automático personalizado, você pode dimensionar seu cluster dinamicamente com base nas métricas especificadas. Use as etapas a seguir para configurar o dimensionamento automático personalizado.

1. Na caixa Nome da configuração de dimensionamento automático , insira um nome, como Expansão: utilização de cache.

2. Em Modo de escala, selecione Dimensionar com base em uma métrica. Este modo fornece dimensionamento dinâmico. Você também pode selecionar Dimensionar para uma contagem de instâncias específica.

3. Selecione + Adicionar uma regra.

4. Na seção Regra de escala à direita, insira valores para cada configuração.

   Criteria

   Configuração	Descrição e valor
   Agregação temporal	Selecione um critério de agregação, como Média.
   Nome da métrica	Selecione a métrica na qual você deseja que a operação de escala se baseie, como Utilização de cache.
   Estatística de Grão Temporal	Escolha entre Média, Mínimo, Máximo e Soma.
   Operator	Escolha a opção apropriada, como Maior ou igual a.
   Threshold	Escolha um valor apropriado. Por exemplo, para a utilização do cache, 80% é um bom ponto de partida.
   Duração (em minutos)	Escolha um período de tempo apropriado para o sistema olhar para trás ao calcular métricas. Comece com o padrão de 10 minutos.

   Action

   Configuração	Descrição e valor
   Operation	Escolha a opção apropriada para "scale in" ou "scale out".
   Contagem de instâncias	Escolha o número de nós ou instâncias que deseja adicionar ou remover quando uma condição métrica for atendida.
   Arrefecer (minutos)	Escolha um intervalo de tempo apropriado para aguardar entre as operações de escala. Comece com o padrão de cinco minutos.

5. Selecione Adicionar.

6. Na seção Limites de instância à esquerda, insira valores para cada configuração.

   Configuração	Descrição e valor
   Mínimo	O número de instâncias abaixo do qual o cluster não reduz, independentemente da utilização.
   Máximo	O número de instâncias que o cluster não dimensiona acima, independentemente da utilização.
   Predefinição	O número predefinido de instâncias. Essa configuração é usada se houver problemas com a leitura das métricas de recursos.

7. Selecione Guardar.

Agora você configurou o dimensionamento horizontal para seu cluster do Azure Data Explorer. Adicione outra regra para dimensionamento vertical. Se precisar de ajuda com problemas de dimensionamento de cluster, abra uma solicitação de suporte no portal do Azure.

Conteúdo relacionado

• Monitore o desempenho, a integridade e o uso do Azure Data Explorer com métricas
• Gerencie o dimensionamento vertical do cluster para o dimensionamento apropriado de um cluster.