Tipos de sql warehouse

O Databricks SQL dá suporte a tipos clássicos, profissionais e sem servidor. Este artigo descreve os recursos disponíveis para cada tipo e compara o desempenho e os recursos.

Funcionalidades de desempenho por tipo

Cada tipo de sql warehouse tem recursos de desempenho diferentes. A tabela a seguir mostra os recursos de desempenho compatíveis com cada tipo de sql warehouse.

A lista a seguir descreve cada recurso de desempenho:

• Photon: o mecanismo interno de consulta vetorizada no Databricks. Isso torna suas chamadas de API SQL e DataFrame existentes mais rapidamente e reduz o custo total por carga de trabalho.

• E/S Preditiva: um pacote de recursos para acelerar operações de varredura seletiva em consultas SQL. A E/S Preditiva pode fornecer uma ampla gama de acelerações.

• Gerenciamento inteligente de carga de trabalho (IWM): um conjunto de recursos que aprimora a capacidade do Databricks SQL Serverless de processar um grande número de consultas de forma rápida e econômica. Usando técnicas de previsão e gerenciamento dinâmico com IA, a IWM trabalha para assegurar rapidamente que as cargas de trabalho tenham a quantidade certa de recursos. A principal diferença está nos recursos de IA no DATAbricks SQL para responder dinamicamente às demandas de carga de trabalho em vez de usar limites estáticos.

  Nota

  Para obter preços para cada tipo de warehouse e uma comparação detalhada de recursos, consulte do DATAbricks SQL. Para saber mais sobre os recursos mais recentes do Databricks SQL, confira Notas sobre a versão do Databricks SQL.

Diferenças de desempenho entre tipos de sql warehouse

Cada tipo de sql warehouse tem características de desempenho diferentes.

Armazéns SQL sem servidor

Usando a arquitetura sem servidordo Azure Databricks, um warehouse SQL sem servidor dá suporte a todos os recursos de desempenho do Databricks SQL. Com um SQL Warehouse sem servidor e seus recursos de desempenho, você obtém:

• Tempo de inicialização rápido (normalmente entre 2 e 6 segundos).
• Dimensionamento rápido para adquirir mais capacidade computacional a fim de manter baixa latência quando necessário.
• A aceitação de consulta está mais próxima da limitação do hardware do que da máquina virtual.
• Realizar um rápido downscaling para minimizar os custos quando a demanda é baixa, garantindo um desempenho consistente com custos e recursos otimizados.

Escolha um SQL Warehouse sem servidor para obter o melhor desempenho de inicialização, a E/S mais eficiente, o gerenciamento mais inteligente da demanda de consultas que varia significativamente ao longo do tempo, e o escalonamento automático rápido quando há enfileiramento de consultas. Consulte Gerenciamento inteligente de carga de trabalho e dimensionamento automático.

Um SQL Warehouse sem servidor tem um bom desempenho com esses tipos de cargas de trabalho:

• ETL
• Inteligência de Negócios
• Análise exploratória

Armazéns SQL Pro

Um SQL warehouse Pro dá suporte ao Photon e à E/S Preditiva, mas não dá suporte ao Gerenciamento Inteligente de Carga de Trabalho. Com um sql warehouse profissional (ao contrário de um SQL Warehouse sem servidor), a camada de computação existe em sua conta de assinatura do Azure em vez de em sua conta do Azure Databricks. Sem o Gerenciamento Inteligente de Carga de Trabalho, os armazéns são menos responsivos à demanda de consulta que varia muito ao longo do tempo e não podem dimensionar automaticamente tão rapidamente quanto um SQL Warehouse sem servidor. Um SQL Warehouse profissional leva vários minutos para ser iniciado (normalmente aproximadamente 4 minutos) e escalona para cima e para baixo com menos responsividade do que um SQL Warehouse sem servidor. Consulte a lógica de enfileiramento e autoescalonamento.

Use um armazém de dados SQL profissional quando:

• Os sql warehouses sem servidor não estão disponíveis em uma região.
• Você tem uma rede definida personalizada e deseja se conectar a bancos de dados em sua rede na nuvem ou local para federação ou uma arquitetura de tipo híbrido. Por exemplo, use um SQL Warehouse profissional se você desejar integrar outros serviços à sua rede, como um barramento de eventos ou bancos de dados, ou conectar sua rede à rede local.

Armazéns SQL clássicos

Um sql warehouse clássico dá suporte ao Photon, mas não dá suporte à E/S Preditiva ou ao Gerenciamento Inteligente de Carga de Trabalho. Com um SQL Warehouse clássico (ao contrário de um SQL Warehouse sem servidor), a camada de computação existe em sua conta de assinatura do Azure em vez de em sua conta do Azure Databricks. Sem suporte para E/S Preditiva ou Gerenciamento de Carga de Trabalho Inteligente, um SQL Warehouse clássico fornece apenas desempenho de nível de entrada e menos desempenho do que um SQL Warehouse profissional ou sem servidor. Um SQL warehouse clássico também leva vários minutos para ser iniciado (normalmente aproximadamente 4 minutos) e escalona para cima e para baixo com menos responsividade do que um SQL warehouse sem servidor. Consulte a lógica de enfileiramento e autoescalonamento.

Use um armazém SQL clássico para executar consultas interativas de exploração de dados com desempenho básico e recursos do Databricks SQL.

Quais são os padrões de tipos de warehouse?

Para workspaces em regiões com suporte para warehouses SQL sem servidor e atendem aos requisitos:

• Usando a interface do usuário, o tipo de warehouse SQL padrão é sem servidor.

• Usando a API sql warehouses com parâmetros padrão, o tipo de sql warehouse padrão é clássico. Para usar sem servidor, defina o parâmetro enable_serverless_compute como true e warehouse_type para pro. Se esse workspace usou a API de SQL Warehouses para criar um armazém entre 1º de novembro de 2022 e 19 de maio de 2023 e atende aos requisitos para SQL Warehouses sem servidor, o padrão permanece definido como true. Para evitar ambiguidade, especialmente para organizações com muitos workspaces, o Databricks recomenda sempre definir esse campo.

• Se o workspace usar um metastore do Hive externo herdado, os warehouses SQL sem servidor não terão suporte. O tipo de SQL Warehouse padrão é igual à situação em que a computação sem servidor está desabilitada, sendo 'pro' na interface do usuário e 'clássica' na utilização da API. Além disso, entre em contato com sua equipe de conta do Azure Databricks para saber mais sobre o Catálogo do Unity ou outras opções.

Para workspaces que não dão suporte a warehouses SQL sem servidor:

• Usando a interface do usuário, o tipo de warehouse SQL padrão é o profissional.
• Usando a API sql warehouses com parâmetros padrão, o tipo de sql warehouse padrão é clássico.