Implantar o Azure Databricks em sua rede virtual do Azure (injeção de VNet)

Implante o Azure Databricks em sua VNet do Azure para habilitar a personalização de rede, a conectividade segura com os serviços do Azure e as fontes de dados locais e os recursos de inspeção de tráfego.

Por que usar a injeção de VNet

A injeção de VNet implanta recursos do plano de computação clássico do Azure Databricks em sua própria VNet, habilitando:

• Conectividade privada para serviços da Azure usando pontos de extremidade de serviço ou pontos de extremidade privados
• Acesso local por meio de rotas definidas pelo usuário
• Inspeção de tráfego com dispositivos virtuais de rede
• Configuração de DNS personalizada
• Controle de tráfego de saída utilizando regras adicionais de NSG
• Intervalos CIDR flexíveis (VNet: de /16 a /24, sub-rede: até /26)

Requisitos de permissões

Permissões do Azure: o criador do workspace deve ter a função de colaborador de rede na VNet ou uma função personalizada com Microsoft.Network/virtualNetworks/subnets/join/action e Microsoft.Network/virtualNetworks/subnets/write permissões.

Configuração da VNet

1. Você deve configurar uma VNet para implantar o workspace do Azure Databricks. Você pode usar uma VNet existente ou criar uma nova. A VNet deve atender aos seguintes requisitos:
   • Região: a VNet deve residir na mesma região que o workspace do Azure Databricks.
   • Assinatura: a VNet deve estar na mesma assinatura do workspace do Azure Databricks.
   • Espaço de endereço: um bloco CIDR entre /16 e /24 para a VNet. Para obter diretrizes sobre o número máximo de nós no cluster com base no tamanho da VNet, consulte Diretrizes de espaço de endereço.
   • Sub-redes: a VNet deve incluir duas sub-redes dedicadas ao workspace do Azure Databricks:
     • Uma sub-rede de contêiner (às vezes chamada de sub-rede privada)
     • Uma sub-rede de host (às vezes chamada de sub-rede pública)
     • Cada sub-rede deve usar um bloco CIDR que seja pelo menos /26. O Databricks não recomenda uma sub-rede menor que /26.
     • Você não pode compartilhar sub-redes entre workspaces ou implantar outros recursos do Azure nas sub-redes usadas pelo workspace do Azure Databricks.
     • Recomendamos que o tamanho das sub-redes seja o mesmo.
   • Conectividade de saída para o tráfego: Databricks recomenda usar um gateway NAT do Azure em ambas as subnets para IPs de saída estáveis. Após 31 de março de 2026, novas VNets exigem métodos explícitos de conectividade de saída. Confira a conectividade segura do cluster.
   • Regras do grupo de segurança de rede: consulte as regras do grupo de segurança de rede

Diretrizes de espaço de endereço

Um workspace do Azure Databricks requer duas sub-redes na VNet: uma sub-rede de contêiner e uma sub-rede de host. O Azure reserva cinco IPs em cada sub-rede. O Azure Databricks requer dois endereços IP para cada nó de cluster: um endereço IP para o host na sub-rede do host e um endereço IP para o contêiner na sub-rede do contêiner.

Considere o seguinte ao planejar seu espaço de endereço:

• Talvez você queira criar vários workspaces em uma única VNet. Como você não pode compartilhar sub-redes entre workspaces, planeje sub-redes de modo a não utilizar todo o espaço de endereço da VNet.
• Aloque espaço de endereço para duas novas sub-redes que estão dentro do espaço de endereço da VNet e não se sobreponham ao espaço de endereço das sub-redes atuais ou futuras nessa VNet.

Um workspace com uma rede virtual pequena pode ficar sem endereços IP (espaço de rede) mais rapidamente do que um workspace com uma rede virtual grande. Use um bloco CIDR entre /16 e /24 para a VNet e um bloco CIDR até /26 para as duas sub-redes (a sub-rede de contêiner e a sub-rede de host). Você pode criar um bloco CIDR de até /28 para suas sub-redes; contudo, o Azure Databricks não recomenda uma sub-rede menor que /26.

Etapa 1: Criar um workspace

Crie um workspace no portal do Azure e implante-o em sua VNet.

1. No portal do Azure, selecione + Criar um recurso > de Análise > Azure Databricks ou pesquise Azure Databricks.

2. Na guia Rede , selecione sua VNet.

   Importante

   Se a VNet não aparecer, verifique se o workspace e a VNet estão na mesma região do Azure.

3. Configurar sub-redes com intervalos CIDR até /26 (no máximo 80 caracteres para nomes):

   • Sub-redes existentes: insira nomes exatos de sub-rede e intervalos de IP correspondentes
   • Novas sub-redes: insira novos nomes e intervalos de IP no espaço de endereço da VNet

   Observação

   Os intervalos CIDR de sub-rede não podem ser alterados após a implantação. O Azure Databricks configura automaticamente as regras NSG e a delegação de sub-rede para Microsoft.Databricks/workspaces.

4. Clique em Criar para implantar o workspace.

Etapa 2: Verifique a implantação da área de trabalho

1. Acesse o portal do Azure e navegue até o recurso de workspace do Azure Databricks.

2. Na página Visão geral , verifique o seguinte:

   • O workspace está em um bom estado (não falhou).
   • O grupo de recursos e o grupo de recursos gerenciados estão listados.
   • A conexão de rede virtual está desabilitada (isso é esperado para a injeção de VNet).

O grupo de recursos gerenciados não é modificável e não pode ser usado para criar máquinas virtuais. Crie máquinas virtuais no grupo de recursos que você gerencia.

Etapa 3: Verificar a configuração do grupo de segurança de rede

1. No portal do Azure, navegue até sua VNet.

2. Clique em Sub-redes em Configurações.

3. Verifique se a sub-rede do contêiner e a sub-rede do host têm:

   • Um grupo de segurança de rede anexado
   • Delegação para Microsoft.Databricks/workspaces

4. Clique no grupo de segurança de rede e verifique se as regras de entrada e saída necessárias estão configuradas. Para as regras esperadas, consulte a referência de regras do grupo de segurança de rede.

Etapa 4: Criar um cluster

Depois de criar seu workspace, crie um cluster de computação clássico para verificar se a injeção de VNet está funcionando corretamente.

1. Vá para o workspace do Azure Databricks e clique em Iniciar Workspace na página Visão geral .

2. Clique em Computação na barra lateral.

3. Na página Computação, clique em Criar Cluster.

4. Insira um nome de cluster, deixe os valores restantes em seu estado padrão e clique em Criar Cluster.

Depois que o cluster é executado, o grupo de recursos gerenciado contém novas máquinas virtuais, discos, endereços IP e interfaces de rede. Uma interface de rede é criada em cada uma das sub-redes públicas e privadas com endereços IP.

Etapa 5: verificar a configuração da rede do cluster

1. Em seu workspace do Azure Databricks, acesse o grupo de recursos gerenciados no portal do Azure.

2. Verifique se os seguintes recursos existem:

   • Máquinas virtuais para os nós de cluster
   • Discos anexados às máquinas virtuais
   • Endereços IP para os nós de cluster
   • Interfaces de rede nas sub-redes pública e privada

3. No workspace do Azure Databricks, clique no cluster criado.

4. Navegue até a interface do usuário do Spark e clique na guia Executores .

5. Verifique se os endereços do driver e dos executores estão no intervalo de sub-rede privado. Por exemplo, se a sub-rede privada for 10.179.0.0/18, o driver poderá ser 10.179.0.6 e os executores poderão ser 10.179.0.4 e 10.179.0.5. Seus endereços IP podem ser diferentes.

Endereços IP de saída estáveis

Para workspaces com conectividade de cluster segura e injeção de VNet, o Databricks recomenda configurar um IP público de saída estável. Os IPs estáveis habilitam listas de permissões externas para serviços como Salesforce e listas de acesso IP.

Para configurar um IP de saída estável, consulte Saída com injeção de VNet.

Regras de grupo de segurança de rede

O Azure Databricks provisiona automaticamente e gerencia as regras NSG listadas abaixo por meio da delegação de sub-rede para o Microsoft.Databricks/workspaces serviço. Essas regras são necessárias para a operação do workspace. Não modifique ou exclua essas regras.

O Databricks recomenda o uso de um NSG exclusivo para cada workspace.

Regras de grupo de segurança de rede para workspaces

Esta tabela lista as regras do grupo de segurança de rede para workspaces e inclui duas regras de grupo de segurança de entrada que são adicionadas somente se a SCC (conectividade de cluster seguro) estiver desabilitada.

Expandir a capacidade da VNet

Se a VNet do seu workspace não tem capacidade suficiente para os nós de cluster ativos, você tem duas opções:

• Atualizar a configuração da VNet: esse recurso está em Versão Prévia Pública. Consulte a configuração de rede do workspace update.
• Expanda seu intervalo CIDR atual: contate sua equipe de contas do Azure Databricks para solicitar o aumento do intervalo CIDR da sub-rede do ambiente de trabalho.