Implementar o Azure Databricks na rede virtual do Azure (injeção de VNet)

Implante o Azure Databricks em sua VNet do Azure para habilitar a personalização de rede, a conectividade segura com serviços do Azure e fontes de dados locais e recursos de inspeção de tráfego.

Porquê utilizar a injeção de VNet

A injeção de VNet implanta recursos de plano de computação clássico do Azure Databricks em sua própria VNet, habilitando:

• Conectividade privada com serviços do Azure usando endpoints de serviço ou endpoints privados
• Acesso local por meio de rotas definidas pelo usuário
• Inspeção de tráfego com dispositivos virtuais de rede
• Configuração de DNS personalizada
• Controle de tráfego de saída com regras NSG adicionais
• Intervalos CIDR flexíveis (VNet: /16 até /24, sub-redes: até /26)

Requisitos de permissões

Permissões do Azure: o criador do espaço de trabalho deve ter a função de colaborador de rede na rede virtual ou uma função personalizada com Microsoft.Network/virtualNetworks/subnets/join/action e Microsoft.Network/virtualNetworks/subnets/write permissões.

Configuração de VNet

1. Você deve configurar uma VNet para implantar o espaço de trabalho do Azure Databricks. Você pode usar uma VNet existente ou criar uma nova. A rede virtual deve atender aos seguintes requisitos:
   • Região: A rede virtual deve residir na mesma região que o espaço de trabalho do Azure Databricks.
   • Assinatura: a VNet deve estar na mesma assinatura que o espaço de trabalho do Azure Databricks.
   • Espaço de endereço: um bloco CIDR entre /16 e /24 para a VNet. Para obter orientação sobre nós máximos de cluster com base no tamanho da rede virtual, consulte Orientação de espaço de endereço.
   • Sub-redes: a rede virtual deve incluir duas sub-redes dedicadas ao seu espaço de trabalho do Azure Databricks:
     • Uma sub-rede de contêiner (às vezes chamada de sub-rede privada)
     • Uma sub-rede de host (às vezes chamada de sub-rede pública)
     • Cada sub-rede deve usar um bloco CIDR que seja pelo menos /26. O Databricks não recomenda uma sub-rede menor que /26.
     • Você não pode compartilhar sub-redes entre espaços de trabalho ou implantar outros recursos do Azure nas sub-redes usadas pelo seu espaço de trabalho do Azure Databricks.
     • Recomendamos que o tamanho das sub-redes coincida.
   • Conectividade de saída para tráfego de saída: o Databricks recomenda o uso de um gateway NAT do Azure para ambas as sub-redes para IPs de saída estáveis. Após 31 de março de 2026, as novas redes virtuais exigem métodos explícitos de conectividade de saída. Consulte conectividade segura de cluster.
   • Regras do grupo de segurança de rede: consulte Regras do grupo de segurança de rede

Orientações sobre o espaço de endereçamento

Um espaço de trabalho do Azure Databricks requer duas sub-redes na rede virtual: uma sub-rede de contêiner e uma sub-rede de host. O Azure reserva cinco IPs em cada sub-rede. O Azure Databricks requer dois endereços IP para cada nó de cluster: um endereço IP para o host na sub-rede do host e um endereço IP para o contêiner na sub-rede do contêiner.

Considere o seguinte ao planejar seu espaço de endereço:

• Talvez você queira criar vários espaços de trabalho em uma única VNet. Como não é possível compartilhar sub-redes entre espaços de trabalho, planeje sub-redes que não usem o espaço total de endereços da VNet.
• Aloque espaço de endereço para duas novas sub-redes que estão dentro do espaço de endereço da rede virtual e não sobrepõem o espaço de endereço das sub-redes atuais ou futuras nessa rede virtual.

Um espaço de trabalho com uma rede virtual menor pode ficar sem endereços IP (espaço de rede) mais rapidamente do que um espaço de trabalho com uma rede virtual maior. Use um bloco CIDR entre /16 e /24 para a VNet e um bloco CIDR até /26 para as duas sub-redes (a sub-rede do contentor e a sub-rede do host). Pode criar um bloco CIDR até /28 para as suas sub-redes; no entanto, a Azure Databricks não recomenda uma sub-rede menor que /26.

Etapa 1: Criar um espaço de trabalho

Crie um espaço de trabalho no portal do Azure e implante-o em sua rede virtual.

1. No portal do Azure, selecione + Criar um recurso > Analytics > Azure Databricks ou procure Azure Databricks.

2. Na guia Rede , selecione sua rede virtual.

   Importante

   Se a VNet não aparecer, verifique se o espaço de trabalho e a VNet estão na mesma região do Azure.

3. Configurar sub-redes com intervalos CIDR até /26 (máximo de 80 caracteres para nomes):

   • Sub-redes existentes: insira nomes exatos de sub-redes e intervalos de IP correspondentes
   • Novas sub-redes: insira novos nomes e intervalos de IP no espaço de endereço da sua rede virtual

   Nota

   Os intervalos CIDR de sub-rede não podem ser alterados após a implantação. O Azure Databricks configura automaticamente as regras do NSG e a delegação de sub-rede para o Microsoft.Databricks/workspaces.

4. Clique em Criar para implantar o espaço de trabalho.

Etapa 2: Verificar a implantação do espaço de trabalho

1. Vá para o portal do Azure e navegue até seu recurso de espaço de trabalho do Azure Databricks.

2. Na página Visão geral , verifique o seguinte:

   • O espaço de trabalho está em boas condições (não está com falhas).
   • O grupo de recursos e o grupo de recursos gerenciados são listados.
   • A peeragem de rede virtual está desativada (isso é esperado no contexto de injeção do VNet).

O grupo de recursos gerenciados não é modificável e não pode ser usado para criar máquinas virtuais. Crie máquinas virtuais no grupo de recursos que você gerencia.

Etapa 3: Verificar a configuração do grupo de segurança de rede

1. No portal do Azure, navegue até sua rede virtual.

2. Clique em Sub-redes em Configurações.

3. Verifique se a sub-rede do contêiner e a sub-rede do host possuem:

   • Um grupo de segurança de rede anexado
   • Delegação para Microsoft.Databricks/workspaces

4. Clique no grupo de segurança de rede e verifique se as regras de entrada e saída necessárias estão configuradas. Para obter as regras esperadas, consulte Referência de regras de grupo de segurança de rede.

Etapa 4: Criar um cluster

Depois de criar seu espaço de trabalho, crie um cluster de computação clássico para verificar se a injeção de rede virtual está funcionando corretamente.

1. Vá para seu espaço de trabalho do Azure Databricks e clique em Iniciar Espaço de Trabalho na página Visão Geral .

2. Clique em Calcular na barra lateral.

3. Na página Computação, clique em Criar Cluster.

4. Insira um nome de cluster, deixe os valores restantes em seu estado padrão e clique em Criar Cluster.

Depois que o cluster é executado, o grupo de recursos gerenciados contém novas máquinas virtuais, discos, endereços IP e interfaces de rede. Uma interface de rede é criada em cada uma das sub-redes públicas e privadas com endereços IP.

Etapa 5: Verificar a configuração da rede do cluster

1. No seu espaço de trabalho do Azure Databricks, vá para o grupo de recursos gerenciados no portal do Azure.

2. Verifique se os seguintes recursos existem:

   • Máquinas virtuais para os nós de cluster
   • Discos anexados às máquinas virtuais
   • Endereços IP para os nós do cluster
   • Interfaces de rede nas sub-redes públicas e privadas

3. No espaço de trabalho do Azure Databricks, clique no cluster que você criou.

4. Navegue até a interface do usuário do Spark e clique na guia Executores .

5. Verifique se os endereços IP do driver e dos executores estão na faixa da sub-rede privada. Por exemplo, se a sua sub-rede privada for 10.179.0.0/18, o driver pode ser 10.179.0.6 e os executores podem ser 10.179.0.4, 10.179.0.5. Os seus endereços IP podem ser diferentes.

Endereços IP de saída estáveis

Para espaços de trabalho com conectividade de cluster segura e injeção de VNet, o Databricks recomenda a configuração de um IP público de saída estável. IPs estáveis habilitam listas de permissões externas para serviços como Salesforce e listas de acesso IP.

Para configurar um IP de saída estável, consulte Saída com injeção de VNet.

Regras do grupo de segurança de rede

O Azure Databricks provisiona automaticamente e gere as regras do NSG listadas abaixo por meio da delegação da sub-rede Microsoft.Databricks/workspaces ao serviço. Essas regras são necessárias para a operação do espaço de trabalho. Não modifique nem exclua essas regras.

A Databricks recomenda o uso de um NSG exclusivo para cada espaço de trabalho.

Regras de grupo de segurança de rede para espaços de trabalho

Esta tabela lista as regras de grupo de segurança de rede para espaços de trabalho e inclui duas regras de grupo de segurança de entrada que são adicionadas somente se a conectividade de cluster seguro (SCC) estiver desabilitada.

Expandir a capacidade da rede virtual

Se a rede virtual do seu espaço de trabalho não tiver capacidade suficiente para nós de cluster ativos, você terá duas opções:

• Atualizar configuração de VNet: este recurso está em Visualização pública. Consulte Atualizar configuração de rede do espaço de trabalho.
• Expanda o seu intervalo CIDR atual: entre em contato com a sua equipa de conta do Azure Databricks para solicitar um aumento do intervalo CIDR da sub-rede do espaço de trabalho.