Configurar Ligação Privada do Front-end

Esta página fornece instruções para configurar a conectividade privada front-end, que protege a conexão entre os usuários e seus espaços de trabalho do Azure Databricks.

• Para habilitar a conectividade privada de back-end para o Azure Databricks, consulte Conceitos de Link Privado do Azure.
• Para se conectar do plano de computação sem servidor aos recursos do Azure, consulte Configurar a conectividade privada aos recursos do Azure.

Por que escolher uma conexão front-end?

Se você usa computação sem servidor ou clássica, os usuários devem se conectar ao Azure Databricks. As organizações optam por se conectar ao Azure Databricks por vários motivos, incluindo os seguintes:

• Segurança reforçada: Ao restringir todo o acesso a pontos de extremidade privados e desabilitar o acesso público, você minimiza a superfície de ataque e verifica se todas as interações do usuário com o Azure Databricks ocorrem em uma rede privada segura.
• Requisitos de conformidade: Muitas organizações têm mandatos de conformidade rigorosos que exigem que todos os dados e tráfego de plano de gerenciamento permaneçam em seus limites de rede privada, mesmo para serviços SaaS como o Azure Databricks.
• Arquitetura de rede simplificada (para casos de uso específicos): Se você estiver usando apenas computação sem servidor, ou se sua interação principal com o Azure Databricks for por meio da interface do usuário da Web ou APIs REST, e não tiver necessidade imediata de conectividade privada com fontes de dados do Azure Databricks (que requer uma conexão back-end), uma configuração somente front-end simplificará o design geral da rede.
• Prevenção de exfiltração de dados: Ao impedir o acesso público e forçar todo o tráfego através de terminais privados, reduz o risco de exfiltração de dados, garantindo que o tráfego só pode ser acedido a partir de ambientes de rede autenticados.

Modelo de conectividade

Você pode configurar a conectividade privada de duas maneiras:

• Sem acesso público: esta configuração desativa todo o acesso público ao espaço de trabalho. Todo o tráfego de usuário deve ser originado de uma VNet conectada por meio de um ponto de extremidade privado. Este modelo é necessário para a privatização total do tráfego. Para a privatização total do tráfego, você também precisa de uma conexão Private Link back-end. Consulte Conceitos de Link Privado do Azure.
• Acesso híbrido: o Private Link está ativo, mas o acesso público permanece habilitado com controles de entrada baseados no contexto e listas de acesso IP. Os controles de entrada baseados no contexto permitem restringir o acesso com base na identidade, no tipo de solicitação e na origem da rede. Isto permite que você permita, de forma segura, acesso a partir de fontes públicas confiáveis (por exemplo, IPs corporativos estáticos), enquanto continua a usar o Private Link para conectividade privada.

Este guia explica como implementar o modelo de acesso híbrido . Conseguimos isso usando uma topologia de rede hub-and-spoke padrão.

Visão geral da arquitetura

Este modelo usa a VNet de trânsito:

• Transit VNet: Esta é a sua rede virtual central que contém todos os pontos de extremidade privados necessários para o acesso do cliente a workspaces e autenticação via browser. O espaço de trabalho de autenticação do navegador também está conectado a essa rede virtual.

Antes de começar

Analise os seguintes pré-requisitos e recomendações:

Requerimentos

• O espaço de trabalho está no plano Premium.
• Você tem um espaço de trabalho do Azure Databricks implantado com injeção de VNet. Consulte Implantar o Azure Databricks em sua rede virtual do Azure (injeção de VNet)
• Você deve ter permissões do Azure para criar pontos de extremidade privados e gerenciar registros DNS.

Configuração da rede

• Uma VNet de trânsito configurada da seguinte forma:
  • Ele atua como o principal ponto de trânsito para todo o tráfego de usuário/cliente que se conecta à sua rede do Azure.
  • Ele fornece conectividade centralizada para redes locais ou outras redes externas.
  • Ele gerencia serviços compartilhados e contém a rota principal para o tráfego de saída da Internet (saída).
• Suas zonas DNS privadas são gerenciadas pelo DNS do Azure.

Melhores práticas

O Azure Databricks recomenda o seguinte para uma configuração resiliente e gerenciável:

• Arquitetura: sua rede deve seguir a arquitetura hub-spoke recomendada pela Microsoft. Consulte Topologia de rede Hub-spoke no Azure.
• Espaço de trabalho de autenticação isolado: para melhorar a resiliência, crie um espaço de trabalho de autenticação de navegador separado dentro da sua VNet de trânsito. Este espaço de trabalho dedicado deve hospedar o endpoint privado de autenticação do navegador, evitando assim um único ponto de falha caso outros espaços de trabalho sejam eliminados. Consulte Etapa 3: Criar um espaço de browser_authentication trabalho.

Configurar a conectividade privada para um espaço de trabalho existente

Antes de começar, você deve parar todos os recursos de computação, como clusters, pools ou armazéns SQL clássicos. Nenhum recurso de computação do espaço de trabalho pode ser executado ou a tentativa de atualização falha. O Azure Databricks recomenda planejar o tempo da atualização para o tempo de inatividade.

1. Na página Espaços de trabalho , selecione Computação.
2. Selecione cada cluster de computação ativo e, no canto superior direito, clique em Encerrar.

Etapa 1: Verificar o espaço de trabalho injetado por VNet com acesso público ativado

1. Vá para seu espaço de trabalho do Azure Databricks no portal do Azure.
2. Na seção de visão geral do espaço de trabalho, verifique se seu espaço de trabalho do Azure Databricks usa sua própria rede virtual:
   1. Em Configurações, selecione a guia Rede . Confirme as seguintes configurações:
      1. A conectividade de cluster seguro (sem IP público) está ativada.
      2. Permitir acesso à rede pública está habilitado.

Etapa 2: Criar databricks_ui_api ponto de extremidade privado

1. Na guia Rede do seu espaço de trabalho, selecione Conexões de ponto de extremidade privadas.
2. Clique no Ponto de extremidade privado.
3. Selecione o grupo de recursos para o ponto final e forneça um nome como my-workspace-fe-pe. Verifique se a região corresponde ao seu espaço de trabalho.
4. Clique em Avançar: Recurso.
5. Defina o subrecurso de destino como databricks_ui_api.
6. Clique em Seguinte: Rede Virtual.
7. Selecione sua rede virtual de trânsito. Sua VNet de trânsito é uma VNet pré-existente separada em sua arquitetura de rede que gerencia e protege o tráfego de saída, geralmente contendo um firewall central.
8. Selecione a sub-rede que hospeda os pontos de extremidade privados.
9. Clique em Avançar e verifique se Integrar com zona DNS privada está definido como Sim. Ele deve selecionar automaticamente a privatelink.azuredatabricks.net zona.

Etapa 3: Criar um espaço de browser_authentication trabalho

Crie um ponto de extremidade privado para autenticação do navegador para oferecer suporte ao SSO no caminho da rede privada. O Azure Databricks recomenda hospedar este endpoint em um espaço de trabalho dedicado de autenticação web privada.

Criar um grupo de recursos

1. No portal do Azure, navegue até Grupos de recursos e selecione-o.
2. Clique em + Criar.
3. Forneça um Nome para o grupo de recursos, como web-auth-rg-eastus.
4. Em Região, selecione a mesma região do Azure onde seus espaços de trabalho Databricks de produção são implantados.
5. Clique em Rever + criar e, em seguida, em Criar.

Criar uma VNet

1. No portal do Azure, procure e selecione Redes virtuais.
2. Clique em + Criar.
3. Na guia Noções básicas , selecione o grupo de recursos que você acabou de criar e dê à VNet um Nome descritivo, como web-auth-vnet-eastus.
4. Verifique se a Região corresponde ao seu grupo de recursos.
5. Na guia Endereços IP, defina um espaço de endereço IP para a rede virtual, por exemplo, 10.20.0.0/16. Você também será solicitado a criar uma sub-rede inicial.
6. Selecione Rever + criar e, em seguida , Criar.

Criar e proteger o espaço de trabalho privado de autenticação da Web

1. No portal do Azure, procure e selecione Azure Databricks. Clique em + Criar.
2. Na guia Noções básicas , configure o seguinte:
   1. Selecione o grupo de recursos que você acabou de criar.
   2. Dê ao espaço de trabalho um nome descritivo, como WEB_AUTH_DO_NOT_DELETE_<region>.
   3. Selecione a mesma região que o grupo de recursos e a rede virtual.
3. Clique em Next:Networking e configure o seguinte:
   1. Implantar o espaço de trabalho do Azure Databricks com Conectividade de Cluster Seguro (Sem IP Público): Selecione Sim.
   2. Implantar o espaço de trabalho do Azure Databricks em sua própria Rede Virtual (VNet): selecione Sim.
   3. Rede Virtual: Selecione a rede virtual que você acabou de criar. Você será solicitado a definir intervalos de sub-rede.
   4. Acesso à rede pública: selecione Desativado.
   5. Regras NSG necessárias: selecione NoAzureDatabricksRules.
4. Clique em Rever + criar e, em seguida, em Criar.

Depois que o espaço de trabalho for criado, você deve protegê-lo contra exclusão acidental.

1. No portal do Azure, navegue até o espaço de trabalho que você acabou de criar.
2. Vá para Configurações e selecione Bloqueios.
3. Clique em + Adicionar.
4. Defina o tipo de bloqueio como Excluir e forneça um nome de bloqueio descritivo.
5. Clique em OK.

Criar o ponto de extremidade privado de autenticação de navegador

Depois de criar o espaço de trabalho, você deve criar o browser_authentication ponto de extremidade privado para conectá-lo à sua VNet de trânsito.

1. Na guia Conexões de Rede do espaço de trabalho de autenticação da Web, selecione Conexões de pontos finais privados.
2. Clique no Ponto de extremidade privado.
3. Selecione o grupo de recursos para o ponto final e forneça um nome como web-auth-browser-auth-pe. Verifique se a região corresponde ao seu espaço de trabalho.
4. Clique em Avançar: Recurso.
5. Defina o subrecurso de destino como browser_authentication.
6. Clique em Seguinte: Rede Virtual.
7. Selecione a sua VNet de trânsito (a mesma VNet usada na Etapa 2 para o databricks_ui_api endpoint).
8. Selecione a sub-rede que hospeda os pontos de extremidade privados.
9. Clique em Avançar e verifique se Integrar com zona DNS privada está definido como Sim. Ele deve selecionar automaticamente a privatelink.azuredatabricks.net zona.
10. Conclua a criação do ponto de extremidade.

Etapa 4: Configurar e verificar o DNS

Depois de implantar os pontos de extremidade privados, você deve verificar se o DNS resolve corretamente as URLs do Azure Databricks para seus novos endereços IP privados.

1. Verifique os registos de zona DNS privada:
   1. No portal do Azure, procure e navegue até a zona DNS privada chamada privatelink.azuredatabricks.net.
   2. Verifique se existem os seguintes A registos e aponte para os endereços IP privados dos seus terminais:
      1. Registro da interface do usuário/API do espaço de trabalho:
         • Nome: seu ID de espaço de trabalho exclusivo, como adb-xxxxxxxxxxxxxxxx.x
         • Valor: O endereço IP privado do seu databricks_ui_api ponto de extremidade privado.
      2. Registro de autenticação do navegador:
         • Nome: Escolha um nome descritivo como pl-auth.<your_region>.
         • Valor: O endereço IP privado do seu browser_authentication ponto de extremidade privado.

Etapa 5: Verificar o acesso à rede privada

Confirme que pode aceder à área de trabalho através da sua ligação de rede privada.

A partir de uma rede conectada

Se sua rede local já estiver conectada à sua VNet do Azure, por VPN ou ExpressRoute, o teste é simples:

• No seu computador, abra um navegador da Web e vá diretamente para a URL do espaço de trabalho do Azure Databricks para fazer logon. Um login bem-sucedido confirma que sua conexão privada está funcionando.

Usando uma VM de teste

Se não conseguir aceder à rede virtual da área de trabalho a partir da sua localização atual, crie uma máquina virtual temporária (uma "caixa de saltos") para testar a partir de:

1. Crie uma VM: No portal do Azure, crie uma máquina virtual do Windows. Coloque-o numa sub-rede usando a mesma VNet de trânsito onde configurou o seu endpoint privado de front-end.
2. Conecte-se à VM: Use um cliente de Área de Trabalho Remota para se conectar à sua nova VM.
3. Teste a partir da VM: Depois de se conectar à VM, abra um navegador da Web, vá para o portal do Azure e localize seu espaço de trabalho do Azure Databricks.
4. Iniciar espaço de trabalho: Clique em Iniciar espaço de trabalho. Um login bem-sucedido confirma que o acesso de dentro de sua rede virtual privada está funcionando corretamente.

Verificar DNS com nslookup

1. Conecte-se a uma máquina virtual dentro de sua VNet configurada ou à sua rede local via VPN ou Azure ExpressRoute. Sua máquina deve ser capaz de usar o DNS privado do Azure.
2. Abra um prompt de comando ou terminal e use nslookup para verificar a resolução de DNS.

# Verify the workspace URL resolves to a private IP
nslookup adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

# Expected output:
# Server:  <your-dns-server>
# Address: <your-dns-server-ip>
#
# Name:    adb-xxxxxxxxxxxxxxxx.x.privatelink.azuredatabricks.net
# Address: 10.10.1.4  <-- This should be the private IP of your 'databricks_ui_api' endpoint
# Aliases: adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

Configuração de DNS personalizada

Ao usar um ponto de extremidade front-end privado com seu próprio DNS personalizado, você deve verificar se a URL do espaço de trabalho e as URLs de autenticação SSO (logon único) são resolvidas corretamente para o endereço IP do ponto de extremidade privado.

Recomendado: Encaminhamento condicional

O método mais confiável é configurar seu servidor DNS para encaminhar consultas de todos os domínios Databricks para o DNS interno do Azure.

1. Configure o encaminhamento condicional para os seguintes domínios para o seu servidor DNS do Azure:
   • *.azuredatabricks.net
   • *.privatelink.azuredatabricks.net
   • *.databricksapps.com
2. Verifique se sua rede virtual está vinculada à Zona DNS Privada do Azure.

Isso permite que o Azure resolva automaticamente todos os nomes de host necessários, incluindo URLs de SSO e de espaços de trabalho, para o endereço IP do seu ponto final privado.

Alternativa: Manual A Records

Se o encaminhamento condicional não for uma opção, você deverá criar manualmente registros DNS A .

1. URL do espaço de trabalho: Crie um A registro mapeando sua URL por espaço de trabalho, como adb-1111111111111.15.azuredatabricks.net, para o endereço IP do ponto de extremidade privado.
2. URL de autenticação SSO: Crie um A registo que mapeie a URL de SSO regional, como westus.pl-auth.azuredatabricks.net, para o mesmo endereço IP do ponto de acesso privado.

Algumas regiões do Azure usam várias instâncias de plano de controle para SSO. Talvez seja necessário criar vários A registros para autenticação. Entre em contato com sua equipe de conta do Azure Databricks para obter a lista completa de domínios para sua região.

Próximos passos

• Configurar a conectividade privada de back-end para o Azure Databricks
• Configurar listas de acesso IP para espaços de trabalho