Konfigurieren des privaten Front-End-Links

Diese Seite enthält Anweisungen zum Konfigurieren der privaten Front-End-Konnektivität, die die Verbindung zwischen Benutzern und ihren Azure Databricks-Arbeitsbereichen sichert.

• Informationen zum Aktivieren der privaten Back-End-Konnektivität mit Azure Databricks finden Sie unter Azure Private Link-Konzepte.
• Informationen zum Herstellen einer Verbindung von der serverlosen Computeebene mit Azure-Ressourcen finden Sie unter Konfigurieren der privaten Konnektivität mit Azure-Ressourcen.

Warum eine Front-End-Verbindung auswählen?

Unabhängig davon, ob Sie serverlose oder klassische Compute verwenden, müssen Benutzer eine Verbindung mit Azure Databricks herstellen. Organisationen entscheiden sich aus mehreren Gründen für die Verbindung mit Azure Databricks, einschließlich der folgenden:

• Erweiterte Sicherheit: Indem Sie den gesamten Zugriff auf private Endpunkte einschränken und den öffentlichen Zugriff deaktivieren, minimieren Sie die Angriffsfläche und überprüfen, ob alle Benutzerinteraktionen mit Azure Databricks über ein sicheres, privates Netzwerk erfolgen.
• Complianceanforderungen: Viele Organisationen verfügen über strenge Compliance-Mandate, die alle Daten- und Verwaltungsebenendatenverkehr erfordern, um in ihren privaten Netzwerkgrenzen zu verbleiben, auch für SaaS-Dienste wie Azure Databricks.
• Vereinfachte Netzwerkarchitektur (für bestimmte Anwendungsfälle): Wenn Sie nur serverlose Berechnungen verwenden oder Ihre primäre Interaktion mit Azure Databricks über die Web-UI oder REST-APIs erfolgt, und Sie haben keine sofortige Notwendigkeit für private Verbindungen mit Datenquellen aus Azure Databricks (die eine Back-End-Verbindung erfordert), vereinfacht ein Front-End-Setup das allgemeine Netzwerkdesign.
• Verhinderung von Datenexfiltration: Indem Sie den öffentlichen Zugriff verhindern und den gesamten Datenverkehr über private Endpunkte erzwingen, verringern Sie das Risiko der Datenexfiltration, um sicherzustellen, dass nur von authentifizierten Netzwerkumgebungen auf Datenverkehr zugegriffen werden kann.

Konnektivitätsmodell

Sie können private Konnektivität auf eine von zwei Arten konfigurieren:

• Kein öffentlicher Zugriff: Mit dieser Konfiguration wird der gesamte öffentliche Zugriff auf den Arbeitsbereich deaktiviert. Der gesamte Benutzerdatenverkehr muss von einem VNet stammen, das über einen privaten Endpunkt verbunden ist. Dieses Modell ist für die vollständige Verkehrsprivatisierung erforderlich. Für die vollständige Datenverkehrspriorisierung benötigen Sie auch eine Back-End-Verbindung mit privatem Link. Siehe Azure Private Link-Konzepte.
• Hybridzugriff: Private Verknüpfung ist aktiv, aber der öffentliche Zugriff bleibt mit kontextbasierten Eingangssteuerelementen und IP-Zugriffslisten aktiviert. Mit kontextbasierten Eingangssteuerelementen können Sie den Zugriff basierend auf Identität, Anforderungstyp und Netzwerkquelle einschränken. Auf diese Weise können Sie den Zugriff aus vertrauenswürdigen öffentlichen Quellen (z. B. statische Unternehmens-IPs) sicher zulassen und gleichzeitig private Verknüpfungen für private Verbindungen verwenden.

In diesem Handbuch wird erläutert, wie das Hybridzugriffsmodell implementiert wird. Dies erreichen wir mit einer standardmäßigen Hub-and-Spoke-Netzwerktopologie.

Architekturübersicht

Dieses Modell verwendet das Transit-VNet:

• Transit-VNet: Dies ist Ihr zentrales virtuelles Netzwerk, das alle privaten Endpunkte enthält, die für den Clientzugriff auf Arbeitsbereiche und die Browserauthentifizierung erforderlich sind. Ihr Browserauthentifizierungsarbeitsbereich ist auch mit diesem VNet verbunden.

Bevor Sie anfangen

Überprüfen Sie die folgenden Voraussetzungen und Empfehlungen:

Anforderungen

• Der Arbeitsbereich befindet sich im Premium-Plan.
• Sie haben einen Azure Databricks-Arbeitsbereich mit VNet-Einfügung bereitgestellt. Siehe Bereitstellen von Azure Databricks in Ihrem virtuellen Azure-Netzwerk (VNet Injection)
• Sie müssen über Azure-Berechtigungen verfügen, um private Endpunkte zu erstellen und DNS-Einträge zu verwalten.

Netzwerkkonfiguration

• Ein Transit-VNet, das für Folgendes konfiguriert ist:
  • Er fungiert als primärer Transitpunkt für den gesamten Benutzer-/Clientdatenverkehr, der eine Verbindung mit Ihrem Azure-Netzwerk herstellt.
  • Sie bietet eine zentrale Konnektivität für lokale oder andere externe Netzwerke.
  • Sie verwaltet gemeinsame Dienste und enthält die primäre Route für ausgehenden Internetdatenverkehr (Ausgang).
• Ihre privaten DNS-Zonen werden von Azure DNS verwaltet.

Bewährte Methoden

Azure Databricks empfiehlt Folgendes für ein robustes und verwaltbares Setup:

• Architektur: Ihr Netzwerk muss der von Microsoft empfohlenen Hub-Spoke-Architektur folgen. Siehe Hub-Spoke-Netzwerktopologie in Azure.
• Isolierter Authentifizierungsarbeitsbereich: Um die Resilienz zu verbessern, erstellen Sie einen separaten Browserauthentifizierungsarbeitsbereich in Ihrem Transit-VNet. Dieser dedizierte Arbeitsbereich sollte den privaten Endpunkt der Browserauthentifizierung hosten und einen einzelnen Fehlerpunkt verhindern, wenn andere Arbeitsbereiche gelöscht werden. Siehe Schritt 3: Erstellen eines browser_authentication Arbeitsbereichs.

Konfigurieren der privaten Konnektivität für einen vorhandenen Arbeitsbereich

Bevor Sie beginnen, müssen Sie alle Computeressourcen wie Cluster, Pools oder klassische SQL-Lagerhäuser beenden. Es können keine Arbeitsbereichsberechnungsressourcen ausgeführt werden, oder der Upgradeversuch schlägt fehl. Azure Databricks empfiehlt die Planung des Zeitpunkts des Upgrades für Ausfallzeiten.

1. Wählen Sie auf der Seite "Arbeitsbereiche " die Option "Berechnen" aus.
2. Wählen Sie jeden aktiven Computecluster aus, und klicken Sie oben rechts auf "Beenden".

Schritt 1: Überprüfen des in VNet eingefügten Arbeitsbereichs mit aktivierten öffentlichen Zugriff

1. Wechseln Sie zum Azure Databricks-Arbeitsbereich im Azure-Portal.
2. Überprüfen Sie im Abschnitt "Arbeitsbereichsübersicht", ob Ihr Azure Databricks-Arbeitsbereich Ihr eigenes virtuelles Netzwerk verwendet:
   1. Wählen Sie unter "Einstellungen" die Registerkarte " Netzwerk " aus. Bestätigen Sie die folgenden Einstellungen:
      1. Sichere Clusterkonnektivität (keine öffentliche IP) ist aktiviert.
      2. Der Zugriff auf öffentliche Netzwerke ist aktiviert.

Schritt 2: Erstellen eines privaten Endpunkts databricks_ui_api

1. Wählen Sie auf der Registerkarte "Netzwerk " Ihres Arbeitsbereichs "Private Endpunktverbindungen" aus.
2. Klicken Sie auf Privater Endpunkt.
3. Wählen Sie die Ressourcengruppe für den Endpunkt aus, geben Sie einen Namen wie my-workspace-fe-pe. Überprüfen Sie, ob die Region Ihrem Arbeitsbereich entspricht.
4. Klicken Sie auf Weiter: Ressource.
5. Legen Sie die Zielunterressource auf databricks_ui_api.
6. Klicken Sie auf Weiter: Virtuelles Netzwerk.
7. Wählen Sie Ihr VNet für die Übertragung aus. Ihr Transit-VNet ist ein separates, bereits vorhandenes VNet in Ihrer Netzwerkarchitektur, das den Ausgangsverkehr verwaltet und sichert, häufig eine zentrale Firewall enthält.
8. Wählen Sie das Subnetz aus, das die privaten Endpunkte hostet.
9. Klicken Sie auf "Weiter" , und überprüfen Sie, ob die Integration in die private DNS-Zone auf "Ja" festgelegt ist. Sie sollte die privatelink.azuredatabricks.net Zone automatisch auswählen.

Schritt 3: Erstellen eines Arbeitsbereichs browser_authentication

Erstellen Sie einen privaten Endpunkt für die Browserauthentifizierung, um SSO über Ihren privaten Netzwerkpfad zu unterstützen. Azure Databricks empfiehlt, diesen Endpunkt in einem dedizierten privaten Webauthentifizierungsarbeitsbereich zu hosten.

Erstellen einer Ressourcengruppe

1. Navigieren Sie im Azure-Portal zu Ressourcengruppen, und wählen Sie sie aus.
2. Klicken Sie auf + Erstellen.
3. Geben Sie einen Namen für die Ressourcengruppe an, wie z. B. web-auth-rg-eastus.
4. Wählen Sie für "Region" dieselbe Azure-Region aus, in der Ihre Databricks-Produktionsarbeitsbereiche bereitgestellt werden.
5. Klicken Sie auf "Überprüfen" und dann auf "Erstellen".

Erstellen eines VNET

1. Suchen Sie im Azure-Portal nach der Option Virtuelle Netzwerke und wählen Sie sie aus.
2. Klicken Sie auf + Erstellen.
3. Wählen Sie auf der Registerkarte "Grundlagen" die soeben erstellte Ressourcengruppe aus und geben Sie dem VNet einen beschreibenden Namen, z. B. "".
4. Überprüfen Sie, ob die Region Ihrer Ressourcengruppe entspricht.
5. Definieren Sie auf der Registerkarte " IP-Adressen " einen IP-Adressraum für das VNet, 10.20.0.0/16z. B. . Sie werden auch aufgefordert, ein erstes Subnetz zu erstellen.
6. Wählen Sie Überprüfen + Erstellen und dann Erstellen aus.

Erstellen und Sichern des privaten Webauthentifizierungsarbeitsbereichs

1. Suchen Sie im Azure-Portal nach Azure Databricks, und wählen Sie sie aus. Klicken Sie auf + Erstellen.
2. Konfigurieren Sie auf der Registerkarte " Grundlagen " Folgendes:
   1. Wählen Sie die soeben erstellte Ressourcengruppe aus.
   2. Weisen Sie dem Arbeitsbereich einen beschreibenden Namen zu, wie z. B. WEB_AUTH_DO_NOT_DELETE_<region>.
   3. Wählen Sie dieselbe Region wie Ihre Ressourcengruppe und VNet aus.
3. Klicken Sie auf "Weiter:Netzwerk" , und konfigurieren Sie Folgendes:
   1. Bereitstellen des Azure Databricks-Arbeitsbereichs mit sicherer Clusterkonnektivität (keine öffentliche IP): Wählen Sie "Ja" aus.
   2. Bereitstellen des Azure Databricks-Arbeitsbereichs in Ihrem eigenen virtuellen Netzwerk (VNet): Wählen Sie "Ja" aus.
   3. Virtuelles Netzwerk: Wählen Sie das soeben erstellte VNet aus. Sie werden aufgefordert, Subnetzbereiche zu definieren.
   4. Öffentlicher Netzwerkzugriff: Wählen Sie "Deaktiviert" aus.
   5. Erforderliche NSG-Regeln: Wählen Sie "NoAzureDatabricksRules" aus.
4. Klicken Sie auf "Überprüfen" und dann auf "Erstellen".

Nachdem der Arbeitsbereich erstellt wurde, müssen Sie ihn vor versehentlichem Löschen schützen.

1. Navigieren Sie im Azure-Portal zu dem soeben erstellten Arbeitsbereich.
2. Wechseln Sie zu "Einstellungen" , und wählen Sie "Sperren" aus.
3. Klicken Sie auf + Hinzufügen.
4. Legen Sie den Sperrtyp auf "Löschen " fest, und geben Sie einen beschreibenden Sperrnamen an.
5. Klicke auf OK.

Erstellen Sie den privaten Endpunkt für browser_authentication

Nach dem Erstellen des Arbeitsbereichs müssen Sie den browser_authentication privaten Endpunkt erstellen, um ihn mit Ihrem Transit-VNet zu verbinden.

1. Wählen Sie auf der Registerkarte " Netzwerk " des Webauthentifizierungsarbeitsbereichs "Private Endpunktverbindungen" aus.
2. Klicken Sie auf Privater Endpunkt.
3. Wählen Sie die Ressourcengruppe für den Endpunkt aus, geben Sie einen Namen wie web-auth-browser-auth-pe. Überprüfen Sie, ob die Region Ihrem Arbeitsbereich entspricht.
4. Klicken Sie auf Weiter: Ressource.
5. Legen Sie die Zielunterressource auf browser_authentication.
6. Klicken Sie auf Weiter: Virtuelles Netzwerk.
7. Wählen Sie Ihr Transit-VNet aus (dasselbe VNet, das in Schritt 2 für den databricks_ui_api Endpunkt verwendet wird).
8. Wählen Sie das Subnetz aus, das die privaten Endpunkte hostet.
9. Klicken Sie auf "Weiter" , und überprüfen Sie, ob die Integration in die private DNS-Zone auf "Ja" festgelegt ist. Sie sollte die privatelink.azuredatabricks.net Zone automatisch auswählen.
10. Schließen Sie die Endpunkterstellung ab.

Schritt 4: Konfigurieren und Überprüfen von DNS

Nachdem Sie die privaten Endpunkte bereitgestellt haben, müssen Sie überprüfen, ob AZURE Databricks-URLs ordnungsgemäß in ihre neuen privaten IP-Adressen aufgelöst werden.

1. Überprüfen privater DNS-Zoneneinträge:
   1. Suchen Und navigieren Sie im Azure-Portal zur privaten DNS-Zone mit dem Namen privatelink.azuredatabricks.net.
   2. Überprüfen Sie, ob die folgenden A Datensätze vorhanden sind, und zeigen Sie auf die privaten IP-Adressen Ihrer Endpunkte:
      1. Arbeitsbereichs-UI/API-Eintrag:
         • Name: Ihre eindeutige Arbeitsbereichs-ID, z. B. adb-xxxxxxxxxxxxxxxx.x
         • Wert: Die private IP-Adresse Ihres databricks_ui_api privaten Endpunkts.
      2. Browserauthentifizierungseintrag:
         • Name: Wählen Sie einen beschreibenden Namen wie pl-auth.<your_region>.
         • Wert: Die private IP-Adresse Ihres browser_authentication privaten Endpunkts.

Schritt 5: Überprüfen des Privaten Netzwerkzugriffs

Vergewissern Sie sich, dass Sie über Ihre private Netzwerkverbindung auf den Arbeitsbereich zugreifen können.

Über ein verbundenes Netzwerk

Wenn Ihr lokales Netzwerk bereits mit Ihrem Azure VNet verbunden ist, über VPN oder ExpressRoute, ist der Test einfach:

• Öffnen Sie auf Ihrem Computer einen Webbrowser, und wechseln Sie direkt zu Ihrer Azure Databricks-Arbeitsbereichs-URL, um sich anzumelden. Eine erfolgreiche Anmeldung bestätigt, dass Ihre private Verbindung funktioniert.

Verwenden eines virtuellen Testcomputers

Wenn Sie nicht von Ihrem aktuellen Speicherort aus auf das Arbeitsbereich-VNet zugreifen können, erstellen Sie einen temporären virtuellen Computer (ein Sprungfeld), aus dem Sie testen können:

1. Erstellen sie einen virtuellen Computer: Erstellen Sie im Azure-Portal einen virtuellen Windows-Computer. Platzieren Sie es in einem Subnetz unter Verwendung des gleichen Transit-VNets, in dem Sie Ihren privaten Front-End-Endpunkt konfiguriert haben.
2. Stellen Sie eine Verbindung mit dem virtuellen Computer her: Verwenden Sie einen Remotedesktopclient, um eine Verbindung mit Ihrer neuen VM herzustellen.
3. Testen sie vom virtuellen Computer: Nachdem Sie eine Verbindung mit dem virtuellen Computer hergestellt haben, öffnen Sie einen Webbrowser, wechseln Sie zum Azure-Portal, und suchen Sie Ihren Azure Databricks-Arbeitsbereich.
4. Arbeitsbereich starten: Klicken Sie auf "Arbeitsbereich starten". Eine erfolgreiche Anmeldung bestätigt, dass der Zugriff innerhalb Ihres privaten VNet ordnungsgemäß funktioniert.

Überprüfen von DNS mit nslookup

1. Stellen Sie eine Verbindung mit einem virtuellen Computer in Ihrem konfigurierten VNet oder mit Ihrem lokalen Netzwerk über VPN oder Azure ExpressRoute her. Ihr Computer muss in der Lage sein, das private DNS von Azure zu verwenden.
2. Öffnen Sie eine Eingabeaufforderung oder ein Terminal, und überprüfen nslookup Sie die DNS-Auflösung.

# Verify the workspace URL resolves to a private IP
nslookup adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

# Expected output:
# Server:  <your-dns-server>
# Address: <your-dns-server-ip>
#
# Name:    adb-xxxxxxxxxxxxxxxx.x.privatelink.azuredatabricks.net
# Address: 10.10.1.4  <-- This should be the private IP of your 'databricks_ui_api' endpoint
# Aliases: adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

Benutzerdefinierte DNS-Konfiguration

Wenn Sie einen privaten Front-End-Endpunkt mit Ihrem eigenen benutzerdefinierten DNS verwenden, müssen Sie sicherstellen, dass sowohl die Arbeitsbereich-URL als auch die SSO-Authentifizierungs-URLs (Single Sign-On) ordnungsgemäß in die IP-Adresse des privaten Endpunkts aufgelöst werden.

Empfohlen: Bedingte Weiterleitung

Die zuverlässigste Methode besteht darin, Ihren DNS-Server so zu konfigurieren, dass Abfragen für alle Databricks-Domänen an das interne DNS von Azure weitergeleitet werden.

1. Richten Sie die bedingte Weiterleitung für die folgenden Domänen an Ihren Azure DNS-Server ein:
   • *.azuredatabricks.net
   • *.privatelink.azuredatabricks.net
   • *.databricksapps.com
2. Überprüfen Sie, ob Ihr VNet mit der privaten Azure DNS-Zone verknüpft ist.

Auf diese Weise kann Azure automatisch alle erforderlichen Hostnamen, einschließlich SSO- und Workspace-URLs, in die IP-Adresse Ihres privaten Endpunkts auflösen.

Alternative: Manuelle A-Einträge

Wenn die bedingte Weiterleitung keine Option ist, müssen Sie DNS-Einträge A manuell erstellen.

1. Arbeitsbereichs-URL: Erstellen Sie einen A-Datensatz, der Ihre Arbeitsbereichs-URL, z. B. adb-1111111111111.15.azuredatabricks.net, der IP-Adresse des privaten Endpunkts zuordnet.
2. SSO-Authentifizierungs-URL: Erstellen Sie eine A Datensatzzuordnung der regionalen SSO-URL, wie z. B. westus.pl-auth.azuredatabricks.net, zur gleichen privaten Endpunkt-IP-Adresse.

Einige Azure-Regionen verwenden mehrere Steuerebeneninstanzen für das Single Sign-On (SSO). Möglicherweise müssen Sie mehrere A Datensätze für die Authentifizierung erstellen. Wenden Sie sich an Ihr Azure Databricks-Kontoteam, um die vollständige Liste der Domänen für Ihre Region zu ermitteln.

Nächste Schritte

• Konfigurieren der privaten Back-End-Konnektivität mit Azure Databricks
• Konfigurieren von IP-Zugriffslisten für Arbeitsbereiche