Eigene Datenlinie mitbringen

Auf dieser Seite wird beschrieben, wie Sie die Datenlinie aktualisieren, um externe Ressourcen und Workflows einzuschließen, die außerhalb von Azure Databricks ausgeführt werden.

Unity Catalog erfasst automatisch die Laufzeitdatenlinie für Abfragen, die auf Azure Databricks ausgeführt werden. Möglicherweise verfügen Sie jedoch über Workloads, die außerhalb von Azure Databricks ausgeführt werden (z. B. erste Meile ETL oder letzte Meile BI). Im Unity-Katalog können Sie externe Linienmetadaten hinzufügen, um die erfasste Azure Databricks-Datenlinie automatisch zu erweitern, sodass Sie eine End-to-End-Linienansicht im Unity-Katalog erhalten. Dies ist nützlich, wenn Sie erfassen möchten, wo Daten stammen (z. B. Salesforce oder MySQL), bevor sie in den Unity-Katalog aufgenommen wurden oder wo Daten außerhalb des Unity-Katalogs verwendet werden (z. B. Tableau oder PowerBI).

Das folgende Liniendiagramm zeigt eine externe PostgreSQL-Tabelle, die in Azure Databricks als verwaltete Unity-Katalog-Tabelle aufgenommen wurde, wobei drei Spalten in eine release_date Spalte umgewandelt und dann mithilfe von PowerBI abgefragt wurden.

Allgemeine Informationen zur Datenlinie in Azure Databricks finden Sie unter Anzeigen der Datenlinie mithilfe des Unity-Katalogs.

Anforderungen

Um externe Linienmetadaten im Unity-Katalog hinzuzufügen, müssen Sie je nach spezifischer Aufgabe über die folgenden Berechtigungen verfügen:

• Um ein sicherungsfähiges externes Metadatenobjekt im Unity-Katalog zu erstellen, müssen Sie über die CREATE EXTERNAL METADATA Berechtigung für den Metaspeicher verfügen.
• Wenn Sie Linienbeziehungen zwischen einem externen Metadatenobjekt und einem anderen Unity Catalog-Objekt angeben möchten, müssen Sie über die MODIFY Berechtigungen für das externe Metadatenobjekt verfügen.
• Um eine nachgelagerte Abstammungsbeziehung zu einem Unity Catalog-Objekt zu spezifizieren, müssen Sie über Leseberechtigungen für das Objekt verfügen (z.B. SELECT für eine Tabelle).
• Um eine upstream-Lineagebeziehung zu einem Unity Catalog-Objekt anzugeben, müssen Sie über Schreibberechtigungen für das Objekt verfügen (z MODIFY . B. in einer Tabelle).

Hinzufügen externer Linienmetadaten

So fügen Sie externe Linienmetadaten hinzu:

1. Erstellen Sie ein sicherungsfähiges externes Metadatenobjekt im Unity-Katalog.

   Dieses Objekt stellt eine Entität in einem externen System dar, z. B. ein Dashboard in Tableau.

2. Konfigurieren Sie eine Linienbeziehung zwischen dem externen Metadatenobjekt und einem anderen Unity Catalog-Objekt, z. B. einer Tabelle, eines Modells, eines Pfads oder eines anderen externen Metadatenobjekts.

   Wenn Sie Linienbeziehungen erstellt haben, wird das externe Metadatenobjekt in der Liniendiagrammansicht angezeigt.

Sie können externe Metadatenobjekte erstellen und Linienbeziehungen mithilfe der Benutzeroberfläche des Katalog-Explorers oder einer REST-API konfigurieren.

Erstellen eines externen Metadatenobjekts

Sie können ein externes Metadatenobjekt mithilfe des Katalog-Explorers oder der externen Metadaten-API erstellen.

So erstellen Sie mithilfe des Katalog-Explorers ein externes Metadatenobjekt:

1. Klicken Sie im Azure Databricks-Arbeitsbereich auf das Katalog.

2. Klicken Sie auf die Schaltfläche "Externe Daten > ", wechseln Sie zur Registerkarte "Externe Metadaten ", und klicken Sie auf " Externe Metadaten erstellen".

3. Geben Sie die Metadatendetails an.

   Required:

   • Name: Geben Sie einen lesbaren Namen ein, der Azure Databricks-Benutzern hilft, zu verstehen, was sie in Lineage sehen. Leerzeichen können nicht verwendet werden.
   • Systemtyp: Wählen Sie aus der Liste der allgemeinen externen Daten und BI-Systeme aus. Wenn Sie Ihre nicht finden, wählen Sie "Benutzerdefiniert" aus.
   • Entitätstyp: Geben Sie den Objekttyp ein, z. B. "Tabelle" oder "Dashboard".

   Optional:

   • URL: Geben Sie die URL des Objekts ein, wenn Sie möchten, dass Liniendiagramm-Viewer auf die externe Ressource klicken können (z. B. ein Tableau-Dashboard).
   • Beschreibung

   Fortgeschritten:

   • Spalten: Wenn Sie die Zuordnung von diesem externen Objekt zu einem anderen Unity Catalog-Objekt durchführen möchten, geben Sie Spaltennamen ein. Wählen Sie UI aus, um diese einzeln einzugeben, oder Texteingaben, um eine kommagetrennte Liste in ein einzelnes Textfeld einzugeben.
   • Eigenschaften: Wenn es andere Eigenschaften gibt, die Sie in Der Linie nachverfolgen möchten, geben Sie sie als JSON-Schlüsselwertpaare ein. Sie können die Benutzeroberfläche verwenden, um jedes Schlüssel-Wert-Paar einzugeben, oder ein vollständiges JSON-Objekt eingeben.

4. Klicken Sie auf "Erstellen".

   Ein Dialogfeld bietet Ihnen die Möglichkeit, das externe Metadatenobjekt anzuzeigen oder Linienbeziehungen für das Objekt zu erstellen.

Erstellen von Linienbeziehungen

Sie können Linienbeziehungen mithilfe des Katalog-Explorers, der externen Linien-API oder des Databricks SDK für Python erstellen.

So fügen Sie Beziehungen zwischen einem externen Metadatenobjekt und anderen Unity Catalog-Objekten hinzu:

1. Folgen Sie der oben genannten Eingabeaufforderung, oder suchen Sie das vorhandene externe Metadatenobjekt im Katalog-Explorer:

   1. Klicken Sie auf Katalog
   2. Klicken Sie auf die Schaltfläche "Externe Daten > "
   3. Wechseln Sie zur Registerkarte "Externe Metadaten ", und wählen Sie das externe Metadatenobjekt aus.

2. Klicken Sie auf " Linienbeziehung erstellen".

3. Wählen Sie aus, ob Sie eine upstream- oder downstream-Beziehung erstellen möchten.

4. Geben Sie den Objekttyp ein, zu dem Sie die Beziehung erstellen möchten:

   • Tabelle: Wählen Sie die Tabelle mithilfe des Suchdialogfelds aus.
   • Modell: Wählen Sie das Modell mithilfe des Suchdialogfelds und dann die Modellversion aus.
   • Pfad: Geben Sie für Volumes oder externe Speicherorte den Pfad ein.
   • Externe Metadaten: Wählen Sie das externe Metadatenobjekt aus dem Dropdownmenü aus.

5. (Optional) Klicken Sie auf "Erweitert" , um Folgendes hinzuzufügen:

   • Spaltenzuordnungen zwischen dem externen Metadatenobjekt und dem Quell- oder Zielobjekt.
   • Andere Metadaten als JSON-Schlüsselwertpaare. Sie können diese beispielsweise verwenden, um den Text der Abfrage einzugeben, der eine Tabelle aus dem externen Metadatenobjekt oder Anmerkungen erstellt hat, die den externen Workflow erläutern, der die Beziehung generiert hat.

6. Klicken Sie auf "Erstellen".

Nun können Sie die externe Linienbeziehung auf der Registerkarte "Linie" der zugehörigen Objekte sehen.

Häufig gestellte Fragen zu externen Linien

Stellt Databricks Connectors oder Crawler bereit, um externe Linienmetadaten automatisch einzubringen?

Nein, externe Linien werden nicht automatisch erfasst. Sie müssen die REST-API oder den Katalog-Explorer verwenden, um externe Linien hinzuzufügen.

Wird die externe Linie, die ich in der Systemtabelle des Lineagesystems addiere, aufgezeichnet?

Nein, externe Linien, die Sie mithilfe dieses Features hinzufügen, können nicht aus der Systemtabelle des Lineagesystems abgefragt werden. Sie müssen die REST-API aufrufen, um externe Linien programmgesteuert abzurufen.

Kann ich mithilfe dieses Features eine Linienbeziehung zwischen zwei Tabellen angeben, die im Unity-Katalog registriert sind?

Um eine Linienbeziehung zwischen zwei Tabellen anzugeben, die beide im Unity-Katalog registriert sind, müssen Sie ein externes Metadatenobjekt erstellen, das sich zwischen ihnen befindet. Sie können eine Tabelle als vorausgehende Tabelle zum externen Metadatenobjekt und die andere als nachfolgende Tabelle angeben, damit sie in der Abstammungsgrafik als verbunden angezeigt werden.

Kann ich dieses Feature verwenden, um mehrere Ebenen externer Linienbeziehungen anzugeben (z. B. Kommentieren von Daten, die mehrere Systeme durchlaufen, bevor Databricks eingegeben wird)?

Ja, Sie können mehrere Ebenen externer Linien angeben, indem Sie mehrere sicherungsfähige Objekte für externe Metadaten erstellen und externe Linienbeziehungen zu jedem dieser Objekte erstellen.

Kann ich externe Linien auf Spaltenebene mithilfe dieses Features hinzufügen?

Ja, Sie können externe Linien auf Spaltenebene hinzufügen. Sie müssen Spaltennamen angeben, wenn Sie das sicherheitsfähige externe Metadatenobjekt erstellen und die Quell- und Zielspaltenzuweisungen beim Konfigurieren der externen Linienbeziehung angeben.

Gibt es Grenzwerte für externe Linien?

Ja, Sie können 10.000 externe Metadatenobjekte und 100.000 externe Linienbeziehungen pro Metastore erstellen. Sie Ressourceneinschränkungen.