Migrieren von Workflows und Modellen zum Unity-Katalog

Databricks empfiehlt die Verwendung von Modellen in Unity Catalog, um die Governance zu verbessern, die Freigabe über Arbeitsbereiche und Umgebungen hinweg zu erleichtern und flexiblere MLOps-Workflows zu ermöglichen. Diese Seite führt Sie durch die Migration von Modellen in der Arbeitsbereichsmodellregistrierung in den Unity-Katalog.

Einführung in Modelle im Unity-Katalog

Modelle im Unity-Katalog erweitern die Vorteile des Unity-Katalogs auf ML-Modelle, einschließlich zentralisierter Zugriffssteuerung, Überwachung, Lineage und Modellfreigabe und -ermittlung über Arbeitsbereiche hinweg. Modelle im Unity-Katalog bieten auch mehr Flexibilität beim Verwalten des Modelllebenszyklus.

Wenn Sie Modelle zum Unity-Katalog migrieren, werden einige Modelllebenszyklusschritte anders ausgeführt:

• Arbeitsbereichsmodellregistrierungsberechtigungen werden durch Unity-Katalogberechtigungen auf Kontoebene ersetzt. Siehe Schritt 2. Weisen Sie dem Modell Unity-Katalogberechtigungen zu.
• Phasen werden durch benutzerdefinierte Aliase und Tags ersetzt. Anstelle von vier festen Stufen können Sie bis zu 10 benutzerdefinierte und neu zugewiesene Aliase erstellen. Sie können auch Tags festlegen, um Modelle zu kennzeichnen. Siehe Schritt 4. Migrieren von Modellmetadaten.
• Bereitstellungsaufträge werden verwendet, um Modelle über ihren Lebenszyklus zu übertragen. Siehe Schritt 6. (Optional) Erstellen Sie einen Bereitstellungsauftrag.

Schritt 1. Erstellen eines Modells im Unity-Katalog

Siehe Trainieren und registrieren Unity Catalog-kompatible Modelle.

Schritt 2. Zuweisen von Unity-Katalogberechtigungen zum Modell

Unity-Katalog verfügt über ein einheitliches Berechtigungsmodell. Informationen zum Zuweisen von Berechtigungen zu Modellen im Unity-Katalog finden Sie unter Steuern des Zugriffs auf Modelle.

Die folgende Tabelle zeigt die Beziehung zwischen Berechtigungen in der Arbeitsbereichsmodellregistrierung und berechtigungen im Unity-Katalog. Zusätzlich zu den in der Tabelle angezeigten Privilegien sind für alle Aktionen auch USE CATALOG und USE SCHEMA Privilegien erforderlich.

Schritt 3. Modellversionen kopieren

Verwenden Sie copy_model_version() zum Kopieren von Modellversionen mit dem MLflow-Client >= 3.4.0.

import mlflow
from mlflow import MLflowClient

# Registry must be set to workspace registry
mlflow.set_registry_uri("databricks")
client = MlflowClient(registry_uri="databricks")

src_model_uri = f"models:/my_wmr_model/1"
uc_migrated_copy = client.copy_model_version(
   src_model_uri, "mycatalog.myschema.my_uc_model"
)

Wenn das Zielmodell nicht im Unity-Katalog vorhanden ist, wird es von diesem API-Aufruf erstellt.

Modelle im Unity-Katalog erfordern eine Signatur. Wenn die Arbeitsbereichsmodellversion keine Signatur aufweist, empfiehlt Databricks, eine zu erstellen, indem Sie die Anweisungen in der MLflow-Dokumentation befolgen. Eine weitere Alternative besteht darin, die Umgebungsvariable MLFLOW_SKIP_SIGNATURE_CHECK_FOR_UC_REGISTRY_MIGRATIONzu verwenden. Diese Umgebungsvariable ist nur verfügbar, wenn Sie copy_model_version() verwenden und MLflow-Version 3.4.0 oder höher erforderlich ist. Wenn diese Umgebungsvariable auf "true" festgelegt ist, ist keine Signatur erforderlich.

Ein Skript, das Sie verwenden können, um alle Modellversionen eines Modells in Ihrer Arbeitsbereichsmodellregistrierung zu einem Ziel-Unity-Katalogmodell zu migrieren, finden Sie unter Migrieren von Modellversionen aus der Arbeitsbereichsmodellregistrierung zum Unity-Katalog.

Schritt 4. Migrieren von Modellmetadaten

In diesem Abschnitt wird beschrieben, wie Metadaten auf Arbeitsbereichsebene dem Unity-Katalogmodell und Modellversionsmetadaten wie Phasen, Tags und Beschreibungen zugeordnet werden.

PHASEN

Das Modellregister des Arbeitsbereichs verwendet das Konzept von "Phasen", wie z. B. Staging und Production, um den Modelllebenszyklus zu verfolgen. Sie können nach Modellen anhand ihrer Stufe suchen oder diese aufrufen. Im Unity-Katalog wurden Phasen durch Aliase zum Aufrufen eines Modells und durch Tags für Bezeichnungsmodelle ersetzt.

Für die einfache Migration von Arbeitsbereichsmodellregistrierungsphasen können Sie direkt "Produktion" und "Staging" oder andere aliasnamen verwenden, die Sie bevorzugen. In der Arbeitsbereichsmodellregistrierung können sich mehrere Modellversionen in derselben Phase befinden, und die neueste Version wurde aufgerufen, als Sie auf eine Modellversion verwiesen haben. Im Unity-Katalog wird einem Alias eine eindeutige Modellversion zugewiesen.

Verwenden Sie für die einfache Migration von Phasenbezeichnungen Tags zum Bezeichnen von Modellversionen als "Produktion", "Staging" oder "Archiviert". Sie können auch jede andere Bezeichnung verwenden. Weitere Informationen zu Tags finden Sie unter Tags.

In der Arbeitsbereichsmodellregistrierung wurde der Lebenszyklus einer Modellversion schrittweise nachverfolgt, und für eine Übergangsanforderung war eine menschliche Genehmigung erforderlich. Im Unity-Katalog wird der Lebenszyklus einer Modellversion von einem Bereitstellungsauftrag verwaltet. Jede Aufgabe im Bereitstellungsauftrag entspricht einer "Phase". Mit Bereitstellungsaufträgen können Sie den Modelllebenszyklus anpassen und komplexere Workflows als die Arbeitsbereichsmodellregistrierung berücksichtigen. Bereitstellungsaufträge erfordern weiterhin menschliche Genehmigungen. Ausführliche Informationen finden Sie unter MLflow 3-Bereitstellungsaufträge.

Stichwörter

Im Unity-Katalog erstellen Sie Tags für das Modell oder die Modellversion.

Wenn Sie im Katalog-Explorer nach einem Modell anhand eines Tags suchen möchten, geben Sie den Tag oder Wert in das Suchfeld ein.

Im Katalog-Explorer können Sie Tags nur verwenden, um nach Modellen zu suchen, nicht nach Modellversionen. Der MLflow-Client unterstützt die Suche nach Modellen nach Unity Catalog-Tags nicht. Unity Catalog ermöglicht höchstens 50 Tags pro Objekt.

Beschreibung und Kommentare

Sie können der Modell- und Modellversion Beschreibungen hinzufügen. Unity Catalog bietet auch die Möglichkeit einer KI-generierten Beschreibung für das Modell.

Modelle im Unity-Katalog verfügen nicht über einen entsprechenden Speicherort für die Informationen, die im Abschnitt "Aktivitäten " auf der Modellversionsseite in der Arbeitsbereichsmodellregistrierung angezeigt werden. Wenn in diesem Abschnitt Informationen vorhanden sind, die Sie mit der Modellversion übertragen möchten, kopieren Sie sie in den Abschnitt "Beschreibung" der Modellversionsseite im Unity-Katalog.

Schritt 5. Aktualisieren aller Workloads und Endpunkte

Nachdem Sie Modelle und Modellversionen zum Unity-Katalog migriert haben, aktualisieren Sie alle Aufträge, Notizbücher und andere Arbeitslasten, einschließlich Modellbereitstellungsendpunkte, um die Versionen im Unity-Katalog zu verwenden.

Schritt 6. (Optional) Erstellen Sie einen Bereitstellungsauftrag

Ein Bereitstellungsauftrag wird automatisch ausgelöst, wenn eine neue Modellversion erstellt wird, und automatisiert den Auswertungs-, Genehmigungs- und Bereitstellungsworkflow. Ausführliche Informationen finden Sie unter MLflow 3-Bereitstellungsaufträge.

Sie können Benachrichtigungen festlegen, die für Ereignisse wie die Erstellung oder Genehmigung einer Modellversion ausgelöst werden sollen. Weitere Informationen finden Sie unter Hinzufügen von Benachrichtigungen zu einem Auftrag.

Wenn Sie E-Mail-Benachrichtigungen für Ereignisse in der Arbeitsbereichsmodellregistrierung eingerichtet haben, migrieren Sie sie wie folgt:

• Neue Modellversion wurde erstellt: Richten Sie einen Bereitstellungsauftrag ein, der ausgelöst wird, wenn eine neue Modellversion erstellt wird, und eine E-Mail-Benachrichtigung, wenn der Auftrag ausgelöst wird.
• Phasenübergangsanforderung: Phasenübergangsanforderungen entsprechen Genehmigungsaufgaben. Legen Sie eine E-Mail-Benachrichtigung für den Erfolg oder Fehler der Genehmigungsaufgabe fest.
• Phasenübergänge: Phasenübergänge entsprechen Aufgaben. Legen Sie eine E-Mail-Benachrichtigung für den Erfolg oder Fehler der Aufgabe fest.
• Neue Kommentare: Kommentare werden im Unity-Katalog nicht unterstützt.

Wenn Sie Webhooks für Ereignisse eingerichtet haben, können Sie sie im Unity-Katalog als Modellereignisauftragsauslöser implementieren. Mit Modelltriggern können Sie Lakeflow-Aufträge basierend auf der Erstellung neuer Modelle, Modellversionen oder Modellaliasen im Unity-Katalog automatisieren. Modelltrigger befinden sich in der privaten Vorschau. Wenden Sie sich an Ihren Databricks-Vertreter, um weitere Informationen zu erhalten.

Mehr Informationen

Die unten verknüpften Seiten beschreiben, wie Workflows (Modellschulungs- und Batch-Ableitungsaufträge) aus der Arbeitsbereichsmodellregistrierung zum Unity-Katalog migriert werden.

• Upgrade von ML-Workflows auf Zielmodelle in Unity Catalog
• Migrieren von Modellversionen aus der Arbeitsbereichsmodellregistrierung zum Unity-Katalog