Migrar fluxos de trabalho e modelos para o Catálogo do Unity

O Databricks recomenda usar os modelos no Catálogo do Unity para governança aprimorada, fácil compartilhamento entre os espaços de trabalho e ambientes e fluxos de trabalho MLOps mais flexíveis. Esta página orienta você pela migração de modelos no Registro de Modelo do Workspace para o Catálogo do Unity.

Introdução aos modelos no Catálogo do Unity

Os modelos no Catálogo do Unity estendem os benefícios do Catálogo do Unity para modelos de ML, incluindo controle de acesso centralizado, auditoria, linhagem e compartilhamento e descoberta de modelos entre workspaces. Os modelos no Catálogo do Unity também oferecem maior flexibilidade no gerenciamento do ciclo de vida do modelo.

Quando você migra modelos para o Catálogo do Unity, algumas etapas do ciclo de vida do modelo são feitas de forma diferente:

• As permissões do Registro de Modelos do Workspace são substituídas por permissões do Unity Catalog no nível da conta. Consulte a Etapa 2. Atribua permissões do Catálogo do Unity ao modelo.
• Os estágios são substituídos por apelidos e tags personalizadas. Em vez de quatro estágios fixos, você pode criar até 10 aliases personalizados e reatribuíveis. Você também pode definir tags para rotular modelos. Consulte a Etapa 4. Migrar metadados do modelo.
• Os trabalhos de implantação são usados para fazer a transição de modelos ao longo de seu ciclo de vida. Veja Etapa 6. (Opcional) Crie uma tarefa de implantação.

Etapa 1. Criar um modelo no Catálogo do Unity

Consulte Treinar e registrar modelos compatíveis com o Unity Catalog.

Etapa 2. Atribuir permissões do Catálogo do Unity ao modelo

O Catálogo do Unity tem um modelo de permissão unificado. Para saber como atribuir permissões a modelos no Catálogo do Unity, consulte Controle de acesso a modelos.

A tabela a seguir mostra a relação entre permissões no registro do modelo de workspace e privilégios no Catálogo do Unity. Além dos privilégios mostrados na tabela, todas as ações também exigem USE CATALOG e USE SCHEMA privilégios.

Etapa 3. Copiar versões de modelo

Para copiar versões de modelo, use copy_model_version() com o cliente > MLflow = 3.4.0.

import mlflow
from mlflow import MLflowClient

# Registry must be set to workspace registry
mlflow.set_registry_uri("databricks")
client = MlflowClient(registry_uri="databricks")

src_model_uri = f"models:/my_wmr_model/1"
uc_migrated_copy = client.copy_model_version(
   src_model_uri, "mycatalog.myschema.my_uc_model"
)

Se o modelo de destino não existir no Catálogo do Unity, ele será criado por essa chamada à API.

Os modelos no Catálogo do Unity exigem uma assinatura. Se a versão do modelo de workspace não tiver uma assinatura, o Databricks recomendará que você crie uma seguindo as instruções na documentação do MLflow. Outra alternativa é usar a variável MLFLOW_SKIP_SIGNATURE_CHECK_FOR_UC_REGISTRY_MIGRATIONde ambiente. Essa variável de ambiente só está disponível quando você usa copy_model_version() e requer a versão 3.4.0 do MLflow ou superior. Quando essa variável de ambiente é definida como "true", uma assinatura não é necessária.

Para obter um script que você pode usar para migrar todas as versões de modelo de um modelo no registro de modelo do espaço de trabalho para um modelo no Catálogo Unity de destino, consulte Migrar versões de modelo do Registro de Modelo do Espaço de Trabalho para o Catálogo Unity.

Etapa 4. Migrar metadados do modelo

Esta seção descreve como mapear metadados de registro de workspace para metadados de modelo e versão de modelo do Unity Catalog, incluindo estágios, tags e descrições.

Estágios

O Registro de Modelo de Workspace usou o conceito de "estágios", como Staging e Production, para acompanhar o ciclo de vida do modelo. Você pode procurar ou chamar modelos por estágio. No Catálogo do Unity, os estágios foram substituídos por aliases para chamar um modelo e por tags para rotular modelos.

Para a migração simples de estágios do Registro de Modelos do Workspace, você pode usar diretamente "Produção" e "Preparação" ou quaisquer outros nomes de alias que preferir. No Registro de Modelo do Workspace, várias versões de modelo podem estar no mesmo estágio e a versão mais recente foi chamada quando você fez referência a uma versão do modelo. No Catálogo do Unity, um alias é atribuído a uma versão exclusiva do modelo.

Para a migração simples de rótulos de estágio, use marcas para rotular versões de modelo como "Produção", "Preparo" ou "Arquivado". Você também pode usar qualquer outro rótulo. Para obter mais informações sobre marcas, consulte Marcas.

No Registro de Modelo do Workspace, o ciclo de vida de uma versão do modelo era acompanhado por estágio e a aprovação humana era necessária para uma solicitação de transição. No Catálogo do Unity, o ciclo de vida de uma versão de modelo é gerenciado por um trabalho de implantação. Cada tarefa no trabalho de implantação corresponde a um "estágio". As tarefas de implantação permitem personalizar o ciclo de vida do modelo e acomodar fluxos de trabalho mais complicados do que o Registro de Modelos do Workspace. As tarefas de implantação ainda permitem aprovações humanas. Para obter detalhes, consulte os trabalhos de implantação do MLflow 3.

Etiquetas

No Catálogo do Unity, você cria tags no modelo ou versão do modelo.

Para pesquisar um modelo por marca no Gerenciador de Catálogos, digite a chave ou o valor na caixa de pesquisa:

No Gerenciador de Catálogos, você pode usar marcas apenas para pesquisar modelos, não versões de modelo. O cliente MLflow não dá suporte à pesquisa de modelos por marcas do Catálogo do Unity. O Catálogo do Unity permite no máximo 50 marcas por objeto.

Descrição e comentários

Você pode adicionar descrições ao modelo e à versão do modelo. O Catálogo do Unity também fornece a opção de uma descrição gerada por IA para o modelo.

Os modelos no Catálogo do Unity não têm um local correspondente para as informações mostradas na seção Atividades na página de versão do modelo no registro de modelos do workspace. Se houver informações nessa seção que você deseja transferir com a versão do modelo, copie-a para a seção Descrição da página de versão do modelo no Catálogo do Unity.

Etapa 5. Atualizar todos os workloads e endpoints

Depois de migrar modelos e versões de modelo para o Catálogo do Unity, atualize todos os trabalhos, notebooks e outras cargas de trabalho, incluindo os endpoints de serviço de modelo, para usar as versões no Catálogo do Unity.

Etapa 6. (Opcional) Criar uma tarefa de implantação

Um trabalho de implantação é disparado automaticamente sempre que uma nova versão do modelo é criada e automatiza o fluxo de trabalho de avaliação, aprovação e implantação. Para obter detalhes, consulte os trabalhos de implantação do MLflow 3.

Você pode definir notificações para disparar em eventos como a criação ou aprovação de uma versão do modelo. Confira Adicionar notificações sobre um trabalho.

Se você tiver configurado notificações por email para eventos no Registro de Modelo do Workspace, migre-as da seguinte maneira:

• A nova versão do modelo foi criada: configurar um trabalho de implantação que é disparado quando uma nova versão do modelo é criada e uma notificação por email quando o trabalho é disparado.
• Solicitação de transição de estágio: solicitações de transição de estágio correspondem às tarefas de aprovação. Defina uma notificação por email para o sucesso ou falha da tarefa de aprovação.
• Transições de estágio: as transições de estágio correspondem às tarefas de trabalho. Defina uma notificação por email para o êxito ou falha da tarefa.
• Novos comentários: Não há suporte para comentários no Catálogo do Unity.

Se você tiver webhooks configurados para eventos, poderá implementá-los no Catálogo do Unity como gatilhos de tarefas de eventos de modelo. Os gatilhos de modelo permitem automatizar trabalhos do Lakeflow com base na criação de novos modelos, versões de modelo ou aliases de modelo no Catálogo do Unity. Os gatilhos de modelo estão em Versão Prévia Privada. Entre em contato com seu representante do Databricks para obter mais informações.

Mais informações

As páginas vinculadas abaixo descrevem como migrar fluxos de trabalho (trabalhos de treinamento de modelo e inferência em lote) do Registro de Modelo do Workspace para o Catálogo do Unity.

• Atualizar os fluxos de trabalho ML nos modelos de destino no Catálogo do Unity
• Migrar versões de modelo do Registro de Modelo do Workspace para o Catálogo do Unity