Implantações otimizadas sem servidor para pontos de extremidade de serviço de modelo

Este artigo descreve como usar implantações otimizadas sem servidor em seu modelo que atende pontos de extremidade. Implantações otimizadas sem servidor reduzem drasticamente os tempos de implantação e mantêm o ambiente de serviço do modelo igual ao ambiente de treinamento do modelo.

O que são implantações otimizadas sem servidor?

As implantações otimizadas sem servidor aproveitam o empacotamento e o preparo de artefatos de modelo em ambientes de notebook sem servidor durante o registro do modelo, resultando em implantação acelerada de ponto de extremidade e ambientes consistentes entre treinamento e serviço.

Isso difere das implantações otimizadas sem servidor, em que artefatos e ambientes de modelo são empacotados em contêineres no momento da implantação. Nesses casos, o ambiente de serviço pode não corresponder ao usado durante o treinamento de modelo.

Requirements

Os pontos de extremidade otimizados sem servidor têm os mesmos requisitos que o ponto de extremidade de serviço de modelo (consulte Requisitos). Além disso:

• O modelo deve ser um modelo personalizado (não FMAPI)
• O modelo deve ser registrado e registrado em um Notebook sem servidor usando a versão 3 ou 4
• O modelo deve ser registrado e cadastrado com mlflow>=3.1
• O modelo deve ser registrado na UC e servido com CPU
• O tamanho máximo do ambiente do modelo é de 1 GB

Usando implantações otimizadas sem servidor

Ao fazer o log e registrar um modelo, use um Serverless Notebook com o cliente 3 ou 4 e mlflow>=3.1.

Para ajustar a versão do cliente do ambiente sem servidor, consulte Configurar o ambiente sem servidor.

Em seguida, ao registrar um modelo, defina o env_pack parâmetro com os valores desejados.

import mlflow
from mlflow.utils.env_pack import EnvPackConfig

mlflow.register_model(
    model_info.model_uri,
    model_name,
    env_pack=EnvPackConfig(name="databricks_model_serving")
)

Adicionar o parâmetro env_pack empacotará e preparará os artefatos de modelo e o ambiente de notebook sem servidor durante o registro do modelo para que esteja pronto para uso na implantação. Isso pode levar mais tempo em comparação ao registro do modelo sem env_pack.

EnvPackConfig tem um parâmetro install_dependencies (True por padrão) que determina se as dependências do modelo estão instaladas no ambiente atual para confirmar se o ambiente é válido. Se você quiser ignorar essa etapa, defina o valor como False.

Você também pode substituir EnvPackConfig(...) por "databricks_model_serving" como uma forma abreviada. Isso é equivalente a EnvPackConfig(name="databricks_model_serving", install_dependencies = True).

Depois que o registro do modelo for concluído, você poderá implantar o modelo no serviço de disponibilização do modelo. Observe que o tempo de implantação é reduzido e os logs de eventos não indicam mais o build do contêiner.