Introdução ao Rastreamento com MLflow para GenAI (Databricks Notebook)

Este guia de início rápido ajuda você a integrar o seu aplicativo GenAI com o MLflow Tracking se você usar um notebook do Databricks como seu ambiente de desenvolvimento. Se você usar um IDE local, use o início rápido do IDE.

Ao final deste tutorial, você terá:

• Um bloco de anotações do Databricks com um experimento de MLflow vinculado para seu aplicativo GenAI
• Uma aplicação GenAI simples com o MLflow Tracing
• Um registro desse aplicativo em seu experimento no MLflow

Configuração do ambiente

1. Crie um novo bloco de anotações no workspace do Databricks. O notebook terá um teste de MLflow padrão que é o contêiner para seu aplicativo GenAI. Saiba mais sobre os experimentos do MLflow na seção de conceitos do MLflow.

2. Instale os pacotes necessários:

   • mlflow[databricks]: use a versão mais recente do MLflow para obter mais recursos e melhorias.
   • openai: este tutorial usará o cliente da API OpenAI para chamar modelos hospedados pelo Databricks.

%pip install -qq --upgrade "mlflow[databricks]>=3.1.0" openai
dbutils.library.restartPython()

Etapa 1: Instrumentar seu aplicativo com rastreamento

Os snippets de código abaixo definem um aplicativo GenAI simples que completa templates de frases usando uma LLM.

Primeiro, crie um cliente OpenAI para se conectar aos modelos de base hospedados pelo Databricks:

from databricks.sdk import WorkspaceClient

# Create an OpenAI client that is connected to Databricks-hosted LLMs
w = WorkspaceClient()
client = w.serving_endpoints.get_open_ai_client()

model_name = "databricks-claude-sonnet-4"

Como alternativa, você pode usar o SDK do OpenAI para se conectar aos modelos hospedados pelo OpenAI:

import openai

# Ensure your OPENAI_API_KEY is set in your environment
# os.environ["OPENAI_API_KEY"] = "<YOUR_API_KEY>" # Uncomment and set if not globally configured

client = openai.OpenAI()

model_name = "gpt-4o-mini"

Em segundo lugar, defina e execute seu aplicativo. Para instrumentar o aplicativo com rastreamento, basta usar:

• mlflow.openai.autolog(): instrumentação automática para capturar detalhes da chamada ao SDK do OpenAI
• @mlflow.trace: Decorador que facilita o rastreamento de qualquer função do Python

import mlflow
import os

# Enable auto-tracing for OpenAI
mlflow.openai.autolog()

# Set up MLflow tracking to Databricks
mlflow.set_tracking_uri("databricks")
mlflow.set_experiment("/Shared/openai-tracing-demo")

# Use the trace decorator to capture the application's entry point
@mlflow.trace
def my_app(input: str):
  # This call is automatically instrumented by `mlflow.openai.autolog()`
  response = client.chat.completions.create(
    model=model_name,
    temperature=0.1,
    max_tokens=200,
    messages=[
      {
        "role": "system",
        "content": "You are a helpful assistant.",
      },
      {
        "role": "user",
        "content": input,
      },
    ]
  )
  return response.choices[0].message.content

result = my_app(input="What is MLflow?")
print(result)

Para obter detalhes sobre como adicionar rastreamento a aplicativos, consulte o guia de instrumentação de rastreamento e as mais de 20 integrações de biblioteca.

Etapa 2: Exibir o rastreamento no MLflow

O rastreamento será exibido abaixo da célula do notebook.

Se desejar, você pode acessar a interface da área de experimentos do MLflow para ver a trilha:

1. Clique no na barra lateral direita.
2. Clique no ícone de abrir ao lado de execuções de experimento.
3. O rastreamento gerado aparece na guia Rastreamentos .
4. Clique no rastreamento para exibir seus detalhes.

Entender o rastreamento

O rastreamento que você acabou de criar mostra:

• Espaço raiz: representa as entradas para a my_app(...) função
  • Span filho: representa a solicitação de conclusão do OpenAI
• Atributos: contém metadados como nome do modelo, contagens de token e informações de tempo
• Entradas: as mensagens enviadas para o modelo
• Saídas: a resposta recebida do modelo

Esse rastreamento simples já fornece informações valiosas sobre o comportamento do aplicativo, como:

• O que foi perguntado
• Qual resposta foi gerada
• Quanto tempo a solicitação levou
• Quantos tokens foram usados (afetando o custo)

Para aplicativos mais complexos, como sistemas RAG ou agentes de várias etapas, o Rastreamento do MLflow fornece ainda mais valor revelando o funcionamento interno de cada componente e etapa.

Próximas etapas

• Guia de rastreamento do MLflow – Comece aqui para obter um aprendizado mais aprofundado sobre o Rastreamento do MLflow
• Integrações de rastreamento do MLflow – mais de 20 bibliotecas com integrações de rastreamento automático
• Conceitos de rastreamento – Entender os conceitos básicos do Rastreamento do MLflow

Notebook de exemplo

Introdução ao Rastreamento com MLflow para GenAI (Databricks Notebook)

Obter laptop