Agent-Inferenztabellen: Anfrage- und Bewertungsprotokolle (veraltet)

Wenn Sie einen KI-Agent bereitstellen, erstellt Databricks drei Ableitungstabellen, die Anforderungen und Antworten automatisch an und von Ihrem Agent erfassen. Diese Tabellen helfen Ihnen, die Leistung zu überwachen, Probleme zu debuggen und Benutzerfeedback zu analysieren.

• Unformatierte JSON-Daten geben die Nutzlasttabelle innerhalb einer Stunde ein, nachdem Ihr Agent eine Anforderung erhalten hat.
• Die Anforderungsprotokolle und Bewertungsprotokolle verarbeiten und formatieren Daten aus der Nutzlasttabelle. Dies dauert zusätzliche Zeit.
• Bei Bedarf können Sie Daten manuell aus der Nutzlasttabelle extrahieren und verarbeiten.
• Änderungen an der Nutzlasttabelle (Löschungen oder Aktualisierungen) werden nicht automatisch mit den abgeleiteten Tabellen synchronisiert.

Was hat sich geändert?

Databricks füllt die Tabellen payload_request_logs und payload_assessment_logs nicht mehr automatisch aus.

Was noch funktioniert: Die rohe payload Tabelle empfängt weiterhin Daten aus neuen Anforderungen.

Migrieren zu MLflow 3 und Verwenden der Echtzeitablaufverfolgung zum Vereinheitlichen von Agentprotokollen

Databricks empfiehlt dringend die Migration von Agent-Endpunkten zur Verwendung von MLflow 3. Die Echtzeitablaufverfolgung von MLflow 3 beseitigt die Notwendigkeit separater request_logs- und assessment_logs-Tabellen, indem sie alle Agentprotokolle in einem einzigen Ablaufverfolgungspfad zusammenführt.

MLflow 3 fügt Bewertungen an Ablaufverfolgungen an und protokolliert dann die Ablaufverfolgungen zusammen mit allen Nutzlast-, Antwort- und Zwischenschrittprotokollen auf dem MLflow-Ablaufverfolgungsserver. Siehe Label während der Entwicklung und Konzepte & Datenmodell.

Migrationsschritte

1. Upgrade auf MLflow 3: Stellen Sie sicher, dass Ihr Agent MLflow 3.1.3 oder höher verwendet. Das Tracing wird automatisch aktiviert, wenn Sie Agenten mit MLflow 3 bereitstellen.

# Install prerequisites
%pip install mlflow>=3.1.3

# Restart Python to make sure the new packages are picked up
dbutils.library.restartPython()

2. Protokollieren Sie Ihren Agent: Protokollieren Sie den Agent wie gewohnt, und stellen Sie sicher, dass MLflow 3.1.3 oder höher erforderlich ist. Registrieren Sie dann das Modell bei UC.

# Log your agent
with mlflow.start_run():
    logged_agent_info = mlflow.pyfunc.log_model(
        name="my_agent",
        pip_requirements=[
            "mlflow>=3.1.3",
        ],
        ...
    )

# Register your model to UC
uc_registered_model_info = mlflow.register_model(
    model_uri=logged_agent_info.model_uri, name=UC_MODEL_NAME
)

3. Stellen Sie Ihren Agent bereit: Stellen Sie den Agent wie gewohnt bereit. Legen Sie optional Ihr MLflow-Experiment fest, bevor Sie es bereitstellen, um zu steuern, wo die Ablaufprotokolle erfasst werden. Wenn Sie dies nicht tun, werden die Protokolle zum derzeit aktiven MLflow-Experiment aufgezeichnet.

import mlflow
from databricks import agents

# Set experiment for trace logging
mlflow.set_experiment("/path/to/your/experiment")

# Deploy with automatic tracing
deployment = agents.deploy(uc_model_name, uc_model_info.version)

# Retrieve the query endpoint URL for making API requests
deployment.query_endpoint

Weitere Informationen finden Sie unter Trace Agents, die auf Databricks bereitgestellt wurden .

Alternative Optionen für die weitere Verwendung von MLflow 2

Wenn Sie kein Upgrade auf MLflow 3 durchführen können, füllt Databricks die Rohtabelle payload weiterhin auf. Databricks verarbeitet diese Daten jedoch nicht mehr in die payload_requests_logs und payload_assessment_logs tabellen.

Stattdessen generiert Databricks Ansichten über Ihre Nutzlasttabellen, die dieselben formatierten Daten bereitstellen. Sie haben zwei Möglichkeiten, auf diese Daten zuzugreifen. Verwenden Sie die bereitgestellten Ansichten, oder erstellen Sie materialisierte Ansichten.

Option 1: Verwenden der bereitgestellten Ansichten

Die einfachste Methode besteht darin, die generierten Ansichten payload_request_logs_view und payload_assessment_logs_view anstelle der veralteten Tabellen zu verwenden.

Diese Ansichten fragen die Nutzlasttabelle ab, um die gleichen formatierten Daten bereitzustellen, und sie funktionieren sofort ohne erforderliche Einrichtung.

Benennen Sie optional die Ansichten so um, dass sie ihren ursprünglichen Tabellennamen entsprechen, um Codeänderungen zu minimieren.

Option 2: Erstellen materialisierter Ansichten

Die bereitgestellten Ansichten (payload_request_logs_view und payload_assessment_logs_view) berechnen Daten in Echtzeit durch Abfragen der Nutzlasttabelle. Erstellen Sie für Szenarien, die physische Delta-Tabellen erfordern, z. B. Echtzeitüberwachung, stattdessen materialisierte Ansichten.

Führen Sie das folgende Notizbuch aus, um Ihre Ansichten in materialisierte Ansichten zu konvertieren:

Erstellen materialisierter Ansichten für Agent-Ableitungsprotokolle

Notebook abrufen

Häufig gestellte Fragen

Was geschieht mit den Daten in meinen vorhandenen Anforderungsprotokollen und Bewertungsprotokollen?

Auf vorhandene Daten in Ihren Rückschlusstabellen kann weiterhin zugegriffen werden. Nach dem 4. Dezember 2025 werden jedoch keine neuen Daten in request_logs und assessment_logs Tabellen ausgefüllt.

Bricht meine Agent-Bereitstellung ab?

Nein, Ihre alten Agentbereitstellungen funktionieren weiterhin, und Ihre Payload-Inferenz-Tabellen werden weiterhin aufgefüllt. Nach den Abschaltdaten erhalten Sie jedoch keine Daten in den request_logs- und assessment_logs-Tabellen. Verwenden Sie die bereitgestellten Ansichten, oder migrieren Sie zu MLflow 3, um gleichwertige Funktionen beizubehalten.

Wenn Sie Unterstützung bei der Migration benötigen, wenden Sie sich an Ihr Databricks-Supportteam.

Was kommt als nächstes

• Stellen Sie Ihren Agenten mit Tracing mithilfe von MLflow 3 bereit
• Informationen zu MLflow 3-Bewertungs-APIs
• Einrichten der Produktionsüberwachung für generative KI