Konfigurieren des AI Gateway auf Modellbereitstellungsendpunkten

In diesem Artikel erfahren Sie, wie Sie Mosaik AI Gateway für ein Modell konfigurieren, das Endpunkt bedient.

Requirements

• Ein Databricks-Arbeitsbereich in einer Region, in der die Modellbereitstellung unterstützt wird. Siehe Verfügbarkeit von Features des Modells.
• Ein Modell, das Endpunkt bedient. Sie können einen der vorkonfigurierten Pay-per-Token-Endpunkte in Ihrem Arbeitsbereich verwenden oder die folgenden Aktionen ausführen:
  • Führen Sie zum Erstellen eines Endpunkts für externe Modelle die Schritte 1 und 2 von Erstellen eines Endpunkts für den Servicedienst eines externen Modells aus.
  • Um einen Endpunkt für den bereitgestellten Durchsatz zu erstellen, siehe Foundation-Modell-APIs für bereitgestellten Durchsatz.
  • Informationen zum Erstellen eines Endpunkts für ein benutzerdefiniertes Modell finden Sie unter Erstellen eines Endpunkts.

Konfigurieren des KI-Gateways mithilfe der Benutzeroberfläche

Im Abschnitt "AI-Gateway " der Seite "Endpunkterstellung" können Sie KI-Gateway-Features einzeln konfigurieren. Siehe Unterstützte Features, um herauszufinden, welche Funktionen auf externen Modellbereitstellungsendpunkten und bereitgestellten Durchsatzendpunkten verfügbar sind.

In der folgenden Tabelle wird zusammengefasst, wie Sie das KI-Gateway während der Erstellung des Endpunkts mithilfe der Benutzeroberfläche zur Bereitstellung konfigurieren. Wenn Sie dies lieber programmgesteuert ausführen möchten, lesen Sie das Beispiel "Notizbuch".

Das folgende Diagramm zeigt ein Beispiel für Fallbacks, bei dem

• Drei bereitgestellte Entitäten werden auf einem Modellbereitstellungs-Endpunkt bereitgestellt.
• Die Anforderung wird ursprünglich an die bereitgestellte Entität 3 weitergeleitet.
• Wenn die Anforderung eine Antwort von 200 zurückgibt, war die Anforderung für die bereitgestellte Entität 3 erfolgreich, und die Anforderung und ihre Antwort werden in den Tabellen zur Verwendungsnachverfolgung und Nutzlastprotokollierung des Endpunkts protokolliert.
• Wenn die Anforderung einen 429- oder 5xx-Fehler für die bereitgestellte Entität 3 zurückgibt, greift die Anforderung auf die nächste bereitgestellte Entität auf den Endpunkt zurück, die Entität "Bereitgestellt" 1.
  • Wenn die Anforderung einen Fehler vom Typ 429 oder 5xx für die Bereitgestellte Entität 1 zurückgibt, greift die Anforderung auf die nächste bereitgestellte Entität auf dem Endpunkt zurück, die Entität "Bereitgestellt" 2.
  • Wenn die Anforderung einen Fehler vom Typ 429 oder 5xx für die bereitgestellte Entität 2 zurückgibt, schlägt die Anforderung fehl, da dies die maximale Anzahl von Fallbackentitäten ist. Die fehlgeschlagene Anforderung und der Antwortfehler werden in den Tabellen für die Verwendungsnachverfolgung und die Nutzlastprotokollierung protokolliert.

Konfigurieren von KI-Schutzmaßnahmen in der Benutzeroberfläche

In der folgenden Tabelle wird gezeigt, wie unterstützten Schutzmaßnahmen konfiguriert werden.

Schemas für die Verbrauchsnachverfolgungstabelle

In den folgenden Abschnitten werden die Schemas der Verwendungsnachverfolgungstabellen für die system.serving.served_entities und die system.serving.endpoint_usage Systemtabellen zusammengefasst.

system.serving.served_entities Schema der Verwendungsnachverfolgungstabelle

Die system.serving.served_entities-Systemtabelle für Nutzungsverfolgung verwendet das folgende Schema:

system.serving.endpoint_usage Schema der Verwendungsnachverfolgungstabelle

Die system.serving.endpoint_usage-Systemtabelle für Nutzungsverfolgung verwendet das folgende Schema:

Weitere Definition der Nutzung mit usage_context

Wenn Sie ein externes Modell mit aktivierter Verwendungsnachverfolgung abfragen, können Sie den usage_context-Parameter mit Typ Map[String, String] angeben. Die Zuordnung des Verwendungskontexts wird in der Tabelle zur Verwendungsnachverfolgung in der usage_context-Spalte angezeigt. Die usage_context Kartengröße darf 10 KiB nicht überschreiten.

{
  "messages": [
    {
      "role": "user",
      "content": "What is Databricks?"
    }
  ],
  "max_tokens": 128,
  "usage_context":
    {
      "use_case": "external",
      "project": "project1",
      "priority": "high",
      "end_user_to_charge": "abcde12345",
      "a_b_test_group": "group_a"
    }
}

Wenn Sie den OpenAI Python-Client verwenden, können Sie usage_context angeben, indem Sie ihn im extra_body-Parameter einfügen.

from openai import OpenAI

client = OpenAI(
    api_key="dapi-your-databricks-token",
    base_url="https://example.staging.cloud.databricks.com/serving-endpoints"
)

response = client.chat.completions.create(
    model="databricks-claude-sonnet-4-5",
    messages=[{"role": "user", "content": "What is Databricks?"}],
    temperature=0,
    extra_body={"usage_context": {"project": "project1"}},
)
answer = response.choices[0].message.content
print("Answer:", answer)

Kontoadministratoren können unterschiedliche Zeilen basierend auf dem Verwendungskontext aggregieren, um Einblicke zu erhalten und diese Informationen mit den Informationen in der Nutzlastprotokollierungstabelle zu verknüpfen. Sie können z. B. end_user_to_charge zu usage_context für die Nachverfolgung der Kostenzuordnung für Endbenutzer hinzufügen.

Überwachen der Endpunktnutzung

Um die Endpunktnutzung zu überwachen, können Sie die Systemtabellen und -ableitungstabellen für Ihren Endpunkt verknüpfen.

Verknüpfen von Systemtabellen

Dieses Beispiel gilt für externe, bereitgestellte Durchsatz-, Pay-per-Token- und benutzerdefinierte Modellendpunkte.

Verwenden Sie die folgende SQL-Datei, um die endpoint_usage Tabellen und served_entities Systemtabellen zu verknüpfen:

SELECT * FROM system.serving.endpoint_usage as eu
JOIN system.serving.served_entities as se
ON eu.served_entity_id = se.served_entity_id
WHERE created_by = "\<user_email\>";

AI Gateway-Funktionen auf Endpunkten aktualisieren

Sie können AI Gateway-Funktionen auf Modellbereitstellungsendpunkten aktualisieren, für die sie zuvor aktiviert waren, und Endpunkte, die nicht aktiviert waren. Aktualisierungen der AI Gateway-Konfigurationen werden innerhalb von 20 bis 40 Sekunden durchgeführt, Aktualisierungen der Ratenbegrenzung können jedoch bis zu 60 Sekunden dauern.

Im Folgenden wird gezeigt, wie Sie die AI Gateway-Funktionen auf einem Modellbereitstellungsendpunkt mithilfe der Serving-Benutzeroberfläche aktualisieren.

Im Abschnitt "Gateway " der Endpunktseite können Sie sehen, welche Features aktiviert sind. Um diese Features zu aktualisieren, klicken Sie auf "KI-Gateway bearbeiten".

Notebookbeispiel

Das folgende Notebook zeigt, wie Sie die Funktionen von Databricks Mosaic AI Gateway programmgesteuert aktivieren und nutzen können, um Modelle von Anbietern zu verwalten und zu steuern. Details zur REST-API finden Sie im PUT /api/2.0/serving-endpoints/{name}/ai-gateway .

Notebook mit Features von Databricks Mosaic AI Gateway aktivieren

Notebook abrufen

Weitere Ressourcen

• Einführung in das Mosaik AI Gateway.
• Überwachen Sie bereitgestellte Modelle mithilfe von AI-Gateway-aktivierten Inference-Tabellen.