Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Mosaic AI Model Serving bietet erweiterte Tools zum Überwachen der Qualität und der Integrität von Modellen und deren Bereitstellungen. Die folgende Tabelle enthält eine Übersicht über jedes verfügbare Überwachungstool.
| Werkzeug | Beschreibung | Zweck | zugreifen |
|---|---|---|---|
| Dienstprotokolle | Erfasst stdout- und stderr-Datenströme aus dem Modellbereitstellungsendpunkt. |
Nützlich für das Debuggen während der Modellimplementierung. Verwenden Sie logging.warning(...) oder logging.error(...) für die sofortige Anzeige in den Protokollen. |
Zugriff über die Registerkarte Protokolle in der Serving-Benutzeroberfläche. Protokolle werden in Echtzeit gestreamt und können über die API exportiert werden. |
| Buildprotokolle | Zeigt die Ausgabe des Prozesses an, der automatisch eine produktionsbereite Python-Umgebung für den Modellbereitstellungsendpunkt erstellt. | Nützlich für die Diagnose von Modellimplementierungs- und Abhängigkeitsproblemen. | Verfügbar nach Abschluss des Modellbereitstellungsbuilds unter Buildprotokolle auf der Registerkarte Protokolle. Protokolle können über die API exportiert werden. Diese Protokolle werden für bis zu dreißig (30) Tage aufbewahrt. |
| Endpunktintegritätsmetriken | Bietet Einblicke in Infrastrukturmetriken wie Latenz, Anforderungsrate, Fehlerrate, CPU-Auslastung und Arbeitsspeicherauslastung. | Wichtig für das Verständnis der Leistung und Integrität der Bereitstellungsinfrastruktur. | Standardmäßig in der Benutzeroberfläche für die letzten 14 Tage verfügbar. Daten können auch in Echtzeit auf Einblickstools gestreamt werden. |
| AI Gateway-fähige Ableitungstabellen | Protokolliert automatisch Onlinevorhersageanforderungen und -antworten in Delta-Tabellen, die vom Unity-Katalog verwaltet werden, für Endpunkte, die benutzerdefinierte Modelle, externe Modelle oder bereitgestellte Durchsatzworkloads bereitstellen. | Verwenden Sie dieses Tool zum Überwachen und Debuggen von Modellqualitäten oder -antworten, zum Generieren von Schulungsdatensätzen oder zum Durchführen von Complianceüberprüfungen. | Kann für vorhandene und neue Modellbereitstellungsendpunkte aktiviert werden, wenn KI-Gateway-Features mithilfe der Dienst-UI oder REST-API aktiviert werden. |
Tipp
Verwenden Sie diese Überwachungstools, um Leistungsengpässe zu identifizieren und Ihre Endpunkte zu optimieren. Für umfassende Optimierungsstrategien siehe Optimieren von Modellausführungsendpunkten für den Produktionseinsatz.