Compartilhar via

Monitorar a qualidade do modelo e a integridade do ponto de extremidade

O Mosaic AI Model Serving fornece ferramentas avançadas para monitorar a qualidade e a integridade dos modelos e suas implantações. A tabela a seguir é uma visão geral de cada ferramenta de monitoramento disponível.

Ferramenta Descrição Finalidade Access
Logs de serviço As capturas stdout e stderr transmitem do ponto de extremidade do serviço do modelo. Isso é útil para depuração durante a implantação do modelo. Use logging.warning(...) ou logging.error(...) para exibição imediata nos logs. Acessível por meio da guia Logs na interface do usuário de serviço. Os logs são transmitidos em tempo real e podem ser exportados por meio da API.
Logs de build Exibe a saída do processo que cria automaticamente um ambiente Python pronto para produção para o ponto de extremidade de serviço do modelo. Útil para diagnosticar problemas de implantação e dependência de modelo. Disponível após a conclusão do modelo que serve o build em Logs de build na guia Logs. Os logs podem ser exportados por meio da API. Esses logs são mantidos por até trinta (30) dias.
Métricas de integridade do ponto de extremidade Fornece insights sobre métricas de infraestrutura, como latência, taxa de solicitação, taxa de erro, uso da CPU e uso de memória. Isso é importante para entender o desempenho e a integridade da infraestrutura de serviço. Disponível por padrão na interface do usuário de serviço nos últimos 14 dias. Os dados também podem ser transmitidos para ferramentas de observabilidade em tempo real.
Tabelas de inferência habilitadas para gateway de IA Registra automaticamente solicitações e respostas de previsão online em tabelas Delta gerenciadas pelo Catálogo do Unity para endpoints que atendem modelos personalizados, modelos externos ou cargas de trabalho de taxa de transferência provisionadas. Use essa ferramenta para monitorar e depurar a qualidade ou respostas do modelo, gerar conjuntos de dados de treinamento ou realizar auditorias de conformidade. Pode ser habilitado para pontos de extremidade de serviço de modelo existentes e novos ao habilitar os recursos do Gateway de IA usando a Interface do Usuário de Serviço ou a API REST.

Dica

Use essas ferramentas de monitoramento para identificar gargalos de desempenho e otimizar seus pontos de extremidade. Para obter estratégias de otimização abrangentes, consulte Otimizar pontos de extremidade de serviço de modelo para produção.

Recursos adicionais

  • Last updated on