Modelo Limites de serviço e regiões

Este artigo resume as limitações e a disponibilidade da região para o Mosaic AI Model Serving e os tipos de endpoint suportados.

Limites de recursos e carga útil

O Mosaic AI Model Serving impõe limites padrão para garantir um desempenho confiável. Se você tiver comentários sobre esses limites, entre em contato com sua equipe de conta Databricks.

A tabela a seguir resume as limitações de recursos e carga de dados para os endpoints de serviço do modelo.

Limitações de rede e segurança

• Os pontos de extremidade do Model Serving são protegidos pelo controle de acesso e respeitam as regras de entrada relacionadas à rede configuradas no espaço de trabalho, como listas de permissões de IP e Link Privado.
• A conectividade privada (como o Azure Private Link) só é suportada para pontos de extremidade de serviço de modelos que usam largura de banda provisionada ou pontos de extremidade que servem modelos personalizados.
• Por padrão, o Serviço de Modelo não oferece suporte a ligação privada para pontos de extremidade externos (como o Azure OpenAI). O suporte para esta funcionalidade é avaliado e implementado por região. Entre em contato com sua equipe de conta do Azure Databricks para obter mais informações.
• O Model Serving não fornece patches de segurança para imagens de modelo existentes devido ao risco de desestabilização das implantações de produção. Uma nova imagem de modelo criada a partir de uma nova versão do modelo conterá os patches mais recentes. Entre em contato com sua equipe de conta Databricks para obter mais informações.

Padrões de perfil de segurança de conformidade: cargas de trabalho da CPU

A tabela a seguir lista os padrões de conformidade de perfil de segurança suportados para a funcionalidade principal de Serviço de Modelo em cargas de trabalho de CPU.

Limites das APIs do Modelo de Fundação

Para obter informações detalhadas sobre APIs de modelo de fundação, consulte:

• Limites de taxa e cotas: Limites de taxa e cotas de APIs do Modelo de Base - Inclui limites de TPM, disponibilidade regional e restrições específicas do modelo
• Conformidade e segurança: conformidade e segurança das APIs do modelo básico - Abrange padrões de conformidade, processamento de dados e requisitos de segurança

Disponibilidade da região

Se o espaço de trabalho for implantado em uma região que ofereça suporte ao serviço de modelo, mas seja servido por um plano de controle em uma região sem suporte, o espaço de trabalho não suportará o serviço de modelo. Se o utilizador tentar utilizar a disponibilização de modelos num tal espaço de trabalho, verá uma mensagem de erro indicando que esse espaço de trabalho não é suportado. Entre em contato com sua equipe de conta do Azure Databricks para obter mais informações.

Para obter mais informações sobre a disponibilidade regional de cada recurso de serviço de modelo, consulte Disponibilidade de recursos de serviço de modelo.

Para saber a disponibilidade da região do modelo de base hospedado pelo Databricks, consulte Modelos de base hospedados no Databricks.