Limites e regiões do Serviço de Modelo

Este artigo resume as limitações e a disponibilidade regional para o Serviço de Modelos do Mosaic AI e os tipos de endpoints suportados.

Limites de recursos e carga

O Serviço de Modelo do Mosaic AI impõe limites padrão para garantir um desempenho confiável. Se você tiver comentários sobre esses limites, entre em contato com sua equipe de conta do Databricks.

A tabela a seguir resume as limitações de conteúdo e recursos para pontos de extremidade de serviço de modelo.

Limitações de rede e segurança

• Os pontos de extremidade do Serviço de Modelo são protegidos por controle de acesso e respeitam as regras de entrada relacionadas à rede configuradas no espaço de trabalho, como listas de IPs permitidos e Link Privado.
• A conectividade privada (como o Link Privado do Azure) só tem suporte para pontos de extremidade de serviço de modelo que usam taxa de transferência provisionada ou pontos de extremidade que atendem a modelos personalizados.
• Por padrão, o Model Serving não dá suporte ao Link Privado para pontos de extremidade externos (como o Azure OpenAI). O suporte para essa funcionalidade é avaliado e implementado por região. Entre em contato com a equipe da sua conta do Azure Databricks para obter mais informações.
• Model Serving não fornece patches de segurança para imagens de modelos existentes devido ao risco de desestabilização nas implantações de produção. Uma nova imagem de modelo criada a partir de uma nova versão de modelo conterá os patches mais recentes. Entre em contato com a equipe da sua conta do Databricks para obter mais informações.

Padrões de perfil de segurança de conformidade: cargas de trabalho de CPU

A tabela a seguir lista os padrões de conformidade de perfil de segurança compatíveis para a funcionalidade central de Serviço de Modelos em cargas de trabalho de CPU.

Limites de taxa das APIs do Modelo de Base

Para obter informações detalhadas sobre AS APIs do Foundation Model, consulte:

• Limites de taxa e cotas: limites e cotas de taxa de APIs do Modelo de Base – inclui limites de TPM, disponibilidade regional e restrições específicas do modelo
• Conformidade e segurança: conformidade e segurança das APIs do Modelo de Fundação – abrange os padrões de conformidade, o processamento de dados e os requisitos de segurança

Disponibilidade de região

Se o workspace for implantado em uma região que oferece suporte ao serviço de modelo, mas é atendido por um plano de controle em uma região sem suporte, o workspace não oferece suporte ao serviço de modelo. Se você tentar usar o serviço de modelo em tal espaço de trabalho, verá uma mensagem de erro informando que seu espaço de trabalho não é suportado. Entre em contato com a equipe da sua conta do Azure Databricks para obter mais informações.

Para obter mais informações sobre a disponibilidade regional de cada recurso de Serviço de Modelo, consulte a disponibilidade de recursos de serviço de modelo.

Para saber a disponibilidade da região do modelo básico hospedado pelo Databricks, consulte Modelos básicos hospedados no Databricks.