Modelos de base suportados no Mosaic AI Model Serving

Este artigo descreve os modelos de base que você pode servir usando o Mosaic AI Model Serving.

Os modelos de base são redes neurais grandes e previamente treinadas em amplos e diversificados conjuntos de dados. Esses modelos são projetados para aprender padrões gerais em linguagem, imagens ou outros tipos de dados e podem ser ajustados para tarefas específicas com treinamento adicional. O uso de determinados modelos de base está sujeito à licença do desenvolvedor do modelo e à política de uso aceitável. Consulte Licenças e termos aplicáveis para desenvolvedores de modelos.

O Model Serving oferece opções flexíveis para hospedar e consultar modelos básicos com base em suas necessidades:

• Pay-per-token: Ideal para experimentação e exploração rápida. Esta opção permite que o/a utilizador/a consulte os endpoints pré-configurados no seu espaço de trabalho Databricks sem compromissos de infraestrutura iniciais.
• Funções de IA (inferência em lote): Um subconjunto de modelos alojados em Databricks é otimizado para Funções de IA. Você pode aplicar IA aos seus dados e executar cargas de trabalho de produção de inferência em lote em escala usando essas funções e seus modelos suportados.
• Largura de banda provisionada: Recomendada para casos de uso de produção que exigem garantias de desempenho. Esta opção permite a implantação de modelos fundamentais ajustados com endpoints de serviço otimizados.
• Modelos externos: Esta opção permite o acesso a modelos de base hospedados fora do Databricks, como os fornecidos pela OpenAI ou Anthropic. Esses modelos podem ser gerenciados centralmente dentro do Databricks para uma governança simplificada.

Modelos de base hospedados no Databricks

O Databricks hospeda modelos de fundação aberta de última geração, como o Meta Llama. Esses modelos são disponibilizados usando APIs de modelo de fundação.

A tabela a seguir resume quais famílias de modelos e modelos hospedados pelo Databricks são suportados em cada região com base no recurso Serviço de Modelo.

* Este modelo é suportado com base na disponibilidade da GPU e requer roteamento entre geografias para ser ativado.

Modelos de base do Access hospedados fora do Databricks

Modelos fundamentais criados por fornecedores de LLM, como OpenAI e Anthropic, também são acessíveis no Databricks usando modelos externos . Esses modelos estão alojados fora do Databricks e pode-se criar um endpoint para os consultar. Esses endpoints podem ser geridos centralmente a partir do Azure Databricks, o que facilita o uso e a gestão de vários provedores de LLM na sua organização.

A tabela a seguir apresenta uma lista não exaustiva de modelos suportados e tipos de pontos finais correspondentes. Você pode usar as associações de modelo listadas para ajudá-lo a configurar seu ponto de extremidade para qualquer tipo de modelo recém-lançado à medida que eles se tornam disponíveis com um determinado provedor. Os clientes são responsáveis por garantir a conformidade com as licenças de modelo aplicáveis.

** O provedor de modelos suporta modelos de conclusão e de chat ajustados. Para consultar um modelo ajustado, preencha o campo name da configuração external model com o nome do modelo ajustado.

† O provedor de modelos suporta modelos de conclusão personalizados.

Criar modelo de base servindo endpoints

Para consultar e usar modelos fundamentais nas suas aplicações de IA, deve primeiro criar um endpoint de serviço do modelo. O Model Serving utiliza uma API e uma interface unificadas para criar e atualizar endpoints de modelos fundamentais.

• Para criar um endpoint que forneça variantes ajustadas de modelos de fundação disponibilizados usando APIs de Modelos de Fundação com taxa de transferência provisionada, consulte Criar o seu endpoint de taxa de transferência provisionada usando a API REST.
• Para criar pontos de extremidade de serviço que acedem a modelos de base disponibilizados através da oferta de modelos externos, consulte Criar um ponto de extremidade de serviço de modelo externo.

Modelo fundamental de consulta para atendimento de pontos de extremidade

Depois de criar o seu endpoint de serviço, poderá consultar o seu modelo base. O Model Serving usa uma API e SDK unificadas compatíveis com OpenAI para consultar modelos básicos. Essa experiência unificada simplifica como você experimenta e personaliza modelos básicos para produção em nuvens e provedores suportados.

Veja Usar modelos fundamentais.