Usar modelos de fundação

Neste artigo, ficará a saber quais opções estão disponíveis para escrever pedidos de consulta para modelos de base e como enviá-los para o endpoint de serviço do modelo. Você pode consultar modelos de base hospedados por Databricks e modelos de fundação hospedados fora de Databricks.

Para solicitações de consulta de modelos tradicionais de ML ou Python, consulte Pontos de extremidade de serviço de consulta para modelos personalizados.

O Mosaic AI Model Serving suporta APIs de modelos de base e modelos externos para acessar modelos de fundação. O Model Serving usa uma API e SDK unificadas compatíveis com OpenAI para consultá-los. Isso torna possível experimentar e personalizar modelos básicos para produção em nuvens e provedores suportados.

Opções de consulta

O Mosaic AI Model Serving fornece as seguintes opções para enviar solicitações de consulta para endpoints que fornecem modelos de base:

Requerimentos

• Um modelo de ponto de extremidade de serviço.
• Um espaço de trabalho Databricks em uma região suportada.
  • Regiões de APIs do Modelo de Fundação
  • Regiões de modelos externos
• Para enviar uma solicitação de pontuação por meio do cliente OpenAI, API REST ou SDK de implantação MLflow, você deve ter um token de API Databricks.

Instalar pacotes

Depois de selecionar um método de consulta, você deve primeiro instalar o pacote apropriado no cluster.

Cliente OpenAI

Para usar o cliente OpenAI, o databricks-sdk[openai] pacote precisa ser instalado em seu cluster. O Databricks SDK fornece um wrapper para construir o cliente OpenAI com autorização configurada automaticamente para consultar modelos de IA generativos. Execute o seguinte no seu bloco de notas ou no seu terminal local:

!pip install databricks-sdk[openai]>=0.35.0

O seguinte só é necessário ao instalar o pacote em um Notebook Databricks

dbutils.library.restartPython()

API REST

O acesso à API REST de serviço está disponível no Databricks Runtime for Machine Learning.

SDK de desenvolvimentos MLflow

!pip install mlflow

O seguinte só é necessário ao instalar o pacote em um Notebook Databricks

dbutils.library.restartPython()

Databricks Python SDK

O SDK do Databricks para Python já está instalado em todos os clusters do Azure Databricks que usam o Databricks Runtime 13.3 LTS ou superior. Para clusters do Azure Databricks que usam o Databricks Runtime 12.2 LTS e inferior, você deve instalar o SDK do Databricks para Python primeiro. Consulte Databricks SDK for Python.

Tipos de modelos de fundação

A tabela a seguir resume os modelos de base suportados com base no tipo de tarefa.

Chamada de função

O Databricks Function Calling é compatível com OpenAI e só está disponível durante a disponibilização do modelo como parte das APIs do Modelo de Fundação e dos endpoints de serviço que disponibilizam modelos externos . Para obter detalhes, consulte Chamada de função no Azure Databricks.

Resultados estruturados

As saídas estruturadas são compatíveis com OpenAI e só estão disponíveis durante o modelo que serve como parte das APIs do Foundation Model. Para obter detalhes, consulte Saídas estruturadas no Azure Databricks.

Armazenamento em cache de prompt

O armazenamento em cache de prompts é suportado para modelos Claude alojados no Databricks, como parte das APIs do Foundation Model.

Você pode especificar o cache_control parâmetro em suas solicitações de consulta para armazenar em cache o seguinte:

• Mensagens de conteúdo de texto na matriz messages.content.
• Pensando no conteúdo das mensagens no array messages.content.
• Blocos de conteúdo de imagens na matriz messages.content.
• Uso da ferramenta tools, resultados e definições no array.

Consulte a referência da API REST do modelo base.

Conteúdo de texto

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "What's the date today?",
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

Razão do Conteúdo

{
  "messages": [
    {
      "role": "assistant",
      "content": [
        {
          "type": "reasoning",
          "summary": [
            {
              "type": "summary_text",
              "text": "Thinking...",
              "signature": "[optional]"
            },
            {
              "type": "summary_encrypted_text",
              "data": "[encrypted text]"
            }
          ]
        }
      ]
    }
  ]
}

ImagemConteúdo

O conteúdo da mensagem de imagem deve usar os dados codificados como fonte. Não há suporte para URLs.

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "What’s in this image?"
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "data:image/jpeg;base64,[content]"
          },
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

ToolCallContent

{
  "messages": [
    {
      "role": "assistant",
      "content": "Ok, let’s get the weather in New York.",
      "tool_calls": [
        {
          "type": "function",
          "id": "123",
          "function": {
            "name": "get_weather",
            "arguments": "{\"location\":\"New York, NY\"}"
          },
          "cache_control": { "type": "ephemeral" }
        }
      ]
    }
  ]
}

Fale com LLMs suportados usando o AI Playground

Você pode interagir com modelos de linguagem grandes suportados usando o AI Playground. O AI Playground é um ambiente semelhante a um bate-papo onde você pode testar, solicitar e comparar LLMs do seu espaço de trabalho do Azure Databricks.

Recursos adicionais

• Monitore modelos disponibilizados usando tabelas de inferência habilitadas pelo AI Gateway
• Implantar fluxos de trabalho de inferência em lote
• APIs do Modelo de Base do Databricks
• Modelos externos no Serviço de Modelos Mosaic AI
• Tutorial: Criação de endpoints de modelos externos para consultar modelos OpenAI
• Modelos de base hospedados pelo Databricks disponíveis nas APIs do Modelo de Fundação
• Referência da API REST do modelo de base