Azure OpenAI em Microsoft Foundry Models quotas e limites

Este artigo contém uma referência rápida e uma descrição detalhada das cotas e limites do Azure OpenAI.

Âmbito de aplicação do contingente

As quotas e os limites não são aplicados ao nível do inquilino. Em vez disso, o nível mais alto de restrições de cota tem como escopo o nível de assinatura do Azure.

Atribuição de quotas regionais

Os limites de tokens por minuto (TPM) e solicitações por minuto (RPM) são definidos por região, por assinatura e por modelo ou tipo de implantação.

Por exemplo, se o modelo Padrão Global estiver listado com uma cota gpt-4.1 de 5 milhões de TPM e 5.000 RPM, cada região onde esse modelo ou tipo de implantação está disponível terá seu próprio pool de cotas dedicado desse valor para cada uma de suas assinaturas do Azure. Em uma única assinatura do Azure, é possível usar uma quantidade maior de cota total de TPM e RPM para um determinado modelo e tipo de implantação, desde que você tenha recursos e implantações de modelo espalhados por várias regiões.

Referência a quotas e limites

A seção a seguir fornece um guia rápido para as cotas e limites padrão que se aplicam ao Azure OpenAI:

¹ Nossas APIs atuais permitem até 10 cabeçalhos personalizados, que são passados pelo pipeline e retornados. Alguns clientes agora excedem essa contagem de cabeçalhos, o que resulta em erros HTTP 431. Não há solução para esse erro, a não ser reduzir o volume do cabeçalho. Em versões futuras da API, não passaremos por cabeçalhos personalizados. Recomendamos que os clientes não dependam de cabeçalhos personalizados em arquiteturas de sistema futuras.

Série GPT-5.2

Série GPT-5.1

Série GPT-5

Limitações de velocidade do roteador modelo

Limites de lotes

Limite de lotes

A tabela mostra o limite de cota de lote. Os valores de cota para lote global são representados em tokens enfileirados. Quando você envia um arquivo para processamento em lote, o número de tokens no arquivo é contado. Até que o trabalho em lote atinja um estado terminal, esses tokens contam em relação ao seu limite total de tokens enfileirados.

Lote mundial

B = mil milhões | M = milhão | K = mil

Agrupamento de dados por zonas

GPT-OSS

Restrições de utilização do GPT-4

GPT-4.5 preview Padrão Global

Padrão Global da série GPT-4.1

Padrão de zona de dados da série GPT-4.1

GPT-4 Turbo

gpt-4 (turbo-2024-04-09) tem níveis de limite de taxa com limites mais elevados para determinados tipos de clientes.

Limites de taxa padrão global de uso do computador

Limites de taxa da série O

Padrão Global da série O

série o Data Zone Standard

o1-preview e o1-mini Standard

Limites de taxa GPT-4O

gpt-4o e gpt-4o-mini têm níveis de limite de taxa com limites mais elevados para determinados tipos de clientes.

gpt-4o Padrão Global

gpt-4o Padrão de zona de dados

gpt-4o Padrão

Áudio GPT-4o

Limitações de velocidade da linha GPT-imagem-1

Padrão Global GPT-image-1

Níveis de utilização

As implantações do Padrão Global usam a infraestrutura global do Azure. Eles encaminham dinamicamente o tráfego do cliente para o data center com a melhor disponibilidade para as solicitações de inferência do cliente. Da mesma forma, as implantações do Data Zone Standard permitem que você use a infraestrutura global do Azure para rotear dinamicamente o tráfego para o data center dentro da zona de dados definida pela Microsoft com a melhor disponibilidade para cada solicitação. Essa prática permite uma latência mais consistente para clientes com níveis baixos a médios de tráfego. Clientes com altos níveis sustentados de uso podem ver maior variabilidade na latência de resposta.

As camadas de uso do Azure OpenAI são projetadas para fornecer desempenho consistente para a maioria dos clientes com níveis baixos a médios de tráfego. Cada camada de uso define a taxa de transferência máxima (tokens por minuto) que você pode esperar com latência previsível. Quando o uso permanece dentro do nível atribuído, a latência permanece estável e os tempos de resposta são consistentes.

O que acontece se exceder o nível de utilização?

• Se a taxa de transferência da solicitação exceder o nível de uso, especialmente durante períodos de alta demanda, a latência da resposta poderá aumentar significativamente.
• A latência pode variar e, em alguns casos, pode ser mais de duas vezes maior do que quando se opera dentro da sua camada de uso.
• Essa variabilidade é mais percetível para clientes com alto uso sustentado ou padrões de tráfego intermitente.

Ações recomendadas Se exceder o nível de utilização

Se você encontrar 429 erros ou notar maior variabilidade de latência, aqui está o que você deve fazer:

• Solicitar um aumento de cota: visite o portal do Azure para solicitar uma cota maior para sua assinatura.
• Considere atualizar para uma oferta premium (PTU): para cargas de trabalho sensíveis à latência ou de grande volume, atualize para Unidades de Taxa de Transferência Provisionadas (PTU). A PTU fornece recursos dedicados, capacidade garantida e latência previsível, mesmo em escala. Essa é a melhor opção para aplicativos de missão crítica que exigem desempenho consistente.
• Monitore seu uso: revise regularmente suas métricas de uso no portal do Azure para garantir que você esteja operando dentro de seus limites de camada. Ajuste sua carga de trabalho ou estratégia de implantação conforme necessário.

O limite de uso determina o nível de uso acima do qual os clientes podem ver maior variabilidade na latência de resposta. O uso de um cliente é definido por modelo. É o número total de tokens consumidos em todas as implantações em todas as assinaturas em todas as regiões para um determinado locatário.

Padrão Global, Padrão de Zona de Dados e Padrão

Outros tipos de oferta

Se sua assinatura do Azure estiver vinculada a determinados tipos de oferta, seus valores máximos de cota serão inferiores aos valores indicados nas tabelas anteriores.

• A quota GPT-5-pro só está disponível para subscrições de quota MCA-E e predefinidas. Todos os outros tipos de oferta têm cota zero para este modelo por padrão.

• A cota do modelo de raciocínio GPT-5 é de 20K TPM e 200 RPM para todos os tipos de oferta que não têm acesso à cota MCA-E ou padrão. GPT-5-chat é de 50K e 50 RPM.

• Alguns tipos de oferta são restritos apenas a implantações de Padrão Global nas regiões Leste dos EUA2 e Suécia Central.

^*Esse limite se aplica apenas a um pequeno número de assinaturas de área restrita CSP herdadas. Use a consulta a seguir para determinar qual quotaId valor está associado à sua assinatura.

Para determinar o tipo de oferta associado à sua subscrição, pode verificar o seu quotaId valor. Se o seu quotaId valor não estiver listado nesta tabela, a sua subscrição qualifica-se para a quota predefinida.

az login
access_token=$(az account get-access-token --query accessToken -o tsv)

curl -X GET "https://management.azure.com/subscriptions/{subscriptionId}?api-version=2020-01-01" \
  -H "Authorization: Bearer $access_token" \
  -H "Content-Type: application/json"

az rest --method GET --uri "https://management.azure.com/subscriptions/{sub-id}?api-version=2020-01-01"

Resultado

{
  "authorizationSource": "Legacy",
  "displayName": "Pay-As-You-Go",
  "id": "/subscriptions/aaaaaa-bbbbb-cccc-ddddd-eeeeee",
  "state": "Enabled",
  "subscriptionId": "aaaaaa-bbbbb-cccc-ddddd-eeeeee",
  "subscriptionPolicies": {
    "locationPlacementId": "Public_2014-09-01",
    "quotaId": "PayAsYouGo_2014-09-01",
    "spendingLimit": "Off"
  }
}

Melhores práticas gerais para se manter dentro dos limites das taxas

Para minimizar os problemas relacionados aos limites de taxa, é uma boa ideia usar as seguintes técnicas:

• Implemente a lógica de repetição na aplicação.
• Evite alterações acentuadas na carga de trabalho. Aumente a carga de trabalho gradualmente.
• Teste diferentes padrões de aumento de carga.
• Aumente a cota atribuída para a sua implantação. Mova a quota de outra implantação, se necessário.

Solicitar aumento de cota

Os pedidos de aumento de quota podem ser apresentados através do formulário de pedido de aumento de quota. Devido à alta demanda, os pedidos de aumento de cota são aceitos e preenchidos na ordem em que são recebidos. A prioridade é dada aos clientes que geram tráfego que consome a alocação de cota existente. Sua solicitação pode ser negada se essa condição não for atendida.

Você pode enviar uma solicitação de serviço para outros limites de tarifa.

Limites regionais de capacidade das quotas

Pode consultar a disponibilidade de quotas por região para a sua subscrição no portal da Foundry.

Para exibir a capacidade da cota por região para um modelo ou versão específica, você pode consultar a API de capacidade da sua assinatura. Forneça um subscriptionId, model_namee model_version e a API retorna a capacidade disponível para esse modelo em todas as regiões e tipos de implantação para sua assinatura.

Consulte a referência da API.

import requests
import json
from azure.identity import DefaultAzureCredential

subscriptionId = "Replace with your subscription ID" #replace with your subscription ID
model_name = "gpt-4o"     # Example value, replace with model name
model_version = "2024-08-06"   # Example value, replace with model version

token_credential = DefaultAzureCredential()
token = token_credential.get_token('https://management.azure.com/.default')
headers = {'Authorization': 'Bearer ' + token.token}

url = f"https://management.azure.com/subscriptions/{subscriptionId}/providers/Microsoft.CognitiveServices/modelCapacities"
params = {
    "api-version": "2024-06-01-preview",
    "modelFormat": "OpenAI",
    "modelName": model_name,
    "modelVersion": model_version
}

response = requests.get(url, params=params, headers=headers)
model_capacity = response.json()

print(json.dumps(model_capacity, indent=2))

Conteúdo relacionado

• Explore como gerenciar a cota para suas implantações do Azure OpenAI.
• Saiba mais sobre os modelos subjacentes que alimentam o Azure OpenAI.