Partilhar via


Referência da tabela do sistema de uso faturável

Este artigo fornece uma visão geral da tabela do sistema de uso faturável, incluindo o esquema e consultas de exemplo. Com as tabelas do sistema, os dados de utilização faturáveis da sua conta são centralizados e encaminhados para todas as regiões, para que possa ver a utilização global da sua conta a partir de qualquer região em que o seu espaço de trabalho se encontre.

Para obter informações sobre como usar esta tabela para monitorar custos e consultas de exemplo, consulte Monitorar custos usando tabelas do sistema.

Caminho da tabela: Esta tabela do sistema encontra-se em system.billing.usage.

Esquema da tabela de uso faturável

A tabela do sistema de uso faturável usa o seguinte esquema:

Nome da coluna Tipo de dados Description Example
record_id cadeia (de caracteres) ID exclusivo para este registro de uso 11e22ba4-87b9-4cc2-9770-d10b894b7118
account_id cadeia (de caracteres) ID da conta para a qual este relatório foi gerado 23e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id cadeia (de caracteres) ID do espaço de trabalho ao qual esse uso foi associado 1234567890123456
sku_name cadeia (de caracteres) Nome do SKU STANDARD_ALL_PURPOSE_COMPUTE
cloud cadeia (de caracteres) Nuvem associada a este uso. Os valores possíveis são AWS, AZUREe GCP. AWS, AZURE ou GCP
usage_start_time carimbo de data/hora A hora de início relevante para este registo de utilização. As informações de fuso horário são registradas no final do valor com +00:00 representando o fuso horário UTC. 2023-01-09 10:00:00.000+00:00
usage_end_time carimbo de data/hora A hora de término relevante para este registro de uso. As informações de fuso horário são registradas no final do valor com +00:00 representando o fuso horário UTC. 2023-01-09 11:00:00.000+00:00
usage_date date Data do registo de utilização, este campo pode ser utilizado para uma agregação mais rápida por data 2023-01-01
custom_tags mapa Tags personalizadas associadas ao registro de uso { “env”: “production” }
usage_unit cadeia (de caracteres) Unidade em que esta utilização é medida DBU
usage_quantity decimal Número de unidades consumidas para este registo 259.2958
usage_metadata estrutura Metadados fornecidos pelo sistema sobre o uso, incluindo IDs para recursos de computação e trabalhos (se aplicável). Consulte Metadados de Utilização. Consulte Metadados de uso
identity_metadata estrutura Metadados fornecidos pelo sistema sobre as identidades envolvidas no uso. Consulte Metadados de identidade. Consulte Metadados de identidade
record_type cadeia (de caracteres) Se o registro é original, uma retratação ou uma reformulação. O valor é ORIGINAL a menos que o registro esteja relacionado a uma correção. Consulte Tipo de registo. ORIGINAL
ingestion_date date Data em que o registro foi ingerido na tabela usage 2024-01-01
billing_origin_product cadeia (de caracteres) O produto que originou o uso. Alguns produtos podem ser cobrados como SKUs diferentes. Para ver os valores possíveis, consulte o produto . JOBS
product_features estrutura Detalhes sobre as características específicas do produto utilizadas. Consulte Características do produto. Ver Características do produto
usage_type cadeia (de caracteres) O tipo de uso atribuído ao produto ou carga de trabalho para fins de faturamento. Os valores possíveis são COMPUTE_TIME, STORAGE_SPACE, NETWORK_BYTE, NETWORK_HOUR, API_OPERATION, TOKEN, GPU_TIME, ou ANSWER. STORAGE_SPACE

Referência de metadados de uso

Os valores em usage_metadata são todas as cadeias de caracteres que informam sobre os objetos e recursos do espaço de trabalho envolvidos no registro de uso.

Apenas um subconjunto desses valores é preenchido em qualquer registro de uso, dependendo do tipo de computação e dos recursos usados. A terceira coluna da tabela mostra quais tipos de uso fazem com que cada valor seja preenchido.

Value Description Preenchido para (caso contrário null)
cluster_id ID do cluster associado ao registro de uso Uso de computação sem servidor, incluindo notebooks, trabalhos, Lakeflow Spark Declarative Pipelines e serviço de modelo legado
job_id ID do trabalho associado ao registo de uso Trabalhos sem servidor e trabalhos executados em computação de trabalho (não preenche para trabalhos executados em computação multiuso)
warehouse_id ID do armazém SQL associado ao registo de utilização Cargas de trabalho executadas em um SQL warehouse
instance_pool_id ID do pool de instâncias associado ao registro de uso Uso de computação sem servidor de pools, incluindo notebooks, trabalhos, Lakeflow Spark Declarative Pipelines e serviço de modelo legado
node_type O tipo de instância do recurso de computação Uso de computação sem servidor, incluindo notebooks, trabalhos, pipelines declarativos do Lakeflow Spark e todos os armazéns SQL
job_run_id ID da execução do trabalho associada ao registro de uso Trabalhos sem servidor e trabalhos executados em computação de trabalho (não preenche para trabalhos executados em computação multiuso)
notebook_id ID do bloco de notas associado à utilização Notebooks sem servidor
dlt_pipeline_id ID do pipeline associado ao registo de uso Lakeflow Spark Declarative Pipelines e funcionalidades que utilizam Lakeflow Spark Declarative Pipelines, como visualizações materializadas, tabelas online, indexação de pesquisa vetorial e Lakeflow Connect
endpoint_name O nome do ponto de extremidade de um modelo de serviço ou ponto de extremidade de pesquisa vetorial associado ao registo de uso Serviço de modelos e busca vetorial
endpoint_id Identificador do endpoint de serviço do modelo ou do endpoint de pesquisa vetorial associado ao registro de uso Serviço de modelos e busca vetorial
dlt_update_id ID da atualização de pipeline associada ao registro de uso Lakeflow Spark Declarative Pipelines e funcionalidades que utilizam Lakeflow Spark Declarative Pipelines, como visualizações materializadas, tabelas online, indexação de pesquisa vetorial e Lakeflow Connect
dlt_maintenance_id Identificador das tarefas de manutenção do pipeline associadas ao registo de uso Lakeflow Spark Declarative Pipelines e funcionalidades que utilizam Lakeflow Spark Declarative Pipelines, como visualizações materializadas, tabelas online, indexação de pesquisa vetorial e Lakeflow Connect
metastore_id Esse valor não é preenchido no Azure Databricks Sempre null
run_name Nome exclusivo voltado para o usuário da execução de ajuste fino do Modelo de Base associado ao registro de uso Ajuste fino de modelo fundamental
job_name Nome dado pelo usuário do trabalho associado ao registro de uso Trabalhos executados em computação sem servidor
notebook_path Caminho de armazenamento do espaço de trabalho do caderno relacionado com o uso Os blocos de anotações são executados em computação sem servidor
central_clean_room_id ID da sala limpa central associada ao registo de utilização Salas Limpas
source_region Região do espaço de trabalho associada ao uso. Retorna apenas um valor para uso relacionado à rede sem servidor. Rede sem servidor
destination_region Região do recurso que está sendo acessado. Retorna apenas um valor para uso relacionado à rede sem servidor. Rede sem servidor
app_id ID do aplicativo associado ao registro de uso Aplicativos Databricks
app_name Nome dado pelo usuário do aplicativo associado ao registro de uso Aplicativos Databricks
private_endpoint_name Nome do ponto de extremidade privado aplicável implantado com computação sem servidor Rede sem servidor
budget_policy_id ID da política de orçamento sem servidor anexada à carga de trabalho Uso de computação sem servidor, incluindo notebooks, trabalhos, pipelines declarativos Lakeflow Spark e pontos de acesso de serviço de modelo
storage_api_type O tipo de operação executada no armazenamento padrão. Os valores possíveis são TIER_1 (PUT, COPY, POST, LIST) e TIER_2 (outras operações) Armazenamento padrão
ai_runtime_workload_id ID da carga de trabalho da GPU sem servidor associada ao registro de uso Cargas de trabalho de GPU sem servidor
uc_table_catalog O nome do catálogo Unity Catalog associado ao registo de utilização Visões materializadas
uc_table_schema O nome do esquema do Catálogo Unity associado ao registro de uso Visões materializadas
uc_table_name O nome da tabela do Catálogo Unity associado ao registro de uso Visões materializadas
database_instance_id ID da instância do banco de dados associada ao registro de uso Instâncias de banco de dados Lakebase
sharing_materialization_id ID da materialização da partilha associada ao registo de utilização Exibir compartilhamento, visualizações materializadas e tabelas de streaming usando o Delta Sharing
usage_policy_id ID da política de utilização associada ao registo de utilização Políticas de utilização
agent_bricks_id ID do agente bricks carga de trabalho associada ao registo de uso Cargas de trabalho do Agent Bricks
base_environment_id ID do ambiente base associado ao uso Uso da criação ou atualização do ambiente base sem servidor de um espaço de trabalho. Preenchido quando billing_origin_product é BASE_ENVIRONMENTS.

Referência de metadados de identidade

A coluna identity_metadata fornece mais informações sobre as identidades envolvidas no uso.

  • O campo run_as regista quem executou a carga de trabalho. Esses valores só são preenchidos para determinados tipos de carga de trabalho listados na tabela abaixo.
  • O campo owned_by só se aplica ao uso do SQL warehouse e registra o usuário ou a entidade de serviço que possui o SQL warehouse responsável pelo uso.
  • O created_by campo aplica-se às Apps da Databricks e aos Agent Bricks, e regista o email do utilizador que criou a aplicação ou o agente.

executar_como identidades

A identidade registada em identity_metadata.run_as depende do produto associado à utilização. Consulte a tabela a seguir para o comportamento identity_metadata.run_as:

Tipo de carga de trabalho Identidade de run_as
Computação de trabalhos O utilizador ou principal de serviço definido na configuração run_as. Por padrão, os trabalhos são executados como a identidade do proprietário do trabalho, mas os administradores podem alterá-lo para ser outro usuário ou entidade de serviço.
Computação sem servidor para trabalhos O utilizador ou principal de serviço definido na configuração run_as. Por padrão, os trabalhos são executados como a identidade do proprietário do trabalho, mas os administradores podem alterá-lo para ser outro usuário ou entidade de serviço.
Computação sem servidor para notebooks O usuário que executou os comandos do bloco de anotações (especificamente, o usuário que criou a sessão do bloco de anotações). Para blocos de anotações compartilhados, isso inclui o uso por outros usuários que compartilham a mesma sessão de bloco de anotações.
Oleodutos declarativos Lakeflow Spark O usuário ou entidade de serviço cujas permissões são usadas para executar o pipeline. Isso pode ser alterado transferindo a propriedade do gasoduto.
Ajuste fino de modelo fundamental O utilizador ou entidade de serviço que iniciou a execução do treinamento de ajuste fino.
Otimização preditiva O principal de serviço pertencente ao Databricks que executa operações de otimização preditiva.
Monitorização da qualidade dos dados O usuário que criou o perfil.

Referência do tipo de registo

A tabela billing.usage suporta correções. As correções ocorrem quando qualquer campo do registro de uso está incorreto e deve ser corrigido.

Quando ocorre uma correção, o Azure Databricks adiciona dois novos registos à tabela. Um registro de retração nega o registro incorreto original e, em seguida, um registro de reafirmação inclui as informações corrigidas. Os registos de correção são identificados através do record_type campo:

  • RETRACTION: Usado para negar o uso incorreto original. Todos os campos são idênticos ao ORIGINAL registro, exceto usage_quantity, que é um valor negativo que cancela a quantidade de uso original. Por exemplo, se a quantidade de uso do registro original fosse 259.4356, o registro de retração teria uma quantidade de uso de -259.4356.
  • RESTATEMENT: O registro que inclui os campos corretos e a quantidade de uso.

Por exemplo, a consulta a seguir retorna a quantidade de uso horário correta relacionada a um job_id, mesmo que correções tenham sido feitas. Ao agregar a quantidade de uso, o registo de retração anula o registo original e apenas os valores da redeclaração são retornados.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

Note

Para correções em que o registro de uso original não deveria ter sido gravado, uma correção só pode adicionar um registro de retração e nenhum registro de redeclaração.

Referência do produto na origem da faturação

Alguns produtos Databricks são cobrados sob a mesma SKU compartilhada. Por exemplo, o monitoramento da qualidade dos dados, a otimização preditiva e os fluxos de trabalho sem servidor são cobrados sob a mesma SKU de trabalhos sem servidor.

Para ajudá-lo a diferenciar o uso, as colunas billing_origin_product e product_features fornecem mais informações sobre o produto específico e os recursos associados ao uso.

A coluna billing_origin_product mostra o produto Databricks associado ao registro de uso. Os valores incluem:

Value Description
JOBS Custos associados às cargas de trabalho do Lakeflow Jobs
DLT Custos associados às cargas de trabalho nos Lakeflow Spark Declarative Pipelines
SQL Custos associados ao Databricks SQL, incluindo cargas de trabalho executadas em armazéns SQL e exibições materializadas
ALL_PURPOSE Custos associados à computação clássica polivalente
MODEL_SERVING Custos associados ao Mosaic AI Model Serving
INTERACTIVE Custos associados a cargas de trabalho interativas sem servidor
DEFAULT_STORAGE Custos associados ao armazenamento padrão
VECTOR_SEARCH Custos associados à Pesquisa Vetorial
LAKEHOUSE_MONITORING Custos associados à monitorização da qualidade dos dados
PREDICTIVE_OPTIMIZATION Custos associados à otimização preditiva
ONLINE_TABLES Custos associados às tabelas online (Legado)
FOUNDATION_MODEL_TRAINING Custos associados ao ajuste fino do modelo de fundação
AGENT_EVALUATION Custos associados à avaliação do agente
FINE_GRAINED_ACCESS_CONTROL Uso sem servidor a partir de controle de acesso refinado em computação dedicada
BASE_ENVIRONMENTS Uso associado à criação ou atualização do ambiente base sem servidor de um espaço de trabalho
DATA_CLASSIFICATION Custos associados às operações de classificação de dados
DATA_QUALITY_MONITORING Custos associados à monitorização da qualidade dos dados, incluindo deteção de anomalias e perfilagem de dados
AI_GATEWAY Custos associados ao uso do AI Gateway
AI_RUNTIME Custos associados a cargas de trabalho de GPU sem servidor
NETWORKING Custos associados à conexão de computação sem servidor aos seus recursos por meio de pontos de extremidade privados. Para uso NETWORKING, workspace_id é null, usage_unit é houre networking.connectivity_type é PRIVATE_IP.
APPS Custos associados à criação e execução de aplicativos Databricks
DATABASE Custos associados às instâncias de banco de dados Lakebase
AI_FUNCTIONS Custos associados ao uso de funções de IA . Este produto apenas regista a utilização para a função AI_PARSE_DOCUMENT .
AGENT_BRICKS Custos associados às cargas de trabalho dos Agent Bricks
CLEAN_ROOM Custos associados às cargas de trabalho das Salas Limpas
LAKEFLOW_CONNECT Custos associados aos conectores geridos Lakeflow Connect

Referência de características do produto

A coluna product_features é um objeto que contém informações sobre os recursos específicos do produto usados e inclui os seguintes pares chave/valor:

Campo Description
jobs_tier Os valores incluem LIGHT, CLASSICou null
sql_tier Os valores incluem CLASSIC, PROou null
dlt_tier Os valores incluem CORE, PRO, ADVANCED, ou null
is_serverless Os valores incluem true ou false, ou null (valor é true ou false quando você pode escolher entre computação sem servidor e clássica, caso contrário, é null)
is_photon Os valores incluem true ou false, ou null
serving_type Os valores incluem MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE, ou null
offering_type Os valores incluem BATCH_INFERENCE ou null
performance_target Indica o modo de desempenho do trabalho ou pipeline sem servidor. Os valores incluem PERFORMANCE_OPTIMIZED, STANDARD, ou null. As cargas de trabalho que não são sem servidor têm um null valor.
ai_runtime.compute_type Indica o tipo de computação para cargas de trabalho de GPU sem servidor ou null
model_serving.offering_type Indica o tipo de oferta para serviço de modelo ou null
ai_gateway.feature_type Indica o tipo de característica para cargas de trabalho do AI Gateway ou null
serverless_gpu.workload_type Indica o tipo de carga de trabalho para computação de GPU sem servidor ou null
ai_functions.ai_function Indica o tipo de função IA ou null
networking.connectivity_type Os valores incluem PUBLIC_IP e PRIVATE_IP
agent_bricks.problem_type Indica o tipo de problema para cargas de trabalho do Agent Bricks. Os valores incluem AGENT_BRICKS_KNOWLEDGE_ASSISTANT ou null
agent_bricks.workload_type Indica o tipo de carga de trabalho dos Agent Bricks. Os valores incluem AGENT_BRICKS_REAL_TIME_INFERENCE ou null