Monitoramento da atividade da conta com tabelas do sistema

Este artigo explica o conceito de tabelas do sistema no Azure Databricks e realça os recursos que você pode usar para aproveitar ao máximo os dados das tabelas do sistema.

O que são tabelas do sistema?

As tabelas do sistema são um armazenamento analítico hospedado no Azure Databricks dos dados operacionais de sua conta, encontrados no catálogo system. As tabelas do sistema podem ser usadas para observabilidade histórica em sua conta.

Requisitos

• Para acessar as tabelas do sistema, seu workspace deve estar habilitado para o Catálogo do Unity. Para obter mais informações, consulte Habilitar tabelas do sistema.

• As tabelas do sistema não estão disponíveis nas seguintes regiões:
  • Regiões do Azure na China
  • Regiões do Azure Governamental
  • Índia Ocidental
  • Oeste da Suíça

Quais tabelas do sistema estão disponíveis?

Atualmente, o Azure Databricks hospeda as seguintes tabelas do sistema:

As tabelas de uso passível de faturamento e de preços são gratuitas para uso. As tabelas na Visualização Pública também são gratuitas para usar durante a visualização, mas podem incorrer em um custo no futuro.

Relações de tabelas do sistema

O diagrama de relação de entidade a seguir descreve como as tabelas do sistema atualmente disponíveis se relacionam entre si. Este diagrama realça as chaves primárias e estrangeiras de cada tabela.

Habilitar tabelas do sistema

Como as tabelas do sistema são governadas pelo Catálogo do Unity, você precisa ter pelo menos um workspace habilitado para Catálogo do Unity em sua conta para habilitar as tabelas do sistema da sua conta. As tabelas do sistema incluem dados de todos os espaços de trabalho da sua conta, mas só podem ser acessadas a partir de um espaço de trabalho habilitado para o Unity Catalog.

O metastore precisa estar no Modelo de Privilégio do Catálogo do Unity versão 1.0 para acessar tabelas do sistema. Consulte Atualizar para a herança de privilégios.

Conceder acesso a tabelas do sistema

O acesso às tabelas do sistema é regido pelo Catálogo do Unity. Nenhum usuário tem acesso às tabelas do sistema por padrão. Para permitir que um usuário consulte tabelas do sistema, um administrador do metastore que também é um administrador de conta deve conceder a esse usuário USE e SELECT permissões nos esquemas do sistema. Consulte Gerenciar privilégios no Catálogo do Unity.

As tabelas do sistema são somente leitura e não podem ser modificadas.

As tabelas do sistema contêm dados de todos os workspaces na sua conta?

As tabelas do sistema contêm dados operacionais para todos os workspaces em sua conta implantados na mesma região de nuvem. Algumas tabelas incluem dados globais. Para obter detalhes, consulte a lista de tabelas disponíveis.

Embora as tabelas do sistema só possam ser acessadas por meio de um espaço de trabalho do Unity Catalog, elas incluem dados operacionais de espaços de trabalho que não são do Unity Catalog em sua conta.

Onde os dados da tabela do sistema são armazenados?

Os dados da tabela do sistema da sua conta são armazenados em uma conta de armazenamento hospedada no Azure Databricks localizada na mesma região que o metastore. Os dados são compartilhados em segurança com o uso do Compartilhamento Delta.

Cada tabela tem um período de retenção de dados gratuito. Para obter detalhes, consulte a coluna Período de retenção gratuito em Quais tabelas do sistema estão disponíveis?.

Onde estão as tabelas do sistema localizadas no Gerenciador de Catálogos?

As tabelas do sistema em sua conta estão localizadas em um catálogo chamado system, que está incluído em cada metastore do Unity Catalog. system No catálogo, você verá esquemas como access e billing que contêm as tabelas do sistema.

Considerações sobre tabelas do sistema de streaming

O Azure Databricks usa o compartilhamento Delta para compartilhar dados da tabela do sistema com os clientes. Esteja ciente das seguintes considerações ao transmitir com o Compartilhamento Delta:

• Se você estiver usando streaming com tabelas do sistema, defina a opção skipChangeCommits como true. Isso garante que o trabalho de streaming não seja interrompido por exclusões nas tabelas do sistema. Consulte Ignorar atualizações e exclusões.
• Trigger.AvailableNow não é suportado com o streaming do Compartilhamento Delta. Ele será convertido em Trigger.Once.

Se você usar um gatilho em seu trabalho de streaming e descobrir que ele não está atualizando a versão mais recente da tabela do sistema, o Databricks recomenda aumentar a frequência agendada do trabalho.

Ler alterações incrementais de tabelas do sistema de streaming

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Problemas conhecidos

• Novas colunas podem ser adicionadas às tabelas do sistema existentes a qualquer momento. As consultas que dependem de um esquema fixo poderão ser interrompidas se novas colunas forem introduzidas. As colunas existentes não serão alteradas nem removidas. Se você estiver escrevendo dados de tabela do sistema em outra tabela de destino, considere habilitar a evolução do esquema.
• Não há suporte para monitoramento em tempo real. Os dados são atualizados ao longo do dia. Se não vir um log para um evento recente, verifique novamente depois.
• O esquema de tabela do sistema __internal_logging dá suporte ao registro de payload usando tabelas de inferência habilitadas para Gateway de IA para modelos externos e workloads com taxa de transferência provisionada. Esse esquema é visível para administradores de conta, mas não pode ser habilitado e não deve ser usado para fluxos de trabalho do cliente.

• Para habilitar tabelas do sistema, talvez seja necessário conceder acesso à rede para o ponto de extremidade de armazenamento de blobs das tabelas do sistema. Para visualizar uma lista dos pontos de extremidade de armazenamento das tabelas do sistema de cada região, consulte Endereços IP dos pontos de extremidade de armazenamento.
• Os esquemas system.operational_datasystem.lineage do sistema são preteridos e conterão tabelas vazias.