Monitore a atividade da conta com tabelas do sistema

Este artigo explica o conceito de tabelas do sistema no Azure Databricks e destaca os recursos que você pode usar para aproveitar ao máximo os dados das tabelas do sistema.

O que são tabelas do sistema?

As tabelas do sistema são um armazenamento analítico gerido pelo Azure Databricks que contém os dados operacionais da sua conta encontrados no system catálogo. As tabelas do sistema podem ser usadas para observabilidade histórica em toda a sua conta.

Requisitos

• Para acessar as tabelas do sistema, seu espaço de trabalho deve estar habilitado para o Catálogo Unity. Para mais informações, consulte Ativar tabelas do sistema.

• As tabelas do sistema não estão disponíveis nas seguintes regiões:
  • Regiões do Azure China
  • Regiões do Azure Government
  • Índia Ocidental
  • Oeste da Suíça

Que tabelas de sistema estão disponíveis?

Atualmente, o Azure Databricks hospeda as seguintes tabelas do sistema:

O uso faturável e as tabelas de preços são gratuitos. As tabelas na pré-visualização pública também são gratuitas durante a fase de pré-visualização, mas poderá haver custos no futuro.

Relações de tabelas do sistema

O diagrama entidade-relacionamento a seguir descreve como as tabelas de sistema atualmente disponíveis se relacionam entre si. Este diagrama destaca as chaves primária e estrangeira de cada tabela.

Ativar tabelas do sistema

Como as tabelas do sistema são governadas pelo Unity Catalog, precisa de ter pelo menos um espaço de trabalho com Unity Catalog na sua conta para ativar as tabelas do sistema da sua conta. As tabelas do sistema incluem dados de todos os espaços de trabalho em sua conta, mas eles só podem ser acessados a partir de um espaço de trabalho habilitado para Catálogo Unity.

O metastore precisa estar no Unity Catalog Privilege Model na versão 1.0 para acessar as tabelas do sistema. Consulte Atualização para herança de privilégios.

Conceder acesso às tabelas do sistema

O acesso às tabelas do sistema é regido pelo Unity Catalog. Nenhum utilizador tem acesso às tabelas do sistema por defeito. Para permitir que um utilizador consulte tabelas do sistema, um administrador do metastore que também seja administrador de conta deve conceder a esse utilizador permissões USE e SELECT nos esquemas do sistema. Consulte Gerenciar privilégios no Catálogo Unity.

As tabelas do sistema são somente leitura e não podem ser modificadas.

As tabelas do sistema contêm dados para todos os espaços de trabalho da sua conta?

As tabelas do sistema contêm dados operacionais para todos os espaços de trabalho da sua conta implantados na mesma região de nuvem. Algumas tabelas incluem dados globais. Para obter detalhes, consulte a lista de tabelas disponíveis.

Embora as tabelas do sistema só possam ser acessadas por meio de um espaço de trabalho do Catálogo Unity, elas incluem dados operacionais de espaços de trabalho que não sejam do Catálogo Unity em sua conta.

Onde os dados da tabela do sistema são armazenados?

Os dados da tabela do sistema da sua conta são armazenados em uma conta de armazenamento hospedada pelo Azure Databricks localizada na mesma região do seu metastore. Os dados são compartilhados com segurança com você usando o Delta Sharing.

Cada tabela tem um período de retenção de dados gratuito. Para obter detalhes, consulte a coluna Período de retenção gratuito em Quais tabelas do sistema estão disponíveis?.

Onde estão localizadas as tabelas do sistema no Catalog Explorer?

As tabelas do sistema na sua conta estão localizadas num catálogo chamado system, incluído em cada metastore do Catálogo Unity. system No catálogo, você verá esquemas como access e billing que contêm as tabelas do sistema.

Considerações para tabelas do sistema de streaming

O Azure Databricks usa o Compartilhamento Delta para compartilhar dados da tabela do sistema com os clientes. Esteja ciente das seguintes considerações ao transmitir com o Delta Sharing:

• Se você estiver usando streaming com tabelas do sistema, defina a opção skipChangeCommits como true. Isso garante que o trabalho de streaming não seja interrompido por exclusões nas tabelas do sistema. Consulte Ignorar atualizações e exclusões.
• Trigger.AvailableNow não é compatível com o streaming Delta Sharing. Será convertido em Trigger.Once.

Se utilizares um gatilho no teu processo de streaming e constatares que não está a alcançar a versão atualizada mais recente da tabela de sistema, a Databricks recomenda aumentar a frequência agendada do processo.

Ler alterações incrementais a partir das tabelas do sistema de streaming

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Problemas conhecidos

• Novas colunas podem ser adicionadas às tabelas do sistema existentes a qualquer momento. As consultas que dependem de um esquema fixo podem ser interrompidas se novas colunas forem introduzidas. As colunas existentes não serão alteradas ou removidas. Se você estiver gravando dados da tabela do sistema em outra tabela de destino, considere habilitar a evolução do esquema.
• Sem suporte para monitoramento em tempo real. Os dados são atualizados ao longo do dia. Se não encontrar um registo de um evento recente, volte a verificar mais tarde.
• O __internal_logging esquema da tabela do sistema suporta o registro de carga útil usando tabelas de inferência habilitadas para AI Gateway para modelos externos e cargas de trabalho de taxa de transferência provisionadas. Esse esquema é visível para administradores de conta, mas não pode ser habilitado e não deve ser usado para fluxos de trabalho de clientes.

• Para habilitar as tabelas do sistema, pode ser necessário conceder acesso à rede ao ponto de extremidade do armazenamento de blobs das tabelas do sistema. Para exibir uma lista dos pontos de extremidade de armazenamento das tabelas do sistema de cada região, consulte Endereços IP do ponto de extremidade de armazenamento.
• Os esquemas do sistema system.operational_data e system.lineage foram preteridos e conterão tabelas vazias.