Referência da tabela do sistema de ingestão Zerobus

Este artigo é uma referência para as tabelas do sistema, que acompanham a atividade de Zerobus Ingest em seu workspace. Essas tabelas incluem os registros de sua conta de todos os workspaces na mesma região. Para ver registros de outra região, você deve exibir as tabelas de um workspace implantado nessa região.

Requirements

• Para acessar essas tabelas do sistema, os usuários devem:
  • Ser tanto administrador de metastore quanto administrador de workspace, ou
  • Tenha permissões de USE e SELECT nos esquemas do sistema. Veja Conceder acesso às tabelas do sistema.

Tabelas de ingestão do Zerobus disponíveis

Todas as tabelas de sistema relacionadas ao Zerobus Ingest estão no esquema system.lakeflow. Isso inclui as seguintes tabelas:

Referência de esquema de tabela de fluxo do Zerobus

A zerobus_stream tabela armazena todos os dados relacionados aos eventos de streaming incorridos pelo uso do Zerobus Ingest. Isso inclui eventos que ocorrem quando um fluxo é criado, quando ocorre um erro durante o tempo de vida do fluxo e quando um fluxo é fechado.

Caminho da tabela: system.lakeflow.zerobus_stream

Exemplo de consultas para a tabela de fluxo

A consulta a seguir retorna o número de fluxos abertos no momento para uma tabela especificada:

SELECT COUNT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE stream.table_id=:table_id AND stream.closed_time IS NULL AND stream.opened_time > CURRENT_TIMESTAMP - INTERVAL '15 minutes'

A consulta a seguir retorna as IDs de todos os fluxos que incorreram em um erro:

SELECT DISTINCT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE size(stream.errors) > 0

Referência de esquema de tabela de ingestão Zerobus

A tabela zerobus_ingest armazena todos os dados relacionados aos registros ingeridos usando Zerobus Ingest. Esses dados não são granulares a nível de registro individual. Os dados são agregados por lotes gravados na tabela Delta, identificados usando o commit_version.

Caminho da tabela: system.lakeflow.zerobus_ingest

Exemplo de consultas para a tabela de ingestão

A consulta a seguir obtém a taxa média de inserção para cada tabela durante um intervalo de tempo especificado:

SELECT ingest.table_id AS table_id, SUM(ingest.committed_bytes) / (SECONDS(:end_timestamp - :start_timestamp)) AS average_insertion_rate
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp
GROUP BY ingest.table_id

A consulta a seguir obtém a quantidade total de dados e registros ingeridos em uma tabela durante um intervalo de tempo especificado:

SELECT SUM(ingest.committed_bytes) as 'Total data', SUM(ingest.committed_records) as 'Total records'
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp AND ingest.table_name = :table_name

Referência de erro

As tabelas de fluxo e ingestão incluem uma errors coluna, que inclui uma matriz de erros que ocorreram durante o fluxo ou ingestão, com cada elemento representando um erro separado. Esses elementos de matriz são registrados como objetos com os seguintes campos:

Padrões de junção comuns

A consulta a seguir mostra como você pode unir o fluxo e ingerir tabelas para retornar todas as tabelas que foram gravadas em um único workspace.

SELECT DISTINCT(stream.table_id)
FROM system.lakeflow.zerobus_stream AS stream INNER JOIN system.lakeflow.zerobus_ingest AS ingest ON (stream_id)
WHERE stream.workspace_id=:workspace_id