Referencia de tabla del sistema de ingestión de datos de Zerobus

Este artículo es una referencia para las tablas del sistema zerobus, que realizan un seguimiento de la actividad de ingestión de Zerobus en el área de trabajo. Estas tablas incluyen tus registros de cuenta de todas las áreas de trabajo en tu misma región. Para ver los registros de otra región, debe ver las tablas de un área de trabajo implementada en esa región.

Requisitos

• Para acceder a estas tablas del sistema, los usuarios deben:
  • Ser un administrador de metastore y un administrador del área de trabajo, o bien
  • Tener permisos USE y SELECT en los esquemas del sistema. Consulte Conceder acceso a las tablas del sistema.

Tablas de ingesta de Zerobus disponibles

Todas las tablas del sistema relacionadas con la ingestión de Zerobus residen en el esquema system.lakeflow. Esto incluye las tablas siguientes:

Referencia del esquema de tabla de flujo de Zerobus

La zerobus_stream tabla almacena todos los datos relacionados con los eventos de transmisión originados por el uso de Zerobus Ingest. Esto incluye eventos que se producen cuando se crea una secuencia, cuando se produce un error durante la duración de la secuencia y cuando se cierra una secuencia.

Ruta de acceso de tabla: system.lakeflow.zerobus_stream

Consultas de ejemplo para la tabla de flujos

La consulta siguiente devuelve el número de flujos abiertos actualmente para una tabla especificada:

SELECT COUNT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE stream.table_id=:table_id AND stream.closed_time IS NULL AND stream.opened_time > CURRENT_TIMESTAMP - INTERVAL '15 minutes'

La consulta siguiente devuelve los identificadores de todas las secuencias en las que se incurrió en un error:

SELECT DISTINCT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE size(stream.errors) > 0

Referencia del esquema de la tabla de ingesta de Zerobus

La zerobus_ingest tabla almacena todos los datos relacionados con los registros ingeridos mediante Zerobus Ingest. Estos datos no son granulares de nivel de registro. Los datos se agregan por lotes escritos en la tabla Delta, identificados mediante commit_version.

Ruta de acceso de tabla: system.lakeflow.zerobus_ingest

Consultas de ejemplo para la tabla de ingesta

La consulta siguiente obtiene la tasa de inserción media de cada tabla durante un intervalo de tiempo especificado:

SELECT ingest.table_id AS table_id, SUM(ingest.committed_bytes) / (SECONDS(:end_timestamp - :start_timestamp)) AS average_insertion_rate
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp
GROUP BY ingest.table_id

La consulta siguiente obtiene la cantidad total de datos y registros ingeridos en una tabla durante un intervalo de tiempo especificado:

SELECT SUM(ingest.committed_bytes) as 'Total data', SUM(ingest.committed_records) as 'Total records'
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp AND ingest.table_name = :table_name

Referencia de error

Tanto la transmisión como las tablas de ingesta incluyen una errors columna, que contiene una matriz de errores que se produjeron durante la transmisión o la ingesta, con cada elemento representando un error independiente. Estos elementos de matriz se registran como objetos con los campos siguientes:

Patrones de Combinación Comunes

En la consulta siguiente se muestra cómo puede combinar la secuencia y ingerir tablas para devolver todas las tablas en las que se han escrito desde un único área de trabajo.

SELECT DISTINCT(stream.table_id)
FROM system.lakeflow.zerobus_stream AS stream INNER JOIN system.lakeflow.zerobus_ingest AS ingest ON (stream_id)
WHERE stream.workspace_id=:workspace_id