Zerobus Ingest-Systemtabellenreferenz

Dieser Artikel ist eine Referenz für die zerobus Systemtabellen, die die Zerobus-Datenaufnahmeaktivität in Ihrem Arbeitsbereich nachverfolgen. Diese Tabellen enthalten Ihre Kontodatensätze aus allen Arbeitsbereichen in derselben Region. Um Datensätze aus einer anderen Region anzuzeigen, müssen Sie die Tabellen aus einem Arbeitsbereich anzeigen, der in dieser Region bereitgestellt wird.

Anforderungen

• Um auf diese Systemtabellen zuzugreifen, müssen Benutzer eine der folgenden Aktionen ausführen:
  • Seien Sie sowohl Metastore-Administrator als auch Arbeitsbereichsadministrator.
  • Verfügen Sie über USE- und SELECT-Berechtigungen für die Systemschemata. Siehe Gewähren des Zugriffs auf Systemtabellen.

Verfügbare Zerobus-Erfassungstabellen

Alle zugehörigen Systemtabellen von Zerobus Ingest befinden sich im system.lakeflow Schema. Dazu gehören die folgenden Tabellen:

Schemareferenz für Zerobus-Datenstromtabellen

In der zerobus_stream Tabelle werden alle Daten gespeichert, die sich auf Datenstromereignisse beziehen, die durch die Verwendung von Zerobus Ingest entstehen. Dies schließt Ereignisse ein, die auftreten, wenn ein Datenstrom erstellt wird, wenn während der Lebensdauer des Datenstroms ein Fehler auftritt und wenn ein Datenstrom geschlossen wird.

Tabellenpfad: system.lakeflow.zerobus_stream

Beispielabfragen für die Datenstromtabelle

Die folgende Abfrage gibt die Anzahl der aktuell geöffneten Datenströme für eine angegebene Tabelle zurück:

SELECT COUNT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE stream.table_id=:table_id AND stream.closed_time IS NULL AND stream.opened_time > CURRENT_TIMESTAMP - INTERVAL '15 minutes'

Die folgende Abfrage gibt die IDs aller Datenströme zurück, die einen Fehler verursacht haben:

SELECT DISTINCT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE size(stream.errors) > 0

Zerobus-Aufnahmetabellenschemareferenz

Die zerobus_ingest Tabelle speichert alle Daten im Zusammenhang mit Datensätzen, die mit Zerobus Ingest aufgenommen wurden. Diese Daten sind nicht feinkörnig auf Datensatzebene. Die Daten werden durch Batches aggregiert, die in die Delta-Tabelle geschrieben werden, die mithilfe der commit_version identifiziert werden.

Tabellenpfad: system.lakeflow.zerobus_ingest

Beispielabfragen zur Eingabetabelle

Die folgende Abfrage ruft die durchschnittliche Einfügerate für jede Tabelle während eines angegebenen Zeitraums ab:

SELECT ingest.table_id AS table_id, SUM(ingest.committed_bytes) / (SECONDS(:end_timestamp - :start_timestamp)) AS average_insertion_rate
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp
GROUP BY ingest.table_id

Die folgende Abfrage ruft die Gesamtmenge der Daten und Datensätze ab, die während eines bestimmten Zeitraums in eine Tabelle aufgenommen wurden:

SELECT SUM(ingest.committed_bytes) as 'Total data', SUM(ingest.committed_records) as 'Total records'
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp AND ingest.table_name = :table_name

Fehlerreferenz

Sowohl die Datenstrom- als auch die Aufnahmetabellen enthalten eine errors Spalte, die ein Array von Fehlern enthält, die während des Datenstroms oder der Aufnahme aufgetreten sind, wobei jedes Element einen separaten Fehler darstellt. Diese Arrayelemente werden als Objekte mit den folgenden Feldern aufgezeichnet:

Allgemeine Verknüpfungsmuster

Die folgende Abfrage zeigt, wie Sie den Datenstrom verknüpfen und Tabellen aufnehmen können, um alle Tabellen zurückzugeben, in die aus einem einzigen Arbeitsbereich geschrieben wurden.

SELECT DISTINCT(stream.table_id)
FROM system.lakeflow.zerobus_stream AS stream INNER JOIN system.lakeflow.zerobus_ingest AS ingest ON (stream_id)
WHERE stream.workspace_id=:workspace_id