Datenqualitätsüberwachungs-Ergebnistabellenreferenz

Auf dieser Seite wird das Datenqualitätsüberwachungsergebnis-Systemtabellenschema beschrieben und Beispielabfragen enthalten. In der Tabelle werden Ergebnisse von Aktualitäts- und Vollständigkeitsprüfungen sowie nachgelagerte Auswirkungen und Ursachenanalyse in allen Tabellen gespeichert, die für die Datenqualitätsüberwachung in Ihrem Metastore aktiviert sind.

Tabellenpfad: system.data_quality_monitoring.table_results

Nur Kontoadministratoren können auf diese Tabelle zugreifen, und sie müssen bei Bedarf Zugriff auf andere Personen gewähren. Die Systemtabelle verwendet Standardspeicher. Da sie Beispielwerte und nachgeschaltete Nutzungsdaten enthält, gehen Sie vorsichtig vor, wenn Sie anderen Zugriff gewähren.

Datenqualitätsüberwachungsergebnistabellenschema

Die system.data_quality_monitoring.table_results Tabelle verwendet das folgende Schema:

commit_freshness Arraystruktur

Die commit_freshness Struktur enthält Folgendes:

total_row_count und daily_row_count Arraystruktur

Die total_row_count Und daily_row_count Strukturen enthalten Folgendes:

upstream_jobs Arraystruktur

Die Struktur des Arrays, das in der upstream_jobs Spalte angezeigt wird, wird in der folgenden Tabelle angezeigt:

Informationen zu nachgeschalteten Auswirkungen

In der Tabelle der protokollierten Ergebnisse ist die Spalte downstream_impact ein struct Feld mit den folgenden Feldern:

Beispielabfragen

Ersetzen Sie die Parameterwerte durch eigene Werte, bevor Sie das Programm ausführen.

Abrufen aller aktuellen Vorfälle in einem Schema

WITH latest_rows AS (
    SELECT
        *,
        ROW_NUMBER() OVER (
            PARTITION BY table_id
            ORDER BY event_time DESC
        ) AS rn
    FROM
      system.data_quality_monitoring.table_results
    WHERE
      catalog_name = "c"
      AND schema_name = "s"
)

SELECT *
FROM latest_rows
WHERE
  rn = 1
  AND status = "Unhealthy"

Abrufen aller Vorfalltabellen in einem Schema, die eine hohe downstream-Auswirkung haben

WITH latest_rows AS (
    SELECT
        *,
        ROW_NUMBER() OVER (
            PARTITION BY table_id
            ORDER BY event_time DESC
        ) AS rn
    FROM
      system.data_quality_monitoring.table_results
    WHERE
      catalog_name = "c"
      AND schema_name = "s"
)
SELECT *
FROM latest_rows
WHERE rn = 1
  AND downstream_impact.impact_level >= 3

Abrufen aller Tabellen in einem Schema, die derzeit von einem Aktualitätsproblem betroffen sind

WITH latest_rows AS (
    SELECT
        *,
        ROW_NUMBER() OVER (
            PARTITION BY table_id
            ORDER BY event_time DESC
        ) AS rn
    FROM
      system.data_quality_monitoring.table_results
    WHERE
      catalog_name = "c"
      AND schema_name = "s"
)

SELECT *
FROM latest_rows
WHERE rn = 1
  AND freshness.status = "Unhealthy"

Abrufen aller historischen Datensätze für eine Tabelle

SELECT *
FROM system.data_quality_monitoring.table_results
WHERE
  catalog_name = "c"
  AND schema_name = "s"
  AND table_name = "t"