quality-monitors grupo de comando

O quality-monitors grupo de comandos dentro da CLI do Databricks contém comandos para criar, editar e excluir monitores de qualidade. Um monitor calcula e monitora dados ou métricas de qualidade de modelo para uma tabela ao longo do tempo. Ele gera métricas, tabelas e um painel que você pode usar para monitorar a integridade da tabela e definir alertas. Consulte Criação de perfil de dados.

Os monitores de qualidade Databricks criam

Crie um novo monitor para a tabela especificada.

O chamador deve escolher entre:

1. ser proprietário do catálogo pai da tabela, ter USE_SCHEMA no esquema pai da tabela e ter SELECT acesso na tabela
2. ter USE_CATALOG no catálogo pai da tabela, ser proprietário do esquema pai da tabela e ter SELECT acesso à tabela.
3. ter as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema pai da tabela
   • Seja proprietário da mesa.

Os ativos do espaço de trabalho, como o painel, serão criados no espaço de trabalho onde essa chamada foi feita.

databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

ASSETS_DIR

    O diretório para armazenar ativos de monitoramento (por exemplo, painel, tabelas métricas).

OUTPUT_SCHEMA_NAME

    Esquema onde as tabelas métricas de saída são criadas.

Opções

--baseline-table-name string

    Nome da tabela de linha de base a partir da qual as métricas de desvio são calculadas.

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação.

--skip-builtin-dashboard

    Se deve ignorar a criação de um painel padrão resumindo métricas de qualidade de dados.

--warehouse-id string

    Argumento opcional para especificar o armazém para a criação do painel.

Bandeiras globais

Examples

O exemplo seguinte cria um monitor de qualidade para uma tabela:

databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema

Excluir databricks quality-monitors

Eliminar um monitor da tabela especificada.

O chamador deve escolher entre:

1. ser proprietário do catálogo pai da tabela
2. ter USE_CATALOG no catálogo pai da tabela e ser proprietário do esquema pai da tabela
3. ter as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema pai da tabela
   • Seja proprietário da mesa.

Além disso, a chamada deve ser feita a partir do espaço de trabalho onde o monitor foi criado.

Observe que as tabelas métricas e o painel não serão excluídos como parte desta chamada; Esses ativos devem ser limpos manualmente (se desejado).

databricks quality-monitors delete TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

Opções

Bandeiras globais

Examples

O exemplo a seguir exclui um monitor de qualidade:

databricks quality-monitors delete main.my_schema.my_table

Obter monitores de qualidade do Databricks

Obtenha um monitor para a tabela especificada.

O chamador deve escolher entre:

1. ser proprietário do catálogo pai da tabela
2. ter USE_CATALOG no catálogo pai da tabela e ser proprietário do esquema pai da tabela.
3. ter as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema pai da tabela
   • SELECT privilégio sobre a mesa.

As informações retornadas incluem valores de configuração, bem como informações sobre ativos criados pelo monitor. Algumas informações (por exemplo, painel) podem ser filtradas se o chamador estiver em um espaço de trabalho diferente daquele em que o monitor foi criado.

databricks quality-monitors get TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

Opções

Bandeiras globais

Examples

O exemplo a seguir obtém informações sobre um monitor de qualidade:

databricks quality-monitors get main.my_schema.my_table

Databricks "quality-monitors get-refresh"

Obtenha informações sobre uma atualização de monitor específica usando a ID de atualização fornecida.

O chamador deve escolher entre:

1. ser proprietário do catálogo pai da tabela
2. ter USE_CATALOG no catálogo pai da tabela e ser proprietário do esquema pai da tabela
3. ter as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema pai da tabela
   • SELECT privilégio sobre a mesa.

Além disso, a chamada deve ser feita a partir do espaço de trabalho onde o monitor foi criado.

databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

REFRESH_ID

    ID da atualização.

Opções

Bandeiras globais

Examples

O exemplo a seguir obtém informações sobre uma atualização específica:

databricks quality-monitors get-refresh main.my_schema.my_table 12345

Databricks qualidade-monitora lista-atualiza

Liste o histórico das atualizações mais recentes (até 25) para esta tabela.

O chamador deve escolher entre:

1. ser proprietário do catálogo pai da tabela
2. ter USE_CATALOG no catálogo pai da tabela e ser proprietário do esquema pai da tabela
3. ter as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema pai da tabela
   • SELECT privilégio sobre a mesa.

Além disso, a chamada deve ser feita a partir do espaço de trabalho onde o monitor foi criado.

databricks quality-monitors list-refreshes TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

Opções

Bandeiras globais

Examples

O exemplo a seguir lista atualizações para um monitor de qualidade:

databricks quality-monitors list-refreshes main.my_schema.my_table

Databricks monitores de qualidade de atualização-execução

Enfileire uma atualização de métrica no monitor para a tabela especificada. A atualização será executada em segundo plano.

O chamador deve escolher entre:

1. ser proprietário do catálogo pai da tabela
2. ter USE_CATALOG no catálogo pai da tabela e ser proprietário do esquema pai da tabela
3. ter as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema pai da tabela
   • ser proprietário da mesa

Além disso, a chamada deve ser feita a partir do espaço de trabalho onde o monitor foi criado.

databricks quality-monitors run-refresh TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

Opções

Bandeiras globais

Examples

O exemplo a seguir enfileira uma atualização para um monitor de qualidade:

databricks quality-monitors run-refresh main.my_schema.my_table

Atualização dos monitores de qualidade do Databricks

Atualize o monitor para a tabela especificada.

O chamador deve escolher entre:

1. ser proprietário do catálogo pai da tabela
2. ter USE_CATALOG no catálogo pai da tabela e ser proprietário do esquema pai da tabela
3. ter as seguintes permissões:
   • USE_CATALOG no catálogo principal da tabela
   • USE_SCHEMA no esquema pai da tabela
   • Seja proprietário da mesa.

Além disso, a chamada deve ser feita a partir do espaço de trabalho onde o monitor foi criado e o chamador deve ser o criador original do monitor.

Certos campos de configuração, como identificadores de ativos de saída, não podem ser atualizados.

databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

OUTPUT_SCHEMA_NAME

    Esquema onde as tabelas métricas de saída são criadas.

Opções

--baseline-table-name string

    Nome da tabela de linha de base a partir da qual as métricas de desvio são calculadas.

--dashboard-id string

    Identificador do painel que apresenta as métricas computadas.

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação.

Bandeiras globais

Examples

O exemplo a seguir atualiza um monitor de qualidade:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema

O exemplo a seguir atualiza um monitor de qualidade com uma nova tabela de linha de base:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline

Bandeiras globais

--debug

  Se o log de depuração deve ser habilitado.

-h ou --help

    Exiba a ajuda para a CLI do Databricks ou para o grupo de comandos relacionado ou para o comando relacionado.

--log-file string

    Uma cadeia de caracteres que representa o ficheiro onde os registos de saída são gravados. Se esse sinalizador não for especificado, o padrão é gravar logs de saída no stderr.

--log-format Formato

    O tipo de formato de log, text ou json. O valor predefinido é text.

--log-level string

    Uma cadeia de caracteres que representa o nível de formato de log. Se não for especificado, o nível de formato de log será desativado.

-o, --output tipo

    O tipo de saída do comando, text ou json. O valor predefinido é text.

-p, --profile string

    O nome do perfil no arquivo ~/.databrickscfg a ser usado para executar o comando. Se esse sinalizador não for especificado, se ele existir, o perfil nomeado DEFAULT será usado.

--progress-format Formato

    O formato para exibir logs de progresso: default, append, inplace, ou json

-t, --target string

    Se aplicável, o destino do pacote a ser usado