Grupo de comandos quality-monitors

O quality-monitors grupo de comandos dentro da CLI do Databricks contém comandos para criar, editar e excluir monitores de qualidade. Um monitor calcula e monitora dados ou métricas de qualidade de modelo para uma tabela ao longo do tempo. Ele gera tabelas de métricas e um painel que você pode usar para monitorar a integridade da tabela e definir alertas. Consulte a criação de perfil de dados.

criar monitores de qualidade do databricks

Crie um novo monitor para a tabela especificada.

O chamador deve:

1. ser um proprietário do catálogo pai da tabela, ter acesso USE_SCHEMA no esquema pai da tabela e ter acesso SELECT na tabela
2. ter acesso USE_CATALOG no catálogo pai da tabela, ser um proprietário do esquema pai da tabela e ter acesso SELECT na tabela
3. têm as seguintes permissões:
   • ter acesso USE_CATALOG no catálogo pai da tabela
   • ter acesso USE_SCHEMA no esquema pai da tabela
   • ser o proprietário da tabela.

Os ativos do workspace, como o painel, serão criados no workspace em que essa chamada foi feita.

databricks quality-monitors create TABLE_NAME ASSETS_DIR OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

ASSETS_DIR

    O diretório para armazenar ativos de monitoramento (por exemplo, painel, tabelas de métrica).

OUTPUT_SCHEMA_NAME

    Esquema em que as tabelas de métricas de saída são criadas.

Opções

--baseline-table-name string

    Nome da tabela de linha de base da qual as métricas de descompasso são computadas.

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

--skip-builtin-dashboard

    Se deve ignorar a criação de um painel padrão que resume as métricas de qualidade dos dados.

--warehouse-id string

    Argumento opcional para especificar o armazém para criação do painel.

Sinalizadores globais

Examples

O seguinte exemplo cria um monitor de qualidade para uma tabela:

databricks quality-monitors create main.my_schema.my_table /monitoring/assets main.monitoring_schema

Excluir monitores de qualidade do Databricks

Exclua um monitor da tabela especificada.

O chamador deve:

1. ser um proprietário do catálogo pai da tabela
2. ter acesso USE_CATALOG no catálogo pai da tabela e ser proprietário do esquema pai da tabela
3. têm as seguintes permissões:
   • ter acesso USE_CATALOG no catálogo pai da tabela
   • ter acesso USE_SCHEMA no esquema pai da tabela
   • ser o proprietário da tabela.

Além disso, a chamada deve ser feita no workspace em que o monitor foi criado.

Observe que as tabelas de métrica e o painel não serão excluídos como parte dessa chamada; esses ativos devem ser limpos manualmente (se desejado).

databricks quality-monitors delete TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

Opções

Sinalizadores globais

Examples

O exemplo a seguir exclui um monitor de qualidade:

databricks quality-monitors delete main.my_schema.my_table

databricks monitores de qualidade obter

Obtenha um monitor para a tabela especificada.

O chamador deve:

1. ser um proprietário do catálogo pai da tabela
2. ter acesso USE_CATALOG no catálogo pai da tabela e ser proprietário do esquema pai da tabela.
3. têm as seguintes permissões:
   • ter acesso USE_CATALOG no catálogo pai da tabela
   • ter acesso USE_SCHEMA no esquema pai da tabela
   • SELECT privilégio na tabela.

As informações retornadas incluem valores de configuração, bem como informações sobre ativos criados pelo monitor. Algumas informações (por exemplo, painel) poderão ser filtradas se o chamador estiver em um espaço de trabalho diferente daquele em que o monitor foi criado.

databricks quality-monitors get TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

Opções

Sinalizadores globais

Examples

O exemplo a seguir obtém informações sobre um monitor de qualidade:

databricks quality-monitors get main.my_schema.my_table

databricks quality-monitors get-refresh

Obtenha informações sobre uma atualização de monitor específica usando a ID de atualização fornecida.

O chamador deve:

1. ser um proprietário do catálogo pai da tabela
2. ter acesso USE_CATALOG no catálogo pai da tabela e ser proprietário do esquema pai da tabela
3. têm as seguintes permissões:
   • ter acesso USE_CATALOG no catálogo pai da tabela
   • ter acesso USE_SCHEMA no esquema pai da tabela
   • SELECT privilégio na tabela.

Além disso, a chamada deve ser feita no workspace em que o monitor foi criado.

databricks quality-monitors get-refresh TABLE_NAME REFRESH_ID [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

REFRESH_ID

    ID da atualização.

Opções

Sinalizadores globais

Examples

O exemplo a seguir obtém informações sobre uma atualização específica:

databricks quality-monitors get-refresh main.my_schema.my_table 12345

Since the original translation maintains the integrity and specificity of the command, no changes are required. Thus, the translation remains as: databricks quality-monitors list-refreshes

Liste o histórico das atualizações mais recentes (até 25) para esta tabela.

O chamador deve:

1. ser um proprietário do catálogo pai da tabela
2. ter acesso USE_CATALOG no catálogo pai da tabela e ser proprietário do esquema pai da tabela
3. têm as seguintes permissões:
   • ter acesso USE_CATALOG no catálogo pai da tabela
   • ter acesso USE_SCHEMA no esquema pai da tabela
   • SELECT privilégio na tabela.

Além disso, a chamada deve ser feita no workspace em que o monitor foi criado.

databricks quality-monitors list-refreshes TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

Opções

Sinalizadores globais

Examples

O exemplo a seguir lista atualizações para um monitor de qualidade:

databricks quality-monitors list-refreshes main.my_schema.my_table

databricks monitoramento de qualidade execução de atualização

Enfileirar uma atualização de métrica no monitor para a tabela especificada. A atualização será executada em segundo plano.

O chamador deve:

1. ser um proprietário do catálogo pai da tabela
2. ter acesso USE_CATALOG no catálogo pai da tabela e ser proprietário do esquema pai da tabela
3. têm as seguintes permissões:
   • ter acesso USE_CATALOG no catálogo pai da tabela
   • ter acesso USE_SCHEMA no esquema pai da tabela
   • ser o proprietário da tabela

Além disso, a chamada deve ser feita no workspace em que o monitor foi criado.

databricks quality-monitors run-refresh TABLE_NAME [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

Opções

Sinalizadores globais

Examples

O exemplo a seguir enfileira uma atualização para um monitor de qualidade:

databricks quality-monitors run-refresh main.my_schema.my_table

Atualização dos monitores de qualidade do Databricks

Atualize o monitor da tabela especificada.

O chamador deve:

1. ser um proprietário do catálogo pai da tabela
2. ter acesso USE_CATALOG no catálogo pai da tabela e ser proprietário do esquema pai da tabela
3. têm as seguintes permissões:
   • ter acesso USE_CATALOG no catálogo pai da tabela
   • ter acesso USE_SCHEMA no esquema pai da tabela
   • ser o proprietário da tabela.

Além disso, a chamada deve ser feita no workspace em que o monitor foi criado e o chamador deve ser o criador original do monitor.

Determinados campos de configuração, como identificadores de ativo de saída, não podem ser atualizados.

databricks quality-monitors update TABLE_NAME OUTPUT_SCHEMA_NAME [flags]

Arguments

TABLE_NAME

    Nome completo da tabela.

OUTPUT_SCHEMA_NAME

    Esquema em que as tabelas de métricas de saída são criadas.

Opções

--baseline-table-name string

    Nome da tabela de linha de base da qual as métricas de descompasso são computadas.

--dashboard-id string

    ID do painel que exibe as métricas calculadas.

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

Sinalizadores globais

Examples

O exemplo a seguir atualiza um monitor de qualidade:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema

O exemplo a seguir atualiza um monitor de qualidade com uma nova tabela de linha de base:

databricks quality-monitors update main.my_schema.my_table main.monitoring_schema --baseline-table-name main.my_schema.new_baseline

Sinalizadores globais

--debug

  Indica se deve habilitar o registro em log de depuração.

-h ou --help

    Exiba ajuda para a CLI do Databricks ou o grupo de comandos relacionado ou o comando relacionado.

--log-file corda

    Uma cadeia de caracteres que representa o arquivo para o qual gravar logs de saída. Se esse sinalizador não for especificado, o padrão será gravar logs de saída no stderr.

--log-format formato

    O tipo de formato de log, text ou json. O valor padrão é text.

--log-level corda

    Uma cadeia de caracteres que representa o nível de formato de log. Se não for especificado, o nível de formato de log será desabilitado.

-o, --output tipo

    O tipo de saída de comando, text ou json. O valor padrão é text.

-p, --profile corda

    O nome do perfil no arquivo ~/.databrickscfg para usar ao executar o comando. Se esse sinalizador não for especificado, se existir, o perfil nomeado DEFAULT será usado.

--progress-format formato

    O formato para exibir logs de progresso: default, append, inplace ou json

-t, --target corda

    Se aplicável, o destino do pacote a ser usado