Compartilhar via


Grupo de comandos pipelines

Note

Essas informações se aplicam às versões 0.205 e superiores da CLI do Databricks. A CLI do Databricks está em Visualização Pública.

O uso da CLI do Databricks está sujeito à Licença do Databricks e ao Aviso de Privacidade do Databricks, incluindo quaisquer provisionamentos de Dados de Uso.

O pipelines grupo de comandos dentro da CLI do Databricks permite que você crie, edite, exclua, inicie e exiba detalhes sobre pipelines. Consulte Pipelines Declarativos do Lakeflow Spark.

Criação de pipelines do Databricks

Crie um novo fluxo de processamento de dados de acordo com a configuração solicitada. Se tiver êxito, esse comando retornará a ID do novo pipeline.

databricks pipelines create [flags]

Arguments

None

Opções

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

Sinalizadores globais

Exclusão de Pipelines do Databricks

Exclua um pipeline.

databricks pipelines delete PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    O pipeline a ser excluído.

Opções

Sinalizadores globais

obter pipelines do databricks

Obtenha um pipeline.

databricks pipelines get PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    O pipeline a ser obtido.

Opções

Sinalizadores globais

obter-atualização das pipelines do databricks

Obtenha uma atualização de um pipeline ativo.

databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]

Arguments

PIPELINE_ID

    A ID do pipeline.

UPDATE_ID

    A ID da atualização.

Opções

Sinalizadores globais

databricks pipelines list-pipeline-events # lista eventos do pipeline

Recupere eventos de um pipeline.

databricks pipelines list-pipeline-events PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    O pipeline para o qual os eventos serão recuperados.

Opções

--filter string

    Critérios para selecionar um subconjunto de resultados, expresso usando uma sintaxe semelhante a SQL.

--max-results int

    Número máximo de entradas a serem retornadas em uma única página.

--page-token string

    O token da página retornado na chamada anterior.

Sinalizadores globais

lista de pipelines do databricks

Liste os pipelines definidos no sistema do Delta Live Tables.

databricks pipelines list-pipelines [flags]

Arguments

None

Opções

--filter string

    Selecione um subconjunto de resultados com base nos critérios especificados.

--max-results int

    O número máximo de entradas a serem retornadas em uma única página.

--page-token string

    O token da página retornado na chamada anterior.

Sinalizadores globais

atualizações de lista de pipelines do databricks

Liste atualizações de um pipeline ativo.

databricks pipelines list-updates PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    O pipeline para o qual serão retornadas atualizações.

Opções

--max-results int

    Número máximo de entradas a serem retornadas em uma única página.

--page-token string

    O token da página retornado na chamada anterior.

--until-update-id string

    Se estiver presente, retornará atualizações até e incluindo este ID de atualização.

Sinalizadores globais

comandos de atualização iniciados do databricks pipelines

Inicie uma nova atualização para a linha de produção. Se já houver uma atualização ativa para o pipeline, a solicitação falhará e a atualização ativa permanecerá em execução.

databricks pipelines start-update PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    O pipeline para o qual a atualização será iniciada.

Opções

--cause StartUpdateCause

    Valores com suporte: [API_CALL, JOB_TASK, RETRY_ON_FAILURE, SCHEMA_CHANGE, SERVICE_UPGRADE, USER_ACTION]

--full-refresh

    Se for true, essa atualização redefinirá todas as tabelas antes de ser executada.

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

--validate-only

    Se for true, essa atualização validará apenas a correção do código-fonte do pipeline, mas não materializará nem publicará nenhum conjunto de dados.

Sinalizadores globais

Nenhuma melhoria necessária, pois o comando é reconhecido e utilizado em inglês.

Interrompa o pipeline cancelando a atualização ativa. Se não houver uma atualização ativa para o pipeline, esta solicitação não terá efeito.

databricks pipelines stop PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    O pipeline a ser interrompido.

Opções

--no-wait

    não espere até que o estado IDLE seja alcançado

--timeout duration

    tempo máximo para alcançar o estado IDLE (padrão: 20m0s).

Sinalizadores globais

Atualização de pipelines do Databricks

Atualize o pipeline com a configuração fornecida.

databricks pipelines update PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    O identificador exclusivo para este pipeline.

Opções

--allow-duplicate-names

    Se falso, a implantação falhará caso o nome tenha sido alterado e entre em conflito com o nome de outro pipeline.

--budget-policy-id string

    Política de orçamento deste pipeline.

--catalog string

    Um catálogo no Catálogo do Unity para o qual publicar dados desse pipeline.

--channel string

    Canal de versão do Lakeflow Spark Declarative Pipelines que especifica qual versão usar.

--continuous

    Se o pipeline é contínuo ou disparado.

--development

    Se o pipeline está ou não no modo de desenvolvimento.

--edition string

    Edição do produto do pipeline.

--expected-last-modified int

    Se estiver presente, o horário da última modificação das configurações do pipeline antes da edição.

--id string

    O identificador exclusivo para este pipeline.

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

--name string

    Identificador amigável para este pipeline.

--photon

    Se a aceleração do Photon está habilitada para esse pipeline.

--pipeline-id string

    O identificador exclusivo para este pipeline.

--schema string

    O esquema padrão (banco de dados) no qual as tabelas são lidas ou publicadas.

--serverless

    Se a computação sem servidor está habilitada para este pipeline.

--storage string

    Diretório raiz do DBFS para armazenar pontos de verificação e tabelas.

--target string

    Esquema de destino (banco de dados) ao qual adicionar tabelas neste pipeline.

Sinalizadores globais

databricks fluxos de trabalho obter níveis de permissão

Obtenha níveis de permissão do pipeline.

databricks pipelines get-permission-levels PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    O pipeline para o qual serão obtidas ou gerenciadas permissões.

Opções

Sinalizadores globais

permissões de acesso de pipelines do Databricks

Obtenha as permissões de um pipeline. Os pipelines podem herdar permissões do seu objeto raiz.

databricks pipelines get-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    O pipeline para o qual serão obtidas ou gerenciadas permissões.

Opções

Sinalizadores globais

Comando "databricks pipelines set-permissions"

Definir permissões de pipeline.

Define permissões em um objeto, substituindo as permissões existentes se elas existirem. Excluirá todas as permissões diretas se nenhuma for especificada. Os objetos podem herdar permissões de seu objeto raiz.

databricks pipelines set-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    O pipeline para o qual serão obtidas ou gerenciadas permissões.

Opções

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

Sinalizadores globais

databricks pipelines atualizar permissões

Atualize as permissões em um pipeline. Os pipelines podem herdar permissões do seu objeto raiz.

databricks pipelines update-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    O pipeline para o qual serão obtidas ou gerenciadas permissões.

Opções

--json JSON

    A cadeia de caracteres JSON inserida em linha ou o @path para o arquivo JSON com o corpo da solicitação.

Sinalizadores globais

Sinalizadores globais

--debug

  Indica se deve habilitar o registro em log de depuração.

-h ou --help

    Exiba ajuda para a CLI do Databricks ou o grupo de comandos relacionado ou o comando relacionado.

--log-file corda

    Uma cadeia de caracteres que representa o arquivo para o qual gravar logs de saída. Se esse sinalizador não for especificado, o padrão será gravar logs de saída no stderr.

--log-format formato

    O tipo de formato de log, text ou json. O valor padrão é text.

--log-level corda

    Uma cadeia de caracteres que representa o nível de formato de log. Se não for especificado, o nível de formato de log será desabilitado.

-o, --output tipo

    O tipo de saída de comando, text ou json. O valor padrão é text.

-p, --profile corda

    O nome do perfil no arquivo ~/.databrickscfg para usar ao executar o comando. Se esse sinalizador não for especificado, se existir, o perfil nomeado DEFAULT será usado.

--progress-format formato

    O formato para exibir logs de progresso: default, append, inplace ou json

-t, --target corda

    Se aplicável, o destino do pacote a ser usado