clusters grupo de comando

O clusters grupo de comandos dentro da CLI do Databricks permite criar, iniciar, editar, listar, encerrar e excluir clusters.

Um cluster Databricks é um conjunto de recursos e configurações de computação nos quais você executa cargas de trabalho de engenharia de dados, ciência de dados e análise de dados, como pipelines de ETL de produção, análise de streaming, análise ad-hoc e aprendizado de máquina. Consulte Visão geral da computação clássica.

Alterar proprietário dos clusters no Databricks

Altere o proprietário do cluster. Você deve ser um administrador e o cluster deve ser encerrado para executar essa operação. O ID do aplicativo principal de serviço pode ser fornecido como um argumento para owner_username.

databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]

Arguments

CLUSTER_ID

    O ID do cluster.

OWNER_USERNAME

    Novo proprietário do cluster_id após a execução deste RPC.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

Criar clusters do Databricks

Crie um novo cluster. Esse comando adquire novas instâncias do provedor de nuvem, se necessário. Este comando é assíncrono; O cluster_id retornado pode ser usado para sondar o status do cluster. Quando este comando regressa, o cluster está num estado PENDENTE. O cluster pode ser usado assim que entra num estado EM EXECUÇÃO. A Databricks pode não ser capaz de adquirir alguns dos nós solicitados, devido a limitações do provedor de nuvem (limites de conta, preço à vista, etc.) ou problemas transitórios de rede.

Se o Databricks adquirir pelo menos 85% dos nós sob demanda solicitados, a criação do cluster será bem-sucedida. Caso contrário, o cluster termina com uma mensagem de erro informativa.

Em vez de criar a definição JSON do respetivo cluster do zero, o Databricks recomenda preencher a interface de utilizador de criação de computação e, em seguida, copiar a definição JSON gerada da interface do utilizador.

databricks clusters create SPARK_VERSION [flags]

Arguments

SPARK_VERSION

    A versão Spark do cluster, por exemplo, 13.3.x-scala2.12. Uma lista de versões disponíveis do Spark pode ser recuperada usando a API Listar versões disponíveis do Spark .

Opções

--apply-policy-default-values

    Quando definidos como verdadeiros, os valores fixos e predefinidos da política são usados para campos que são omitidos.

--autotermination-minutes int

    Encerra automaticamente o cluster depois que ele fica inativo por esse tempo em minutos.

--cluster-name string

    Nome do cluster solicitado pelo usuário.

--data-security-mode DataSecurityMode

    O modo de segurança de dados decide qual modelo de governança de dados usar ao acessar dados de um cluster. Valores suportados: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACLNONESINGLE_USER,USER_ISOLATION

--driver-instance-pool-id string

    O ID opcional do pool de instâncias ao qual pertence o driver do cluster.

--driver-node-type-id string

    O tipo de nó do driver do Spark.

--enable-elastic-disk

    Dimensionamento automático do Armazenamento Local: quando ativado, esse cluster adquirirá dinamicamente espaço em disco adicional quando seus trabalhadores do Spark estiverem com pouco espaço em disco.

--enable-local-disk-encryption

    Se o LUKS deve ser habilitado nos discos locais das VMs de cluster.

--instance-pool-id string

    A ID opcional do pool de instâncias ao qual o cluster pertence.

--is-single-node

    Este campo só pode ser utilizado quando o tipo = CLASSIC_PREVIEW.

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

--kind Kind

    O tipo de computação descrito por esta especificação de computação. Valores suportados: CLASSIC_PREVIEW

--no-wait

    Não aguarde para atingir o estado RUNNING

--node-type-id string

    Este campo codifica, através de um único valor, os recursos disponíveis para cada um dos nós do Spark neste cluster.

--num-workers int

    Número de nós de trabalho que este cluster deve possuir.

--policy-id string

    A ID da política de cluster usada para criar o cluster, se aplicável.

--runtime-engine RuntimeEngine

    Determina o mecanismo de tempo de execução do cluster, padrão ou Photon. Valores suportados: NULL, PHOTON, STANDARD

--single-user-name string

    Nome de usuário único se data_security_mode for SINGLE_USER.

--timeout duration

    tempo máximo para atingir o estado RUNNING (padrão 20m0s)

--use-ml-runtime

    Este campo só pode ser utilizado quando o tipo = CLASSIC_PREVIEW.

Bandeiras globais

Exclusão dos clusters Databricks

Encerre o cluster com a ID especificada. O cluster é removido de forma assíncrona. Uma vez concluída a terminação, o cluster entra num TERMINATED estado. Se o aglomerado já estiver num estado TERMINATING ou TERMINATED, nada acontece.

databricks clusters delete CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    O cluster a ser encerrado.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

--no-wait

    Não espere para alcançar TERMINATED estado

--timeout duration

    A quantidade máxima de tempo para atingir o estado TERMINATED (padrão 20 min 0 s)

Bandeiras globais

Clusters Databricks Editar

Atualize a configuração de um cluster para corresponder aos atributos e tamanho fornecidos. Um cluster pode ser atualizado se estiver num estado de EXECUÇÃO ou TERMINADO.

Se um cluster for atualizado enquanto está em estado RUNNING, é reiniciado para que os novos atributos possam entrar em vigor.

Se um cluster for atualizado enquanto estiver num estado TERMINADO, permanece TERMINADO. Da próxima vez que for iniciado usando a API de clusters/start, os novos atributos entram em vigor. Qualquer tentativa de atualizar um cluster noutro estado é rejeitada com um código de erro INVALID_STATE.

Os clusters criados pelo serviço Databricks Jobs não podem ser editados.

databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]

Arguments

CLUSTER_ID

    ID do cluster

SPARK_VERSION

    A versão Spark do cluster, por exemplo, 13.3.x-scala2.12. Uma lista de versões disponíveis do Spark pode ser recuperada usando a API Listar versões disponíveis do Spark .

Opções

--apply-policy-default-values

    Use valores fixos e padrão da política para campos que são omitidos.

--autotermination-minutes int

    Encerre automaticamente o cluster após ele estar inativo durante este tempo, em minutos.

--cluster-name string

    Nome do cluster solicitado pelo usuário.

--data-security-mode DataSecurityMode

    O modo de segurança de dados decide qual modelo de governança de dados usar ao acessar dados de um cluster. Valores suportados: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, SINGLE_USER, , USER_ISOLATION

--driver-instance-pool-id string

    O ID opcional do pool de instâncias ao qual pertence o driver do cluster.

--driver-node-type-id string

    O tipo de nó do driver do Spark.

--enable-elastic-disk

    Dimensionamento automático do Armazenamento Local: quando ativado, esse cluster adquirirá dinamicamente espaço em disco adicional quando seus trabalhadores do Spark estiverem com pouco espaço em disco.

--enable-local-disk-encryption

    Se o LUKS deve ser habilitado nos discos locais das VMs de cluster.

--instance-pool-id string

    A ID opcional do pool de instâncias ao qual o cluster pertence.

--is-single-node

    Este campo só pode ser utilizado quando o tipo = CLASSIC_PREVIEW.

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

--kind Kind

    O tipo de computação descrito por esta especificação de computação. Valores suportados: CLASSIC_PREVIEW

--no-wait

    não aguarde para alcançar o estado RUNNING

--node-type-id string

    Este campo codifica, através de um único valor, os recursos disponíveis para cada um dos nós do Spark neste cluster.

--num-workers int

    Número de nós de trabalho que este cluster deve possuir.

--policy-id string

    A ID da política de cluster usada para criar o cluster, se aplicável.

--runtime-engine RuntimeEngine

    Determina o mecanismo de tempo de execução do cluster, padrão ou Photon. Valores suportados: NULL, PHOTON, STANDARD

--single-user-name string

    Nome de usuário único se data_security_mode estiver SINGLE_USER.

--timeout duration

    tempo máximo para atingir o estado RUNNING (padrão 20m0s)

--use-ml-runtime

    Este campo só pode ser utilizado quando o tipo = CLASSIC_PREVIEW.

Bandeiras globais

Eventos de clusters Databricks

Listar eventos sobre a atividade de um cluster. Esta API é paginada. Se houver mais eventos para ler, a resposta inclui todos os parâmetros necessários para solicitar a próxima página de eventos.

databricks clusters events CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    A ID do cluster sobre a qual recuperar eventos.

Opções

--end-time int

    O tempo final em milissegundos de época.

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

--limit int

    Preterido: use page_token em combinação com page_size em vez disso.

--offset int

    Preterido: use page_token em combinação com page_size em vez disso.

--order GetEventsOrder

    A ordem para listar os eventos. Valores suportados: ASC, DESC

--page-size int

    O número máximo de eventos a incluir numa página de eventos.

--page-token string

    Use next_page_token ou prev_page_token retornados da requisição anterior para listar a página seguinte ou anterior de eventos, respetivamente.

--start-time int

    A hora de início em milissegundos de época.

Bandeiras globais

Obtém clusters Databricks

Obtém as informações de um cluster dado o seu identificador. Os clusters podem ser descritos enquanto estão em execução ou até 60 dias após serem encerrados.

databricks clusters get CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    O cluster sobre o qual se deve obter informações.

Opções

Bandeiras globais

Lista de Clusters Databricks

Liste informações sobre todos os clusters fixos e ativos e todos os clusters encerrados nos últimos 30 dias. Os clusters terminados antes deste período não estão incluídos.

databricks clusters list [flags]

Arguments

None

Opções

--cluster-sources []string

    Filtrar clusters por origem

--cluster-states []string

    Filtrar clusters por estados

--is-pinned

    Filtrar clusters por status fixado

--page-size int

    Use este campo para especificar o número máximo de resultados a serem retornados pelo servidor.

--page-token string

    Use next_page_token ou prev_page_token retornados da solicitação anterior para listar a página seguinte ou anterior de clusters, respectivamente.

--policy-id string

    Filtrar clusters por ID de política

Bandeiras globais

Tipos de lista de nó de clusters Databricks

Liste os tipos de nó Spark suportados. Esses tipos de nó podem ser usados para iniciar um cluster.

databricks clusters list-node-types [flags]

Arguments

None

Opções

Bandeiras globais

Zonas de lista de clusters Databricks

Liste as zonas de disponibilidade nas quais os clusters podem ser criados (por exemplo, us-west-2a). Essas zonas podem ser usadas para iniciar um cluster.

databricks clusters list-zones [flags]

Arguments

None

Opções

Bandeiras globais

Databricks clusters exclusão permanente

Excluir cluster permanentemente. Esse cluster é encerrado e os recursos são removidos de forma assíncrona.

Além disso, os usuários não verão mais clusters excluídos permanentemente na lista de clusters e os usuários da API não poderão mais executar nenhuma ação em clusters excluídos permanentemente.

databricks clusters permanent-delete CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    O cluster a ser excluído.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

fixação de clusters do Databricks

Fixe um cluster para garantir que o cluster sempre será retornado pela API ListClusters. Fixar um cluster que já está fixado não terá efeito. Essa API só pode ser chamada por administradores de espaço de trabalho.

databricks clusters pin CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    O ID do cluster.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

Redimensionamento de clusters Databricks

Redimensione o cluster para ter um número desejado de trabalhadores. Isto falhará a menos que o cluster esteja no estado RUNNING.

databricks clusters resize CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    O cluster que será redimensionado.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

--no-wait

    Não aguarde para atingir o estado RUNNING

--num-workers int

    Número de nós de trabalho que este cluster deve possuir.

--timeout duration

    A quantidade máxima de tempo para atingir o estado RUNNING (padrão 20m0s)

Bandeiras globais

Reinício dos clusters do Databricks

Reinicie um cluster com a ID especificada. Se o cluster não estiver atualmente em estado EM EXECUÇÃO, nada acontece.

databricks clusters restart CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    O cluster a ser iniciado.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

--no-wait

    Não aguarde para atingir o estado RUNNING

--restart-user string

    Usuário que reiniciou o cluster.

--timeout duration

    A quantidade máxima de tempo para atingir o estado RUNNING (padrão 20m0s)

Bandeiras globais

clusters do databricks versões do spark

Liste as versões disponíveis do Spark. Essas versões podem ser usadas para iniciar um cluster.

databricks clusters spark-versions [flags]

Arguments

None

Opções

Bandeiras globais

Início dos clusters Databricks

Inicie um cluster encerrado com a ID especificada. Isso funciona de forma semelhante a createCluster, exceto: - A ID do cluster anterior e os atributos são preservados. - O cluster começa com o último tamanho de cluster especificado. - Se o cluster anterior era um cluster de dimensionamento automático, o cluster atual começa com o número mínimo de nós. - Se o cluster não estiver atualmente num estado TERMINADO, nada acontece. - Os clusters iniciados para executar um trabalho não podem ser iniciados.

databricks clusters start CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    O cluster a ser iniciado.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

--no-wait

    Não aguarde para atingir o estado RUNNING

--timeout duration

    A quantidade máxima de tempo para atingir o estado RUNNING (padrão 20m0s)

Bandeiras globais

Clusters de Databricks desafixar

Desafixar um cluster para permitir que o cluster seja eventualmente removido da API ListClusters. Desafixar um cluster que não está fixado não terá efeito. Essa API só pode ser chamada por administradores de espaço de trabalho.

databricks clusters unpin CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    O ID do cluster.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

Atualização de Databricks clusters

Atualize a configuração de um cluster para corresponder ao conjunto parcial de atributos e tamanho. Denote quais campos atualizar usando o campo update_mask no corpo da solicitação. Um cluster pode ser atualizado se estiver num estado de EXECUÇÃO ou TERMINADO. Se um cluster for atualizado enquanto estiver em um estado RUNNING, ele será reiniciado para que os novos atributos possam entrar em vigor. Se um cluster for atualizado enquanto estiver no estado TERMINADO, ele permanecerá TERMINADO. Os atributos atualizados entrarão em vigor na próxima vez que o cluster for iniciado usando a API de início de clusters. As tentativas de atualizar um cluster em qualquer outro estado serão rejeitadas com um código de erro INVALID_STATE. Os clusters criados pelo serviço Databricks Jobs não podem ser atualizados.

databricks clusters update CLUSTER_ID UPDATE_MASK [flags]

Arguments

CLUSTER_ID

    ID do cluster.

UPDATE_MASK

    Usado para especificar quais atributos de cluster e campos de tamanho devem ser atualizados. Consulte https://google.aip.dev/161 para obter mais detalhes. A máscara de campo deve ser uma única cadeia de caracteres, com vários campos separados por vírgulas (sem espaços). O caminho do campo é relativo ao objeto de recurso, usando um ponto (.) para navegar em subcampos (por exemplo, author.given_name). A especificação de elementos em campos de sequência ou mapa não é permitida, pois apenas todo o campo de coleta pode ser especificado. Os nomes de campo devem corresponder exatamente aos nomes de campo de recurso. Uma máscara de campo de _ indica substituição completa. Recomenda-se sempre listar explicitamente os campos que estão sendo atualizados e evitar o uso _ de curingas, pois isso pode levar a resultados não intencionais se a API mudar no futuro.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

--no-wait

    Não aguarde para atingir o estado RUNNING

--timeout duration

    A quantidade máxima de tempo para atingir o estado RUNNING (padrão 20m0s)

Bandeiras globais

Clusters do Databricks obter níveis de permissão

Obtenha os níveis de permissão do cluster.

databricks clusters get-permission-levels CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    O cluster para o qual obter ou gerenciar permissões.

Opções

Bandeiras globais

Obter permissões dos clusters Databricks

Obtenha permissões de cluster. Os clusters podem herdar permissões de seu objeto raiz.

databricks clusters get-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    O cluster para o qual obter ou gerenciar permissões.

Opções

Bandeiras globais

Clusters do Databricks definir permissões

Defina permissões de cluster, substituindo as permissões existentes, se existirem. Exclui todas as permissões diretas se nenhuma for especificada. Os objetos podem herdar permissões de seu objeto raiz.

databricks clusters set-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    O cluster para o qual obter ou gerenciar permissões.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

Atualizar permissões de clusters no Databricks

Atualize as permissões em um cluster. Os clusters podem herdar permissões de seu objeto raiz.

databricks clusters update-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    O cluster para o qual obter ou gerenciar permissões.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

Bandeiras globais

--debug

  Se o log de depuração deve ser habilitado.

-h ou --help

    Exiba a ajuda para a CLI do Databricks ou para o grupo de comandos relacionado ou para o comando relacionado.

--log-file string

    Uma cadeia de caracteres que representa o arquivo para gravar logs de saída. Se esse sinalizador não for especificado, o padrão é gravar logs de saída no stderr.

--log-format Formato

    O tipo text de formato de log ou json. O valor predefinido é text.

--log-level string

    Uma cadeia de caracteres que representa o nível de formato de log. Se não for especificado, o nível de formato de log será desativado.

-o, --output tipo

    O tipo de saída do comando, text ou json. O valor predefinido é text.

-p, --profile string

    O nome do perfil no ~/.databrickscfg arquivo a ser usado para executar o comando. Se esse sinalizador não for especificado, se ele existir, o perfil nomeado DEFAULT será usado.

--progress-format Formato

    O formato para exibir logs de progresso: default, append, inplace, ou json

-t, --target string

    Se aplicável, o destino do pacote a ser usado