Requisitos de uso do Databricks Connect

Este artigo fornece requisitos de uso para o Databricks Connect. Para obter informações sobre o Databricks Connect, consulte O que é o Databricks Connect?.

Requisitos do espaço de trabalho

Para usar o Databricks Connect para se conectar ao seu espaço de trabalho:

• Sua conta e espaço de trabalho do Azure Databricks devem ter o Unity Catalog habilitado. Consulte Introdução ao Catálogo Unity e Habilitar um espaço de trabalho para o Catálogo Unity.

• A versão do Databricks Runtime da computação deve ser maior ou igual à versão do pacote Databricks Connect. O Databricks recomenda que você use o pacote Databricks Connect mais recente que corresponda à sua versão do Databricks Runtime.

  Para usar recursos que estão disponíveis em versões posteriores do Databricks Runtime, você deve atualizar o pacote Databricks Connect. Consulte as notas de versão do Databricks Connect para obter uma lista das versões disponíveis do Databricks Connect. Para ver as notas de lançamento do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

• Se você estiver se conectando à computação sem servidor, seu espaço de trabalho deverá atender aos requisitos de computação sem servidor.

  Observação

  A computação sem servidor é suportada a partir do Databricks Connect versão 15.1. As versões do Databricks Connect que são menores ou iguais à versão do Databricks Runtime no serverless são totalmente compatíveis. Consulte Notas de versão. Para verificar se a versão do Databricks Connect é compatível com computação sem servidor, consulte Validar a conexão com o Databricks.

• Se você estiver se conectando a um cluster, o cluster de destino deverá usar um modo de acesso ao cluster de Atribuído ou Compartilhado. Consulte Modos de acesso.

Requisitos ambientais locais

Para instalar o Databricks Connect, seu ambiente de desenvolvimento local deve atender aos seguintes requisitos:

Python

• A autenticação no Databricks está configurada. Dependendo do tipo de autenticação Databricks , pode haver requisitos:

  • Para autenticação OAuth user-to-machine (U2M), você deve usar a CLI do Databricks para autenticar antes de executar o código. Consulte o tutorial Databricks Connect for Python.

  • A autenticação OAuth user-to-machine (U2M) e a autenticação OAuth machine-to-machine (M2M) são suportadas no Databricks SDK para Python 0.19.0 e superior. Para atualizar a versão instalada do seu projeto do SDK do Databricks para Python, consulte Introdução ao SDK do Databricks para Python.

• O Python 3 está instalado e a versão secundária do Python instalada atende aos requisitos de versão na tabela de compatibilidade de versão abaixo.

• Se você estiver usando funções definidas pelo usuário (UDFs), a versão secundária local do Python corresponderá à versão secundária do Python da versão do Databricks Runtime do cluster ou computação sem servidor. Para encontrar a versão menor do Python da versão do Databricks Runtime do seu cluster, consulte a secção System environment das notas de versão do Databricks Runtime para essa versão. Consulte Notas de versão, versões e compatibilidade do Databricks Runtime e Notas de versão de computação sem servidor.

Scala

• A autenticação no Databricks está configurada. Dependendo do tipo de autenticação Databricks , pode haver requisitos:

  • Para autenticação OAuth user-to-machine (U2M), você deve usar a CLI do Databricks para autenticar antes de executar o código. Consulte o tutorial do Databricks Connect for Scala.

  • A autenticação OAuth user-to-machine (U2M) e a autenticação OAuth machine-to-machine (M2M) são suportadas no Databricks SDK for Java 0.18.0 e superior. Para atualizar a versão instalada do seu projeto do SDK do Databricks para Java, consulte Introdução ao SDK do Databricks para Java.

  • Para Databricks Connect for Databricks Runtime 13.3 LTS e superior, para Scala, o Databricks Connect inclui o Databricks SDK for Java. Este SDK implementa o padrão de autenticação unificada Databricks .

• O Java Development Kit (JDK) está instalado. O Databricks recomenda que a versão da instalação do JDK corresponda à versão do JDK no cluster do Azure Databricks. Para localizar a versão JDK do Databricks Runtime em seu cluster, consulte a seção Ambiente do sistema das notas de versão do Databricks Runtime ou a tabela de compatibilidade de versão.

  Observação

  Usar uma versão do JDK que não corresponda à versão do JDK do cluster pode causar um comportamento inesperado ou impedir a execução do código.

• O Scala está instalado. O Databricks recomenda que a versão da instalação do Scala corresponda à versão do Scala no cluster do Azure Databricks. Para encontrar a versão Scala da versão do Databricks Runtime do cluster, consulte a seção Ambiente do sistema das notas de versão do Databricks Runtime ou a tabela de compatibilidade de versão.

• Se você estiver usando funções definidas pelo usuário (UDFs), as versões locais do Scala e do Java corresponderão às versões Scala e Java da versão do Databricks Runtime do cluster. Para encontrar as versões Scala e Java da versão Databricks Runtime do cluster, consulte a seção Ambiente do sistema das notas de versão do Databricks Runtime ou a tabela de compatibilidade de versão abaixo.

• Uma ferramenta de construção Scala, como sbt, está instalada.

Versões do Databricks Connect

A tabela a seguir mostra o Databricks Connect suportado e versões de idiomas compatíveis. Os números de versão do Databricks Connect correspondem aos números de versão do Databricks Runtime. Consulte as notas de versão do Databricks Connect para obter uma lista das versões disponíveis do Databricks Connect. Para ver as notas de lançamento do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

Python

Para obter suporte a UDF, consulte Ambiente base Python.

Scala

Versões de fim de suporte

O Databricks Connect segue os ciclos de vida de suporte do Databricks Runtime. As seguintes versões atingiram o fim do suporte. Se você estiver usando uma versão do Databricks Connect que atingiu o fim do suporte, atualize para uma versão compatível.

Python

Scala