Requisitos de uso do Databricks Connect

Este artigo fornece requisitos de uso para o Databricks Connect. Para obter informações sobre o Databricks Connect, consulte o que é o Databricks Connect?.

Requisitos de workspace

Para usar o Databricks Connect para se conectar ao workspace:

• Sua conta e workspace do Azure Databricks devem ter o Catálogo do Unity habilitado. Veja Introdução ao Catálogo do Unity e Habilite um workspace para o Catálogo do Unity.

• A versão do Databricks Runtime de sua computação deve ser maior ou igual à versão do pacote do Databricks Connect. O Databricks recomenda que você use o pacote mais recente do Databricks Connect que corresponde à sua versão do Databricks Runtime.

  Para usar recursos disponíveis em versões posteriores do Databricks Runtime, você deve atualizar o pacote do Databricks Connect. Veja as notas de lançamento do Databricks Connect para uma lista de lançamentos disponíveis do Databricks Connect. Para obter as notas de lançamento do Databricks Runtime, consulte notas de lançamento do Databricks Runtime, versões e compatibilidade.

• Se você estiver se conectando à computação sem servidor, seu espaço de trabalho deverá satisfazer os requisitos para computação sem servidor.

  Observação

  Há suporte para computação sem servidor a partir do Databricks Connect versão 15.1. As versões do Databricks Connect que são inferiores ou iguais à versão do Databricks Runtime sem servidor são totalmente compatíveis. Consulte as Notas de versão. Para verificar se a versão do Databricks Connect é compatível com a computação sem servidor, confira a seção Validar a conexão com o Databricks.

• Se você estiver se conectando a um cluster, seu cluster de destino deverá usar um modo de acesso de cluster atribuído ou compartilhado. Consulte Modos de acesso.

Requisitos de ambiente local

Para instalar o Databricks Connect, seu ambiente de desenvolvimento local deve atender aos seguintes requisitos:

Python

• A autenticação no Databricks está configurada. Dependendo do tipo de autenticação do Databricks , pode haver requisitos:

  • Para autenticação U2M (usuário para computador) do OAuth, você deve usar a CLI do Databricks para autenticar antes de executar seu código. Consulte o tutorial do Databricks Connect para Python.

  • A autenticação OAuth U2M (user-to-machine) e a autenticação OAuth machine-to-machine (M2M) têm suporte no SDK do Databricks para Python 0.19.0 e superior. Para atualizar a versão instalada do seu projeto do SDK do Databricks para Python, consulte Introdução ao SDK do Databricks para Python.

• O Python 3 está instalado e a versão secundária do Python instalada atende aos requisitos de versão na tabela de compatibilidade de versão abaixo.

• Se você estiver usando UDFs (funções definidas pelo usuário), a versão secundária local do Python corresponderá à versão secundária do Python da versão do Databricks Runtime do cluster ou da computação sem servidor. Para encontrar a versão secundária do Python da versão do Databricks Runtime do cluster, confira a seção Ambiente de sistema das notas sobre a versão do Databricks Runtime dessa versão. Consulte Versões e compatibilidade das notas de versão do Databricks Runtime e Notas de versão da computação sem servidor.

Scala

• A autenticação no Databricks está configurada. Dependendo do tipo de autenticação do Databricks , pode haver requisitos:

  • Para autenticação U2M (usuário para computador) do OAuth, você deve usar a CLI do Databricks para autenticar antes de executar seu código. Consulte o tutorial do Databricks Connect para Scala.

  • A autenticação OAuth U2M (user-to-machine) e a autenticação OAuth machine-to-machine (M2M) têm suporte no SDK do Databricks para Java 0.18.0 e superior. Para atualizar a versão instalada do seu projeto do SDK do Databricks para Java, consulte Introdução ao SDK do Databricks para Java.

  • Para o Databricks Connect para Databricks Runtime 13.3 LTS e superior, para Scala, o Databricks Connect inclui o SDK do Databricks para Java. Esse SDK implementa o padrão de autenticação unificada do Databricks .

• O JDK (Java Development Kit) está instalado. O Databricks recomenda que a versão da instalação do JDK corresponda à versão do JDK em seu cluster do Azure Databricks. Para localizar a versão do JDK do Databricks Runtime em seu cluster, consulte a seção Ambiente do sistema das notas de versão do Databricks Runtime ou da tabela de compatibilidade de versão.

  Observação

  Usar uma versão do JDK que não corresponde à versão do JDK do cluster pode causar um comportamento inesperado ou impedir a execução do código.

• O Scala está instalado. O Databricks recomenda que a versão da instalação do Scala corresponda à versão do Scala em seu cluster do Azure Databricks. Para localizar a versão scala da versão do Databricks Runtime do cluster, consulte a seção Ambiente do sistema das notas de versão do Databricks Runtime ou da tabela de compatibilidade de versão.

• Se você estiver usando UDFs (funções definidas pelo usuário), as versões locais do Scala e java corresponderão às versões Scala e Java da versão do Databricks Runtime do cluster. Para localizar as versões Scala e Java da versão do Databricks Runtime do cluster, consulte a seção Ambiente do sistema das notas de versão do Databricks Runtime ou da tabela de compatibilidade de versão abaixo.

• Uma ferramenta de build do Scala, como o sbt, está instalada.

Versões do Databricks Connect

A tabela a seguir mostra o Databricks Connect com suporte e versões de idioma compatíveis. Os números de versão do Databricks Connect correspondem aos números de versão do Databricks Runtime. Veja as notas de lançamento do Databricks Connect para uma lista de lançamentos disponíveis do Databricks Connect. Para obter as notas de lançamento do Databricks Runtime, consulte notas de lançamento do Databricks Runtime, versões e compatibilidade.

Python

Para obter suporte à UDF, consulte o ambiente base do Python.

Scala

Versões de fim de suporte

O Databricks Connect segue os ciclos de vida de suporte do Databricks Runtime. As versões a seguir atingiram o fim do suporte. Se você estiver usando uma versão do Databricks Connect que tenha atingido o fim do suporte, atualize para uma versão com suporte.

Python

Scala