Partilhar via

Limitações com o Databricks Connect for Python

Nota

Este artigo aborda o Databricks Connect para o Databricks Runtime 13.3 LTS ou posterior.

Este artigo lista as limitações do Databricks Connect for Python. O Databricks Connect permite conectar IDEs populares, servidores de notebook e aplicativos personalizados a clusters do Azure Databricks. Consulte O que é Databricks Connect?. Para a versão Scala deste artigo, consulte Limitações com o Databricks Connect for Scala.

Importante

Dependendo da versão do Python, Databricks Runtime e Databricks Connect que você está usando, pode haver requisitos de versão para alguns recursos. Consulte Requisitos de uso do Databricks Connect.

Disponibilidade de funcionalidades

Não disponível no Databricks Connect for Databricks Runtime 13.3 LTS e abaixo:

  • Transmissão foreachBatch
  • Criação de DataFrames maiores que 128 MB
  • Consultas com mais de 3600 segundos de duração

Não disponível no Databricks Connect for Databricks Runtime 15.3 e inferior:

  • ApplyinPandas() e Cogroup() com computação com modo de acesso padrão

Não disponível no Databricks Connect for Databricks Runtime 16.3 e abaixo:

  • Na computação sem servidor, as UDFs não podem incluir bibliotecas personalizadas.

Não disponível:

  • dataframe.display() API (Interface de Programação de Aplicações)
  • Utilitários Databricks: credentials, library, notebook workflow, widgets
  • Contexto da faísca
  • Conjuntos de Dados Distribuídos Resilientes (RDDs)
  • Bibliotecas que usam RDDs, Spark Context ou acessam a JVM subjacente do Spark, como Mosaic geospatial, GraphFrames ou GreatExpectations
  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • Alterar o log level do log4j através de SparkContext
  • O treinamento distribuído de ML não é suportado.
  • Sincronizando o ambiente de desenvolvimento local com o cluster remoto
  • Last updated on