Compartilhar via

Limitações com o Databricks Connect para Python

Observação

Esse artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e superior.

Este artigo lista as limitações com o Databricks Connect para Python. O Databricks Connect permite que você conecte os IDEs mais populares, servidores de notebook e aplicativos personalizados aos clusters do Azure Databricks. Confira O que é o Databricks Connect?. Para obter a versão do Scala deste artigo, consulte Limitações com o Databricks Connect para Scala.

Importante

Dependendo da versão do Python, do Databricks Runtime e do Databricks Connect que você está usando, pode haver requisitos de versão para alguns recursos. Consulte os requisitos de uso do Databricks Connect.

Disponibilidade de funcionalidades

Databricks Connect para Databricks Runtime 13.3 LTS e inferior:

  • Streaming foreachBatch
  • Como criar DataFrames maiores que 128 MB
  • Consultas longas ao longo de 3,600 segundos

Não disponível no Databricks Connect para Databricks Runtime 15.3 e abaixo:

  • ApplyinPandas() e Cogroup() computação com modo de acesso padrão

Não disponível no Databricks Connect para Databricks Runtime 16.3 e abaixo:

  • Na computação sem servidor, as UDFs não podem incluir bibliotecas personalizadas.

Não disponível:

  • dataframe.display() API
  • Utilitários do Databricks: credentials, library, notebook workflow e widgets
  • Contexto do Spark
  • RDDs
  • Bibliotecas que usam RDDs, Contexto do Spark ou acessam a JVM do Spark subjacente, como geoespaciais mosaico, GraphFrames ou GreatExpectations
  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • Alterar o nível de log log4j através de SparkContext
  • Não há suporte para treinamento de ML distribuído.
  • Sincronizar o ambiente de desenvolvimento local com o cluster remoto
  • Last updated on