Tempo de execução do Databricks 10.0 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 10.0 e o Databricks Runtime 10.0 Photon, com tecnologia Apache Spark 3.2.0. A Databricks lançou esta versão em outubro de 2021. Photon está em Visualização Pública.

Novos recursos e melhorias

• Nova versão do Apache Spark
• SELECT declaração agora suporta a cláusula QUALIFY para filtrar os resultados da função de janela
• Suporte de cluster para JDK 11 (visualização pública)
• O Auto Loader agora trata esquemas como anuláveis

Nova versão do Apache Spark

O Databricks Runtime 10.0 e o Databricks Runtime 10.0 Photon incluem o Apache Spark 3.2.0. Para obter detalhes, consulte Apache Spark.

SELECT instrução agora suporta a cláusula QUALIFY para filtrar resultados de funções de janela

A SELECT declaração agora apoia a QUALIFY cláusula. QUALIFY pode ser usado para filtrar os resultados das funções da janela. Uma ou mais funções de janela devem estar presentes na lista de SELECT ou na condição QUALIFY. Por exemplo:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Suporte de cluster para JDK 11 (visualização pública)

O Databricks agora fornece suporte a cluster para Java Development Kit (JDK) 11.

Ao criar um cluster, você pode especificar que o cluster use o JDK 11 (para o driver e o executor). Para fazer isso, adicione a seguinte variável de ambiente para Advanced Options > Spark > Environment Variables:

JNAME=zulu11-ca-amd64

O Auto Loader agora trata esquemas como anuláveis

O Auto Loader agora trata todos os esquemas inferidos e fornecidos pelo usuário como anuláveis por padrão. Isso é para evitar corrupção de dados em potencial nos casos em que os dados contêm campos nulos para colunas não anuláveis. Uma nova configuração é introduzida para rastrear esse comportamento, spark.databricks.cloudFiles.schema.forceNullable. Por padrão, essa configuração contém a configuração de spark.sql.streaming.fileSource.schema.forceNullable, que o FileStreamSource no Apache Spark usa e está definida como true por padrão.

Alterações interruptivas

Alterações significativas para todos os usuários do Spark SQL

• Nova configuração de spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled: quando definido como true, permite um subconjunto de predicados de igualdade correlacionados quando uma subconsulta é agregada. A predefinição é true.
• Nova configuração spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled: quando definido como true, bloqueia a geração automática de aliases quando as visualizações são criadas. A predefinição é true.
• Nova configuração spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled: quando definido como true, não permite CREATE TABLE AS SELECT com um local não vazio. A predefinição é true. Observe que quando spark.sql.legacy.allowNonEmptyLocationInCTAS também está definido como true, essa configuração não tem efeito e CREATE TABLE AS SELECT com um local não vazio é sempre permitido.

Alterações recentes para usuários do Spark SQL que habilitam o modo ANSI

Para obter informações sobre o modo ANSI, consulte Conformidade ANSI no Databricks Runtime.

• Nova configuração spark.databricks.behaviorChange.SC83587NextDayDOW.enabled: quando definido como true, um argumento dayOfWeek inválido para a função next_day lança um IllegalArgumentException no modo ANSI; caso contrário, ele retorna null. A predefinição é true.

• Nova configuração spark.databricks.behaviorChange.SC83796CanCast.enabled: quando definido como true, permite novas regras de sintaxe de transmissão explícita no modo ANSI. A predefinição é true.

• Nova configuração spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled: quando definido como true, uma exceção de erro de análise é lançada ao converter uma cadeia de caracteres para um Booleano; caso contrário, retorna null. A predefinição é true.

• Nova configuração spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled: quando definida como true, a função abs lança uma exceção se a entrada estiver fora do intervalo. A predefinição é true.

Alterações significativas para todos os usuários do Python

• A API delta.tables.DeltaTable.convertToDelta Python agora retorna o objeto Python correto DeltaTable que pode ser usado para executar comandos Delta Lake. Anteriormente, ele retornava um objeto interno que não podia ser chamado diretamente.

Atualizações da biblioteca

Atualização do Apache Hadoop 3

• O Databricks Runtime 10.0 atualiza a dependência do Hadoop do Hadoop 2.7.4 para o Hadoop 3.3.1.

Alterações de comportamento

• O Hadoop 3 usa as bibliotecas hadoop-client-api e hadoop-client-runtime em vez da biblioteca hadoop-common, que sombreia determinadas dependências de terceiros que poderiam ser usadas em APIs ou extensões públicas do Hadoop.
• As opções de configuração do Hadoop 3 foram alteradas desde o Hadoop 2. Para opções do Hadoop 3.3.1, consulte core-default.xml.
• O Databricks atualizou algumas das configurações padrão do Hadoop 3 para serem consistentes com o Hadoop 2, para garantir que os conectores de armazenamento tenham as mesmas configurações de autenticação padrão e níveis de desempenho:
  • fs.azure.authorization.caching.enable = false
  • fs.s3a.attempts.maximum = 10
  • fs.s3a.block.size = 67108864
  • fs.s3a.connection.timeout = 50000
  • fs.s3a.max.total.tasks = 1000
  • fs.s3a.retry.limit = 20
  • fs.s3a.retry.throttle.interval = 500ms
  • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
  • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
• O conector do Google Cloud Storage (GCS) foi atualizado da versão 2.1.6 para a 2.2.2.
• O conector do Amazon Redshift agora usa o s3a:// esquema. O s3n:// esquema foi preterido.
• Manipula os nomes de classe OSS para a API do Amazon S3 MetadataStore, além das classes sombreadas. Isso permite processar configurações de OSS sem exigir os nomes de classe sombreados.
  • Por exemplo, você pode especificar a org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore classe na configuração do Hadoop.
• Torna o new Configuration() e sparkContext.hadoopConfiguration consistente.
  • Agora, sempre que uma nova configuração do Hadoop for criada, ela será consistente com a configuração predefinida do Hadoop no sparkContext.hadoopConfiguration Databricks Runtime, incluindo esquemas de sistema de arquivos e sua configuração padrão.
• Embora os conectores de armazenamento Hadoop incluídos no Databricks Runtime sejam totalmente compatíveis com o Hadoop 3.3.1, não é garantido que estejam sincronizados com os conectores OSS Hadoop 3.3.1 e podem ter um comportamento diferente.
  • O conector do Amazon S3 ainda permite (embora com um aviso) a autenticação user:secret em URLs do S3, em comparação com o HADOOP-14833, que o remove.
• globStatus agora sempre retorna resultados classificados (HADOOP-10798)
• Adicionado fs.s3a.endpoint se unset e fs.s3a.endpoint region for null(SPARK-35878)
  • O recurso de resolução automática da região do Amazon S3 fornecido pela Databricks pode não ser acionado em alguns casos, devido à configuração do endpoint global. Isso não é um problema, pois o AWS SDK resolverá a região corretamente.
• Adicione fs.s3a.downgrade.syncable.exceptions se não estiver definido(SPARK-35868)
• Os codecs LZ4 e Snappy não dependem da biblioteca Hadoop nativa (HADOOP-17125)

Problemas conhecidos

• SPARK-36681 Usando SnappyCodec para escrever arquivo de sequência falhará com UnsatisfiedLinkError devido a problema conhecido no Hadoop 3.3.1 (HADOOP-17891)

Faísca Apache

O Databricks Runtime 10.0 inclui o Apache Spark 3.2.0.

Nesta secção:

• Destaques
• Core e Spark SQL
• Transmissão em Fluxo Estruturada
• PySpark
• MLlib
• Descontinuações e remoções

Destaques

• Suporte Pandas camada API no PySpark (SPARK-34849)
• Sessionização baseada em EventTime (janela de sessão)(SPARK-10816)
• Suporte a tipos ANSI SQL INTERVAL (SPARK-27790)
• Modo ANSI GA (SPARK-35030)
• Padronizar mensagens de exceção no Spark (SPARK-33539)

Core e Spark SQL

Aprimoramentos de compatibilidade com ANSI SQL

• Suporte a tipos ANSI SQL INTERVAL (SPARK-27790)
• Novas regras de sintaxe de coerção de tipo no modo ANSI (SPARK-34246)

Melhorias de desempenho

• Otimização de consultas
  • Remover agregados redundantes no Optimizer (SPARK-33122)
  • Empurre o limite para baixo através do Project com Join(SPARK-34622)
  • Estimativa da cardinalidade do operador de união, classificação e intervalo (SPARK-33411)
  • UnwrapCastInBinaryComparison suporte In/InSet predicado(SPARK-35316)
  • Mantenha as estatísticas necessárias após a poda da partição(SPARK-34119)
• Execução de consultas
  • Habilitar pool de buffer Zstandard por padrão (SPARK-34340, SPARK-34390)
  • Adicionar geração de código para todos os tipos de junção de mesclagem ordenada (SPARK-34705)
  • Melhoria da junção por loop aninhado de transmissão(SPARK-34706)
  • Suporta dois níveis de mapas de hash para agregação de hash final (SPARK-35141)
  • Permitir gravadores simultâneos para escrever partições dinâmicas e tabelas de compartimentos (SPARK-26164)
  • Melhorar o desempenho dos FETCH_PRIOR de processamento no Thriftserver(SPARK-33655)

Aprimoramentos do conector

• Parquet
  • Atualize o Parquet para 1.12.1 (SPARK-36726)
  • Leia tipos não assinados de parquet que são armazenados como tipo físico int32 em parquet (SPARK-34817)
  • Leia o tipo lógico int64 não assinado do Parquet que armazenou como tipo físico int64 assinado para decimal(20, 0)(SPARK-34786)
  • Melhorar o Parquet no filtro pushdown (SPARK-32792)
• ORC
  • Atualize o ORC para a versão 1.6.11 (SPARK-36482)
  • Suporte ORC evolução posicional forçada (SPARK-32864)
  • Suporte coluna aninhada no leitor vetorizado ORC(SPARK-34862)
  • Suporte a compressão ZSTD e LZ4 na fonte de dados ORC (SPARK-33978, SPARK-35612)
• Avro
  • Atualize o Avro para a versão 1.10.2 (SPARK-34778)
  • Suportando a evolução do esquema Avro para tabelas Hive particionadas com "avro.schema.literal"(SPARK-26836)
  • Adicione novas opções de fonte de dados Avro para controlar a rebase de data/hora em leitura (SPARK-34404)
  • Adicionando suporte para url de esquema fornecido pelo usuário em Avro(SPARK-34416)
  • Adicione suporte para correspondência posicional de esquema Catalyst-to-Avro (SPARK-34365)
• JSON
  • Atualize Jackson para a versão 2.12.3 (SPARK-35550)
  • Permitir que fontes de dados Json escrevam caracteres não-ascii como pontos de código (SPARK-35047)
• JDBC
  • Calcule um passo de partição mais preciso em JDBCRelation(SPARK-34843)
• Filtro de suporte do Hive Metastore por not-in(SPARK-34538)

Aprimoramentos de recursos

• Subconsulta
  • Melhorar subconsultas correlacionadas (SPARK-35553)
• Novas funções incorporadas
  • ilike (faísca-36674, faísca-36736)
  • current_user(FAÍSCA-21957)
  • produto (SPARK-33678)
  • regexp_like,regexp (SPARK-33597, SPARK-34376)
  • try_add(FAÍSCA-35162)
  • try_divide(FAÍSCA-35162)
  • bit_get(FAÍSCA-33245)
• Usar o Apache Hadoop 3.3.1 por padrão (SPARK-29250)
• Adicionar soma de verificação para blocos aleatórios(SPARK-35275)
• Habilite spark.storage.replication.proactive por padrão (SPARK-33870)
• Suporte a limpeza de armazenamento de fallback durante a interrupção do SparkContext (SPARK-34142)
• Suporte Java enums de Scala Dataset API (SPARK-23862)
• ADD JAR com as coordenadas do Ivy deve ser compatível com o comportamento transitivo do Hive(SPARK-34506)
• Suporte ao comando S para ADD ARCHIVE e LIST ARCHIVE(SPARK-34603)
• Suportar vários caminhos para comandos ADD FILE/JAR/ARCHIVE (SPARK-35105)
• Suporte a arquivos arquivados como recursos para CREATE FUNCTION USANDO sintaxe(SPARK-35236)
• Carregando SparkSessionExtensions de ServiceLoader(SPARK-35380)
• Adicionar função de frases a funções. {Escala,py}(FAÍSCA-35418)
• Aplicar spark.sql.hive.metastorePartitionPruning para tabelas que não sejam do Hive que usam o metastore do Hive para gerenciamento de partições(SPARK-36128)
• Propagar o motivo da perda de exec para a interface do usuário da Web (SPARK-34764)
• Evite inserir With-CTEs não determinísticos (SPARK-36447)
• Suportar a análise de todas as tabelas num banco de dados específico(SPARK-33687)
• Padronizar mensagens de exceção no Spark (SPARK-33539)
• Suporte (IGNORE | RESPECT) NULLS para LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE(SPARK-30789)

Outras mudanças notáveis

• Monitorização
  • Novas métricas para ExternalShuffleService(SPARK-35258)
  • Adicionar novas APIs e parâmetros REST de nível de estágio (SPARK-26399)
  • Tarefa de suporte e executor Distribuições de métricas Distribuições de métricas na API REST (SPARK-34488)
  • Adicionar métricas de fallback para agregação de hash(SPARK-35529)
• Adicionar count_distinct como uma opção a Dataset#summary(SPARK-34165)
• Implementar ScriptTransform em sql/core(SPARK-31936)
• Torne o tempo limite de pulsação do driver BlockManagerMaster configurável(SPARK-34278)
• Torne o nome do serviço aleatório configurável no lado do cliente e permita a substituição da configuração baseada em classpath no lado do servidor (SPARK-34828)
• ExecutorMetricsPoller deve manter a entrada do estágio no stageTCMP até que ocorra um batimento cardíaco (SPARK-34779)
• Substitua se pela cláusula de filtro em RewriteDistinctAggregates(SPARK-34882)
• Corrigir falha ao aplicar CostBasedJoinReorder em autojunção(SPARK-34354)
• CREATE TABLE LIKE deve respeitar as propriedades da tabela reservada(SPARK-34935)
• Enviar arquivo ivySettings para o driver no modo de cluster YARN (SPARK-34472)
• Resolver colunas comuns duplicadas de JOINUSING/NATURAL (SPARK-34527)
• Ocultar propriedades de visualização interna para o comando descrever tabela (SPARK-35318)
• Suporte à resolução de attrs ausentes para distribuir/cluster por/dica de repartição (SPARK-35331)
• Ignore o erro ao verificar o caminho em FileStreamSink.hasMetadata(SPARK-34526)
• Melhore o suporte ao s3a magic committer inferindo configurações ausentes (SPARK-35383)
• Permitir omitir : na cadeia de caracteres do tipo STRUCT (SPARK-35706)
• Adicione um novo operador para distinguir se a AQE pode otimizar com segurança (SPARK-35786)
• Acrescentar novos campos struct aninhados em vez de classificar para unionByName com preenchimento nulo (SPARK-35290)
• ArraysZip deve manter nomes de campo para evitar ser reescrito pelo analisador/otimizador (SPARK-35876)
• Use Void como o nome do tipo de NullType (SPARK-36224)
• Introduzir nova API para FileCommitProtocol permitir nomenclatura flexível de arquivos (SPARK-33298)

Mudanças de comportamento

Consulte os guias de migração para cada componente: Spark Core.

Transmissão em Fluxo Estruturada

Principais características

• Sessionização baseada em EventTime (janela de sessão)(SPARK-10816)
• Atualize o cliente Kafka para 2.8.0 (SPARK-33913)
• Trigger.AvailableNow para executar consultas de streaming como Trigger.Once em vários lotes no Scala (SPARK-36533)

Outras mudanças notáveis

• Introduza uma nova opção na fonte Kafka para especificar um número mínimo de registros a serem lidos por gatilho (SPARK-35312)
• Adicionar os deslocamentos mais recentes ao progresso da origem (SPARK-33955)

PySpark

Projeto Zen

• API Pandas no Spark (SPARK-34849)
  • Ativar mypy para pandas-on-Spark (SPARK-34941)
  • Implementar suporte CategoricalDtype (SPARK-35997, SPARK-36185)
  • Conclua as operações básicas de Série e Índice (SPARK-36103, SPARK-36104, SPARK-36192)
  • Combinar comportamentos com 1,3 pandas (SPARK-36367)
  • Alinhar comportamentos em séries com NaN aos pandas' (SPARK-36031, SPARK-36310)
  • Implementar operador unário 'inverter' de série integral e índice (SPARK-36003)
  • Implementar CategoricalIndex.map e DatetimeIndex.map(SPARK-36470)
  • Implementar Index.map(SPARK-36469)
• faulthanlder suporte para Python worker crashed (SPARK-36062)
• Usar a regra de nomenclatura Snake nas APIs de função (SPARK-34306)
• Habilite spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled por padrão (SPARK-35419)
• Suporte para inferir dict aninhado como uma struct ao criar um DataFrame (SPARK-35929)

Outras mudanças notáveis

• Ativar o modo de thread fixo por padrão (SPARK-35303)
• Adicionar suporte NullType para execuções de seta (SPARK-33489)
• Adicionar Seta self_destruct suporte a toPandas (SPARK-32953)
• Adicionar API de wrapper de destino de thread para o modo de thread de pino pyspark (SPARK-35498)

Mudanças de comportamento

Consulte os guias de migração.

MLlib

Melhoramentos de desempenho

• Otimização da transformação BucketedRandomProjectionLSH (SPARK-34220)
• w2v findSinónimos otimização(SPARK-34189)
• optimizar GEMM esparso ao ignorar a verificação de limites(SPARK-35707)
• Melhorar o desempenho do ML ALS recommendForAll by GEMV (SPARK-33518)

Melhorias no treinamento do modelo

• Refactor Logistic Aggregator - suporte à centralização virtual (SPARK-34797)
• Regressão logística binária com centralização de suporte de intercetação (SPARK-34858, SPARK-34448)
• Regressão Logística Multinomial com centralização de suporte de intercetação (SPARK-34860)

Melhorias no BLAS

• Substitua totalmente com.github.fommil.netlib por dev.ludovic.netlib:2.0(SPARK-35295)
• Adicionar uma implementação BLAS vetorizada (SPARK-33882)
• Acelere o BLAS de fallback com dev.ludovic.netlib(SPARK-35150)

Outras mudanças notáveis

• A transformação OVR corrige o potencial conflito da coluna(SPARK-34356)

Descontinuações e remoções

• Depreciar spark.launcher.childConnectionTimeout(SPARK-33717)
• descontinuar GROUP BY ... AGRUPAR CONJUNTOS (...) e promover GROUP BY GROUPING SETS (...)(SPARK-34932)
• Depreciar a API ps.broadcast (SPARK-35810)
• Depreciar o num_files argumento (SPARK-35807)
• Descontinuar DataFrame.to_spark_io(SPARK-35811)

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 10.0.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Escala: 2.12.14
• Píton: 3.8.10
• R: 4.1.1
• Lago Delta: 1.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2021-09-21.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)