Databricks Runtime 18.0 (Beta)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 18.0 (Beta).

O Azure Databricks lançou esta versão em dezembro de 2025.

Novos recursos e melhorias

• O Script SQL agora está disponível em geral
• Driver JDBC do Redshift atualizado para 2.1.0.28
• Ambiente de execução de isolamento compartilhado para UDFs do Python do Catálogo do Unity
• Funções da janela SQL em exibições de métrica
• Desligamento normal para aplicativos Spark
• Ajuste dinâmico da partição de shuffle em consultas de streaming sem estado
• Execução Adaptativa de Consultas e embaralhamento otimizado automaticamente em consultas de streaming sem estado
• FILTER cláusula para funções de agregação de medidas em visões de métricas
• Coalescência de string literal em todos os lugares
• Marcadores de parâmetro em todos os lugares
• IDENTIFIER cláusula em todos os lugares
• Nova função de BITMAP_AND_AGG
• Nova biblioteca de funções de KLL_Sketch
• Biblioteca do Apache Parquet atualizada para 1.16.0

SQL Scripting agora está disponível para uso geral

O recurso de Script SQL agora está geralmente disponível.

Driver JDBC do Redshift atualizado para 2.1.0.28

O driver JDBC do Redshift foi atualizado para a versão 2.1.0.28.

Ambiente de execução compartilhada de isolamento para UDFs em Python do Unity Catalog

UDFs Python do Unity Catalog do mesmo proprietário agora podem compartilhar um ambiente de isolamento padrão. Isso pode melhorar o desempenho e reduzir o uso de memória reduzindo o número de ambientes separados que precisam ser iniciados.

Para garantir que uma UDF sempre seja executada em um ambiente totalmente isolado, adicione a STRICT ISOLATION cláusula característica. Consulte isolamento de ambiente.

Funções da janela SQL em exibições de métrica

Agora você pode usar funções de janela SQL em exibições de métricas para calcular totais acumulados, classificações e outros cálculos baseados em janela.

Desligamento normal para aplicativos Spark

Os aplicativos Spark agora dão suporte ao desligamento normal, permitindo que as tarefas em andamento sejam concluídas antes que o aplicativo seja encerrado.

Ajuste dinâmico de partição de baralhamento em consultas de streaming sem estado

Agora você pode alterar o número de partições embaralhadas em consultas de streaming sem estado sem reiniciar a consulta.

Execução Adaptativa de Consultas e embaralhamento otimizado automaticamente em consultas de streaming sem estado

Execução de Consulta Adaptável (AQE) e embaralhamento auto-otimizado (AOS) agora têm suporte em consultas de streaming sem estado.

FILTER cláusula para funções de agregação de métricas em visões de métricas

Agora você pode usar a cláusula FILTER com funções de agregação de medidas em visualizações de métricas para definir filtros individuais por agregação ao referenciar medidas nas visualizações de métricas.

Associação de cadeia de caracteres literal em todos os lugares

A capacidade de unir literais de cadeias de caracteres sequenciais, como de 'Hello' ' World' em 'Hello World', foi expandida de expressões para qualquer lugar onde literais de cadeias de caracteres são permitidos. Por exemplo, COMMENT 'This' ' is a ' 'comment'. Consulte tipoSTRING para mais detalhes.

Marcadores de parâmetro em todos os lugares

Agora você pode usar marcadores de parâmetro nomeados (:param) e não nomeados (?) praticamente em qualquer lugar em que um valor literal do tipo apropriado possa ser usado. Isso inclui marcadores de parâmetro em instruções DDL, como CREATE VIEW v AS SELECT ? AS c1, tipos de coluna DECIMAL(:p, :s) ou COMMENT ON t IS :comment. Com essa capacidade, você pode parametrizar uma grande variedade de instruções SQL sem expor seu código a ataques de injeção de SQL. Consulte marcadores de parâmetro para obter detalhes.

IDENTIFIER cláusula por toda parte

O alcance da IDENTIFIER cláusula, que converte cadeias de caracteres em nomes de objeto SQL, foi expandido para quase todos os lugares em que um identificador é permitido. Juntamente com as melhorias na cadeia de caracteres Literal unindo marcadores de parâmetro, agora você pode parametrizar qualquer coisa, desde aliases de coluna (AS IDENTIFIER(:name)) até definições de coluna (IDENTIFIER(:pk) BIGINT NOT NULL). Consulte IDENTIFIER cláusula para obter detalhes.

Nova função de BITMAP_AND_AGG

A biblioteca de BITMAP funções existente foi arredondada com uma nova função BITMAP_AND_AGG .

Nova biblioteca de funções de KLL_Sketch

Agora você pode usar uma nova biblioteca de funções que criam esboços KLL para computação quântica aproximada:

• kll_sketch_agg_bigint função de agregação
• kll_sketch_get_quantile_bigint função
• kll_sketch_merge_bigint função
• kll_sketch_agg_double função de agregação
• kll_sketch_get_quantile_double função
• kll_sketch_merge_double função
• kll_sketch_agg_float função de agregação
• kll_sketch_get_quantile_float função
• kll_sketch_merge_float função
• kll_sketch_get_n_bigint função
• kll_sketch_get_rank_bigint função
• kll_sketch_to_string_bigint função
• kll_sketch_get_n_double função
• kll_sketch_get_rank_double função
• kll_sketch_to_string_double função
• kll_sketch_get_n_float função
• kll_sketch_get_rank_float função
• kll_sketch_to_string_float função

Biblioteca do Apache Parquet atualizada para 1.16.0

A biblioteca do Apache Parquet foi atualizada para a versão 1.16.0.

Alterações comportamentais

• O JDK 21 agora é o Kit de Desenvolvimento Java padrão
• FSCK REPAIR TABLE inclui reparo de metadados por padrão
• Nullabilidade preservada para tipos de array e mapa no cliente Spark Connect Scala
• FSCK REPAIR TABLE DRY RUN esquema de saída atualizado
• SHOW TABLES DROPPEDrespeita a LIMIT cláusula
• Fatores de proração alinhados entre leituras e gravações com otimização automática
• Execução de UDF do Python unificada no PySpark e no Catálogo do Unity
• Mensagens de erro aprimoradas para problemas do módulo de logon do conector kafka
• Restrições de viagem no tempo e VACUUM comportamento de retenção
• BinaryType mapeia para bytes por padrão no PySpark
• Structs NULL preservados no Delta MERGE UPDATEe operações de escrita em streaming
• Colunas de partição materializadas em arquivos Parquet

O JDK 21 agora é o Kit de Desenvolvimento Java padrão

O Databricks Runtime 18.0 usa o JDK 21 como o Kit de Desenvolvimento Java padrão. O JDK 21 é uma versão LTS (suporte de longo prazo). Anteriormente, o padrão era o JDK 17, que agora está disponível como uma opção de fallback.

Para obter informações sobre como configurar versões do JDK para seus clusters, consulte Criar um cluster com uma versão específica do JDK.

FSCK REPAIR TABLE inclui reparo de metadados por padrão

O FSCK REPAIR TABLE comando agora inclui uma etapa inicial de reparo de metadados antes de verificar se há arquivos de dados ausentes. O comando pode funcionar em tabelas com pontos de verificação corrompidos ou valores de partição inválidos.

Nulidade preservada para tipos de array e mapa no cliente Spark Connect Scala

A nulidade de tipos de matriz e mapa agora é preservada para literais digitados no cliente Do Spark Connect Scala. Anteriormente, elementos de matrizes e valores de mapas eram sempre anuláveis.

FSCK REPAIR TABLE DRY RUN esquema de saída atualizado

A dataFilePath coluna no FSCK REPAIR TABLE DRY RUN esquema de saída agora é anulável para dar suporte ao relatório de novos tipos de problema em que o caminho do arquivo de dados não é aplicável.

SHOW TABLES DROPPED respeita a cláusula LIMIT

O SHOW TABLES DROPPED comando agora respeita corretamente a LIMIT cláusula.

Fatores de proração alinhados entre leituras e gravações com otimização automática

Os fatores de proração para dimensionamento de partição agora usam valores fracionários consistentemente em operações de leitura e gravações com otimização automática. Essa alteração pode resultar em um número diferente de tarefas para operações de leitura.

Execução de UDF do Python unificada no PySpark e no Catálogo do Unity

As UDFs Python do Unity Catalog agora usam Apache Arrow como formato de intercâmbio padrão, melhorando o desempenho geral e alinhando-se com o comportamento das UDFs Python otimizadas com Arrow no Apache Spark. Como parte dessa alteração, os valores passados para UDFs do Python TIMESTAMP não incluem mais informações de fuso horário no atributo do objeto datetimetzinfo. Os próprios valores de carimbo de data/hora permanecem em UTC, mas os metadados de fuso horário agora são descartados.

Se a UDF depender das informações de fuso horário, você precisará restaurá-la com date = date.replace(tzinfo=timezone.utc). Para obter mais informações, explore o comportamento do fuso horário de carimbos de data e hora para dados de entrada.

Mensagens de erro aprimoradas para problemas do módulo de logon do conector kafka

Ao usar o conector kafka com uma classe de módulo de logon sem sombra, o Azure Databricks agora fornece mensagens de erro que sugerem o uso do prefixo de classe sombreado correto (kafkashaded.org.apache.kafka ou kafkashaded.software.amazon.msk.auth.iam).

Restrições de viagem no tempo e comportamento de retenção VACUUM

O Azure Databricks agora bloqueia consultas de viagem no tempo que excedam o deletedFileRetentionDuration limite para todas as tabelas. O VACUUM comando ignora o argumento de duração de retenção, exceto quando o valor é de 0 horas. Você não pode definir deletedFileRetentionDuration maior que logRetentionDuration ou vice-versa.

BinaryType mapeia para bytes por padrão no PySpark

BinaryType agora faz um mapeamento consistente para Python bytes no PySpark. Anteriormente, o PySpark mapeou BinaryType para bytes ou bytearray dependendo do contexto. Para restaurar o comportamento antigo, defina spark.sql.execution.pyspark.binaryAsBytes como false.

Structs NULL preservados no Delta MERGE, UPDATE, e nas operações de gravação de streaming

Os structs NULL agora são preservados como NULL no Delta MERGE UPDATEe operações de gravação de streaming que incluem conversões de tipo de struct. Anteriormente, as estruturas NULL eram expandidas para estruturas com campos NULL. Por exemplo, um struct NULL agora permanece NULL em vez de ser expandido para um struct com todos os valores de campo NULL.

Colunas de partição materializadas em arquivos Parquet

As tabelas Delta particionadas agora materializam colunas de partição em arquivos de dados Parquet recém-gravados. Anteriormente, os valores de partição eram armazenados nos metadados do log de transações Delta e refletidos em caminhos de diretório, mas não gravados como colunas nos próprios arquivos Parquet. Essa alteração se alinha ao comportamento do Apache Iceberg e UniForm e pode afetar cargas de trabalho que leem diretamente arquivos Parquet gravados pelo Delta Lake, pois os arquivos gravados recentemente incluem colunas de partição adicionais.

Atualizações de biblioteca

Bibliotecas do Python atualizadas:

• anyio de 4.6.2 a 4.7.0
• asttokens de 2.0.5 a 3.0.0
• azure-core de 1.34.0 a 1.36.0
• azure-mgmt-core de 1.5.0 a 1.6.0
• azure-storage-blob de 12.23.0 a 12.27.1
• azure-storage-file-datalake de 12.17.0 a 12.22.0
• boto3 de 1.36.2 a 1.40.45
• botocore de 1.36.3 a 1.40.45
• certificação de 31/01/2025 a 26/04/2025
• clique em 8.1.7 para 8.1.8
• criptografia de 43.0.3 a 44.0.1
• Cython de 3.0.12 a 3.1.5
• databricks-sdk de 0.49.0 a 0.67.0
• Depreciado a partir de 1.2.13 até 1.2.18
• executing de 0.8.3 para 1.2.0
• fastapi de 0.115.12 a 0.121.0
• google-api-core de 2.20.0 a 2.28.1
• Atualização do google-auth da versão 2.40.0 para 2.43.0
• google-cloud-core de 2.4.3 a 2.5.0
• google-cloud-storage de 3.1.0 a 3.5.0
• h11 de 0.14.0 para 0.16.0
• httpcore de 1.0.2 a 1.0.9
• httpx de 0.27.0 a 0.28.1
• isodate de 0.6.1 a 0.7.2
• Jinja2 de 3.1.5 a 3.1.6
• jupyter-events de 0.10.0 a 0.12.0
• jupyter-lsp de 2.2.0 a 2.2.5
• jupyter_server de 2.14.1 a 2.15.0
• jupyter_server_terminals da versão 0.4.4 para a 0.5.3
• mistune de 2.0.4 para 3.1.2
• mlflow-skinny de 3.0.1 a 3.5.1
• mmh3 de 5.1.0 para 5.2.0
• msal de 1.32.3 a 1.34.0
• nbclient de 0.8.0 a 0.10.2
• nbconvert de 7.16.4 para 7.16.6
• notebook_shim da versão 0.2.3 para a 0.2.4
• Atualização do opentelemetry-api de 1.32.1 para 1.38.0
• opentelemetry-sdk versão de 1.32.1 a 1.38.0
• opentelemetry-semantic-conventions de 0,53b1 a 0,59b0
• platformdirs versão 3.10.0 a 4.3.7
• prometheus_client de 0,21.0 a 0.21.1
• psycopg2 de 2.9.3 a 2.9.11
• Atualização do pyarrow da versão 19.0.1 para a versão 21.0.0
• Pygments de 2.15.1 a 2.19.1
• Atualização do pyiceberg da versão 0.9.0 para a 0.10.0
• python-lsp-server de 1.12.0 a 1.12.2
• corda de 1.12.0 a 1.13.0
• s3transfer de 0.11.3 para 0.14.0
• scipy de 1.15.1 a 1.15.3
• setuptools de 74.0.0 a 78.1.1
• seis de 1.16.0 a 1.17.0
• stack-data da versão 0.2.0 à 0.6.3
• starlette de 0.46.2 a 0.49.3
• tornado de 6.4.2 a 6.5.1
• types-python-dateutil de 2.9.0.20241206 a 2.9.0.20251008
• uvicorn de 0.34.2 a 0.38.0
• webcolors de 24.11.1 a 25.10.0

Bibliotecas R atualizadas:

• seta de 19.0.1 a 22.0.0
• base de 4.4.2 a 4.5.1
• bigD de 0.3.0 a 0.3.1
• broom atualizado de 1.0.7 para 1.0.10
• relógio de 0.7.2 a 0.7.3
• commonmark da versão 1.9.5 para a 2.0.0
• compilador de 4.4.2 a 4.5.1
• credenciais de 2.0.2 a 2.0.3
• curl de 6.4.0 para 7.0.0
• data.table de 1.17.0 a 1.17.8
• conjuntos de dados de 4.4.2 a 4.5.1
• dbplyr de 2.5.0 a 2.5.1
• devtools de 2.4.5 a 2.4.6
• diffobj de 0.3.5 a 0.3.6
• digest de 0.6.37 a 0.6.39
• downlit de 0.4.4 para 0.4.5
• dtplyr de 1.3.1 a 1.3.2
• avaliar de 1.0.3 a 1.0.5
• fansi de 1.0.6 a 1.0.7
• forcats de 1.0.0 a 1.0.1
• fs de 1.6.5 a 1.6.6
• futuro a partir da versão 1.34.0 até a 1.68.0
• future.apply de 1.11.3 a 1.20.0
• gargle de 1.5.2 a 1.6.0
• gert de 2.1.4 a 2.2.0
• ggplot2 de 3.5.1 a 4.0.1
• gh de 1.4.1 a 1.5.0
• git2r de 0.35.0 a 0.36.2
• glmnet de 4.1-8 a 4.1-10
• googledrive de 2.1.1 para 2.1.2
• googlesheets4 de 1.1.1 a 1.1.2
• gráficos de 4.4.2 a 4.5.1
• grDevices de 4.4.2 a 4.5.1
• grade de 4.4.2 a 4.5.1
• gt de 0.11.1 para 1.1.0
• hardhat de 1.4.1 para 1.4.2
• Atualização do haven da versão 2.5.4 para a 2.5.5
• hms de 1.1.3 a 1.1.4
• httpuv de 1.6.15 a 1.6.16
• httr2 de 1.1.1 a 1.2.1
• jsonlite de 1.9.1 a 2.0.0
• posteriormente, de 1.4.1 a 1.4.4
• lava de 1.8.1 a 1.8.2
• listenv de 0.9.1 para 0.10.0
• magrittr de 2.0.3 a 2.0.4
• markdown do 1.13 ao 2.0
• métodos de 4.4.2 a 4.5.1
• miniUI de 0.1.1.1 a 0.1.2
• mlflow de 2.20.4 a 3.6.0
• openssl de 2.3.3 a 2.3.4
• paralelo de 4.4.2 a 4.5.1
• paralelamente de 1.42.0 a 1.45.1
• pilar de 1.11.0 a 1.11.1
• pkgbuild de 1,4,6 a 1,4,8
• pkgdown de 2.1.1 para 2.2.0
• pkgload de 1.4.0 a 1.4.1
• pROC de 1.18.5 a 1.19.0.1
• prodlim de 2024.06.25 a 2025.04.28
• progressr de 0,15.1 para 0.18.0
• promessas das versões 1.3.2 a 1.5.0
• ps de 1.9.0 para 1.9.1
• Atualização do purrr da versão 1.0.4 para a 1.2.0
• ragg de 1.3.3 para 1.5.0
• Rcpp de 1.0.14 a 1.1.0
• readr de 2.1.5 a 2.1.6
• receitas de 1.2.0 a 1.3.1
• remodelar2 de 1.4.4 para 1.4.5
• rmarkdown de 2.29 a 2.30
• roxygen2 de 7.3.2 a 7.3.3
• rprojroot de 2.0.4 a 2.1.1
• RSQLite de 2.3.9 a 2.4.4
• rversions de 2.1.2 a 3.0.0
• Atualização de rvest da versão 1.0.4 para a versão 1.0.5
• sass da versão 0.4.9 para 0.4.10
• escala de 1.3.0 para 1.4.0
• brilhante de 1.10.0 a 1.11.1
• sparklyr de 1.9.1 a 1.9.3
• SparkR de 4.0.0 a 4.1.0
• sparsevctrs da versão 0.3.1 a 0.3.4
• splines de 4.4.2 a 4.5.1
• estatísticas de 4.4.2 a 4.5.1
• stats4 de 4.4.2 a 4.5.1
• stringr de 1.5.1 a 1.6.0
• systemfonts de 1.2.1 a 1.3.1
• tcltk de 4.4.2 a 4.5.1
• testthat de 3.2.3 a 3.3.0
• textshaping de 1.0.0 para 1.0.4
• timeDate de 4041.110 a 4051.111
• tinytex de 0,56 a 0,58
• ferramentas de 4.4.2 a 4.5.1
• usethis de 3.1.0 até 3.2.1
• utilitários de 4.4.2 até 4.5.1
• V8 de 6.0.2 a 8.0.1
• vroom de 1.6.5 a 1.6.6
• waldo de 0.6.1 a 0.6.2
• xfun de 0,51 a 0,54
• xml2 de 1.3.8 a 1.5.0
• zeallot de 0.1.0 a 0.2.0
• zip de versão 2.3.2 para versão 2.3.3

Bibliotecas Java atualizadas:

• com.amazonaws.amazon-kinesis-client de 1.12.0 a 1.15.3
• com.amazonaws.aws-java-sdk-autoscaling da versão 1.12.638 para a versão 1.12.681
• com.amazonaws.aws-java-sdk-cloudformation de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cloudfront de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cloudhsm de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cloudsearch de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cloudtrail de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatch de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-codedeploy de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cognitosync de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-config de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-core de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-sql-scriptdatapipeline de 1.12.638 para 1.12.681
• com.amazonaws.aws-java-sdk-directconnect de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-directory de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-dynamodb de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-ec2 de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-ecs de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-efs de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-elasticache de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-emr de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-glacier de 1.12.638 para 1.12.681
• com.amazonaws.aws-java-sdk-glue de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-iam de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-importexport de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-kinesis de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-kms de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-lambda de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-logs de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-machinelearning de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-opsworks de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-rds de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-redshift de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-route53 de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-s3 de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-ses de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-simpledb de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-sns de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-sqs de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-ssm de 1.12.638 a 1.12.681
• Atualização do com.amazonaws.aws-java-sdk-storagegateway de 1.12.638 para 1.12.681
• com.amazonaws.aws-java-sdk-sts de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-support da versão 1.12.638 para 1.12.681
• com.amazonaws.aws-java-sdk-workspaces de 1.12.638 a 1.12.681
• com.amazonaws.jmespath-java de 1.12.638 a 1.12.681
• com.databricks.databricks-sdk-java de 0.27.0 a 0.53.0
• com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.18.2 a 2.18.3
• com.github.luben.zstd-jni de 1.5.6-10 a 1.5.7-6
• com.google.flatbuffers.flatbuffers-java de 24.3.25 a 25.2.10
• com.google.guava.failureaccess de 1.0.2 a 1.0.3
• com.google.guava.guava de 33.4.0-jre a 33.4.8-jre
• com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8 a 12.8.0.jre8
• commons-cli.commons-cli de 1.9.0 a 1.10.0
• commons-codec.commons-codec de 1.17.2 a 1.19.0
• commons-fileupload.commons-fileupload de 1.5 a 1.6.0
• commons-io.commons-io de 2.18.0 a 2.21.0
• dev.ludovic.netlib.arpack de 3.0.3 a 3.0.4
• dev.ludovic.netlib.blas da versão 3.0.3 para a versão 3.0.4
• dev.ludovic.netlib.lapack de 3.0.3 a 3.0.4
• io.delta.delta-sharing-client_2.13 de 1.3.5 a 1.3.6
• io.dropwizard.metrics.metrics-annotation de 4.2.30 para 4.2.37
• io.dropwizard.metrics.metrics-core de 4.2.30 para 4.2.37
• atualização da versão de io.dropwizard.metrics.metrics-graphite de 4.2.30 para 4.2.37
• io.dropwizard.metrics.metrics-healthchecks de 4.2.30 a 4.2.37
• io.dropwizard.metrics.metrics-jmx de 4.2.30 para 4.2.37
• io.dropwizard.metrics.metrics-json de 4.2.30 para 4.2.37
• io.dropwizard.metrics.metrics-jvm de 4.2.30 para 4.2.37
• io.dropwizard.metrics.metrics-servlets da versão 4.2.30 para a 4.2.37
• io.netty.netty-all de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-buffer de 4.1.118.Final para 4.2.7.Final
• io.netty.netty-codec de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-codec-http de 4.1.118.Final para 4.2.7.Final
• io.netty.netty-codec-http2 de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-codec-socks de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-common de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-handler de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-handler-proxy de 4.1.118.Final para 4.2.7.Final
• io.netty.netty-resolvedor de 4.1.118.Final para 4.2.7.Final
• io.netty.netty-tcnative-boringssl-static de 2.0.70.Final-db-r0-windows-x86_64 a 2.0.74.Final-db-r0-windows-x86_64
• io.netty.netty-tcnative-classes de 2.0.70.Final a 2.0.74.Final
• io.netty.netty-transport de 4.1.118.Final para 4.2.7.Final
• io.netty.netty-transport-classes-epoll de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-transport-classes-kqueue de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-transport-native-epoll de 4.1.118.Final-linux-x86_64 para 4.2.7.Final-linux-x86_64
• io.netty.netty-transport-native-kqueue de 4.1.118.Final-osx-x86_64 para 4.2.7.Final-osx-x86_64
• io.netty.netty-transport-native-unix-common de 4.1.118.Final a 4.2.7.Final
• joda-time.joda-time de 2.13.0 a 2.14.0
• org.apache.arrow.arrow-format de 18.2.0 a 18.3.0
• O pacote org.apache.arrow.arrow-memory-core foi atualizado de 18.2.0 para 18.3.0.
• org.apache.arrow.arrow-memory-netty de 18.2.0 a 18.3.0
• org.apache.arrow.arrow-memory-netty-buffer-patch de 18.2.0 para 18.3.0
• org.apache.arrow.arrow-vector de 18.2.0 a 18.3.0
• org.apache.avro.avro de 1.12.0 a 1.12.1
• org.apache.avro.avro-ipc de 1.12.0 a 1.12.1
• org.apache.avro.avro-mapred de 1.12.0 a 1.12.1
• org.apache.commons.commons-collections4 de 4.4 a 4.5.0
• org.apache.commons.commons-compress de 1.27.1 para 1.28.0
• org.apache.commons.commons-lang3 de 3.17.0 a 3.19.0
• org.apache.commons.commons-text de 1.13.0 a 1.14.0
• org.apache.curator.curator-client de 5.7.1 a 5.9.0
• org.apache.curator.curator-framework de 5.7.1 para 5.9.0
• org.apache.curator.curator-recipes da versão 5.7.1 para 5.9.0
• org.apache.datasketches.datasketches-java de 6.1.1 a 6.2.0
• org.apache.hadoop.hadoop-client-runtime da versão 3.4.1 para 3.4.2
• org.apache.orc.orc-core de 2.1.1-shaded-protobuf a 2.2.0-shaded-protobuf
• org.apache.orc.orc-format de 1.1.0-shaded-protobuf a 1.1.1-shaded-protobuf
• org.apache.orc.orc-mapreduce de "2.1.1-shaded-protobuf" a "2.2.0-shaded-protobuf"
• org.apache.orc.orc-shims de 2.1.1 a 2.2.0
• org.apache.xbean.xbean-asm9-shaded de 4.26 a 4.28
• org.apache.zookeeper.zookeeper de 3.9.3 a 3.9.4
• org.apache.zookeeper.zookeeper-jute de 3.9.3 a 3.9.4
• org.eclipse.jetty.jetty-client de 9.4.53.v20231009 até 10.0.26
• org.eclipse.jetty.jetty-http de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-io de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-jndi de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-plus de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-proxy de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-security de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-server de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-servlet de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-servlets de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-util de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-webapp de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-xml de 9.4.53.v20231009 a 10.0.26
• org.mlflow.mlflow-spark_2.13 de 2.9.1 a 2.22.1
• org.objenesis.objenesis de 3.3 a 3.4
• org.scala-lang.modules.scala-xml_2.13 de 2.3.0 a 2.4.0

Apache Spark

O Databricks Runtime 18.0 (Beta) inclui o Apache Spark 4.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas na versão anterior, bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• SPARK-54536 Tempo de Espera para Busca em Embaralhamento ausente coletar cria cliente/custo de espera
• SPARK-54534 Migrar códigos de erro herdados relacionados ao Hive para condições de erro adequadas
• SPARK-54565 SparkBuildInfo deve carregar spark-version-info.properties de seu próprio classloader
• SPARK-54533 Definir a métrica ExecutorSource.METRIC_RESULT_SIZE com o valor correto
• SPARK-54478 Habilitar novamente testes de transmissão para teste de compatibilidade de conexão para a CI
• SPARK-54552 Correção de SparkConnectResultSet.getString para lidar com o tipo de dados BINARY com UTF_8
• SPARK-54501 Melhorar o tratamento de erros para falhas no filtro de partições do metastore do Hive
• SPARK-54550 Manipule ConnectException normalmente em SparkConnectStatement.close()
• SPARK-54020 Suporte à API do Python dentro das funções de consulta para o Pipeline Declarativo do Spark
• SPARK-53127 Corrigir LIMIT ALL para recursão ilimitada com normalização de CTE
• SPARK-50072 Manipular ArithmeticException na análise de intervalo com valores grandes
• SPARK-54299 Corrigir a consulta de exemplo incorreta em WindowGroupLimit
• SPARK-54505 Corrigir a ordem de argumentos da chamada createMetrics em makeNegative
• SPARK-54462 Adicionar SupportsV1OverwriteWithSaveAsTable mixin para TableProvider
• SPARK-54540 Algumas correções menores para o driver JDBC Connect
• SPARK-54508 Corrigir spark-pipelines para resolver de forma mais robusta o caminho do arquivo spec
• SPARK-54087 Quando a inicialização da tarefa do Spark Executor falha, deve retornar uma mensagem de tarefa encerrada.
• SPARK-53797 Corrigir FileStreamSource.takeFilesUntilMax para usar zipWithIndex para evitar indices uso
• SPARK-54418 Corrigir mensagens de erro e formatação de código
• SPARK-54114 Suporte a getColumns para SparkConnectDatabaseMetaData
• SPARK-54209 Suporte ao tipo TIMESTAMP no SparkConnectResultSet
• SPARK-54208 Suporte ao tipo TIME no SparkConnectResultSet
• SPARK-54528 Fechar o URLClassLoader ansiosamente para evitar o OOM
• SPARK-54464 Remover chamadas duplicadas output.reserve em assembleVariantBatch
• SPARK-53635 Suporte para UDFs do Scala com argumentos de entrada do tipo Seq[Row]
• SPARK-54493 Corrigir a função assertSchemaEqual para MapType
• SPARK-52515 Testar approx_top_k com sinalizador ativado e desativado
• SPARK-54413 Atualizar o Bootstrap v4.4.1 para v4.6.2
• SPARK-54497 Aplicar functools.lru_cache na cache do conversor
• SPARK-54306 Anotar colunas Variant com anotação lógica do tipo Variant
• SPARK-54350 O SparkGetColumnsOperation ORDINAL_POSITION deve ser baseado em 1
• SPARK-54130 Adicionar mensagens de erro detalhadas para falhas de declaração de catálogo
• SPARK-54220 Suporte ao tipo NullType/VOID/UNKNOWN no Parquet
• SPARK-54163 Análise de canonização de informações para particionamento e ordenação
• SPARK-54377 Corrigir COMMENT ONTABLE IS NULL para remover corretamente o comentário da tabela
• SPARK-52767 Otimizar maxRows e maxRowsPerPartition para junção e união
• SPARK-54063 Criar instantâneo para o próximo lote quando houver atraso de upload
• SPARK-54384 Modernizar o método _batched para BatchedSerializer
• SPARK-54378 Remover CreateXmlParser.scala módulo do catalyst
• SPARK-53103 Reverter "[SC-204946][ss] Lançar um erro se o diretório de estado não estiver vazio quando a consulta é iniciada"
• SPARK-53103 Gerar um erro se o diretório de estado não estiver vazio quando a consulta for iniciada
• SPARK-54397 Tornar UserDefinedType hashable
• SPARK-54440 Dê ao arquivo de especificação de pipeline padrão um nome mais idiomático, spark-pipeline.yml
• SPARK-54324 Adicionar teste para extensões de contexto do cliente-usuário
• SPARK-54456 Importar módulo de execução após o processo de fork para evitar deadlock
• SPARK-54427 Permitir que ColumnarRow chame copy com tipos variantes
• SPARK-54136 Extrair a lógica de fusão do plano de MergeScalarSubqueries para PlanMerger
• SPARK-54389 Correção do erro de carimbo inválido do Repositório de Estado do RocksDB quando a tarefa é marcada como falha durante a inicialização
• SPARK-54346 Introduzir a API de repartição de estado e o executor de repartição
• SPARK-53809 Adicionar canonicalização para DataSourceV2ScanRelation
• SPARK-54280 Exigir que o diretório de armazenamento do ponto de verificação do pipeline seja um caminho absoluto
• SPARK-54206 Dar suporte a dados de tipo BINARY no SparkConnectResultSet
• SPARK-54319 Atualização do BHJ LeftAnti reportando o numOutputRows de forma errada quando o codegen está desabilitado.
• SPARK-54355 Criar spark.connect.session.planCompression.defaultAlgorithm para dar suporte NONE
• SPARK-54341 Guarde o TimeTravelSpec para tabelas carregadas via TableProvider
• SPARK-54280 Reversão de "[SC-212148][sdp] Exigir que o diretório de armazenamento do ponto de verificação de pipeline seja um caminho absoluto"
• SPARK-54354 Corrigir o Spark travando quando não houver memória de heap JVM suficiente para a relação de hash transmitida
• SPARK-54439 Incompatibilidade entre KeyGroupedPartitioning e tamanho da chave de junção
• SPARK-54280 Exigir que o diretório de armazenamento do ponto de verificação do pipeline seja um caminho absoluto
• SPARK-54395 A classe RemoteBlockPushResolver inicializa repetidamente ObjectMapper
• SPARK-54207 Suporta dados do tipo date no SparkConnectResultSet
• SPARK-54182 Otimizar a conversão sem uso de Arrow de df.toPandas
• SPARK-54312 Evite agendar repetidamente tarefas para SendHeartbeat/WorkDirClean no trabalhador independente
• SPARK-54394 Mover isJavaVersionAtMost17 e isJavaVersionAtLeast21 de core para common/utils
• SPARK-53927 Atualizar cliente kinesis
• SPARK-54358 Diretórios de checkpoint colidem quando tabelas de streaming em diferentes schemas possuem o mesmo nome
• SPARK-54310 Reverter "[SC-212003][sql] Adicionar numSourceRows métrica para MergeIntoExec"
• SPARK-54310 Adicionar numSourceRows métrica para MergeIntoExec
• SPARK-53322 Selecione um KeyGroupedShuffleSpec somente quando as posições de chave de junção puderem ser totalmente enviadas por push para baixo
• SPARK-54270 Os métodos get* do SparkConnectResultSet devem chamar checkOpen e verificar o limite do índice
• SPARK-53849 Atualizar netty e netty tc nativo
• SPARK-54205 Dá suporte a dados de tipo decimal no SparkConnectResultSet
• SPARK-54417 Corrigir mensagem de erro para subconsulta escalar na IDENTIFIER cláusula
• SPARK-54113 Suporte a getTables para SparkConnectDatabaseMetaData
• SPARK-54303 Canonicalizar a condição de erro MISSING_CATALOG_ABILITY
• SPARK-54153 Suporte ao perfilamento de UDFs do Python com base em iterador
• SPARK-54349 Refatorar um pouco o código para simplificar a extensão de integração do manipulador de falhas
• SPARK-54317 Unificar a lógica de conversão de Arrow para Classic e Connect toPandas
• SPARK-54339 Corrigir o não determinismo de AttributeMap
• SPARK-54112 Suporte a getSchemas para SparkConnectDatabaseMetaData
• SPARK-54180 Sobrescrever o toString de BinaryFileFormat
• SPARK-54213 Remover o Python 3.9 do Spark Connect
• SPARK-54215 Adicionar a característica SessionStateHelper a FilePartition
• SPARK-54115 Aumentar a priorização da ordem de exibição dos threads de operação do servidor de conectividade na página de despejo de thread
• SPARK-54193 spark.shuffle.server.finalizeShuffleMergeThreadsPercent obsoleto
• SPARK-54149 Habilitar a recursão final sempre que possível
• SPARK-54185 Spark.shuffle.server.chunkFetchHandlerThreadsPercent obsoleto
• SPARK-54056 resolve substituição para configurações do SQLConf em Catálogos
• SPARK-54147 Definir OMP_NUM_THREADS como spark.task.cpus por padrão em BaseScriptTransformationExec
• SPARK-54229 Fazer com que o PySparkLogger nas UDFs armazene uma entrada de log por chamada de função de log.
• SPARK-53337 XSS: garantir que o nome do aplicativo na página de histórico seja escapado
• SPARK-54229 Reverter "[SC-211321][python] Fazer PySparkLogger nos UDFs armazenar uma entrada de log por chamada de função de log"
• SPARK-54373 Ampliar o atributo viewBox do SVG na inicialização do DAG de Tarefas
• SPARK-54323 Mudar o acesso aos logs para TVF em vez de visão do sistema
• SPARK-54229 Fazer com que o PySparkLogger nas UDFs armazene uma entrada de log por chamada de função de log.
• SPARK-53978 Suporte ao registro em log em trabalhos do lado do driver
• SPARK-54146 Limpar o uso da API Jackson obsoleta
• SPARK-54383 Adicionar variante de esquema pré-compilado para InternalRowComparableWrapper util
• SPARK-54030 Adicionar mensagem de declaração amigável para exibir a corrupção de metadados
• SPARK-54144 Inferências de tipo de avaliação de curto circuito
• SPARK-54030 Reverter "[SC-210301][sql] Adicionar mensagem de declaração amigável para exibir a corrupção de metadados"
• SPARK-54028 Usar esquema vazio ao alterar uma visão que não é compatível com Hive
• SPARK-54030 Adicionar mensagem de declaração amigável para exibir a corrupção de metadados
• SPARK-54085 Corrigir initialize para adicionar CREATE uma opção em DriverRunner adicionalmente
• SPARK-53482MERGE INTO suporte para casos em que a origem tem menos campos aninhados do que o destino
• SPARK-53905 Refatorar RelationResolution para habilitar a reutilização de código
• SPARK-53732 Relembrar TimeTravelSpec em DataSourceV2Relation
• SPARK-54014 Suporte ao máximo de linhas para SparkConnectStatement
• SPARK-50906 Corrigir a verificação de nulidade do Avro para campos de struct reordenados
• SPARK-54396 Otimizar chamadas Py4J em Dataframe.toArrow
• SPARK-54344 Matar o trabalhador se a liberação falhar no daemon.py
• SPARK-53977 Suporte para log em UDTFs
• SPARK-52515 Reaplicar "[SC-199815][sql] Adicionar approx_top_k função"
• SPARK-54340 Adicionar a capacidade de usar o viztracer em daemon/trabalhadores do pyspark
• SPARK-54379 Mover a associação lambda para um objeto separado LambdaBinder
• SPARK-54029 Adicionar mensagem de erro para detalhar a corrupção de metadados de tabela para que se facilite a depuração
• SPARK-54002 Suporte à integração do BeeLine com o driver JDBC Connect
• SPARK-54336 Corrigir BloomFilterMightContain a verificação de tipo de entrada com ScalarSubqueryReference
• SPARK-53406 Evitar junção aleatória desnecessária na ID de embaralhamento de passagem direta
• SPARK-54347 Otimizar chamadas Py4J no dataframe clássico
• SPARK-54062 Limpeza de código MergeScalarSubqueries
• SPARK-54054 Posição da linha de suporte para SparkConnectResultSet
• SPARK-54330 Otimizar chamadas Py4J em spark.createDataFrame
• SPARK-54332 Não é necessário incluir PlanId nos nomes de coluna de agrupamento em rollup/cube/groupingSets
• SPARK-53976 Suporte ao registro de logs em UDFs Pandas/Arrow
• SPARK-54123 Adicionar fuso horário para tornar o timestamp um horário absoluto
• SPARK-54356 Corrige falha em EndToEndAPISuite causada por um esquema raiz de armazenamento ausente
• SPARK-54292 Suporte a funções de agregação em operadores de pipe e GROUP BY no |>SELECT (#180106) (#180368)
• SPARK-54376 Marcar a maioria das opções de configuração de pipeline como internas
• SPARK-53975 Adiciona suporte básico ao log de trabalho do Python
• SPARK-54361 Corrigir a versão do Spark para o valor desejado de 4.2.0 para spark.sql.parser.singleCharacterPipeOperator.enabled
• SPARK-51518 Suporte | como alternativa para |> para o operador de canalização SQL
• SPARK-53535 Corrigir structs ausentes sempre sendo considerados nulos
• SPARK-54294 Normalizar o endereço IP impresso do servidor Connect
• SPARK-52439 Restrição de verificação de suporte com valor nulo
• SPARK-54352 Introduzir SQLConf.canonicalize para centralizar a normalização de cadeias de caracteres
• SPARK-54183 Reverter "[SC-211824][python][CONNECT] Evite um quadro de dados temporário intermediário durante o spark connect toPandas()"
• SPARK-53573IDENTIFIER em toda parte
• SPARK-53573 Permitir literais de string em coalescimento em todos os contextos
• SPARK-54240 Traduzir a expressão do catalisador de obtenção de item de matriz para expressão de conector
• SPARK-54334 Mover a validação de expressões de subconsulta em funções lambda e de ordem superior para SubqueryExpressionInLambdaOrHigherOrderFunctionValidator
• SPARK-54183 Reverta "[SC-211824][python][CONNECT] Evite um quadro de dados temporário intermediário durante o spark connect toPandas()"
• SPARK-54183 Evite um quadro de dados temporário intermediário durante a conexão do Spark com oPandas()
• SPARK-54264 O operador DeDup pode usar o keyExists() do RocksDB
• SPARK-54269 Atualizar cloudpickle para 3.1.2 para Python 3.14
• SPARK-54300 Otimizar chamadas Py4J em df.toPandas
• SPARK-54307 Gerar um erro se a consulta de streaming for reiniciada com operação stateful, mas houver diretório de estado vazio
• SPARK-54117 Fornecer uma mensagem de erro mais clara para indicar que o TWS só é suportado com o provedor de armazenamento de estado RocksDB
• SPARK-53917 Suporte a grandes relações locais – acompanhamentos
• SPARK-54275 Limpar código não utilizado do pipeline módulo
• SPARK-54287 Adicionar suporte ao Python 3.14 e pyspark-clientpyspark-connect
• SPARK-53614 Adicionar Iterator[pandas.DataFrame] suporte a applyInPandas
• SPARK-54191 Adicionar uma vez ao Defineflow Proto
• SPARK-54234 Não é necessário anexar o PlanId aos nomes das colunas de agrupamento em df.groupBy
• SPARK-54231 Preencher lacunas em documentos do SDP
• SPARK-54199 Adicionar suporte à API do DataFrame para novas funções de esboço de quantiles KLL (#178526)
• SPARK-52463 Reaplicar "[SC-211221][sdp] Adicionar suporte para cluster_by em APIs do Python Pipelines"
• SPARK-52463 Reverter "[SC-211221][sdp] Adicionar suporte para cluster_by em APIs do Python Pipelines"
• SPARK-53786 O valor padrão com o nome da coluna especial não deve entrar em conflito com a coluna real
• SPARK-54200 Atualizar KafkaConsumerPoolRealTimeModeSuite para usar groupIdPrefix para segurança de execuções simultâneas
• SPARK-52463 Adicionar suporte para cluster_by em APIs do Python Pipelines
• SPARK-52509 Limpar embaralhamentos individuais do armazenamento de fallback no RemoveShuffle evento
• SPARK-54187 Reaplicar "[SC-211150][python][CONNECT] Obter todas as configurações de uma vez em toPandas"
• SPARK-53942 Suporte à alteração de partições de embaralhamento sem estado após a reinicialização da consulta de streaming
• SPARK-52515 Reverter "[SC-199815][sql] Adicionar a função approx_top_k"
• SPARK-52515 Adicionar função approx_top_k
• SPARK-54078 Novo teste para StateStoreSuite SPARK-40492: maintenance before unload, e remover infra do teste antigo
• SPARK-54178 Melhorar o erro para ResolveSQLOnFile
• SPARK-53455 Adicionar CloneSession RPC
• SPARK-54178 Reverter "[SC-211111][sql] Melhorar o erro para ResolveSQLOnFile"
• SPARK-53489 Remover o uso do v2ColumnsToStructType em ApplyDefaultCollationToStringType
• SPARK-54178 Melhorar o erro para ResolveSQLOnFile
• SPARK-54187 Reverter "[SC-211150][python][CONNECT] Buscar todas as configurações em conjunto no toPandas"
• SPARK-53942 Reverter "[SC-209873][ss] Suporte à alteração de partições de embaralhamento sem estado após a reinicialização da consulta de streaming"
• SPARK-54187 Obter todas as configurações em um lote em toPandas
• SPARK-54145 Corrigir a análise de coluna de tipo aninhado na agregação numérica
• SPARK-53942 Suporte à alteração de partições de embaralhamento sem estado após a reinicialização da consulta de streaming
• SPARK-53991 Adicionar suporte a SQL para funções de quantiles KLL com base em DataSketches (#178089) (#178234)
• SPARK-53128 Incluir bytes de memória não gerenciados no log de uso antes do OOM de memória de execução
• SPARK-53731 Atualizar as anotações de tipo de APIs de iterador
• SPARK-53967 Evitar a criação de um data frame intermediário do Pandas em df.toPandas
• SPARK-53455 Reverter "[SC-208758][conectar] Adicionar CloneSession RPC"
• SPARK-54108 Revisar métodos execute* de SparkConnectStatement
• SPARK-54052 Adicionar um objeto de ponte para solucionar a limitação de Py4J
• SPARK-54128 Converter IllegalArgumentException em SparkException com classes de erro adequadas no servidor Spark Connect
• SPARK-53880 Corrigir DSv2 em PushVariantIntoScan adicionando SupportsPushDownVariants
• SPARK-54111 Suporte à obtenção de catálogos para SparkConnectDatabaseMetaData
• SPARK-53455 Adicionar CloneSession RPC
• SPARK-54118 Melhorar a operação put/merge em ListState quando houver vários valores
• SPARK-54038 Compatibilidade com getSQLKeywords para SparkConnectDatabaseMetaData
• SPARK-54013 Implementar métodos simples SparkConnectDatabaseMetaData
• SPARK-53934 Implementação inicial do driver JDBC do Connect
• SPARK-53959 Lançar um erro do lado do cliente ao criar um quadro de dados a partir de um dataframe pandas com um índice, mas sem dados
• SPARK-53573 Reverter "[SC-210255][sql] Permitir literais de cadeia de caracteres de associação em todos os lugares"
• SPARK-54094 Extrair métodos comuns para KafkaOffsetReaderBase
• SPARK-53573 Permitir literais de string em coalescimento em todos os contextos
• SPARK-54039 Adicionar informações do TaskContext aos logs de liberação do KafkaDataConsumer para melhor depuração
• SPARK-54031 Adicionar novos testes de arquivo padrão para análise de casos extremos
• SPARK-54067 Melhorar SparkSubmit para invocar exitFn com a causa raiz em vez de SparkUserAppException
• SPARK-54047 Usar um erro de diferença quando ocorrer encerramento por tempo limite de inatividade
• SPARK-54078 Deflake StateStoreSuite SPARK-40492: maintenance before unload
• SPARK-54061 Encapsular IllegalArgumentException com o código de erro adequado para padrões de datetime inválidos
• SPARK-54031 Reverta "[SC-210084][sql] Adicionar novos testes de arquivo de referência para análise de casos extremos"
• SPARK-54075 Tornar ResolvedCollation avaliável
• SPARK-54001 Otimizar o uso de memória na clonagem de sessão com relações locais em cache contadas novamente
• SPARK-54031 Adicionar novos testes de arquivo padrão para análise de casos extremos
• SPARK-53923 Renomear spark.executor.(log -> logs).redirectConsoleOutputs
• SPARK-54007 Usar Java Set.of em vez de Collections.emptySet
• SPARK-53755 Adicionar suporte de log no BlockManager
• SPARK-54041 Refatorar validação de argumentos de ParameterizedQuery
• SPARK-53696 Definir bytes como padrão para BinaryType no PySpark
• SPARK-53921 Introduzir GeometryType e GeographyType à API do PySpark
• SPARK-53788 Mover VersionUtils para o módulo common
• SPARK-53999 Suporte ao Transporte KQueue nativo no BSD/MacOS
• SPARK-54021 Implementar acessores de Geografia e Geometria dentro do Catalyst
• SPARK-53921 Reverter "[SC-209482][geo][PYTHON] Introduzir GeometryType e GeographyType à API do PySpark"
• SPARK-53920 Introduzir GeometryType e GeographyType à API Java
• SPARK-53610 Limitar tamanhos de lote de Arrow em CoGrouped applyInPandas e applyInArrow
• SPARK-53659 Inferir o esquema de particionamento de variantes ao gravar em Parquet
• SPARK-53922 Introduzir tipos físicos de Geometria e Geografia
• SPARK-54059 Reduzir o tamanho da página padrão por LONG_ARRAY_OFFSET se ZGC ou ShenandoahGC e ON_HEAP forem usados
• SPARK-53921 Introduzir GeometryType e GeographyType à API do PySpark
• SPARK-54048 Atualizar dev/requirements.txt para instalar torch(vision) no Python 3.14
• SPARK-53917 Dar suporte a grandes relações locais
• SPARK-53760 Introduzir GeometryType e GeographyType
• SPARK-53530 Limpar o código inútil relacionado a TransformWithStateInPySparkStateServer
• SPARK-53636 Corrigir problema de segurança de thread em SortShuffleManager.unregisterShuffle
• SPARK-52762 Adicionar mensagem PipelineAnalysisContext para dar suporte à análise de pipeline durante a execução da consulta do Spark Connect
• SPARK-53631 Otimizar memória e desempenho no bootstrap do SHS
• SPARK-53857 Habilitar a propagação messageTemplate para SparkThrowable
• SPARK-53891 API de resumo de gravação de confirmação DSV2 do modelo
• SPARK-53966 Adicionar funções utilitárias para detectar GCs da JVM
• SPARK-53149 Corrigir o teste se o processo do BeeLine é executado em segundo plano
• SPARK-53738 Corrigir a gravação planejada quando a saída da consulta contiver ordenações dobráveis
• SPARK-53949 Usar Utils.getRootCause em vez de Throwables.getRootCause
• SPARK-53696 Reverter "[SC-209330][python][CONNECT][sql] Definir padrão como bytes para BinaryType no PySpark"
• SPARK-53804 Suporte ao ordenamento de radix TIME
• SPARK-54004 Corrigir a remoção da tabela do cache pelo nome sem efeito cascata
• SPARK-53261 Usar Java String.join|StringJoiner em vez de Guava Joiner
• SPARK-53319 Suporte ao tipo de tempo com try_make_timestamp_ltz()
• SPARK-53280 Usar Java instanceof em vez de Throwables.throwIf* métodos
• SPARK-53696 Definir bytes como padrão para BinaryType no PySpark
• SPARK-53258 Usar JavaUtils de check(Argument|State)
• SPARK-53773 Recuperar a ordem alfabética de regras em RuleIdCollection
• SPARK-53256 Promover check(Argument|State) para JavaUtils
• SPARK-54008 Ignorar QO para DESCRIBE QUERY
• SPARK-53573 Usar o pré-processador para manipulação generalizada de marcador de parâmetro
• SPARK-53980 Adicionar SparkConf.getAllWithPrefix(String, String => K) API
• SPARK-54009 Apoio spark.io.mode.default
• SPARK-51903 Validar dados sobre como adicionar uma restrição CHECK
• SPARK-53573 Reverter "[SC-209126][sql] Usar o pré-processador para tratamento generalizado do marcador de parâmetro"
• SPARK-53573 Usar o pré-processador para manipulação generalizada de marcador de parâmetro
• SPARK-53573 Reverter "[SC-209126][sql] Usar o pré-processador para tratamento generalizado do marcador de parâmetro"
• SPARK-53956 Adicionar suporte ao tipo TIME na função try_make_timestamp no PySpark
• SPARK-53930 Suporte ao tipo TIME na função make_timestamp no PySpark
• SPARK-53573 Usar o pré-processador para manipulação generalizada de marcador de parâmetro
• SPARK-53564 Evitar encerramentos do DAGScheduler devido ao timeout de RPC do blockManager no DAGSchedulerEventProcessLoop
• SPARK-53879 Atualizar Ammonite para 3.0.3
• SPARK-53938 Corrigir o redimensionamento decimal em LocalDataToArrowConversion
• SPARK-53845 Coletores SDP
• SPARK-53908 Corrigir observações no Spark Connect com o cache de planos
• SPARK-53841 Implementar transform() na API de Coluna
• SPARK-53929 Suporte para TIME nas funções make_timestamp e try_make_timestamp no Scala
• SPARK-53902 Adicionar bits de padrão de árvore para as expressões suportadas na ParameterizedQuery lista de argumentos
• SPARK-53064 Reescrever o LogKey do MDC em Java
• SPARK-53762 Adicionar regra simplificadora de conversões de data e hora ao otimizador
• SPARK-53916 Deduplicar as variáveis em PythonArrowInput
• SPARK-53690 Corrigir a formatação exponencial de avgOffsetsBehindLatest e estimatedTotalBytesBehindLatest no objeto de fontes kafka em progresso json
• SPARK-53789 Canonicalizar a condição de erro CANNOT_MODIFY_STATIC_CONFIG
• SPARK-53720 Simplificar a extração de tabela de DataSourceV2Relation (nº 52460)
• SPARK-45530 Usar java.lang.ref.Cleaner em vez de finalize para NioBufferedFileInputStream
• SPARK-53789 Reverter "[SC-208902][sql][CONNECT] Canonizar condição de erro CANNOT_MODIFY_STATIC_CONFIG"
• SPARK-53789 Canonicalizar a condição de erro CANNOT_MODIFY_STATIC_CONFIG
• SPARK-53111 Implementar a função time_diff no PySpark
• SPARK-53896 Habilitar spark.io.compression.lzf.parallel.enabled por padrão
• SPARK-53856 Remover denylist nomes de configuração alternativos
• SPARK-53611 Limitar os tamanhos dos lotes de Arrow em UDFs de agregação em janelas
• SPARK-53575 Repetir todos os estágios de processamento quando uma divergência de checksum for detectada para uma tarefa de mapa de shuffle repetida
• SPARK-53867 Limitar os tamanhos de lote do Arrow no SQL_GROUPED_AGG_ARROW_UDF
• SPARK-53877 Introduzir a função BITMAP_AND_AGG
• SPARK-51426 Corrigir 'Configurar metadados para dicionário vazio não funciona'
• SPARK-53868 Usar a verificação de comprimento da matriz em vez da verificação de referência direta no V2ExpressionBuilder
• SPARK-53609 Limitar tamanhos de lote do Arrow no SQL_GROUPED_AGG_PANDAS_UDF
• SPARK-53892 Usar DescribeTopicsResult.allTopicNames em vez da API preterida all
• SPARK-53878 Corrigir problema de condição de corrida relacionado a ObservedMetrics
• SPARK-53796 Adicionar extension campo a alguns protos de pipeline para dar suporte à compatibilidade futura
• SPARK-53850 Definir proto para coletores e renomear DefineDataset para DefineOutput
• SPARK-53812 Refatorar os protos DefineDataset e DefineFlow para agrupar propriedades relacionadas e preparar para o futuro
• SPARK-53870 Corrigir bug de leitura parcial para grandes mensagens proto em TransformWithStateInPySparkStateServer
• SPARK-53751 Local de ponto de verificação com controle de versão explícito
• SPARK-52407 Adicionar suporte para o Esboço de Theta (#171135)
• SPARK-53779 Implementar transform() na API de Coluna
• SPARK-49547 Adicionar iterador de RecordBatch API a applyInArrow
• SPARK-53802 Suporte a valores de cadeia de caracteres para esquema especificado pelo usuário em tabelas SDP
• SPARK-53865 Extrair lógica comum da regra ResolveGenerate
• SPARK-53113 Suporte ao tipo de tempo com try_make_timestamp()
• SPARK-53868 Utilize apenas a assinatura com Expression[] de visitAggregateFunction no V2ExpressionSQBuilder
• SPARK-53792 Corrigir o uso de memória do rocksdbPinnedBlocks quando a memória está limitada...
• SPARK-53248 Suporte checkedCast em JavaUtils
• SPARK-52640 Propagar o local de localização do código-fonte em Python
• SPARK-52924 Suporte ZSTD_strategy para compactação
• SPARK-53562 Reaplicar "[SC-207233][python] Limitar tamanhos de lote de Arrow em applyInArrow e applyInPandas"
• SPARK-51272 Anulando em vez de continuar parcialmente concluído estágio de resultado indeterminado em ResubmitFailedStages
• SPARK-53795 Remover parâmetros não utilizados no LiteralValueProtoConverter
• SPARK-53808 Permitir passar args de JVM opcionais para spark-connect-scala-client
• SPARK-52614 Suporte ao RowEncoder dentro do Codificador de Produto
• SPARK-53833 Atualizar dev/requirements.txt para omitir torch/torchvision no Python 3.14
• SPARK-53715 Refatorar getWritePrivileges para MergeIntoTable
• SPARK-53516 Corrigir spark.api.mode o processo de arg no SparkPipelines
• SPARK-53507 Não use a classe de caso para BreakingChangeInfo
• SPARK-53645 Implementar skipna parâmetro para ps.DataFrame any()
• SPARK-53717MapType.valueContainsNull Revisar o comentário do parâmetro mais corretamente
• SPARK-53700 Remover redundância em DataSourceV2RelationBase.simpleString
• SPARK-53667 Corrigir EXPLAIN para CALL com IDENTIFIER
• SPARK-53562 Reverter "[SC-207233][python] Limitar tamanhos de lote do Apache Arrow em applyInArrow e applyInPandas"
• SPARK-51169 Adicionar suporte ao Python 3.14 no Spark Classic
• SPARK-53562 Limitar tamanhos de lote de Arrow em applyInArrow e applyInPandas
• SPARK-53806 Permitir que a entrada vazia no descriptografo do AES tenha classe de erro
• SPARK-51756 Computa RowBasedChecksum em ShuffleWriters
• SPARK-52807 Alterações de proto para dar suporte à análise dentro de funções de consulta de Pipelines Declarativos
• SPARK-53728 Imprimir mensagem de PipelineEvent com erro ao testar
• SPARK-53207 Enviar evento de pipeline para o cliente de forma assíncrona
• SPARK-53829 Suporte para datetime.time em operadores de coluna
• SPARK-53638 Limitar o tamanho em bytes do lote Arrow para TWS para evitar OOM
• SPARK-53593 Correção: Usar campos sem aspas para resposta
• SPARK-53734 Preferir coluna de tabela em vez de LCA ao resolver índice de matriz
• SPARK-53593 Adicionar campo de resposta para DefineDataset e DefineFlow RPC
• SPARK-53734 Reverter "[SC-207697][sql] Preferir coluna de tabela em vez de LCA ao resolver índice de matriz"
• SPARK-53621 Adicionando suporte para executar o CONTINUE HANDLER
• SPARK-53734 Preferir coluna de tabela em vez de LCA ao resolver índice de matriz
• SPARK-53507 Adicionar informações de mudanças significativas aos erros
• SPARK-53707 Melhorar o manuseio de metadados de atributos.
• SPARK-53629 Implementar a ampliação de tipo para MERGE INTO WITH SCHEMA EVOLUTION
• SPARK-53719 Aprimorar a verificação de tipo na _to_col função
• SPARK-53735 Ocultar traces de pilha JVM do servidor por padrão na saída de pipelines do Spark
• SPARK-53651 Adicionar suporte para exibições persistentes em pipelines
• SPARK-53678 Correção de NPE quando a subclasse de ColumnVector é criada com DataType nulo
• SPARK-46679 Correção para SparkUnsupportedOperationException Não encontrado um codificador do tipo T ao usar a classe Parameterized
• SPARK-53444 Retrabalho executar retrabalho imediato executar imediatamente
• SPARK-53578 Simplificar o tratamento de tipo de dados no LiteralValueProtoConverter
• SPARK-53438 Usar CatalystConverter em LiteralExpressionProtoConverter
• SPARK-53444 Reverter "[SC-206535][sql][CORE] Retrabalho executar retrabalho imediato executar imediatamente"
• SPARK-53444 Retrabalho executar retrabalho imediato executar imediatamente
• SPARK-53112 Suporte para TIME nas funções make_timestamp_ntz e try_make_timestamp_ntz no PySpark
• SPARK-53492 Rejeitar o segundo ExecutePlan com um id de operação que já esteja concluída
• SPARK-52772 Corrigir e atualizar arquivos padrão
• SPARK-53591 Simplificar a correspondência de glob de padrão de especificação de pipeline
• SPARK-53553 Corrigir o tratamento de valores nulos em LiteralValueProtoConverter
• SPARK-52772 Tratamento inconsistente de atributo de tabela durante atualizações
• SPARK-53544 Suporte a tipos complexos em observações
• SPARK-53357 Atualização pandas para 2.3.2
• SPARK-53402 Suporte à API do conjunto de dados de particionamento de passagem direta no Spark Connect no Scala
• SPARK-53372 Pacote de testes de ponta a ponta do SDP
• SPARK-53402 Reverta "[SC-206163][connect] Suporte à API do conjunto de dados de partição de passagem direta no Spark Connect no Scala"
• SPARK-53402 Suporte à API do conjunto de dados de particionamento de passagem direta no Spark Connect no Scala
• SPARK-53233 Tornar o código relacionado a streaming usar o nome do pacote correto
• SPARK-53233 Reverta "[SC-203716][sql][SS][mllib][CONNECT] Faça o código relacionado ao streaming uso do nome do pacote correto"
• SPARK-53233 Tornar o código relacionado a streaming usar o nome do pacote correto
• SPARK-53561 Capturar a exceção de interrupção em TransformWithStateInPySparkStateServer durante a execução de outputStream.flush para evitar a falha do processo
• SPARK-53486 Evitar a configuração weights_only=False na carga do modelo de tocha
• SPARK-53391 Remover PrimitiveKeyOpenHashMap não utilizado
• SPARK-52431 Toques finais no runner do Declarative Pipelines
• SPARK-52980 Suporte a UDTFs Python do Arrow
• SPARK-53453 Desbloquear 'torch<2.6.0'
• SPARK-52582 Remerge "[SC-199314][sc-204581][SQL] Melhorar o uso de memória do analisador XML"
• SPARK-52582 Reverter "[SC-199314][sc-204581][SQL] Melhorar o uso de memória do analisador XML"
• SPARK-52582 Melhorar o uso de memória do analisador XML
• SPARK-51906 Expressões Dsv2 em alterar tabela adicionar colunas
• SPARK-53150 Melhorar list(File|Path)s para lidar com entradas inexistentes, não diretórios e links simbólicos
• SPARK-53091 Banir org.apache.commons.lang3.Strings
• SPARK-52844 Atualizar o numpy para 1.22
• SPARK-52912 Melhorar SparkStringUtils para suportar is(Not)?(Blank|Empty)
• SPARK-52877 Melhorar o desempenho do serializador de seta de UDF do Python
• SPARK-52877 Reverter "[SC-201914][python] Melhorar o desempenho do Serializador Arrow UDF no Python"
• SPARK-52238 Cliente Python para Pipelines Declarativos
• SPARK-52877 Melhorar o desempenho do serializador de seta de UDF do Python
• SPARK-53287 Adicionar guia de migração ansi
• SPARK-52110 Implementar o suporte à sintaxe do SQL para pipelines
• SPARK-52897 Atualização pandas para 2.3.1
• SPARK-52451 Reverter "[SC-202894][connect][SQL] Tornar WriteOperation em SparkConnectPlanner sem efeitos colaterais"
• SPARK-52976 Correção na UDF do Python que não aceita cadeia de caracteres ordenada como tipo de parâmetro de entrada/retorno
• SPARK-52904 Habilitar convertToArrowArraySafely por padrão
• SPARK-52821 add int-DecimalType> pyspark udf return type coercion
• SPARK-52971 Limitar o tamanho da fila de trabalho do Python ocioso
• SPARK-53013 Corrigir UDTF do Python com otimização de seta que não retorna linhas na junção lateral
• SPARK-51834 Sincronizar OSS: dar suporte à restrição de tabela de ponta a ponta altere a restrição adicionar/soltar
• SPARK-52675 Interromper manipuladores de ML deslocados em testes
• SPARK-52959 Suporte a UDT no UDTF do Python com otimização de seta
• SPARK-52961 Corrigir UDTF otimizado por Arrow do Python com avaliação de 0 argumentos em junções laterais
• SPARK-52949 Evitar a viagem de ida e volta entre RecordBatch e Table no UDTF do Python com otimização de seta
• SPARK-52946 Corrigir UDTF do Python otimizado por Arrow para dar suporte a grandes tipos de variáveis
• SPARK-52934 Permitir o retorno de valores escalares com o UDTF de Python otimizado por Arrow
• SPARK-52861 Ignorar a criação de objeto Row na execução de UDTF com otimização Arrow
• SPARK-51834 Sincronizar o suporte do OSS criar/substituir tabela de ponta a ponta por restrição
• SPARK-44856 Melhorar o desempenho do serializador de seta UDTF do Python
• SPARK-51834 Reverter "[SQL] Corrigir TableSpec ao adicionar construtor"
• SPARK-51834 Corrigir TableSpec adicionando construtor
• SPARK-51834 Reversão de "[SQL] Sincronizar OSS (parcial): Suporte à restrição de tabela de ponta a ponta em operações de criação/substituição de tabela"
• SPARK-51834 Sincronizar OSS (parcial): Suporte a restrições de tabela de ponta a ponta na criação/substituição de tabela
• SPARK-52885 Implementar as funções de hora, minuto e segundo no Scala para o tipo TIME
• SPARK-51834 Sincronizar chamadas de atualização do OSS ResolvedIdentifier
• SPARK-44856 Reverter "[SC-195808][python] Melhorar o desempenho do serializador de seta UDTF do Python"
• SPARK-51834 Reverter "[SQL] Sincronizar chamadas de atualização do OSS ResolvedIdentifier"
• SPARK-44856 Melhorar o desempenho do serializador de seta UDTF do Python
• SPARK-51834 Sincronizar chamadas de atualização do OSS ResolvedIdentifier
• SPARK-52787 Reorganizar a execução de streaming dir em torno de áreas de runtime e ponto de verificação
• SPARK-51695 Sincronizar tabela de criação/substituição/alteração do OSS para restrição exclusiva via DSv2
• SPARK-51695 Sincronizar restrição de descarte do OSS via DSv2
• SPARK-51695 Introduzir alterações de analisador para restrições de tabela (CHECK, PK, FK)
• SPARK-51695 Reverter "[SQL] Introduzir alterações de analisador para restrições de tabela (CHECK, PK, FK)"
• SPARK-51695 Introduzir alterações de analisador para restrições de tabela (CHECK, PK, FK)
• SPARK-49428 Mover o cliente Connect Scala do conector para o SQL
• SPARK-52422 Atualização pandas para 2.3.0
• SPARK-52228 Integrar o microbenchmark de interação de estado ao Quicksilver (TCP)
• SPARK-52300 Fazer com que a resolução UDTVF do SQL use configurações consistentes com a resolução de exibição
• SPARK-52228 Construir o servidor de estado TWS dedicado ao benchmarking, com implementações de estado na memória e o código de benchmarking em Python
• SPARK-52174 Habilitar spark.checkpoint.compress por padrão
• SPARK-52224 Introduzir o pyyaml como uma dependência para o cliente Python
• SPARK-52122 Corrigir a vulnerabilidade defaultParamsReader RCE
• SPARK-51147 Refatorar classes relacionadas ao streaming para um diretório de streaming dedicado
• SPARK-51789 Respeitar spark.api.mode e spark.remote corretamente ao analisar argumentos na Submissão do Spark
• SPARK-51212 Adicionar um pacote PySpark separado para o Spark Connect por padrão
• SPARK-50762 Adicionar regra do Analisador para resolver UDFs escalares do SQL
• SPARK-49748 Adicionar getCondition e preterir getErrorClass em SparkThrowable
• SPARK-50605 Suporte ao modo de API do SQL para facilitar a migração para o Spark Connect
• SPARK-50458 Tratamento de erro adequado ao ler arquivos em sistemas de arquivos sem suporte
• SPARK-49700 Interface Scala unificada para o Connect e o Classic
• SPARK-51779 Usar famílias de colunas virtuais para junções fluxo a fluxo
• SPARK-51820 Mover a construção UnresolvedOrdinal antes da análise para evitar problemas com o grupo por ordinal
• SPARK-51814 Introduzir uma nova API transformWithState no PySpark
• SPARK-51635 Mesclar PushProjectionThroughLimit e PushProjectionThroughOffset
• SPARK-51165 Habilitar spark.master.rest.enabled por padrão
• SPARK-51688 Usar soquete de domínio unix entre a comunicação do Python e da JVM
• SPARK-51503 Suporte ao tipo Variant na verificação XML
• SPARK-50564 Atualizar protobuf o pacote do Python para 5.29.1
• SPARK-50359 Atualizar o PyArrow para 18.0
• SPARK-51340 Estimativa de tamanho do modelo
• SPARK-50657 Atualizar a versão mínima para pyarrow 11.0.0
• SPARK-49282 Crie uma interface do SparkSessionBuilder compartilhada.
• SPARK-51371 Alterar toString para toPrettySQL ao criar Aliases em ResolveAggregateFunctions
• SPARK-50694 Suporte a renomeações em subconsultas
• SPARK-50601 Reverta "[SC-186342][sql] Suporte comColumns/withColumnsRenamed em subconsultas"
• SPARK-50601 Suporte para withColumns / withColumnsRenamed em subconsultas

Suporte ao driver ODBC/JDBC do Azure Databricks

O Azure Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Atualizações de manutenção

Confira as atualizações de manutenção do Databricks Runtime.

Ambiente do sistema

• Sistema operacional: Ubuntu 24.04.3 LTS
• Java: Zulu21.42+19-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.0.0

Bibliotecas do Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2025-03-20.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.13)