Databricks Runtime 18.0 (Beta)

As notas de atualização seguintes fornecem informações sobre o Databricks Runtime 18.0 (Beta).

O Azure Databricks lançou esta versão em dezembro de 2025.

Novos recursos e melhorias

• O SQL Scripting está agora disponível de forma geral
• Driver Redshift JDBC atualizado para 2.1.0.28
• Ambiente de execução de isolamento partilhado para Unity Catalog Python UDFs
• Funções de janela SQL em vistas métricas
• Desligamento gracioso para aplicações Spark
• Ajuste dinâmico de partições de redistribuição em consultas de streaming sem estado
• Execução Adaptativa de Consultas e distribuição automática otimizada em consultas de fluxo contínuo sem estado
• FILTER Cláusula para funções agregadas de medida em vistas métricas
• Fios literalmente a coalescer por todo o lado
• Marcadores de parâmetros por todo o lado
• IDENTIFIER cláusula em toda parte
• Nova função BITMAP_AND_AGG
• Nova biblioteca de funções KLL_Sketch
• Biblioteca Apache Parquet atualizada para 1.16.0

O SQL Scripting está agora disponível de forma geral

A funcionalidade SQL Scripting está agora geralmente disponível.

Driver Redshift JDBC atualizado para 2.1.0.28

O driver Redshift JDBC foi atualizado para a versão 2.1.0.28.

Ambiente de execução isolado partilhado para Unity Catalog Python UDFs

Os UDFs Python do Unity Catalog com o mesmo proprietário podem agora partilhar um ambiente de isolamento por defeito. Isso pode melhorar o desempenho e reduzir o uso de memória, reduzindo o número de ambientes separados que precisam ser iniciados.

Para garantir que um UDF seja sempre executado em um ambiente totalmente isolado, adicione a STRICT ISOLATION cláusula característica. Ver Isolamento ambiental.

Funções de janela SQL em vistas métricas

É possível agora usar funções SQL de janela em vistas métricas para calcular totais acumulados, posições e outros cálculos baseados em janelas.

Desligamento gracioso para aplicações Spark

As aplicações Spark suportam agora um desligamento gradual, permitindo que tarefas em curso sejam concluídas antes do término da aplicação.

Ajuste dinâmico de partições de distribuição em consultas sem estado em transmissão contínua

Agora pode alterar o número de partições de embaralhamento em consultas de streaming sem estado sem precisar reiniciar a consulta.

Execução Adaptativa de Consultas e embaralhamento automático otimizado em consultas de streaming sem estado

A Execução Adaptativa de Consultas (AQE) e o embaralhamento automático otimizado (AOS) são agora suportados em consultas de streaming sem estado.

FILTER Cláusula para funções agregadas de medida em vistas métricas

Agora pode usar a cláusula FILTER com funções agregadas de medida nas vistas métricas para definir filtros específicos por agregado ao referenciar medidas das vistas métricas.

Fios literalmente a coalescer por todo o lado

A capacidade de coalescer literais de sequência de caracteres, como 'Hello' ' World' em 'Hello World', foi ampliada de expressões para qualquer lugar onde os literais de cadeia sejam permitidos. Por exemplo, COMMENT 'This' ' is a ' 'comment'. Consulte STRING o tipo para mais detalhes.

Marcadores de parâmetros por todo o lado

Agora pode usar marcadores de parâmetros nomeados (:param) e não nomeados (?) praticamente em qualquer lugar onde se possa usar um valor literal do tipo apropriado. Isto inclui marcadores de parâmetros em instruções DDL como CREATE VIEW v AS SELECT ? AS c1, tipos DECIMAL(:p, :s) de colunas, ou COMMENT ON t IS :comment. Com esta capacidade, pode parametrizar uma grande variedade de instruções SQL sem expor o seu código a ataques de injeção SQL. Consulte Marcadores de parâmetros para mais detalhes.

IDENTIFIER cláusula em todo o código

O alcance da IDENTIFIER cláusula, que lança strings para nomes de objetos SQL, foi expandido para praticamente todos os locais onde um identificador é permitido. Juntamente com as melhorias no coalescimento de strings literais e nos marcadores de parâmetros, agora é possível parametrizar qualquer elemento, desde aliases de colunas (AS IDENTIFIER(:name)) até definições de colunas (IDENTIFIER(:pk) BIGINT NOT NULL). Consulte IDENTIFIER cláusula para obter detalhes.

Nova função BITMAP_AND_AGG

A biblioteca existente de BITMAP funções foi completada com uma nova função BITMAP_AND_AGG .

Nova biblioteca de funções KLL_Sketch

Agora pode usar uma nova biblioteca de funções que constrói esboços KLL para cálculo quantil aproximado:

• kll_sketch_agg_bigint função de agregação
• kll_sketch_get_quantile_bigint Função
• kll_sketch_merge_bigint Função
• kll_sketch_agg_double função de agregação
• kll_sketch_get_quantile_double Função
• kll_sketch_merge_double Função
• kll_sketch_agg_float função de agregação
• kll_sketch_get_quantile_float Função
• kll_sketch_merge_float Função
• kll_sketch_get_n_bigint Função
• kll_sketch_get_rank_bigint Função
• kll_sketch_to_string_bigint Função
• kll_sketch_get_n_double Função
• kll_sketch_get_rank_double Função
• kll_sketch_to_string_double Função
• kll_sketch_get_n_float Função
• kll_sketch_get_rank_float Função
• kll_sketch_to_string_float Função

Biblioteca Apache Parquet atualizada para 1.16.0

A biblioteca Apache Parquet foi atualizada para a versão 1.16.0.

Mudanças comportamentais

• O JDK 21 é agora o Kit de Desenvolvimento Java padrão
• FSCK REPAIR TABLE inclui corrigir metadados por predefinição
• Anulabilidade preservada para tipos de array e mapa no cliente Scala Spark Connect
• FSCK REPAIR TABLE DRY RUN Esquema de saída atualizado
• SHOW TABLES DROPPED Respeita LIMIT a cláusula
• Fatores de rateio alinhados entre leituras e gravações otimizadas automaticamente
• Execução UDF em Python unificada entre o Catálogo PySpark e Unity
• Mensagens de erro melhoradas para problemas com o módulo de login do conector Kafka
• Restrições de viagem no tempo e VACUUM comportamento de retenção
• BinaryType mapeia para bytes por defeito no PySpark
• Estruturas NULL preservadas em Delta MERGE, UPDATE, e operações de escrita em fluxo contínuo
• Colunas de partição materializavam-se em ficheiros Parquet

O JDK 21 é agora o Kit de Desenvolvimento Java padrão

O Databricks Runtime 18.0 utiliza JDK 21 como o Java Development Kit predefinido. JDK 21 é um lançamento de suporte a longo prazo (LTS). Anteriormente, o predefinido era o JDK 17, que agora está disponível como opção de recurso.

Para informações sobre como configurar versões JDK para os seus clusters, veja Criar um cluster com uma versão específica de JDK.

FSCK REPAIR TABLE inclui reparação de metadados por padrão

O FSCK REPAIR TABLE comando inclui agora um passo inicial de reparação de metadados antes de verificar ficheiros de dados em falta. O comando pode funcionar em tabelas com checkpoints corrompidos ou valores de partição inválidos.

Anulabilidade preservada para tipos de array e mapa no cliente Scala Spark Connect

A anulabilidade dos tipos de array e mapa é agora preservada para literais tipados no cliente Scala do Spark Connect. Anteriormente, elementos de arrays e valores de mapas eram sempre anuláveis.

FSCK REPAIR TABLE DRY RUN Esquema de saída atualizado

A coluna dataFilePath no esquema de saída FSCK REPAIR TABLE DRY RUN é agora anulável para suportar o relato de novos tipos de problemas onde o caminho do ficheiro de dados não é aplicável.

SHOW TABLES DROPPED Respeita LIMIT a cláusula

A SHOW TABLES DROPPED ordem agora respeita corretamente a LIMIT cláusula.

Fatores de prorrateamento alinhados entre leituras e escritas auto-otimizadas

Os fatores de rateio para dimensionamento de partições agora usam valores fracionários de forma consistente em todas as operações de leitura e escritas auto-otimizadas. Esta alteração pode resultar num número diferente de tarefas para operações de leitura.

Execução UDF em Python unificada entre o Catálogo PySpark e Unity

Os UDFs Python do Catálogo Unity usam agora o Apache Arrow como formato padrão de troca, melhorando o desempenho geral e alinhando-se com o comportamento dos UDFs Python otimizados para Arrow no Apache Spark. Como parte desta alteração, TIMESTAMP os valores passados para UDFs em Python já não incluem a informação do fuso horário no datetime atributo do tzinfo objeto. Os próprios valores de carimbo temporal permanecem no UTC, mas os metadados do fuso horário foram agora eliminados.

Se o seu UDF depende da informação do fuso horário, precisa de o restaurar com date = date.replace(tzinfo=timezone.utc). Para mais informações, veja Comportamento do fuso temporal com carimbo temporal para entradas.

Mensagens de erro melhoradas para problemas com o módulo de login do conector Kafka

Ao usar o conector Kafka com uma classe de módulo de login não sombreada, o Azure Databricks agora fornece mensagens de erro que sugerem usar o prefixo correto da classe sombreada (kafkashaded.org.apache.kafka ou kafkashaded.software.amazon.msk.auth.iam).

Restrições de viagem no tempo e VACUUM comportamento de retenção

O Azure Databricks bloqueia agora consultas de viagem no tempo para além do deletedFileRetentionDuration limiar para todas as tabelas. O VACUUM comando ignora o argumento da duração de retenção, exceto quando o valor é 0 horas. Não pode definir deletedFileRetentionDuration maior do que logRetentionDuration ou vice-versa.

BinaryType mapeia para bytes por defeito no PySpark

BinaryType agora mapeia consistentemente para Python bytes no PySpark. Anteriormente, o PySpark mapeava BinaryType para bytes ou bytearray conforme o contexto. Para restaurar o comportamento antigo, defina spark.sql.execution.pyspark.binaryAsBytes para false.

Estruturas NULL preservadas em Delta MERGE, UPDATE, e operações de escrita em streaming

Os NULL structs são agora preservados como NULL em Delta MERGE, UPDATE, e operações de escrita em streaming que incluem conversões de tipos de struct. Anteriormente, as estruturas NULL eram expandidas para estruturas com campos NULL. Por exemplo, uma estrutura NULL permanece agora NULL em vez de ser expandida para uma estrutura com todos os valores do campo NULL.

Colunas de partição materializadas nos ficheiros Parquet

Tabelas Delta particionadas agora materializam colunas de partição em ficheiros de dados Parquet recém-escritos. Anteriormente, os valores das partições eram armazenados nos metadados do registo de transações Delta e refletidos nos caminhos dos diretórios, mas não eram escritos como colunas nos próprios ficheiros Parquet. Esta alteração está alinhada com o comportamento do Apache Iceberg e UniForm e pode afetar cargas de trabalho que leem diretamente ficheiros Parquet escritos pela Delta Lake, uma vez que os ficheiros recém-escritos incluem colunas de partição adicionais.

Atualizações da biblioteca

Bibliotecas Python atualizadas:

• Anyio de 4.6.2 a 4.7.0
• Asttokens de 2,0.5 a 3,0.0
• Azure-core da 1.34.0 à 1.36.0
• Azure-mgmt-core da versão 1.5.0 para a 1.6.0
• Azure-storage-blob de 12.23.0 a 12.27.1
• Azure-Storage-File-Datalake de 12.17.0 a 12.22.0
• boto3 de 1.36.2 a 1.40.45
• Botocore de 1.36.3 a 1.40.45
• Certifi de 2025.1.31 a 2025.4.26
• clique de 8.1.7 para 8.1.8
• Criptografia de 43.0.3 a 44.0.1
• Cython de 3.0.12 a 3.1.5
• Databricks-SDK de 0.49.0 a 0.67.0
• Descontinuado de 1.2.13 a 1.2.18
• Atualização de 0.8.3 para 1.2.0
• Fastapi de 0.115.12 a 0.121.0
• Google-API-Core da 2.20.0 à 2.28.1
• google-auth de 2.40.0 para 2.43.0
• Google-Cloud-Core da 2.4.3 à 2.5.0
• Google-Cloud-Storage da 3.1.0 à 3.5.0
• H11 de 0.14.0 a 0.16.0
• httpcore de 1.0.2 a 1.0.9
• httpx de 0.27.0 a 0.28.1
• isodate de 0.6.1 a 0.7.2
• Jinja2 de 3.1.5 a 3.1.6
• Eventos Jupyter de 0.10.0 a 0.12.0
• Jupyter-LSP de 2.2.0 a 2.2.5
• jupyter_server de 2.14.1 a 2.15.0
• jupyter_server_terminals de 0.4.4 a 0.5.3
• Mistune de 2.0.4 a 3.1.2
• mlflow-skinny de 3.0.1 a 3.5.1
• mmh3 de 5.1.0 a 5.2.0
• MSAL de 1.32.3 a 1.34.0
• nbclient de 0.8.0 a 0.10.2
• nbconvert de 7.16.4 para 7.16.6
• notebook_shim de 0.2.3 a 0.2.4
• OpenTelemetry-API de 1.32.1 a 1.38.0
• OpenTelemetry-SDK de 1.32.1 a 1.38.0
• Opentelemetry-semântic-conventions de 0.53b1 a 0.59b0
• platformdirs desde 3.10.0 até 4.3.7
• prometheus_client de 0.21.0 a 0.21.1
• Psycopg2 de 2.9.3 a 2.9.11
• pyarrow de 19.0.1 a 21.0.0
• Pygments de 2.15.1 a 2.19.1
• pyiceberg de 0.9.0 a 0.10.0
• python-lsp-server da 1.12.0 à 1.12.2
• corda de 1.12.0 a 1.13.0
• s3transfer de 0.11.3 para 0.14.0
• SCIPY de 1.15.1 a 1.15.3
• setuptools de 74.0.0 a 78.1.1
• seis de 1.16.0 a 1.17.0
• stack-data de 0.2.0 a 0.6.3
• Starlette de 0.46.2 a 0.49.3
• Tornado de 6.4.2 a 6.5.1
• types-python-dateutil de 2.9.0.20241206 a 2.9.0.20251008
• Uvicorn de 0.34.2 a 0.38.0
• webcolors de 24.11.1 a 25.10.0

Bibliotecas R atualizadas:

• Flecha de 19.0.1 a 22.0.0
• base de 4.4.2 a 4.5.1
• bigD de 0.3.0 a 0.3.1
• vassoura de 1.0.7 a 1.0.10
• relógio de 0.7.2 a 0.7.3
• Commonmark da versão 1.9.5 para 2.0.0
• compilador de 4.4.2 a 4.5.1
• atualização de credenciais da versão 2.0.2 para 2.0.3
• Atualizar curl da versão 6.4.0 para 7.0.0
• data.table de 1.17.0 até 1.17.8
• conjuntos de dados de 4.4.2 a 4.5.1
• DBPLYR da 2.5.0 à 2.5.1
• DevTools de 2.4.5 para 2.4.6
• Diffobj de 0.3.5 a 0.3.6
• Resumo de 0.6.37 a 0.6.39
• downlit de 0.4.4 para 0.4.5
• dtplyr de 1.3.1 a 1.3.2
• avaliar de 1.0.3 a 1.0.5
• fansi de 1.0.6 a 1.0.7
• Forcats de 1.0.0 a 1.0.1
• FS de 1.6.5 a 1.6.6
• Futuro de 1.34.0 a 1.68.0
• future.apply da versão 1.11.3 para a versão 1.20.0
• gargle de 1.5.2 para 1.6.0
• GERT de 2.1.4 a 2.2.0
• ggplot2 de 3.5.1 a 4.0.1
• GH de 1.4.1 a 1.5.0
• git2r de 0.35.0 a 0.36.2
• GLMNET de 4.1-8 para 4.1-10
• GoogleDrive da versão 2.1.1 para a 2.1.2
• Googlesheets4 da versão 1.1.1 à 1.1.2
• Gráficos de 4.4.2 a 4.5.1
• grDevices de 4.4.2 a 4.5.1
• grelha de 4.4.2 a 4.5.1
• Atualização do gt da versão 0.11.1 para 1.1.0
• Hardhat de 1.4.1 a 1.4.2
• Atualização do Haven da versão 2.5.4 para a 2.5.5
• HMS de 1.1.3 para 1.1.4
• httpuv de 1.6.15 a 1.6.16
• httr2 de 1.1.1 para 1.2.1
• jsonlite de 1.9.1 a 2.0.0
• mais tarde, de 1.4.1 a 1.4.4
• Lava de 1.8.1 a 1.8.2
• Atualização do Listenv da versão 0.9.1 para a 0.10.0
• Magrittr de 2.0.3 a 2.0.4
• markdown de 1.13 para 2.0
• Métodos de 4.4.2 a 4.5.1
• miniUI de 0.1.1.1 a 0.1.2
• mlflow de 2.20.4 a 3.6.0
• OpenSSL de 2.3.3 a 2.3.4
• paralelo de 4.4.2 a 4.5.1
• paralelamente, de 1.42.0 a 1.45.1
• Pilar de 1.11.0 a 1.11.1
• pkgbuild de 1.4.6 a 1.4.8
• pkgdown de 2.1.1 para 2.2.0
• Atualização do pkgload de 1.4.0 para 1.4.1
• pROC de 1.18.5 a 1.19.0.1
• Prodlim de 25.06.2024 a 28.04.2025
• Atualização do progressr de 0.15.1 a 0.18.0
• Promessas de 1.3.2 a 1.5.0
• PS de 1.9.0 a 1.9.1
• purrr de 1.0.4 a 1.2.0
• ragg do 1.3.3 para 1.5.0
• Rcpp de 1.0.14 a 1.1.0
• readr da versão 2.1.5 para a versão 2.1.6
• receitas de 1.2.0 a 1.3.1
• Reshape2 de 1.4.4 para 1.4.5
• rmarkdown de 2,29 para 2,30
• roxygen2 de 7.3.2 a 7.3.3
• rprojroot de 2.0.4 para 2.1.1
• RSQLite de 2.3.9 a 2.4.4
• rversões de 2.1.2 a 3.0.0
• Rvest de 1.0.4 a 1.0.5
• Saass de 0.4.9 a 0.4.10
• escalas de 1.3.0 a 1.4.0
• Brilhante de 1.10.0 a 1.11.1
• Sparklyr de 1.9.1 a 1.9.3
• SparkR da 4.0.0 à 4.1.0
• sparsevctrs de 0.3.1 até 0.3.4
• splines de 4.4.2 a 4.5.1
• Estatísticas de 4.4.2 a 4.5.1
• Stats4 de 4.4.2 a 4.5.1
• stringr de 1.5.1 a 1.6.0
• SystemFonts de 1.2.1 a 1.3.1
• tcltk de 4.4.2 a 4.5.1
• testthat de 3.2.3 a 3.3.0
• modelação de texto de 1.0.0 a 1.0.4
• DataHora de 4041.110 a 4051.111
• Tinytex de 0,56 a 0,58
• ferramentas de 4.4.2 a 4.5.1
• usethis de 3.1.0 a 3.2.1
• Utilitários de 4.4.2 a 4.5.1
• V8 de 6.0.2 a 8.0.1
• vroom de 1.6.5 a 1.6.6
• Waldo de 0.6.1 a 0.6.2
• xfun de 0.51 a 0.54
• XML2 da 1.3.8 à 1.5.0
• zeallot de 0.1.0 a 0.2.0
• zip de 2.3.2 para 2.3.3

Bibliotecas Java atualizadas:

• com.amazonaws.amazon-kinesis-client de 1.12.0 a 1.15.3
• com.amazonaws.aws-java-sdk-autoscaling de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cloudformation de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cloudfront de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cloudhsm de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cloudsearch de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cloudtrail de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatch de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cloudwatchmetrics de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-codedeploy de 1.12.638 para 1.12.681
• com.amazonaws.aws-java-sdk-cognitoidentity de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-cognitosync de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-config de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-core de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-sql-scriptdatapipeline de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-directconnect de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-directory de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-dynamodb de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-ec2 de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-ecs de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-efs de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-elasticache de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-elasticbeanstalk de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-elasticloadbalancing de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-elastictranscoder de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-emr de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-glacier de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-glue de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-iam de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-importexport de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-kinesis de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-kms de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-lambda de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-logs de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-machinelearning de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-opsworks de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-rds de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-redshift de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-route53 de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-s3 de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-ses de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-simpledb de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-simpleworkflow de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-sns de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-sqs de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-ssm de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-storagegateway de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-sts de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-support de 1.12.638 a 1.12.681
• com.amazonaws.aws-java-sdk-workspaces da versão 1.12.638 para a versão 1.12.681
• com.amazonaws.jmespath-java de 1.12.638 a 1.12.681
• com.databricks.databricks-sdk-java de 0.27.0 a 0.53.0
• com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.18.2 a 2.18.3
• com.github.luben.zstd-jni de 1.5.6-10 a 1.5.7-6
• com.google.flatbuffers.flatbuffers-java de 24.3.25 a 25.2.10
• com.google.guava.failureaccess de 1.0.2 a 1.0.3
• com.google.guava.guava de 33.4.0-jre a 33.4.8-jre
• com.microsoft.sqlserver.mssql-jdbc de 11.2.3.jre8 para 12.8.0.jre8
• commons-cli.commons-cli de 1.9.0 a 1.10.0
• Atualização do commons-codec.commons-codec da versão 1.17.2 para a versão 1.19.0
• commons-fileupload.commons-fileupload de 1.5 a 1.6.0
• commons-io.commons-io de 2.18.0 para 2.21.0
• dev.ludovic.netlib.arpack de 3.0.3 a 3.0.4
• dev.ludovic.netlib.blas de 3.0.3 a 3.0.4
• dev.ludovic.netlib.lapack de 3.0.3 para 3.0.4
• io.delta.delta-sharing-client_2.13 de 1.3.5 a 1.3.6
• io.dropwizard.metrics.metrics-anotação de 4.2.30 a 4.2.37
• io.dropwizard.metrics.metrics-core de 4.2.30 a 4.2.37
• io.dropwizard.metrics.metrics-graphite de 4.2.30 a 4.2.37
• io.dropwizard.metrics.metrics-healthchecks de 4.2.30 para 4.2.37
• io.dropwizard.metrics.metrics-jmx de 4.2.30 a 4.2.37
• io.dropwizard.metrics.metrics-json de 4.2.30 a 4.2.37
• io.dropwizard.metrics.metrics-jvm de 4.2.30 a 4.2.37
• io.dropwizard.metrics.metrics-servlets de 4.2.30 a 4.2.37
• io.netty.netty-all de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-buffer desde a versão 4.1.118.Final até a versão 4.2.7.Final
• io.netty.netty-codec de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-codec-http da versão 4.1.118.Final para a versão 4.2.7.Final
• io.netty.netty-codec-http2 de 4.1.118.Final a 4.2.7.Final
• Atualização do io.netty.netty-codec-socks de 4.1.118.Final para 4.2.7.Final
• Alteração de io.netty.netty-common da versão 4.1.118.Final para a versão 4.2.7.Final
• io.netty.netty-handler de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-handler-proxy de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-resolver de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-tcnative-boringssl-static de 2.0.70.Final-db-r0-windows-x86_64 até 2.0.74.Final-db-r0-windows-x86_64
• io.netty.netty-tcnative-classes de 2.0.70.Final a 2.0.74.Final
• io.netty.netty-transport de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-transport-classes-epoll de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-transport-classes-kqueue de 4.1.118.Final a 4.2.7.Final
• io.netty.netty-transport-native-epoll de 4.1.118.Final-linux-x86_64 para 4.2.7.Final-linux-x86_64
• io.netty.netty-transport-native-kqueue de 4.1.118.Final-osx-x86_64 até 4.2.7.Final-osx-x86_64
• io.netty.netty-transport-native-unix-common de 4.1.118.Final a 4.2.7.Final
• joda-time.joda-time de 2.13.0 a 2.14.0
• org.apache.arrow.arrow-format de 18.2.0 a 18.3.0
• org.apache.arrow.arrow-memory-core de 18.2.0 a 18.3.0
• org.apache.arrow.arrow-memory-netty de 18.2.0 a 18.3.0
• org.apache.arrow.arrow-memory-netty-buffer-patch de 18.2.0 para 18.3.0
• org.apache.arrow.arrow-vector de 18.2.0 a 18.3.0
• org.apache.avro.avro de 1.12.0 a 1.12.1
• org.apache.avro.avro-ipc de 1.12.0 a 1.12.1
• org.apache.avro.avro-mapred de 1.12.0 a 1.12.1
• org.apache.commons.commons-collections4 de 4.4 a 4.5.0
• org.apache.commons.commons-compress de 1.27.1 a 1.28.0
• org.apache.commons.commons-lang3 de 3.17.0 a 3.19.0
• org.apache.commons.commons-text de 1.13.0 a 1.14.0
• org.apache.curator.curator-client de 5.7.1 a 5.9.0
• org.apache.curator.curator-framework de 5.7.1 a 5.9.0
• org.apache.curator.curator-recipes de 5.7.1 a 5.9.0
• org.apache.datasketches.datasketches-java de 6.1.1 a 6.2.0
• org.apache.hadoop.hadoop-client-runtime de 3.4.1 a 3.4.2
• org.apache.orc.orc-core de 2.1.1-shaded-protobuf até 2.2.0-shaded-protobuf
• org.apache.orc.orc-format desde 1.1.0-shaded-protobuf até 1.1.1-shaded-protobuf
• org.apache.orc.orc-mapreduce de 2.1.1-shaded-protobuf para 2.2.0-shaded-protobuf
• org.apache.orc.orc-shims de 2.1.1 a 2.2.0
• org.apache.xbean.xbean-asm9-shaded de 4.26 a 4.28
• org.apache.zookeeper.zookeeper de 3.9.3 a 3.9.4
• org.apache.zookeeper.zookeeper-jute de 3.9.3 a 3.9.4
• org.eclipse.jetty.jetty-client de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-http de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-io de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-jndi da versão 9.4.53.v20231009 para a 10.0.26
• org.eclipse.jetty.jetty-plus de 9.4.53.v20231009 para 10.0.26
• org.eclipse.jetty.jetty-proxy de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-security de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-server de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-servlet de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-servlets de 9.4.53.v20231009 a 10.0.26
• Atualização do org.eclipse.jetty.jetty-util de 9.4.53.v20231009 para 10.0.26
• org.eclipse.jetty.jetty-webapp de 9.4.53.v20231009 a 10.0.26
• org.eclipse.jetty.jetty-xml de 9.4.53.v20231009 a 10.0.26
• org.mlflow.mlflow-spark_2.13 de 2.9.1 a 2.22.1
• org.objenesis.objenesis de 3.3 a 3.4
• org.scala-lang.modules.scala-xml_2.13 de 2.3.0 a 2.4.0

Apache Spark

O Databricks Runtime 18.0 (Beta) inclui o Apache Spark 4.0.0. Esta versão inclui todas as correções e melhorias do Spark incluídas na versão anterior, bem como as seguintes correções adicionais de bugs e melhorias feitas ao Spark:

• SPARK-54536 Embaralhamento FetchWaitTime ausente coletar criar custo de cliente/espera
• SPARK-54534 Migrar códigos de erro de legado relacionados com o Hive para condições de erro adequadas
• SPARK-54565 O SparkBuildInfo deve carregar spark-version-info.properties a partir do seu próprio classloader
• SPARK-54533 Configure o valor correto para a métrica ExecutorSource.METRIC_RESULT_SIZE
• SPARK-54478 Reativar os testes de transmissão contínua para o CI do teste de compatibilidade de conexão
• SPARK-54552 Corrigir SparkConnectResultSet.getString para lidar com o tipo de dados BINARY com UTF_8
• SPARK-54501 Melhorar o tratamento de erros para falhas no filtro de partição da metastore Hive
• SPARK-54550 Lida de forma elegante com ConnectException em SparkConnectStatement.close()
• SPARK-54020 Suporte spark.sql(...) à API Python dentro das funções de consulta para o Spark Declarative Pipeline
• SPARK-53127 Corrigir LIMIT TUDO para recursão não limitada com normalização CTE
• SPARK-50072 Tratar ArithmeticException na análise de intervalos com valores elevados
• SPARK-54299 Corrigir a consulta de exemplo errada em WindowGroupLimit
• SPARK-54505 Corrigir a ordem dos argumentos na chamada de createMetrics em makeNegative
• SPARK-54462 Adicionar SupportsV1OverwriteWithSaveAsTable mixin para TableProvider
• SPARK-54540 Algumas pequenas correções para o driver JDBC de Connect
• SPARK-54508 Corrigir spark-pipelines para resolver spec o caminho do ficheiro de forma mais robusta
• SPARK-54087 Falha na tarefa de lançamento do Spark Executor deve devolver a mensagem de tarefa terminada
• SPARK-53797 Correção FileStreamSource.takeFilesUntilMax para utilizar zipWithIndex para evitar indices uso
• SPARK-54418 Corrigir mensagens de erro e formatação de código
• SPARK-54114 Suporte para getColumns no SparkConnectDatabaseMetaData
• SPARK-54209 Suporte para tipo TIMESTAMP no SparkConnectResultSet
• SPARK-54208 Suporte ao tipo TIME no SparkConnectResultSet
• SPARK-54528 Fecha o URLClassLoader com entusiasmo para evitar o OOM
• SPARK-54464 Remover chamadas duplicadas output.reserve em assembleVariantBatch
• SPARK-53635 Suportar UDFs Scala com argumentos de entrada do tipo Seq[Row]
• SPARK-54493 Corrigir assertSchemaEqual para MapType
• SPARK-52515 Teste approx_top_k com bandeira ligada e desligada
• SPARK-54413 Atualizar o Bootstrap v4.4.1 para v4.6.2
• SPARK-54497 Aplicar functools.lru_cache na cache do conversor
• SPARK-54306 Anotar Colunas Variantes com anotação do tipo lógico Variante
• SPARK-54350 O ORDINAL_POSITION na operação SparkGetColumns deve ser baseado em 1.
• SPARK-54130 Adicionar mensagens de erro detalhadas para falhas de asserção de catálogo
• SPARK-54220 Suporte de Tipos NullType/VOID/UNKNOWN em Parquet
• SPARK-54163 Canonicalização por varredura para particionamento e ordenação da informação
• SPARK-54377 Corrige COMMENT ONTABLE IS NULL para remover corretamente o comentário da tabela
• SPARK-52767 Otimizar maxRows e maxRowsPerPartition para junção e união
• SPARK-54063 Disparar snapshot para o próximo lote quando houver atraso de upload
• SPARK-54384 Modernizar o método _batched para BatchedSerializer
• SPARK-54378 Remover CreateXmlParser.scala do catalyst módulo
• SPARK-53103 Revert "[SC-204946][ss] Lançar um erro se o diretório de estado não estiver vazio quando a consulta for iniciada"
• SPARK-53103 Lançar um erro se o diretório de estado não estiver vazio quando a consulta iniciar
• SPARK-54397 Tornar UserDefinedType hashável
• SPARK-54440 Dar ao ficheiro de especificação padrão do pipeline um nome mais idiomático, spark-pipeline.yml
• SPARK-54324 Adicionar teste para extensões de contexto de cliente-utilizador.
• SPARK-54456 Importar o módulo worker após fork para evitar deadlock
• SPARK-54427 Permitir que o ColumnarRow chame copy com tipos variantes
• SPARK-54136 Extrair a lógica de fusão de planos de MergeScalarSubqueries para PlanMerger
• SPARK-54389 Corrigir o erro de carimbo inválido do RocksDB State Store quando a tarefa é marcada como falhada durante a inicialização
• SPARK-54346 Introduzir a API de redistribuição de estado e o executor de redistribuição
• SPARK-53809 Adicionar canonicalização para DataSourceV2ScanRelation
• SPARK-54280 Exigir que o diretório de armazenamento de checkpoint da pipeline seja um caminho absoluto
• SPARK-54206 Suporte a dados do tipo BINARY no SparkConnectResultSet
• SPARK-54319 Atualização BHJ LeftAnti com o numOutputRows errado quando o codegen está desativado
• SPARK-54355 Faça spark.connect.session.planCompression.defaultAlgorithm para apoiar NONE
• SPARK-54341 Lembre-se do TimeTravelSpec para tabelas carregadas via TableProvider
• SPARK-54280 Reversão de "[SC-212148][sdp] Exigir que o diretório de armazenamento de checkpoint da pipeline seja um caminho absoluto"
• SPARK-54354 Corrigir o bloqueio do Spark quando não há memória suficiente do JVM heap para a relação de broadcast hashed
• SPARK-54439 Particionamento de Chaves Agrupadas e incompatibilidade no tamanho da chave de junção
• SPARK-54280 Exigir que o diretório de armazenamento de checkpoint da pipeline seja um caminho absoluto
• SPARK-54395 A classe RemoteBlockPushResolver inicializa repetidamente o ObjectMapper
• SPARK-54207 Suporta dados do tipo Data no SparkConnectResultSet
• SPARK-54182 Otimizar a conversão sem seta de df.toPandas
• SPARK-54312 Evitar a programação repetida de tarefas para SendHeartbeat/WorkDirClean no trabalhador independente.
• SPARK-54394 Mover isJavaVersionAtMost17 e isJavaVersionAtLeast21 de core para common/utils
• SPARK-53927 Atualização do cliente Kinesis
• SPARK-54358 Diretórios de checkpoints entram em conflito quando tabelas de streaming em esquemas diferentes têm o mesmo nome
• SPARK-54310 Reverter "[SC-212003][sql] Adicionar numSourceRows métrica para MergeIntoExec"
• SPARK-54310 Adicionar numSourceRows métrica para MergeIntoExec
• SPARK-53322 Selecione um KeyGroupedShuffleSpec apenas quando as posições das chaves de junção puderem ser totalmente pressionadas para baixo
• SPARK-54270 Os métodos SparkConnectResultSet get* devem chamar checkOpen e verificar o limite do índice.
• SPARK-53849 Atualizar netty e netty tc nativo
• SPARK-54205 Suporta dados do tipo Decimal no SparkConnectResultSet
• SPARK-54417 Corrigir mensagem de erro para subconsulta escalar na IDENTIFIER cláusula
• SPARK-54113 Suporte getTables para SparkConnectDatabaseMetaData
• SPARK-54303 Canonizar a condição de erro MISSING_CATALOG_ABILITY
• SPARK-54153 Suportar UDFs Python baseados em iteradores para perfilar
• SPARK-54349 Refatorar o código um pouco para simplificar a extensão da integração do faulthandler
• SPARK-54317 Unificar a lógica de conversão do Arrow para o Classic e o Connect toPandas
• SPARK-54339 Corrigir o não determinismo em AttributeMap
• SPARK-54112 Suporte getSchemas para SparkConnectDatabaseMetaData
• SPARK-54180 Sobrescrever o toString do BinaryFileFormat
• SPARK-54213 Remover o Python 3.9 do Spark Connect
• SPARK-54215 Adicionar a característica SessionStateHelper ao FilePartition
• SPARK-54115 Aumentar a prioridade na ordem de exibição dos threads de operação do servidor Connect na página de despejo de threads
• SPARK-54193 Descontinuado spark.shuffle.server.finalizeShuffleMergeThreadsPercent
• SPARK-54149 Permitir a recursão de cauda onde for possível
• SPARK-54185 O Desativado spark.shuffle.server.chunkFetchHandlerThreadsPercent
• SPARK-54056 resolver a substituição das definições do SQLConf nos Catálogos
• SPARK-54147 Defina OMP_NUM_THREADS para spark.task.cpus por defeito no BaseScriptTransformationExec
• SPARK-54229 Fazer com que o PySparkLogger nos UDFs armazene uma entrada de log por chamada de função log
• SPARK-53337 XSS: Garantir que o nome da aplicação na página de histórico seja escapado
• SPARK-54229 Revert "[SC-211321][python] Fazer com que o PySparkLogger nos UDFs armazene uma entrada de log por chamada de função log"
• SPARK-54373 Ampliar o atributo SVG viewBox da inicialização do Job DAG
• SPARK-54323 Alterar a forma de aceder aos registos para o TVF em vez da visualização do sistema
• SPARK-54229 Fazer com que o PySparkLogger nos UDFs armazene uma entrada de log por chamada de função log
• SPARK-53978 Apoiar o registo dos trabalhadores do lado do condutor
• SPARK-54146 Limpeza do uso da API Jackson descontinuada
• SPARK-54383 Adicionar variante de esquema pré-computado para o utilitário InternalRowComparableWrapper
• SPARK-54030 Adicionar uma mensagem de asserção amigável para ver corrupção de metadados
• SPARK-54144 Inferências de Tipos de Avaliação de Curtos-Circuitos
• SPARK-54030 Revertir "[SC-210301][sql] Adicionar mensagem de asserção amigável para a corrupção de metadados de visualização"
• SPARK-54028 Use esquema vazio ao alterar uma vista que não seja compatível com a Hive
• SPARK-54030 Adicionar uma mensagem de asserção amigável para ver corrupção de metadados
• SPARK-54085 Corrigir initialize para adicionar a opção CREATE adicionalmente em DriverRunner
• SPARK-53482MERGE INTO Suporte para quando a fonte tem menos campos estruturados do que o alvo
• SPARK-53905 Refactor RelationResolution para permitir a reutilização de código
• SPARK-53732 Recordar TimeTravelSpec em DataSourceV2Relation
• SPARK-54014 Suportar número máximo de linhas para SparkConnectStatement
• SPARK-50906 Corrigir a verificação de anulabilidade do Avro para campos de struct reordenados
• SPARK-54396 Otimizar chamadas Py4J em Dataframe.toArrow
• SPARK-54344 Mata o trabalhador se a descarga falhar na daemon.py
• SPARK-53977 Suporte ao registo em UDTFs
• SPARK-52515 Reaplicar "[SC-199815][sql] Adicionar approx_top_k função"
• SPARK-54340 Adicionar a capacidade de usar o viztracer nos processos daemon/worker do pyspark
• SPARK-54379 Mover a ligação lambda para um objeto separado LambdaBinder
• SPARK-54029 Adicionar mensagem detalhada de erro para corrupção de metadados da tabela para facilitar a depuração
• SPARK-54002 Suporte à integração do BeeLine com o driver Connect JDBC
• SPARK-54336 Corrigir verificação do tipo de entrada com BloomFilterMightContain
• SPARK-53406 Evite embaralhar desnecessário, juntar-se ao embaralhamento direto de passthrough ID
• SPARK-54347 Otimizar chamadas Py4J no dataframe clássico
• SPARK-54062 Limpeza do código MergeScalarSubqueries
• SPARK-54054 Posição da linha de suporte para SparkConnectResultSet
• SPARK-54330 Otimizar chamadas Py4J em spark.createDataFrame
• SPARK-54332 Não é necessário anexar PlanId ao agrupar nomes das colunas em rollup/cube/groupingSets
• SPARK-53976 Suporte ao login em Pandas/Arrow UDFs
• SPARK-54123 Adicionar o fuso horário para que o timestamp seja uma hora absoluta
• SPARK-54356 Corrigir o problema no EndToEndAPISuite causado pela ausência do esquema raiz de armazenamento
• SPARK-54292 Suporte para funções agregadas e operadores pipe no |GROUP BY> (#180106) (#180368)
• SPARK-54376 Marque a maioria das opções de configuração de pipeline como internas
• SPARK-53975 Adiciona suporte básico para logging de trabalhadores em Python
• SPARK-54361 Corrigir a versão do Spark para o valor pretendido 4.2.0 para spark.sql.parser.singleCharacterPipeOperator.enabled
• SPARK-51518 Suporte | como alternativa a |> para o token de operador de pipe SQL
• SPARK-53535 Corrigir structuras ausentes que são sempre assumidas como nulas
• SPARK-54294 Endereço IP impresso do servidor Normalize Connect
• SPARK-52439 Restrição de verificação de suporte com valor nulo
• SPARK-54352 Introduzir SQLConf.canonicalize para centralizar a normalização das cadeias
• SPARK-54183 Revertir Reverter "[SC-211824][python][CONNECT] Evite um quadro de dados temporário intermédio durante o spark connect toPandas()"
• SPARK-53573IDENTIFIER Por todo o lado
• SPARK-53573 Permitir a coalescência de literais de strings em qualquer contexto
• SPARK-54240 Traduz a expressão catalisadora do item get array para expressão do conector
• SPARK-54334 Mover a validação das expressões de subconsulta sob funções lambda e de ordem superior para SubqueryExpressionInLambdaOrHigherOrderFunctionValidator
• SPARK-54183 Reverter "[SC-211824][python][CONNECT] Evite um quadro de dados temporário intermédio durante o spark connect toPandas()"
• SPARK-54183 Evite um quadro de dados temporário intermédio durante o uso do spark connect toPandas().
• SPARK-54264 O Operador DeDup pode usar keyExists() do RocksDB
• SPARK-54269 Atualizar cloudpickle para a 3.1.2 para Python 3.14
• SPARK-54300 Otimizar chamadas Py4J em df.toPandas
• SPARK-54307 Emitir um erro se a consulta de streaming for reiniciada com operação com estado mas houver um diretório de estado vazio
• SPARK-54117 Emitir um erro mais claro para indicar que o TWS é apenas suportado com o fornecedor de armazenamento de estado RocksDB
• SPARK-53917 Apoiar grandes relações locais - seguimentos
• SPARK-54275 Limpar código não utilizado do pipeline módulo
• SPARK-54287 Adicionar suporte a Python 3.14 em pyspark-client e pyspark-connect
• SPARK-53614 Adicionar Iterator[pandas.DataFrame] suporte a applyInPandas
• SPARK-54191 Adicionar uma vez ao Defineflow Proto
• SPARK-54234 Não é necessário anexar PlanId ao agrupar nomes de colunas em df.groupBy
• SPARK-54231 Preencher lacunas nos documentos SDP
• SPARK-54199 Adicionar suporte à API DataFrame para novas funções de esboço de quantiles KLL (#178526)
• SPARK-52463 Reaplicar "[SC-211221][sdp] Adicionar suporte para cluster_by nas APIs de Pipelines em Python"
• SPARK-52463 Reverter "[SC-211221][sdp] Adicionar suporte para cluster_by nas APIs do Python Pipelines"
• SPARK-53786 O valor padrão com nome especial de coluna não deve entrar em conflito com coluna real
• SPARK-54200 Atualize KafkaConsumerPoolRealTimeModeSuite para usar groupIdPrefix para segurança em execuções concorrentes
• SPARK-52463 Adicionar suporte para cluster_by nas APIs do Python Pipelines
• SPARK-52509 Limpar os movimentos individuais do armazenamento de reserva no RemoveShuffle evento
• SPARK-54187 Reaplicar "[SC-211150][python][CONNECT] Obter todas as configurações em lote no toPandas"
• SPARK-53942 Suporte para alterar partições de shuffle sem estado após o reinício de consultas em streaming
• SPARK-52515 Reverter "[SC-199815][sql] Adicionar a função approx_top_k"
• SPARK-52515 Adicionar a função approx_top_k
• SPARK-54078 Novo teste para StateStoreSuite SPARK-40492: maintenance before unload e remover infra do teste antigo
• SPARK-54178 Melhorar mensagem de erro para o ResolveSQLOnFile
• SPARK-53455 Adicionar CloneSession RPC
• SPARK-54178 Reverter "[SC-211111][sql] Erro de melhoria para o ResolveSQLOnFile"
• SPARK-53489 Remover usando v2ColumnsToStructType em ApplyDefaultCollationToStringType
• SPARK-54178 Melhorar mensagem de erro para o ResolveSQLOnFile
• SPARK-54187 Reverter "[SC-211150][python][CONNECT] Obter todas as configurações de uma só vez no toPandas"
• SPARK-53942 Reverter "[SC-209873][ss] Suporte à alteração de partições de shuffle sem estado após o reinício da consulta de streaming"
• SPARK-54187 Obtenha todas as configurações em lote no ToPandas
• SPARK-54145 Corrigir verificação de colunas do tipo aninhado em agregação numérica
• SPARK-53942 Suporte para alterar partições de shuffle sem estado após o reinício de consultas em streaming
• SPARK-53991 Adicionar suporte SQL para funções de quantiles KLL baseadas em DataSketches (#178089) (#178234)
• SPARK-53128 Incluir bytes de memória não geridos no registo de utilização antes do OOM da memória de execução
• SPARK-53731 Atualizar as anotações de tipo das APIs dos iteradores
• SPARK-53967 Evitar a criação de DataFrames Pandas intermédios em df.toPandas
• SPARK-53455 Reverter "[SC-208758][conectar] Adicionar CloneSession RPC"
• SPARK-54108 Rever os métodos execute* do SparkConnectStatement
• SPARK-54052 Adicionar um objeto bridge para contornar a limitação do Py4J
• SPARK-54128 Converter IllegalArgumentException em SparkException com as classes de erro adequadas no servidor Spark Connect
• SPARK-53880 Corrigir o DSv2 no PushVariantIntoScan adicionando SupportsPushDownVariants
• SPARK-54111 Suporte ao getCatalogs para o SparkConnectDatabaseMetaData
• SPARK-53455 Adicionar CloneSession RPC
• SPARK-54118 Melhorar a operação de colocar/fusão no ListState quando existem múltiplos valores
• SPARK-54038 Suporte getSQLKeywords para SparkConnectDatabaseMetaData
• SPARK-54013 Implementar métodos simples do SparkConnectDatabaseMetaData
• SPARK-53934 Implementação inicial do driver Connect JDBC
• SPARK-53959 Lança um erro do lado do cliente ao criar um dataframe a partir de um dataframe pandas com um índice mas sem dados
• SPARK-53573 Reverter "[SC-210255][sql] Permitir coalescer literais de cadeias em qualquer lugar"
• SPARK-54094 Extrair métodos comuns para KafkaOffsetReaderBase
• SPARK-53573 Permitir a coalescência de literais de strings em qualquer contexto
• SPARK-54039 Adicionar informação do TaskContext aos registos de release() do KafkaDataConsumer para melhor depuração
• SPARK-54031 Adicionar novos testes de ficheiros dourados para casos extremos de análise
• SPARK-54067 Melhorar SparkSubmit para invocar exitFn com a causa raiz em vez de SparkUserAppException
• SPARK-54047 Utiliza um erro diferencial quando o encerramento por tempo limite de inatividade
• SPARK-54078 Deflake StateStoreSuite SPARK-40492: maintenance before unload
• SPARK-54061 Envolver IllegalArgumentException com código de erro adequado para padrões de data-hora inválidos
• SPARK-54031 Reverter "[SC-210084][sql] Adicionar novos testes de ficheiros dourados para casos extremos de análise"
• SPARK-54075 Tornar ResolvedCollation avaliável
• SPARK-54001 Otimizar a utilização de memória na clonagem de sessões com relações locais em cache contadas por ref
• SPARK-54031 Adicionar novos testes de ficheiros dourados para casos extremos de análise
• SPARK-53923 Renomear spark.executor.(log -> logs).redirectConsoleOutputs
• SPARK-54007 Use Java Set.of em vez de Collections.emptySet
• SPARK-53755 Adicionar suporte a logs no BlockManager
• SPARK-54041 Refatorar a validação de argumentos de ParameterizedQuery
• SPARK-53696 Usar bytes como padrão para BinaryType no PySpark
• SPARK-53921 Introduza GeometryType e GeographyType na API PySpark
• SPARK-53788 Mover VersionUtils para módulo common
• SPARK-53999 Suporte nativo ao KQueue Transport em BSD/MacOS
• SPARK-54021 Implementar acessores de Geografia e Geometria na plataforma Catalyst
• SPARK-53921 Revertir "[SC-209482][geo][PYTHON] Introduzir GeometryType e GeographyType na API PySpark"
• SPARK-53920 Introduzir GeometryType e GeographyType na API Java
• SPARK-53610 Limitar os tamanhos dos lotes do Arrow em CoGrouped applyInPandas e applyInArrow
• SPARK-53659 Inferir esquema de desmembramento variante ao escrever no formato Parquet
• SPARK-53922 Introdução dos tipos de Geometria Física e Geografia
• SPARK-54059 Reduza o tamanho padrão da página em LONG_ARRAY_OFFSET se forem usados ZGC ou ShenandoahGC e ON_HEAP
• SPARK-53921 Introduza GeometryType e GeographyType na API PySpark
• SPARK-54048 Atualização dev/requirements.txt para instalar torch(vision) em Python 3.14
• SPARK-53917 Apoiar grandes relações locais
• SPARK-53760 Introduzir GeometryType e GeographyType
• SPARK-53530 Limpar o código inútil relacionado com TransformWithStateInPySparkStateServer
• SPARK-53636 Corrigir um problema de segurança de threads no SortShuffleManager.unregisterShuffle
• SPARK-52762 Adicionar a mensagem PipelineAnalysisContext para suportar a análise de pipeline durante a execução da consulta Spark Connect
• SPARK-53631 Otimizar memória e desempenho no bootstrap SHS
• SPARK-53857 Permitir a propagação do MessageTemplate para o SparkThrowable
• SPARK-53891 Resumo de Escrita de Confirmação do Modelo DSV2 API
• SPARK-53966 Adicionar funções utilitárias para detetar GCs da JVM
• SPARK-53149 Verificar se o processo BeeLine corre em segundo plano
• SPARK-53738 Corrigir a escrita planeada quando a saída da consulta contém ordenações dobráveis
• SPARK-53949 Utilização Utils.getRootCause em vez de Throwables.getRootCause
• SPARK-53696 Reverter "[SC-209330][python][CONNECT][sql] Configuração padrão para bytes em BinaryType no PySpark"
• SPARK-53804 Suporte à ordenação radix TIME
• SPARK-54004 Corrigir a tabela de descache pelo nome sem cascata
• SPARK-53261 Use Java String.join|StringJoiner em vez de Guava Joiner
• SPARK-53319 Suportar o tipo de hora por try_make_timestamp_ltz()
• SPARK-53280 Utilizar Java instanceof em vez de utilizar métodos Throwables.throwIf*
• SPARK-53696 Usar bytes como padrão para BinaryType no PySpark
• SPARK-53258 Utilização de JavaUtils por check(Argument|State)
• SPARK-53773 Recuperar a ordenação alfabética das regras em RuleIdCollection
• SPARK-53256 Promover check(Argument|State) para JavaUtils
• SPARK-54008 Saltar o QO para DESCRIBE QUERY
• SPARK-53573 Use Pré-processador para gestão generalizada de marcadores de parâmetros
• SPARK-53980 Adicionar SparkConf.getAllWithPrefix(String, String => K) API
• SPARK-54009 Apoio spark.io.mode.default
• SPARK-51903 Validar dados ao adicionar uma restrição CHECK
• SPARK-53573 Revertir "[SC-209126][sql] Usar Pré-processador para tratamento generalizado de marcadores de parâmetros"
• SPARK-53573 Use Pré-processador para gestão generalizada de marcadores de parâmetros
• SPARK-53573 Revertir "[SC-209126][sql] Usar Pré-processador para tratamento generalizado de marcadores de parâmetros"
• SPARK-53956 Suporte ao TIME na função try_make_timestamp no PySpark
• SPARK-53930 Suporte ao TIME na função make_timestamp no PySpark
• SPARK-53573 Use Pré-processador para gestão generalizada de marcadores de parâmetros
• SPARK-53564 Evitar as saídas do DAGScheduler devido ao timeout RPC do blockManager em DAGSchedulerEventProcessLoop
• SPARK-53879 Atualização Ammonite para a 3.0.3
• SPARK-53938 Corrigir o reescalonamento decimal no LocalDataToArrowConversion
• SPARK-53845 SDP Afunda-se
• SPARK-53908 Corrigir observações no Spark Connect com cache do plano
• SPARK-53841 Implementar transform() API em Colunas
• SPARK-53929 Suporte ao TIME nas funções make_timestamp e try_make_timestamp no Scala
• SPARK-53902 Adicionar bits de padrão de nós de árvore para expressões suportadas na ParameterizedQuery lista de argumentos
• SPARK-53064 Reescrever o MDC LogKey em Java
• SPARK-53762 Adicionar regra simplificadora de conversões de data e hora ao otimizador
• SPARK-53916 Deduplicar as variáveis no PythonArrowInput
• SPARK-53690 Corrigir a formatação exponencial de avgOffsetsBehindLatest e estimatedTotalBytesBehindLatest no objeto Kafka em JSON em progresso.
• SPARK-53789 Normalizar a condição de erro CANNOT_MODIFY_STATIC_CONFIG
• SPARK-53720 Simplificar a extração da Tabela a partir de DataSourceV2Relation (#52460)
• SPARK-45530 Usar java.lang.ref.Cleaner em vez de finalize para NioBufferedFileInputStream
• SPARK-53789 Reverter "[SC-208902][sql][CONNECT] Canonizar condição de erro CANNOT_MODIFY_STATIC_CONFIG"
• SPARK-53789 Normalizar a condição de erro CANNOT_MODIFY_STATIC_CONFIG
• SPARK-53111 Implementar a função time_diff no PySpark
• SPARK-53896 Ativar spark.io.compression.lzf.parallel.enabled por defeito
• SPARK-53856 Remover denylist nomes de configuração alternativos
• SPARK-53611 Limitar os tamanhos de lotes do Arrow em UDFs de agregação em janelas
• SPARK-53575 Repetir todas as fases dos consumidores quando detetar um desajuste de soma de verificação para uma tarefa de mapa de shuffle reprocessada
• SPARK-53867 Limitar o tamanho dos lotes de Arrow em SQL_GROUPED_AGG_ARROW_UDF
• SPARK-53877 Introduzir a função BITMAP_AND_AGG
• SPARK-51426 Corrigir 'Definir metadados para ditto vazio não funciona'
• SPARK-53868 Use a verificação do comprimento do array em vez da verificação direta de referência no V2ExpressionBuilder
• SPARK-53609 Limitar o tamanho dos lotes do Arrow em SQL_GROUPED_AGG_PANDAS_UDF
• SPARK-53892 Use DescribeTopicsResult.allTopicNames em vez da API obsoleta all
• SPARK-53878 Corrigir problema de condição de corrida relacionado com ObservedMetrics
• SPARK-53796 Adicionar extension campo a alguns protos de pipeline para suportar compatibilidade futura
• SPARK-53850 Defina proto para Sinks e renomeie DefineDataset para DefineOutput
• SPARK-53812 Refatorar os protótipos de DefineDataset e DefineFlow para agrupar propriedades relacionadas e garantir que estejam preparados para o futuro
• SPARK-53870 Corrigir bug de leitura parcial para mensagens grandes em formato proto no TransformWithStateInPySparkStateServer
• SPARK-53751 Localização Explícita de Checkpoint Versionada
• SPARK-52407 Adicionar suporte para Theta Sketch (#171135)
• SPARK-53779 Implementar transform() API em Colunas
• SPARK-49547 Adicionar iterador da RecordBatch API a applyInArrow
• SPARK-53802 Valores de cadeia de suporte para esquemas especificados pelo utilizador em tabelas SDP
• SPARK-53865 Extrair lógica comum da regra ResolveGenerate
• SPARK-53113 Suportar o tipo de data e hora por try_make_timestamp()
• SPARK-53868 Use apenas a assinatura com Expression[] de visitAggregateFunction em V2ExpressionSQBuilder
• SPARK-53792 Corrigir rocksdbPinnedBlocksMemoryUsage quando a memória é limitada ...
• SPARK-53248 Apoio checkedCast em JavaUtils
• SPARK-52640 Propagar a localização do código-fonte em Python
• SPARK-52924 Suporte para ZSTD_strategy na compressão
• SPARK-53562 Reaplicar "[SC-207233][python] Limitar o tamanho dos lotes Arrow em applyInArrow e applyInPandas"
• SPARK-51272 Abortar em vez de continuar a fase de resultado indeterminado parcialmente concluída em ResubmitFailedStages
• SPARK-53795 Remover parâmetros não utilizados no LiteralValueProtoConverter
• SPARK-53808 Permitir passar args JVM opcionais para spark-connect-scala-client
• SPARK-52614 Suporte ao RowEncoder dentro do Product Encoder
• SPARK-53833 Atualização dev/requirements.txt para skip torch/torchvision em Python 3.14
• SPARK-53715 Refatorar getWritePrivileges para MergeIntoTable
• SPARK-53516 Corrigir spark.api.mode o processo arg no SparkPipelines
• SPARK-53507 Não uses a classe case para o BreakingChangeInfo
• SPARK-53645 Implementar skipna parâmetro para ps.DataFrame any()
• SPARK-53717 Revisar MapType.valueContainsNull o comentário dos parâmetros de forma mais correta
• SPARK-53700 Remover redundância em DataSourceV2RelationBase.simpleString
• SPARK-53667 Corrigir EXPLAIN para CALL com IDENTIFIER
• SPARK-53562 Reverter "[SC-207233][python] Limitar os tamanhos dos lotes de Arrow nos applyInArrow e applyInPandas"
• SPARK-51169 Adicionar suporte a Python 3.14 no Spark Classic
• SPARK-53562 Limitar o tamanho dos lotes Arrow em applyInArrow e applyInPandas
• SPARK-53806 Permitir que uma entrada vazia na desencriptação AES tenha uma classe de erro atribuída
• SPARK-51756 Calcula *RowBasedChecksum* em *ShuffleWriters*
• SPARK-52807 Alterações no Proto para suportar a análise dentro das funções de consulta do Declarative Pipelines
• SPARK-53728 Imprimir Mensagem de PipelineEvent com Erro no Ensaio
• SPARK-53207 Enviar Evento do Pipeline para o Cliente de forma assíncrona
• SPARK-53829 Suporte datetime.time em operadores de coluna
• SPARK-53638 Limitar o tamanho em bytes do batch de Arrow para TWS para evitar OOM
• SPARK-53593 Correção: Usar sem aspas para campos de resposta
• SPARK-53734 Prefira a coluna da tabela em vez do LCA ao resolver o índice do array
• SPARK-53593 Adicionar campo de resposta para DefineDataset e DefineFlow RPC
• SPARK-53734 Revertir "[SC-207697][sql] Prefiro a coluna de tabela em vez de LCA ao resolver o índice do array"
• SPARK-53621 Adição de Suporte para Executar CONTINUE HANDLER
• SPARK-53734 Prefira a coluna da tabela em vez do LCA ao resolver o índice do array
• SPARK-53507 Adicionar informações sobre alterações que provocam quebra a erros
• SPARK-53707 Melhorar o tratamento dos metadados dos atributos.
• SPARK-53629 Implementar o alargamento de tipos com MERGE INTO EVOLUTION SCHEMA
• SPARK-53719 Melhorar a verificação de tipos na _to_col função
• SPARK-53735 Ocultar os traços da pilha JVM do lado do servidor por padrão na saída dos Pipelines do Spark
• SPARK-53651 Adicionar suporte para visualizações persistentes em pipelines
• SPARK-53678 Corrigir NPE ao criar a subclasse de ColumnVector com DataType com valor nulo
• SPARK-46679 Correção para SparkUnsupportedOperationException Não foi encontrado um codificador do tipo T ao usar a classe Parameterizada
• SPARK-53444 Retrabalho executar imediato retrabalho executar imediato
• SPARK-53578 Simplificar o tratamento dos tipos de dados no LiteralValueProtoConverter
• SPARK-53438 Use CatalystConverter no LiteralExpressionProtoConverter
• SPARK-53444 Revert "[SC-206535][sql][CORE] Rework execute immediate rework execute immediately"
• SPARK-53444 Retrabalho executar imediato retrabalho executar imediato
• SPARK-53112 Suportar o TIME nas funções make_timestamp_ntz e try_make_timestamp_ntz no PySpark
• SPARK-53492 Rejeitar o segundo ExecutePlan com um ID de operação já concluída
• SPARK-52772 Correção antecipada de ficheiros padrão
• SPARK-53591 Simplificar a correspondência de globos de padrões de especificação de pipeline
• SPARK-53553 Correcção do tratamento de valores nulos no LiteralValueProtoConverter
• SPARK-52772 Tratamento inconsistente de atributos de tabela durante as atualizações
• SPARK-53544 Suportar tipos complexos em observações
• SPARK-53357 Atualizar pandas para 2.3.2
• SPARK-53402 Suporte à API de Dataset com Passagem Direta no Particionamento no Spark Connect no Scala
• SPARK-53372 SDP Conjunto de testes fim a fim
• SPARK-53402 Reverter "[SC-206163][connect] Suportar API de Particionamento Direto-Passthrough de Dataset no Spark Connect em Scala"
• SPARK-53402 Suporte à API de Dataset com Passagem Direta no Particionamento no Spark Connect no Scala
• SPARK-53233 Certifique-se de que o código relacionado a streaming utilize o nome correto do pacote
• SPARK-53233 Revert "[SC-203716][sql][SS][mllib][CONNECT] Faça com que o código relacionado a streaming use o nome correto do pacote"
• SPARK-53233 Certifique-se de que o código relacionado a streaming utilize o nome correto do pacote
• SPARK-53561 Capturar InterruptionException em TransformWithStateInPySparkStateServer durante a execução de outputStream.flush para evitar a falha do processo
• SPARK-53486 Evite definir weights_only=False ao carregar o modelo do Torch
• SPARK-53391 Remover PrimitiveKeyOpenHashMap não utilizado
• SPARK-52431 Retoques finais no executor de Declarative Pipelines
• SPARK-52980 Suporte Arrow Python UDTFs
• SPARK-53453 Desbloquear 'torch<2.6.0'
• SPARK-52582 Remerge "[SC-199314][sc-204581][SQL] Melhorar a utilização de memória do parser XML"
• SPARK-52582 Reverter "[SC-199314][sc-204581][SQL] Melhorar utilização de memória do parser XML"
• SPARK-52582 Otimizar a utilização de memória do analisador XML
• SPARK-51906 Expressões Dsv2 em alterar tabela adicionar colunas
• SPARK-53150 Melhorar list(File|Path)s para lidar com entrada inexistente, que não seja diretório e link simbólico
• SPARK-53091 Banir org.apache.commons.lang3.Strings
• SPARK-52844 Atualizar o numpy para a versão 1.22
• SPARK-52912 Melhorar SparkStringUtils para suportar is(Not)?(Blank|Empty)
• SPARK-52877 Melhorar o desempenho do serializador Arrow UDF Python
• SPARK-52877 Reverter "[SC-201914][python] Melhorar o Desempenho do Serializer Arrow no Python UDF"
• SPARK-52238 Cliente Python para pipelines declarativos
• SPARK-52877 Melhorar o desempenho do serializador Arrow UDF Python
• Faísca-53287 Adicionar Guia de Migração ANSI
• Faísca-52110 Implementar suporte à sintaxe SQL para pipelines
• SPARK-52897 Atualização pandas para a 2.3.1
• SPARK-52451 Reverter "[SC-202894][conectar][SQL] Tornar o WriteOperation no SparkConnectPlanner livre de efeitos secundários"
• SPARK-52976 Corrigir o UDF de Python não aceitar string agregada como parâmetro de entrada ou tipo de retorno.
• SPARK-52904 Ativar por padrão convertToArrowArraySafely
• SPARK-52821 adicionar int-DecimalType> pyspark udf retorno tipo coerção
• Faísca-52971 Limitar o tamanho da fila de trabalho Python ocioso
• Faísca-53013 Corrigir UDTF Python otimizado para seta que não retorna linhas na junção lateral
• FAÍSCA-51834 Sync OSS: suporte a restrição de tabela de ponta a ponta alterar restrição de adicionar/soltar
• Faísca-52675 Interromper manipuladores de ML suspensos em testes
• Faísca-52959 Suporte UDT em Python UDTF otimizado para seta
• SPARK-52961 Corrigir Python UDTF otimizado para Arrow com avaliação 0-arg na junção lateral
• SPARK-52949 Evitar ida e volta entre RecordBatch e Table em Python UDTF otimizado para Arrow
• SPARK-52946 Corrigir UDTF Python otimizado para Arrow para suportar grandes tipos de variáveis
• SPARK-52934 Permitir obter valores escalares com Python UDTF otimizado com Arrow
• SPARK-52861 Criação de objetos de Skip Row na execução UDTF otimizada para Arrow
• FAÍSCA-51834 Suporte a OSS de sincronização de ponta a ponta para criar/substituir tabela com restrição
• SPARK-44856 Melhorar o desempenho do serializador Arrow UDTF Python
• SPARK-51834 Reverter "[SQL] Corrigir o TableSpec ao adicionar um construtor"
• SPARK-51834 Corrigir o TableSpec adicionando um construtor
• SPARK-51834 Revert "[SQL] Sync OSS (parcial): Suporte para restrição de tabela de ponta a ponta na criação/substituição de tabela"
• SPARK-51834 Sync OSS (parcial): Suporte à restrição de tabela completa na funcionalidade de criar/substituir tabela
• FAÍSCA-52885 Implementar as funções de hora, minuto e segundo no Scala para o tipo TIME
• FAÍSCA-51834 Sincronizar atualização OSS ResolvedIdentifier cancelar a aplicação de chamadas
• SPARK-44856 Reverter "[SC-195808][python] Melhorar o desempenho do serializador Arrow UDTF do Python"
• SPARK-51834 Reverter "[SQL] Sincronizar OSS atualização ResolvedIdentifier desaplicar chamadas"
• SPARK-44856 Melhorar o desempenho do serializador Arrow UDTF Python
• FAÍSCA-51834 Sincronizar atualização OSS ResolvedIdentifier cancelar a aplicação de chamadas
• FAÍSCA-52787 Reorganize o dir de execução de streaming em torno de áreas de tempo de execução e checkpoint
• Faísca-51695 Sincronize OSS criar/substituir/alterar tabela para restrição exclusiva via DSv2
• Faísca-51695 Sincronize a restrição de queda do OSS via DSv2
• Faísca-51695 Introduzir alterações no analisador para restrições de tabela (CHECK, PK, FK)
• SPARK-51695 Revert "[SQL] Introduz alterações ao analisador para restrições de tabela (CHECK, PK, FK)"
• Faísca-51695 Introduzir alterações no analisador para restrições de tabela (CHECK, PK, FK)
• SPARK-49428 Transferir o Connect Scala Client do Connector para o SQL
• SPARK-52422 Atualização pandas para a 2.3.0
• SPARK-52228 Integrar o microbenchmark de interação de estado no Quicksilver (TCP)
• SPARK-52300 Fazer com que a resolução SQL UDTVF use configurações consistentes com a resolução de visualização
• SPARK-52228 Construa o servidor de estado TWS destinado a benchmarks com implementações de estado em memória e o código de benchmark em Python
• SPARK-52174 Ativar spark.checkpoint.compress por padrão
• SPARK-52224 Introduzir pyyaml como dependência do cliente Python
• SPARK-52122 Corrigir a vulnerabilidade RCE do DefaultParamsReader
• SPARK-51147 Refatorar classes relacionadas com streaming para um diretório de streaming dedicado
• SPARK-51789 Respeitar spark.api.mode e spark.remote corretamente ao analisar argumentos na submissão no Spark
• SPARK-51212 Adicionar um pacote separado PySpark para o Spark Connect por defeito
• SPARK-50762 Adicionar regra do analyzer para resolver UDFs escalares SQL
• SPARK-49748 Adicionar getCondition e depreciar getErrorClass em SparkThrowable
• SPARK-50605 Suporte ao modo de API SQL para facilitar a migração para o Spark Connect
• SPARK-50458 Tratamento adequado de erros para sistemas de arquivos não suportados quando se leem ficheiros
• SPARK-49700 Interface Scala Unificada para Connect e Classic
• SPARK-51779 Usar famílias de colunas virtuais para junções de fluxo com fluxo
• Faísca-51820 Mova UnresolvedOrdinal a construção antes da análise para evitar problemas com o grupo por ordinal
• SPARK-51814 Introduzir uma nova API transformWithState no PySpark
• SPARK-51635 Mesclar PushProjectionThroughLimit e PushProjectionThroughOffset
• SPARK-51165 Ativar spark.master.rest.enabled por padrão
• SPARK-51688 Utilizar Sockets de Domínio Unix para comunicação entre Python e JVM
• SPARK-51503 Suporte ao Tipo de Variante na Análise XML
• SPARK-50564 Atualizar protobuf o pacote Python para 5.29.1
• SPARK-50359 Atualizar o PyArrow para a versão 18.0
• SPARK-51340 Estimativa do tamanho do modelo
• SPARK-50657 Atualize a versão mínima para pyarrow a 11.0.0
• SPARK-49282 Crie uma interface partilhada do SparkSessionBuilder.
• SPARK-51371 Alterar de toString para toPrettySQL ao construir Aliases em ResolveAggregateFunctions
• SPARK-50694 Suporte para renomeações em subconsultas
• SPARK-50601 Reverter "[SC-186342][sql] Suporte comColunas / comColunasRenomeado nas subconsultas"
• SPARK-50601 Suporte para withColumns / withColumnsRenamed em subconsultas

Suporte ao driver ODBC/JDBC do Azure Databricks

O Azure Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC, baixe JDBC).

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime.

Ambiente do sistema

• Sistema Operacional: Ubuntu 24.04.3 LTS
• Java: Zulu21.42+19-CA
• Escala: 2.13.16
• Píton: 3.12.3
• R: 4.5.1
• Lago Delta: 4.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir da versão instantânea do CRAN do Posit Package Manager em 2025-03-20.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.13)