Databricks Runtime 11.2 (EoS)

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 11.2 da plataforma Apache Spark 3.3.0. O Databricks lançou essa versão em setembro de 2022.

Novos recursos e aprimoramentos

• Alterar permissões associadas aos ALTER TABLE controles de acesso de tabela (ACLs de tabela)
• Poda dinâmica para MERGE INTO
• Detecção de conflitos aprimorada no Delta com a remoção dinâmica de arquivo
• Novo cartão de Integrações de Software Livre nas páginas iniciais do DSE/SQL
• CONVERT TO DELTA Melhorias na detecção de partição
• Os esquemas de tabela agora dão suporte a valores padrão para colunas
• Novas funções geoespaciais H3
• Nova dependência do Databricks Runtime
• Traga sua própria chave: criptografia de credenciais do Git
• SQL: Nova função de agregação any_value
• Comandos do sistema de arquivos do Databricks Utilities permitidos em mais tipos de cluster
• Os privilégios CREATE já podem ser concedidos em metastores para o Catálogo do Unity
• Gravações otimizadas para tabelas não particionadas em clusters habilitados para o Photon
• Suporte do Photon para mais fontes de dados
• SQL: ALTER SHARE agora dá suporte a START VERSION

Alterar permissões nos controles de acesso da tabela (ACLs de tabela)

Agora, os usuários só precisam de MODIFY permissões para alterar o esquema ou as propriedades de uma tabela com ALTER TABLE. A propriedade ainda é necessária para conceder permissões em uma tabela, alterar o proprietário, alterar o local ou renomeá-la. Essa alteração torna o modelo de permissão para as ACLs de tabela mais consistente com o Catálogo do Unity. Consulte ALTER TABLE.

Poda dinâmica para MERGE INTO

Ao usar a computação habilitada para Photon, MERGE INTO agora usa remoção dinâmica de arquivo e partição quando apropriado para melhorar o desempenho, por exemplo, quando uma pequena tabela de origem é mesclada em uma tabela de destino maior.

Detecção de conflitos aprimorada no Delta com a remoção dinâmica de arquivo

Ao verificar possíveis conflitos durante confirmações, a detecção de conflitos agora considera arquivos que são removidos pela remoção dinâmica de arquivo, mas que não teriam sido removidos por filtros estáticos. Isso resulta em um número reduzido de transações com falha.

Novo cartão de Integrações de Software Livre nas páginas iniciais do DSE/SQL

Apresentando o novo cartão 'Integrações de Software Livre' nas home pages do DSE/SQL que exibe opções de integração de software livre, como DLT e dbt core.

CONVERT TO DELTA Melhorias na detecção de partição

CONVERT TO DELTA infere automaticamente o esquema de partição para as tabelas Parquet registradas no metastore do Hive ou no Catálogo do Unity, eliminando a necessidade de fornecer a cláusula PARTITIONED BY.

CONVERT TO DELTA aproveita as informações de partição do metastore para descobrir os arquivos de uma tabela Parquet em vez de listar todo o caminho base, garantindo que as partições descartadas não sejam adicionadas à tabela Delta.

Confira Conversão no Delta Lake.

Os esquemas de tabela agora dão suporte a valores padrão para colunas

Os esquemas de tabela agora dão suporte a valores padrão para colunas. Os comandos INSERT, UPDATE e DELETE para essas colunas podem se referir a esses valores com a palavra-chave DEFAULT. Por exemplo, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET seguido por INSERT INTO t VALUES (1, DEFAULT) acrescentará a linha (1, 42). Esse comportamento tem suporte para fontes de dados CSV, JSON, Orc e Parquet.

Novas funções geoespaciais H3

Agora você pode usar 28 novas expressões H3 internas para processamento geoespacial em clusters habilitados para Photon, disponíveis em SQL, Scala e Python. Confira Funções geoespaciais H3

Nova dependência do Databricks Runtime

O Databricks Runtime agora depende da biblioteca Java H3 versão 3.7.0.

Traga sua própria chave: criptografia de credenciais do Git

Use o Azure Key Vault para criptografar um PAT (token de acesso pessoal) do Git ou outra credencial do Git.

Consulte Configurar pastas Git do Databricks.

SQL: nova função de agregação any_value

A nova função de agregação any_value retorna qualquer valor aleatório de expr para um grupo de linhas. Consulte a any_value função de agregação.

Comandos do sistema de arquivos do Databricks Utilities permitidos em mais tipos de cluster

Os comandos dbutils.fs (exceto para comandos relacionados à montagem) agora são permitidos em clusters de isolamento do usuário com o Catálogo do Unity, bem como clusters de ACL de tabela herdados quando o usuário tem permissões ANY FILE.

Os privilégios CREATE já podem ser concedidos em metastores para o Catálogo do Unity

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, e CREATE RECIPIENT, e privilégios CREATE PROVIDER agora podem ser concedidos em metastores do Catálogo do Unity.

Gravações otimizadas para tabelas não particionadas em clusters habilitados para o Photon

As tabelas gerenciadas do Catálogo do Unity já persistem automaticamente arquivos de um tamanho bem ajustado de tabelas não particionadas para aprimorar a velocidade da consulta e otimizar o desempenho.

Suporte do Photon para mais fontes de dados

O Photon agora dá suporte a mais fontes de dados, incluindo CSV e Avro, e também é compatível com quadros de dados armazenados em cache. Anteriormente, a varredura dessas fontes de dados implicava que toda a consulta não podia ser fotonizada, independentemente dos operadores ou expressões da consulta. Agora, as consultas que verificam essas fontes de dados podem ser fotonizadas, desbloqueando latência significativa e melhorias de TCO.

Esse recurso é habilitado por padrão pela configuração spark.databricks.photon.photonRowToColumnar.enabled.

Limitações:

• Esquemas com tipos aninhados não têm suporte (ou seja, matrizes, mapas e structs) nesta versão.
• As fontes ORC, RDD, Kinesis, Kafka e EventHub não têm suporte nesta versão.

SQL: ALTER SHARE agora dá suporte à VERSÃO INICIAL

O comando ALTER SHARE agora dá suporte START VERSION, o que permite que os provedores compartilhem dados a partir de uma versão específica da tabela. Consulte ALTER SHARE.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • distlib de 0.3.4 a 0.3.5
  • filelock de 3.7.1 a 3.8.0
  • plotly de 5.8.2 a 5.9.0
  • protobuf de 4.21.2 a 4.21.5
• Bibliotecas do R atualizadas:
  • broom de 0.8.0 a 1.0.0
  • bslib de 0.3.1 a 0.4.0
  • callr de 3.7.0 a 3.7.1
  • caret de 6.0-92 a 6.0-93
  • dbplyr de 2.2.0 a 2.2.1
  • devtools de 2.4.3 a 2.4.4
  • evaluate de 0.15 a 0.16
  • dtplyr de 2.1.0 a 2.1.1
  • fontawesome de 0.2.2 a 0.3.0
  • future de 1.26.1 a 1.27.0
  • generics de 0.1.2 a 0.1.3
  • gert de 1.6.0 a 1.7.0
  • globals de 0.15.1 a 0.16.0
  • googlesheets4 de 1.0.0 a 1.0.1
  • hardhat de 1.1.0 a 1.2.0
  • htmltools de 0.5.2 a 0.5.3
  • parallelly de 1.32.0 a 1.32.1
  • pillar de 1.7.0 a 1.8.0
  • pkgload de 1.2.4 a 1.3.0
  • processx de 3.6.1 a 3.7.0
  • Rcpp de 1.0.8.3 a 1.0.9
  • recipes de 0.2.0 a 1.0.1
  • rlang de 1.0.2 a 1.0.4
  • roxygen2 de 7.2.0 a 7.2.1
  • RSQLite de 2.2.14 a 2.2.15
  • sass de 0.4.1 a 0.4.2
  • shiny de 1.7.1 a 1.7.2
  • cadeia de caracteres de 1.7.6 a 1.7.8
  • tibble de 3.1.7 a 3.1.8
  • tidyverse de 1.3.1 a 1.3.2
  • timeDate de 3043.102 a 4021.104
  • xfun de 0.31 a 0.32
• Bibliotecas do Java atualizadas:
  • org.apache.orc.orc-core de 1.7.4 a 1.7.5
  • org.apache.orc.orc-mapreduce de 1.7.4 a 1.7.5
  • org.apache.orc.orc-shims de 1.7.4 a 1.7.5

Apache Spark

O Databricks Runtime 11.2 inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 11.1 (EoS), bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Retornar tipos de intervalo ANSI mais amplos das funções de percentil
• [SPARK-40054] [SQL] Restaure a sintaxe de tratamento de erro de try_cast()
• [SPARK-39489] [CORE] Melhore o desempenho do registro em log de eventos JsonProtocol usando Jackson em vez de Json4s
• [SPARK-39319] [CORE][sql] Fazer contextos de consulta como parte de SparkThrowable
• [SPARK-40085] [SQL] Use a classe de erro INTERNAL_ERROR em vez de IllegalStateException para indicar bugs
• [SPARK-40001] [SQL] Fazer com que gravações NULL em colunas DEFAULT JSON gravem 'null' no armazenamento
• [SPARK-39635] [SQL] Suporte métricas de driver na API de métrica personalizada DS v2
• [SPARK-39184] [SQL] Manipule a matriz de resultados subdimensionada em sequências de data e com carimbo de data/hora
• [SPARK-40019] [SQL] Refatorar o comentário do containsNull do ArrayType e refatorar as lógicas equivocadas na expressão do collectionOperator sobre containsNull.
• [SPARK-39989] [SQL] Suporte estatísticas de coluna de estimativa se elas forem expressões dobráveis
• [SPARK-39926] [SQL] Corrija bugs na coluna de suporte PADRÃO para verificações Parquet não vetoriais
• [SPARK-40052] [SQL] Manipule buffers de bytes diretos em VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Corrija o tipo de intervalo de destino em erros de estouro de conversão
• [SPARK-39835] [SQL] Corrija a classificação global de remoção EliminateSorts abaixo da classificação local
• [SPARK-40002] [SQL] Não efetue push do limite pela janela usando o ntile
• [SPARK-39976] [SQL] ArrayIntersect deve manipular null na expressão esquerda corretamente
• [SPARK-39985] [SQL] Habilite valores de coluna PADRÃO implícitos em inserções de DataFrames
• [SPARK-39776] [SQL] A cadeia de caracteres detalhada JOIN deve adicionar o tipo de junção
• [SPARK-38901] [SQL] O DS V2 dá suporte à propagação de funções diversas
• [SPARK-40028] [SQL][acompanhamento] Melhorar exemplos de funções de cadeia de caracteres
• [SPARK-39983] [CORE][sql] Não armazenar em cache relações de transmissão não credenciadas no driver
• [SPARK-39812] [SQL] Simplifique o código que constrói AggregateExpression com toAggregateExpression
• [SPARK-40028] [SQL] Adicione exemplos binários para expressões de cadeia de caracteres
• [SPARK-39981] [SQL] Acione a exceção QueryExecutionErrors.castingCauseOverflowErrorInTableInsert na conversão
• [SPARK-40007] [PYTHON][sql] Adicionar 'modo' às funções
• [SPARK-40008] [SQL] Suporte à conversão de integrais para intervalos ANSI
• [SPARK-40003] [PYTHON][sql] Adicionar 'mediana' às funções
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand deve armazenar novamente em cache a relação de resultado
• [SPARK-39951] [SQL] Atualize a verificação de coluna do Parquet V2 para campos aninhados
• [SPARK-33236] [shuffle] Backport para DBR 11.x: habilite o serviço shuffle baseado em push para armazenar o estado em DB nível NM para reinicialização de preservação do trabalho
• [SPARK-39836] [SQL] Simplifique V2ExpressionBuilder extraindo o método comum.
• [SPARK-39873] [SQL] Remova OptimizeLimitZero e mescle em EliminateLimits
• [SPARK-39961] [SQL] Traduza a propagação de DS V2 Converter se a conversão for segura
• [SPARK-39872] [SQL] Alterar para usar BytePackerForLong#unpack8Values com a API de entrada da matriz em VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Remova AliasHelper ou PredicateHelper desnecessários para algumas regras
• [SPARK-39900] [SQL] Abordar condições parciais ou negadas no pushdown de predicado do formato binário
• [SPARK-39904] [SQL] Renomeie inferDate para prefersDate e esclareça a semântica da opção na fonte de dados CSV
• [SPARK-39958] [SQL] Adicione log de aviso quando não for possível carregar o objeto de métrica personalizado
• [SPARK-39932] [SQL] WindowExec deve limpar o buffer de partição final
• [SPARK-37194] [SQL] Evite classificação desnecessária na gravação v1 se não for partição dinâmica
• [SPARK-39902] [SQL] Adicione detalhes de verificação ao nó de verificação do plano Spark no SparkUI
• [SPARK-39865] [SQL] Mostre mensagens de erro adequadas nos erros de estouro da inserção de tabela
• [SPARK-39940] [SS] Atualize tabela de catálogo na consulta de streaming com o coletor DSv1
• [SPARK-39827] [SQL] Use a classe de erro ARITHMETIC_OVERFLOW no estouro int em add_months()
• [SPARK-39914] [SQL] Adicione filtro DS V2 à conversão de filtro V1
• [SPARK-39857] [SQL] Backport manual DBR 11.x; V2ExpressionBuilder usa o tipo de dados LiteralValue incorreto para o predicado In Nº 43454
• [SPARK-39840] [SQL][python] Refatorar PythonArrowInput em relação a PythonArrowOutput para simetria
• [SPARK-39651] [SQL] Remova a condição de filtro se a comparação com rand for determinística
• [SPARK-39877] [PYTHON] Adicione a opção transformar colunas em linhas à API de DataFrame do PySpark
• [SPARK-39909] [SQL] Organize a verificação de informações de pushdown para JDBCV2Suite
• [SPARK-39834] [SQL][ss] Inclua as estatísticas de origem e restrições para LogicalRDD se ele vier do DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) preenche novas colunas ausentes com valor nulo
• [SPARK-39860] [SQL] Mais expressões devem estender o Predicado
• [SPARK-39823] [SQL][python] Renomeie Dataset.as como Dataset.to e adicione DataFrame.to no PySpark
• [SPARK-39918] [SQL][minor] Substitua a redação "não comparável" por "incomparável" na mensagem de erro
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder usa o tipo de dados LiteralValue incorreto para o predicado In
• [SPARK-39862] [SQL] O backport manual para a PR 43654 direcionada ao DBR 11.x: atualizar SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS para permitir/negar ALTER TABLE… Adicione comandos COLUMN separadamente.
• [SPARK-39844] [SQL] Backport manual para PR 43652 visando DBR 11.x
• [SPARK-39899] [SQL] Corrija passagem de parâmetros de mensagem para InvalidUDFClassException
• [SPARK-39890] [SQL] Faça TakeOrderedAndProjectExec herdar AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Suporte CharType no PySpark
• [SPARK-38864] [SQL] Adicione unpivot/melt ao Conjunto de dados
• [SPARK-39864] [SQL] Registre preguiçosamente ExecutionListenerBus
• [SPARK-39808] [SQL] Suporte o MODO de função de agregação
• [SPARK-39875] [SQL] Altere método protected na classe final para private ou package-visible
• [SPARK-39731][SQL] Corrija problemas em fontes de dados CSV e JSON ao analisar datas no formato "yyyyMMdd" com política de analisador de tempo CORRIGIDA
• [SPARK-39805] [SS] Pretere Trigger.Once e promova Trigger.AvailableNow
• [SPARK-39784] [SQL] Coloque valores literais no lado direito do filtro da fonte de dados depois de traduzir a Expressão Catalyst para o filtro da fonte de dados
• [SPARK-39672] [SQL][3.1] Corrija a remoção do projeto antes do filtro com subconsulta correlacionada
• [SPARK-39552] [SQL] Unifique v1 e v2 DESCRIBE TABLE
• [SPARK-39810] [SQL] Catalog.tableExists deve lidar com namespace aninhado
• [SPARK-37287] [SQL] Retire partição dinâmica e classificação de bucket do FileFormatWriter
• [SPARK-39469] [SQL] Infira o tipo de data para inferência de esquema CSV
• [SPARK-39148] [SQL] O push down de agregação do DS V2 pode funcionar com o OFFSET ou o LIMIT
• [SPARK-39818] [SQL] Corrigir o bug em tipos ARRAY, STRUCT e MAP com valores DEFAULT com campos NULL
• [SPARK-39792] [SQL] Adicione DecimalDivideWithOverflowCheck para a média decimal
• [SPARK-39798] [SQL] Substitua toSeq.toArray por .toArray[Any] no construtor de GenericArrayData
• [SPARK-39759] [SQL] Implemente listIndexes no JDBC (dialeto H2)
• [SPARK-39385] [SQL] Dá suporte a pushdown REGR_AVGX e REGR_AVGY
• [SPARK-39787] [SQL] Use a classe de erro no erro de análise da função to_timestamp
• [SPARK-39760] [PYTHON] Suporte Varchar no PySpark
• [SPARK-39557] [SQL] Backport manual para DBR 11.x: Suporte a ARRAY, STRUCT, tipos MAP como valores DEFAULT
• [SPARK-39758] [SQL][3.3] Corrija NPE das funções regexp em padrões inválidos
• [SPARK-39749] [SQL] Modo ANSI SQL: use representação de cadeia de caracteres simples na conversão de Decimal para Cadeia de caracteres
• [SPARK-39704] [SQL] Implementar createIndex e dropIndex e indexExists no JDBC (dialeto H2)
• [SPARK-39803][SQL] Usar LevenshteinDistance em vez de StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Dar suporte ao tipo TimestampNTZ na fonte de dados JDBC
• [SPARK-39781] [SS] Adicionar suporte para fornecer max_open_files ao provedor de repositório de estado rocksdb
• [SPARK-39719] [R] Implementar databaseExists/getDatabase no namespace 3L de suporte do SparkR
• [SPARK-39751] [SQL] Renomeie a métrica de investigação de chave de agregação de hash
• [SPARK-39772] [SQL] O namespace deve ser nulo quando o banco de dados for nulo nos construtores antigos
• [SPARK-39625] [SPARK-38904][sql] Adicionar Dataset.as(StructType)
• [SPARK-39384] [SQL] Compile funções internas de agregação de regressão linear para dialeto JDBC
• [SPARK-39720] [R] Implemente tableExists/getTable no SparkR para namespace 3L
• [SPARK-39744] [SQL] Adicione a função REGEXP_INSTR
• [SPARK-39716] [R] Faça currentDatabase/setCurrentDatabase/listCatalogs no namespace 3L de suporte do SparkR
• [SPARK-39788] [SQL] Renomeie catalogName como dialectName para JdbcUtils
• [SPARK-39647] [CORE] Registre o executor no ESS antes de registrar o BlockManager
• [SPARK-39754] [CORE][sql] Remover não utilizado import ou desnecessário {}
• [SPARK-39706] [SQL] Defina coluna ausente com defaultValue como constante em ParquetColumnVector
• [SPARK-39699] [SQL] Torne CollapseProject mais inteligente sobre expressões de criação de coleção
• [SPARK-39737] [SQL] PERCENTILE_CONT e PERCENTILE_DISC devem dar suporte ao filtro de agregação
• [SPARK-39579] [SQL][python][R] Tornar ListFunctions/getFunction/functionExists compatível com namespace de 3 camadas
• [SPARK-39627] [SQL] O pushdown do JDBC V2 deve unificar a API de compilação
• [SPARK-39748] [SQL][ss] Inclua o plano lógico de origem para LogicalRDD se ele vier do DataFrame
• [SPARK-39385] [SQL] Traduza funções de agregação de regressão linear para pushdown
• [SPARK-39695] [SQL] Adicionar a função REGEXP_SUBSTR
• [SPARK-39667] [SQL] Adicione outra solução alternativa quando não houver memória suficiente para compilar e transmitir a tabela
• [SPARK-39666] [ES-337834][sql] Use UnsafeProjection.create para respeitar spark.sql.codegen.factoryMode no ExpressionEncoder
• [SPARK-39643] [SQL] Proibir expressões de subconsulta em valores DEFAULT
• [SPARK-38647] [SQL] Adicione combinação de SupportsReportOrdering na interface para Verificação (DataSourceV2)
• [SPARK-39497][SQL] Aprimore a exceção de análise da coluna de chave de mapa ausente
• [SPARK-39661] [SQL] Evite criar um agente SLF4J desnecessário
• [SPARK-39713][SQL] Modo ANSI: adicione sugestão de uso de try_element_at para o erro INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL] O DS V2 dá suporte a pushdown de funções datetime
• [SPARK-39638] [SQL] Altere para usar ConstantColumnVector e armazenar colunas de partição em OrcColumnarBatchReader
• [SPARK-39653] [SQL] Limpe ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) de ColumnVectorUtils
• [SPARK-39231] [SQL] Use ConstantColumnVector em vez de On/OffHeapColumnVector para armazenar colunas de partição em VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog não deve lançar NoSuchDatabaseException em loadNamspaceMetadata
• [SPARK-39447] [SQL] Evite AssertionError em AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Retrabalhar MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec deve respeitar a ordenação de saída filho
• [SPARK-39606] [SQL] Use estatísticas filho para estimar o operador de pedido
• [SPARK-39611] [PYTHON][ps] Corrigir aliases errados em array_ufunc
• [SPARK-39656] [SQL][3.3] Corrija namespace errado em DescribeNamespaceExec
• [SPARK-39675] [SQL] Alterne a configuração 'spark.sql.codegen.factoryMode' da finalidade do teste para a finalidade interna
• [SPARK-39139] [SQL] O DS V2 dá suporte ao envio de DS V2 UDF
• [SPARK-39434][SQL] Forneça o contexto da consulta de erro de runtime quando o índice de matriz estiver fora do limite
• [SPARK-39479] [SQL] DS V2 dá suporte a pushdown de funções matemáticas (não ANSI)
• [SPARK-39618] [SQL] Adicionar a função REGEXP_COUNT
• [SPARK-39553] [CORE] O cancelamento do registro de vários threads não deve gerar NPE ao usar o Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Adicione arquivo para cuidar das funções gerais do pandas ausentes
• [SPARK-39444] [SQL] Adicione OptimizeSubqueries à lista nonExcludableRules
• [SPARK-39316] [SQL] Mescle PromotePrecision e CheckOverflow em aritmética binária decimal
• [SPARK-39505] [UI] Escape conteúdo do log renderizado na interface do usuário
• [SPARK-39448] [SQL] Adicione ReplaceCTERefWithRepartition à lista nonExcludableRules
• [SPARK-37961] [SQL] Substitua maxRows/maxRowsPerPartition para alguns operadores lógicos
• [SPARK-35223] Reverta Adicionar IssueNavigationLink
• [SPARK-39633] [SQL] Dê suporte ao carimbo de data/hora em segundos para TimeTravel usando opções de Dataframe
• [SPARK-38796] [SQL] Atualize a documentação para cadeias de caracteres de formato de número com as funções {try_}to_number
• [SPARK-39650] [SS] Corrija esquema de valor incorreto na eliminação de duplicação de streaming com a compatibilidade com versões anteriores
• [SPARK-39636] [CORE][ui] Corrigir vários bugs no JsonProtocol, afetando o Heap StorageLevels e Task/Executor ResourceRequests
• [SPARK-39432] [SQL] Retorne ELEMENT_AT_BY_INDEX_ZERO de element_at(*, 0)
• [SPARK-39349] Adicione um método CheckError centralizado para a garantia de qualidade do caminho do erro
• [SPARK-39453] [SQL] O DS V2 dá suporte a funções não agregadas em diversos envios (não ANSI)
• [SPARK-38978] [SQL] O DS V2 dá suporte ao operador OFFSET de push down
• [SPARK-39567] [SQL] Dê suporte a intervalos ANSI nas funções percentil
• [SPARK-39383] [SQL] Suporte para colunas DEFAULT em ALTER TABLE ALTER COLUMNS para fontes de dados da V2
• [SPARK-39396] [SQL] Corrigir exceção de logon LDAP 'código de erro 49 - credenciais inválidas'
• [SPARK-39548][SQL] O comando CreateView com uma consulta de cláusula de janela atingiu uma definição de janela errada. Problema não encontrado
• [SPARK-39575][AVRO] AdicionearByteBuffer#rewind após ByteBuffer#get no Avr…
• [SPARK-39543] A opção de DataFrameWriterV2 deve ser passada para propriedades de armazenamento se for feito o fallback para v1
• [SPARK-39564] [SS] Exponha as informações da tabela de catálogo ao plano lógico na consulta de streaming
• [SPARK-39582] [SQL] Corrija o marcador "Since" para array_agg
• [SPARK-39388] [SQL] Reutilize orcSchema ao reduzir predicados Orc
• [SPARK-39511] [SQL] Melhore o limite local de pushdown 1 para o lado direito da semi/anti junção à esquerda se a condição de junção estiver vazia
• [SPARK-38614] [SQL] Não empurre o limite para baixo pela janela que está usando percent_rank
• [SPARK-39551] [SQL] Adicione verificação de plano inválido AQE
• [SPARK-39383] [SQL] Suporte para colunas DEFAULT em ALTER TABLE ADD COLUMNS para fontes de dados da V2
• [SPARK-39538] [SQL] Evitar a criação de um agente SLF4J desnecessário
• [SPARK-39383] [SQL] Backport manual para DBR 11.x: refatorar o suporte à coluna DEFAULT para ignorar a passagem do Analisador primário
• [SPARK-39397] [SQL] Libere o AliasAwareOutputExpression para dar suporte a alias com expressão
• [SPARK-39496] [SQL] Manipule struct nulo em Inline.eval
• [SPARK-39545] [SQL] Substitua o método concat pelo ExpressionSet no Scala 2.13 para melhorar o desempenho
• [SPARK-39340] [SQL] A propagação de agregação do DS v2 deve permitir pontos no nome das colunas de nível superior
• [SPARK-39488] [SQL] Simplifique o tratamento de erros de TempResolvedColumn
• [SPARK-38846] [SQL] Adicione mapeamento de dados explícito entre Teradata Numeric Type e Spark DecimalType
• [SPARK-39520] [SQL] Substitua o método -- pelo ExpressionSet no Scala 2.13
• [SPARK-39470] [SQL] Dê suporte à conversão de intervalos ANSI para decimais
• [SPARK-39477] [SQL] Remova informações de "Número de consultas" dos arquivos finais do SQLQueryTestSuite
• [SPARK-39419][SQL] Corrija um erro em que ArraySort lança uma exceção quando o comparador retorna nulo
• [SPARK-39061] [SQL] Definir um anulável corretamente para atributos de saída Inline
• [SPARK-39320] [SQL] Dar suporte à função de agregação MEDIAN
• [SPARK-39261] [CORE] Aprimorar a formatação de nova linha para mensagens de erro
• [SPARK-39355][SQL] A coluna única usa aspas para construir UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE deve rasurar propriedades
• [SPARK-37623] [SQL] Dar suporte à função de agregação ANSI: regr_intercept
• [SPARK-39374] [SQL] Aprimorar a mensagem de erro da lista de colunas especificada pelo usuário
• [SPARK-39255] [SQL][3.3] Aprimorar as mensagens de erro
• [SPARK-39321] [SQL] Refatorar TryCast para usar RuntimeReplaceable
• [SPARK-39406] [PYTHON] Aceitar a matriz NumPy em createDataFrame
• [SPARK-39267] [SQL] Limpe o símbolo desnecessário de DSL
• [SPARK-39171] [SQL] Unifique a expressão de Conversão
• [SPARK-28330] [SQL] Dê suporte a ANSI SQL: cláusula de deslocamento de resultado na expressão de consulta
• [SPARK-39203] [SQL] Regenere o local da tabela para URI absoluto com base no URI do banco de dados
• [SPARK-39313] [SQL] toCatalystOrdering deverá falhar se V2Expression não puder ser traduzido
• [SPARK-39301] [SQL][python] Utilizar LocalRelation e respeitar o tamanho do lote do Arrow em createDataFrame com otimização do Arrow
• [SPARK-39400] [SQL] spark-sql deve remover o diretório de recurso hive em todos os casos

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 11.2.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 2.1.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R foram instaladas por meio do instantâneo CRAN da Microsoft em 15/08/2022.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)