Tempo de execução do Databricks 9.1 LTS

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 9.1 LTS e o Databricks Runtime 9.1 LTS Photon, com tecnologia Apache Spark 3.1.2. A Databricks lançou esta versão em setembro de 2021. Photon está em Pré-visualização Pública.

Novos recursos e melhorias

• dicas de esquema do Auto Loader agora funcionam com tipos de matriz e mapa
• Suporte para esquema de mesclagem de arquivo Avro
• Suporte de listagem incremental do carregador automático (Visualização pública)
• Delta agora suporta substituição arbitráriaOnde
• O Auto Loader para Google Cloud agora suporta notificações de arquivos (Visualização pública)
• CREATE FUNCTION agora suporta a criação de funções de tabela
• Kafka Streaming Source agora relata estimatedTotalBytesBehindLatest métrica
• Para structs dentro de arrays, o Delta MERGE INTO agora resolve os campos de struct pelo nome e evolui os esquemas de struct

As dicas de esquema do Auto Loader agora funcionam com tipos de matriz e mapa

Os tipos de matriz e mapa são suportados em Substituir inferência de esquema com dicas de esquema para o Carregador Automático.

Exemplos de dicas de esquema para matrizes incluem:

1. arr Array<TYPE> Altera o tipo de matriz.
2. arr.element TYPE Altera o tipo de matriz (usando a element palavra-chave).
3. arr.element.x TYPE Altera um tipo de campo aninhado em uma matriz de estruturas.

Os dois primeiros exemplos são dicas para alterar o tipo de matriz arr para TYPE, mas usam sintaxe diferente. No terceiro exemplo, arr é uma matriz de estruturas com um campo x. Este exemplo mostra como alterar o tipo de x para TYPE.

Exemplos de dicas de esquema para mapas incluem:

1. m Map<KEY-TYPE, VALUE-TYPE> altera a chave do mapa e os tipos de valor.
2. m.key TYPE Altera o tipo de chaves de mapa.
3. m.value TYPE altera o tipo de valores de mapa.
4. m.key.x TYPE Altera o tipo de campo em uma chave de mapa.
5. m.value.x TYPE Altera o tipo de campo de um valor de mapa.

O primeiro exemplo altera os tipos de chave e valor do mapa m para KEY_TYPE e VALUE_TYPE respectivamente. O segundo e terceiro exemplos podem ser usados se apenas o tipo de chave ou apenas o tipo de valor precisar ser alterado. No quarto e quinto exemplos, m é um mapa com chave e valor de tipos de estrutura com um campo x. Este exemplo mostra como alterar o tipo de x para TYPE.

Suporte de arquivo Avro para esquema de mesclagem

O formato de arquivo Avro agora suporta a mergeSchema opção ao ler arquivos. Definir mergeSchema como true ao ler arquivos Avro inferirá um esquema a partir de um conjunto de arquivos Avro em vez de um único arquivo. Isso melhora a usabilidade inferindo um esquema que pode ser capaz de ler todos os arquivos, mesmo que seus esquemas individuais sejam diferentes. Consulte Configuração.

Suporte de listagem incremental do carregador automático (Visualização pública)

No caso de arquivos gerados lexicograficamente, O que é Auto Loader? agora aproveita a ordenação de arquivos lexical e APIs otimizadas existentes para tornar a listagem de diretórios mais eficiente, listando arquivos ingeridos anteriormente em vez de listar o diretório inteiro. O Auto Loader deteta automaticamente se um determinado diretório é adequado para listagem incremental por padrão. Para controlar esse comportamento explicitamente, defina a nova opção cloudFiles.useIncrementalListing como ativado (true), desativado (false) ou automático (auto). Se você definir esse comportamento como true, também poderá definir a opção cloudFiles.backfillInterval para agendar preenchimentos regulares sobre seus dados, para garantir que todos os seus dados sejam completamente ingeridos.

Delta agora suporta substituição arbitráriaOnde

Em combinação com o modo de substituição, a replaceWhere opção pode ser usada para substituir simultaneamente dados que correspondam a um predicado definido na opção. Anteriormente, replaceWhere suportava um predicado apenas sobre colunas de partição, mas agora pode ser uma expressão arbitrária. Consulte Escreva numa tabela.

O Auto Loader para Google Cloud agora suporta notificações de arquivos (Visualização pública)

O Auto Loader agora suporta o modo de notificação de arquivos no Google Cloud. Defina .option("cloudFiles.useNotifications", "true") para permitir que o Auto Loader configure automaticamente os recursos do Google Cloud Pub/Sub para você. Com o modo de notificação de arquivos, novos arquivos são detetados e ingeridos à medida que chegam sem listar o diretório de entrada. Consulte Configurar fluxos do carregador automático no modo de notificação de arquivo.

CREATE FUNCTION agora suporta a criação de funções de tabela

Além de criar uma função escalar que retorna um valor escalar, agora você pode criar uma função de tabela que retorna um conjunto de linhas. Consulte CREATE FUNCTION (SQL e Python).

Kafka Streaming Source agora relata estimatedTotalBytesBehindLatest métrica

A fonte de streaming Kafka agora relata uma estimativa de quantos bytes o consumidor está por trás do último byte disponível após cada lote. Você pode usar essa métrica para acompanhar o progresso do fluxo. Consulte Recuperar métricas de Kafka.

Exemplo de saída métrica:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

Para estruturas dentro de arrays, o Delta MERGE INTO agora resolve campos de estrutura por nome e evolui esquemas de estrutura.

O Delta MERGE INTO agora suporta a resolução de nomes de campos em estruturas e a evolução automática de esquemas para arrays de estruturas. Quando a evolução automática do esquema é ativada definindo spark.databricks.delta.schema.autoMerge.enabled como true, as cláusulas UPDATE e INSERT resolverão campos struct dentro de um array pelo respetivo nome, convertendo para o tipo de dados correspondente definido no array de destino e preenchendo com valores nulos os campos adicionais ou ausentes na origem ou no destino. Quando a evolução automática do esquema é desabilitada, as cláusulas UPDATE e INSERT resolverão campos struct dentro de uma matriz por nome, mas não poderão evoluir os campos adicionais. Veja a atualização do esquema da tabela Delta Lake .

Correções de erros

• Corrigido um vazamento de memória no conector do Amazon S3 que poderia ocorrer em trabalhos ou serviços de longa execução, causado pela funcionalidade da JVM DeleteOnExit .

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • plotly de 4.14.3 a 5.1.0
• Bibliotecas R atualizadas:
  • base de 4.1.0 a 4.1.1
  • bslib de 0.2.5.1 a 0.3.0
  • cachem de 1.0.5 a 1.0.6
  • compilador de 4.1.0 a 4.1.1
  • conjuntos de dados de 4.1.0 a 4.1.1
  • futuro de 1.21.0 a 1.22.1
  • Gert de 1.3.1 a 1.3.2
  • Gráficos de 4.1.0 a 4.1.1
  • grDevices de 4.1.0 a 4.1.1
  • grelha de 4.1.0 a 4.1.1
• Bibliotecas Java atualizadas:
  • org.eclipse.jetty de 9.4.36.v20210114 a 9.4.42.v20210604

Faísca Apache

O Databricks Runtime 9.1 LTS inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 9.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [FAÍSCA-36674][SQL][ESCOLHA SELETIVA] Suporte ILIKE - insensível a maiúsculas e minúsculas LIKE
• [SPARK-36353][SQL][3.1] RemoveNoopOperators deve manter o esquema de saída
• [FAÍSCA-35876][SQL][3.1] ArraysZip deve manter nomes de campo para evitar ser reescrito pelo analisador/otimizador
• [FAÍSCA-36398][SQL] Redigir informações confidenciais no log do Spark Thrift Server
• [FAÍSCA-36498][SQL] Reordenar campos internos da consulta de entrada em byName V2 write
• [FAÍSCA-36614][CORE][UI] Corrigir o motivo da perda do executor causado pela desativação na interface do usuário
• [SPARK-36012][SQL] Adicionar sinalizador nulo no SHOW CREATE TABLE
• [FAÍSCA-36509][CORE] Corrija o problema de que os executores nunca são reagendados se o trabalhador parar com cluster autônomo
• [FAÍSCA-36603][CORE] Use WeakReference e não SoftReference no LevelDB
• [FAÍSCA-36564][CORE] Corrigir NullPointerException em LiveRDDDistribution.toApi
• [SPARK-36086][SQL][3.1] O projeto CollapseProject substitui o alias deve usar o nome da coluna de origem
• [FAÍSCA-33527][SQL] Estenda a função de decodificação de modo consistente com os bancos de dados principais
• [FAÍSCA-36400][FAÍSCA-36398][SQL][WEBUI] Faça com que o ThriftServer reconheça spark.sql.redaction.string.regex
• [FAÍSCA-34054][CORE] Limpeza de código BlockManagerDecommissioner
• [FAÍSCA-36500][CORE] Corrigir temp_shuffle vazamento de arquivo quando uma tarefa é interrompida
• [SPARK-36489][SQL] Funções de agregação sem chaves de agrupamento, em tabelas com um único bucket, retornam várias linhas
• [FAÍSCA-36464][CORE] Corrigir a inicialização da variável de tamanho subjacente em ChunkedByteBufferOutputStream para gravar mais de 2 GB de dados
• [FAÍSCA-36339][SQL][3.0] As referências a agrupamentos que não fazem parte da agregação devem ser substituídas
• [FAÍSCA-36354][CORE] EventLogFileReader deve ignorar diretórios de log de eventos sem logs
• [SPARK-36242][CORE][3.1] Garantir que o arquivo de derramamento seja fechado antes do sucesso definido = true no método ExternalSorter.spillMemoryIteratorToDisk
• [FAÍSCA-36211][PYTHON] Digitação correta do valor de udf retorno
• [FAÍSCA-34222][SQL] Melhorar a regra de simplificação booleana
• [FAÍSCA-35027][CORE] Feche o inputStream no FileAppender quando writin...
• [SPARK-36269][SQL] Corrigir a configuração para que apenas colunas de dados utilizem os nomes de colunas do Hive
• [SPARK-36213][SQL] Normalizar PartitionSpec para o Comando Descrever Tabela com PartitionSpec
• [SPARK-36210][SQL] Preservar a ordem de inserção da coluna em Dataset.withColumns
• [FAÍSCA-36079][SQL] A estimativa de filtro baseada em nulo deve estar sempre no intervalo [0, 1]
• [SPARK-28266][SQL] convertToLogicalRelation não deve interpretar a path propriedade ao ler tabelas do Hive

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 9.1 LTS.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Escala: 2.12.10
• Píton: 3.8.10
• R: 4.1.1
• Lago Delta: 1.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2021-09-08. O snapshot não está mais disponível.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)