Databricks Runtime 9.1 LTS

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 9.1 LTS e o Databricks Runtime 9.1 LTS Photon, alimentado pelo Apache Spark 3.1.2. O Databricks lançou esta versão em setembro de 2021. O Photon está em Visualização Pública.

Novos recursos e melhorias

• As dicas de esquema do Carregador Automático agora funcionam com tipos de matriz e mapa
• Suporte a arquivos Avro para esquema de mesclagem
• Suporte à listagem incremental do Carregador Automático (Visualização Pública)
• O Delta agora dá suporte à substituição arbitráriaWhere
• O Carregador Automático do Google Cloud agora dá suporte a notificações de arquivo (versão prévia pública)
• CREATE FUNCTION agora dá suporte à criação de funções de tabela
• A fonte de streaming do Kafka agora relata estimatedTotalBytesBehindLatest a métrica
• Para structs dentro de matrizes, o Delta MERGE INTO agora resolve campos struct por nome e evolui esquemas struct

As dicas de esquema do Carregador Automático agora funcionam com tipos de matriz e mapa

Há suporte para tipos de matriz e mapa na inferência de esquema de substituição com dicas de esquema para Carregador Automático.

Exemplos de dicas de esquema para matrizes incluem:

1. arr Array<TYPE> altera o tipo de matriz.
2. arr.element TYPE altera o tipo de matriz (usando a element palavra-chave).
3. arr.element.x TYPE altera um tipo de campo aninhado em uma matriz de estruturas.

Os dois primeiros exemplos são dicas para alterar o tipo de matriz arrTYPE, mas eles usam sintaxe diferente. No terceiro exemplo, arr há uma matriz de estruturas com um campo x. Este exemplo mostra como alterar o tipo de x para TYPE.

Exemplos de dicas de esquema para mapas incluem:

1. m Map<KEY-TYPE, VALUE-TYPE> altera os tipos de chave e valor do mapa.
2. m.key TYPE altera o tipo de chaves de mapa.
3. m.value TYPE altera o tipo de valores de mapa.
4. m.key.x TYPE altera o tipo de campo em uma chave de mapa.
5. m.value.x TYPE altera o tipo de campo de um valor de mapa.

O primeiro exemplo altera os tipos de chave e valor do mapa m para KEY_TYPE e VALUE_TYPE respectivamente. O segundo e o terceiro exemplos poderão ser usados se apenas o tipo de chave ou apenas o tipo de valor precisar ser alterado. No quarto e quinto exemplos, m é um mapa com chave e valor de tipos de estrutura com um campo x. Este exemplo mostra como alterar o tipo de x para TYPE.

Suporte a arquivos Avro para esquema de mesclagem

O formato de arquivo do Avro agora dá suporte à opção mergeSchema ao ler arquivos. A configuração mergeSchema como true ao ler arquivos Avro inferirá um esquema de um conjunto de arquivos Avro em vez de de um único arquivo. Isso melhora a usabilidade inferindo um esquema que pode ser capaz de ler todos os arquivos mesmo que seus esquemas individuais sejam diferentes. Consulte Configuração.

Suporte à listagem incremental do Carregador Automático (Visualização Pública)

No caso de arquivos gerados lexicograficamente, o que é o Carregador Automático? agora aproveita a ordenação de arquivos léxicos e as APIs otimizadas existentes para tornar a listagem de diretório mais eficiente pela listagem de arquivos ingeridos anteriormente em vez de listar todo o diretório. O Carregador Automático detecta automaticamente se um determinado diretório é adequado para listagem incremental por padrão. Para controlar esse comportamento explicitamente, defina a nova cloudFiles.useIncrementalListing opção como ativada (true), desativada (false) ou automática (auto). Se você definir esse comportamento como true, também poderá definir a opção cloudFiles.backfillInterval de agendar os backfills regulares em seus dados, para garantir que todos os seus dados sejam completamente ingeridos.

O Delta agora dá suporte à substituição arbitráriaWhere

Em combinação com o modo de substituição, a opção replaceWhere pode ser usada para substituir simultaneamente dados que correspondem a um predicado definido na opção. Anteriormente, replaceWhere havia suporte para um predicado apenas em colunas de partição, mas agora pode ser uma expressão arbitrária. Consulte Gravar em uma tabela.

O Carregador Automático do Google Cloud agora dá suporte a notificações de arquivo (versão prévia pública)

O Carregador Automático agora dá suporte ao modo de notificação de arquivo no Google Cloud. Defina .option("cloudFiles.useNotifications", "true") para permitir que o Carregador Automático configure automaticamente os recursos do Google Cloud Pub/Sub para você. Com o modo de notificação de arquivo, novos arquivos são detectados e ingeridos à medida que chegam sem listar o diretório de entrada. Consulte Configurar fluxos do Carregador Automático no modo de notificação de arquivo.

CREATE FUNCTION agora dá suporte à criação de funções de tabela

Além de criar uma função escalar que retorna um valor escalar, agora você pode criar uma função de tabela que retorna um conjunto de linhas. Consulte CREATE FUNCTION (SQL e Python).

A fonte de streaming do Kafka agora relata estimatedTotalBytesBehindLatest a métrica

A fonte de streaming kafka agora relata uma estimativa de quantos bytes o consumidor está por trás do byte disponível mais recente após cada lote. Você pode usar essa métrica para acompanhar o progresso do fluxo. Consulte Recuperar métricas do Kafka.

Exemplo de saída de métrica:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

Para structs dentro de matrizes, o Delta MERGE INTO agora resolve campos struct por nome e evolui esquemas struct

O Delta MERGE INTO agora dá suporte à resolução de campos de struct por nome e evolução automática de esquema para matrizes de structs. Quando a evolução automática do esquema é habilitada pela configuração spark.databricks.delta.schema.autoMerge.enabled como true, UPDATE e INSERT as cláusulas resolvem campos struct dentro de uma matriz por nome, convertendo para o tipo de dados correspondente definido na matriz de destino e preenchendo campos adicionais ou ausentes na origem ou destino com valores nulos. Quando a evolução automática do esquema estiver desabilitada, UPDATE as INSERT cláusulas resolverão campos struct dentro de uma matriz por nome, mas não poderão evoluir os campos adicionais. Consulte Atualizar o Esquema de Tabela do Delta Lake.

Correções

• Correção de um vazamento de memória no conector do Amazon S3 que poderia acontecer em trabalhos ou serviços de execução prolongada, o que foi causado pela funcionalidade JVM DeleteOnExit .

Atualizações de biblioteca

• Bibliotecas do Python atualizadas:
  • plotly de 4.14.3 a 5.1.0
• Bibliotecas do R atualizadas:
  • base de 4.1.0 a 4.1.1
  • bslib de 0.2.5.1 a 0.3.0
  • cachem de 1.0.5 para 1.0.6
  • compilador de 4.1.0 a 4.1.1
  • conjuntos de dados de 4.1.0 a 4.1.1
  • futuro de 1.21.0 a 1.22.1
  • gert de 1.3.1 a 1.3.2
  • gráficos de 4.1.0 a 4.1.1
  • grDevices de 4.1.0 a 4.1.1
  • grade de 4.1.0 a 4.1.1
• Bibliotecas Java atualizadas:
  • org.eclipse.jetty de 9.4.36.v20210114 a 9.4.42.v20210604

Apache Spark

O Databricks Runtime 9.1 LTS inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 9.0 (EoS), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-36674][SQL][CHERRY-PICK] Suporte ILIKE – maiúsculas de minúsculas LIKE
• [SPARK-36353][SQL][3.1] RemoveNoopOperators deve manter o esquema de saída
• [SPARK-35876][SQL][3.1] ArraysZip deve reter nomes de campo para evitar ser reescrito pelo analisador/otimizador
• [SPARK-36398][SQL] Redigir informações confidenciais no log do Spark Thrift Server
• [SPARK-36498][SQL] Reordenar campos internos da consulta de entrada na gravação byName V2
• [SPARK-36614][CORE][interface do usuário] Motivo correto de perda do executor causado pelo encerramento na interface do usuário
• [SPARK-36012][SQL] Adicionar sinalizador nulo em SHOW CREATE TABLE
• [SPARK-36509][CORE] Corrija o problema de que os executores nunca serão agendados novamente se o trabalho parar com o cluster autônomo
• [SPARK-36603][CORE] Utilize ReferênciaFraca em vez de ReferênciaSuave no LevelDB
• [SPARK-36564][CORE] Correção de NullPointerException em LiveRDDDistribution.toApi
• [SPARK-36086][SQL][3.1] O projeto CollapseProject substitui o alias, devendo usar o nome de coluna original.
• [SPARK-33527][SQL] Estender a função de decodificação de forma consistente com os bancos de dados tradicionais
• [SPARK-36400][SPARK-36398][SQL][WEBUI] Fazer o ThriftServer reconhecer spark.sql.redaction.string.regex
• [SPARK-34054][CORE] Limpeza de código BlockManagerDecommissioner
• [SPARK-36500][CORE] Correção temp_shuffle vazamento de arquivo quando uma tarefa é interrompida
• [SPARK-36489][SQL] Funções agregadas sem chaves de agrupamento, em tabelas com um único bucket, retornam várias linhas
• [SPARK-36464][CORE] Correção da inicialização da variável de tamanho subjacente em ChunkedByteBufferOutputStream para gravar mais de 2 GB de dados
• [SPARK-36339][SQL][3.0] As referências ao agrupamento que não fazem parte da agregação devem ser substituídas
• [SPARK-36354][CORE] EventLogFileReader deve ignorar diretórios de log de eventos sem logs
• [SPARK-36242][CORE][3.1] Verifique se o arquivo de derramamento foi fechado antes do sucesso do conjunto = true no método ExternalSorter.spillMemoryIteratorToDisk
• [SPARK-36211][PYTHON] Digitação correta do valor retornado udf
• [SPARK-34222][SQL] Aprimorar a regra de simplificação booliana
• [SPARK-35027][CORE] Feche o inputStream no FileAppender quando estiver escrito...
• [SPARK-36269][SQL] Corrigir somente definir colunas de dados para configuração de nomes de coluna do Hive
• [SPARK-36213][SQL] Normalizar PartitionSpec for Describe Table Command with PartitionSpec
• [SPARK-36210][SQL] Preservar ordem de inserção de coluna em Dataset.withColumns
• [SPARK-36079][SQL] A estimativa de filtro baseada em nulo deve estar sempre no intervalo [0, 1]
• [SPARK-28266][SQL] convertToLogicalRelation não deve interpretar path a propriedade ao ler tabelas do Hive

Atualizações de manutenção

Confira as atualizações de manutenção do Databricks Runtime 9.1 LTS.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Bibliotecas do Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas no instantâneo do Microsoft CRAN em 2021-09-08. O instantâneo não está mais disponível.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)