Partilhar via

Notas de versão sobre computação sem servidor

Este artigo explica os recursos e comportamentos que estão atualmente disponíveis e futuros na computação sem servidor para blocos de anotações e trabalhos.

Para obter mais informações sobre computação sem servidor, consulte Conectar-se à computação sem servidor.

O Azure Databricks lança periodicamente atualizações para computação sem servidor, atualizando automaticamente o tempo de execução de computação sem servidor para dar suporte a aprimoramentos e atualizações para a plataforma. Todos os usuários recebem as mesmas atualizações, implementadas em um curto período de tempo.

versões de ambiente sem servidor

A computação sem servidor para notebooks e trabalhos usa versões de ambiente, que fornecem uma API de cliente estável baseada no Spark Connect para garantir a compatibilidade do aplicativo. Isso permite que o Databricks atualize o servidor de forma independente, oferecendo melhorias de desempenho, melhorias de segurança e correções de bugs sem exigir alterações de código nas cargas de trabalho.

Cada versão do ambiente inclui uma versão específica do Python e um conjunto de pacotes Python com versões definidas. O Databricks introduz novos recursos e correções na versão mais recente do ambiente enquanto aplica atualizações de segurança a todas as versões de ambiente suportadas.

Para ver as notas de lançamento do ambiente sem servidor, consulte Versões do ambiente sem servidor.

Notas de lançamento

Esta seção inclui notas de versão relativas à computação sem servidor. As notas de lançamento são organizadas por ano e semana do ano. A computação sem servidor sempre é executada usando a versão lançada mais recentemente listada aqui.

Versão 17.3

Outubro 28, 2025

Esta versão de computação sem servidor corresponde aproximadamente ao Databricks Runtime 17.3 LTS.

Novas funcionalidades

  • LIMIT Todo o suporte para CTEs recursivas: agora é possível usar a LIMIT ALL cláusula com rCTEs (recursive common table expressions) para especificar explicitamente que nenhum limite de linha deve ser aplicado aos resultados da consulta. Consulte Expressão de tabela comum (CTE).

  • A anexação a arquivos nos volumes do Unity Catalog retorna o erro correto: a tentativa de anexar aos arquivos existentes nos volumes do Unity Catalog agora retorna uma mensagem de erro mais descritiva para ajudá-lo a entender e resolver o problema.

  • st_dump Suporte de função: Agora você pode usar a st_dump função para decompor um objeto de geometria em suas partes constituintes, retornando um conjunto de geometrias mais simples. Consulte a função st_dump.

  • As funções do anel interior do polígono agora são suportadas: Agora você pode usar as seguintes funções para trabalhar com anéis interiores do polígono:

    • st_numinteriorrings: Obter o número de limites internos (anéis) de um polígono. Consulte a função st_numinteriorrings.
    • st_interiorringn: Extraia o n-ésimo limite interno de um polígono e devolva-o como uma cadeia de linha. Consulte a função st_interiorringn.

  • EXECUTE IMMEDIATE usando expressões constantes: a EXECUTE IMMEDIATE instrução agora suporta o uso de expressões constantes na cadeia de caracteres de consulta, permitindo uma execução SQL dinâmica mais flexível. Consulte EXECUTE IMMEDIATE.

  • Permitir spark.sql.files.maxPartitionBytes na computação sem servidor: Agora é possível configurar o spark.sql.files.maxPartitionBytes parâmetro de configuração do Spark na computação sem servidor para controlar o número máximo de bytes a serem reunidos em uma única partição ao ler arquivos. Consulte Configurar propriedades do Spark para blocos de anotações e trabalhos sem servidor.

Mudanças de comportamento

  • Suporta informações de atualização MV/ST em DESCRIBE EXTENDED AS JSON: O DESCRIBE EXTENDED AS JSON comando agora inclui informações de atualização para exibições materializadas e tabelas de streaming, fornecendo visibilidade sobre o tempo e o status da última atualização.

  • Adicionar coluna de metadados a DESCRIBE QUERY e DESCRIBE TABLE: Os DESCRIBE QUERY comandos e DESCRIBE TABLE agora incluem uma coluna de metadados em sua saída, fornecendo informações adicionais sobre as propriedades e características de cada coluna.

  • Tratamento correto de estruturas nulas ao soltar colunas NullType: o Azure Databricks agora lida corretamente com valores de struct nulos ao soltar colunas com NullType, evitando possíveis danos de dados ou comportamentos inesperados.

  • Tratamento aprimorado de estruturas nulas no Parquet: Esta versão inclui melhorias em como os valores de struct nulos são manipulados ao ler e gravar em arquivos Parquet, garantindo um comportamento mais consistente e correto.

  • Atualizar biblioteca aws-msk-iam-auth para Kafka: a aws-msk-iam-auth biblioteca usada para autenticação do Amazon MSK IAM foi atualizada para a versão mais recente, oferecendo segurança e compatibilidade aprimoradas.

Versão 17.2

25 de setembro de 2025

Esta versão de computação sem servidor corresponde aproximadamente ao Databricks Runtime 17.2.

Novas funcionalidades

  • ST_ExteriorRing a função é agora suportada: Agora pode usar a função ST_ExteriorRing para extrair o limite externo de um polígono e retorná-lo como uma linha. Consulte a função st_exteriorring.

  • Palavra-chave de suporte TEMPORARY para criação de exibição métrica: agora você pode usar a TEMPORARY palavra-chave ao criar uma exibição métrica. As exibições métricas temporárias são visíveis somente na sessão que as criou e são descartadas quando a sessão termina. Consulte CREATE VIEW.

  • Use E/S nativa para LokiFileSystem.getFileStatus no S3: LokiFileSystem.getFileStatus agora usa a pilha de E/S nativa para o tráfego do Amazon S3 e retorna org.apache.hadoop.fs.FileStatus objetos em vez de shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

  • O Auto Loader infere colunas de partição no singleVariantColumn modo: o Auto Loader agora infere colunas de partição de caminhos de arquivo ao ingerir dados como um tipo de variante semiestruturada usando a singleVariantColumn opção. Anteriormente, as colunas de partição não eram detetadas automaticamente. Consulte Opções do carregador automático.

Mudanças de comportamento

  • DESCRIBE CONNECTION mostra configurações de ambiente para conexões JDBC: o Azure Databricks agora inclui configurações de ambiente definidas pelo DESCRIBE CONNECTION usuário na saída para conexões JDBC que oferecem suporte a drivers personalizados e são executadas isoladamente. Outros tipos de conexão permanecem inalterados.

  • Opção para truncar o histórico uniforme durante a migração de tabelas gerenciadas: agora você pode truncar o histórico uniforme ao migrar tabelas com Uniforme/Iceberg habilitado usando ALTER TABLE...SET MANAGEDo . Isso simplifica as migrações e reduz o tempo de inatividade em comparação com a desativação e reativação manual do Uniforme.

  • Resultados corretos para split com regex vazio e limite positivo: o Azure Databricks agora retorna resultados corretos ao usar split function com um regex vazio e um limite positivo. Anteriormente, a função truncava incorretamente a cadeia de caracteres restante em vez de incluí-la no último elemento.

  • Corrigir url_decode e o try_url_decode tratamento de erros no Photon: No Photon, try_url_decode() e url_decode() com failOnError = false agora retornam NULL para cadeias de caracteres codificadas por URL inválidas em vez de provocar a falha da consulta.

  • Ambiente de execução compartilhado para UDTFs Python do Unity Catalog: o Azure Databricks agora compartilha o ambiente de execução para UDTFs (funções de tabela definidas pelo usuário) do Python do mesmo proprietário e da sessão do Spark. Uma cláusula opcional STRICT ISOLATION está disponível para desabilitar o compartilhamento de UDTFs com efeitos colaterais, como modificar variáveis de ambiente ou executar código arbitrário.

Versão 17.1

19 de agosto de 2025

Esta versão de computação sem servidor corresponde aproximadamente ao Databricks Runtime 17.1.

Novas funcionalidades

  • Redução do uso de memória para esquemas amplos no Photon writer: Aprimoramentos foram feitos no mecanismo Photon que reduzem significativamente o uso de memória para esquemas amplos, abordando cenários que anteriormente resultavam em erros de falta de memória.

Mudanças de comportamento

  • Erro gerado para restrições inválidasCHECK: o Azure Databricks agora lança uma AnalysisException expressão de restrição se uma expressão de restrição não puder ser resolvida durante a CHECK validação de restrição.

  • O conector Pulsar não expõe mais o Bouncy Castle: A biblioteca do Bouncy Castle agora está sombreada no conector Pulsar para evitar conflitos de classpath. Como resultado, os trabalhos do Spark não podem mais acessar org.bouncycastle.* classes a partir do conector. Se o seu código depende do Bouncy Castle, instale a biblioteca manualmente no ambiente sem servidor.

  • O Auto Loader usa eventos de arquivo por padrão, se disponível: o Auto Loader usa eventos de arquivo em vez de listagem de diretório quando o caminho de carregamento é um local externo com eventos de arquivo habilitados. O padrão para useManagedFileEvents é agora if_available (was false). Isso pode melhorar o desempenho da ingestão e registra um aviso se os eventos do arquivo ainda não estiverem habilitados.

  • O conector Teradata corrige a comparação de cadeia de caracteres que diferencia maiúsculas de minúsculas: o conector Teradata agora assume TMODE=ANSIcomo padrão , alinhando o comportamento de comparação de cadeia de caracteres com o Azure Databricks, tornando-o sensível a maiúsculas e minúsculas. Essa alteração é configurável e não afeta os usuários existentes, a menos que eles aceitem.

Ambiente sem servidor versão 4

13 de agosto de 2025

A versão 4 do ambiente agora está disponível em seus blocos de anotações e trabalhos sem servidor. Esta versão do ambiente inclui atualizações de biblioteca e atualizações de API. Consulte Ambiente sem servidor versão 4.

Versão 17.0

Julho 24, 2025

Esta versão de computação sem servidor corresponde aproximadamente ao Databricks Runtime 17.0.

Novas funcionalidades

  • Suporte a procedimentos SQL: os scripts SQL agora podem ser encapsulados em um procedimento armazenado como um ativo reutilizável no Unity Catalog. Você pode criar um procedimento usando o comando CREATE PROCEDURE e, em seguida, chamá-lo usando o comando CALL .

  • Definir uma ordenação padrão para funções SQL: O uso da nova cláusula DEFAULT COLLATION no comando CREATE FUNCTION define a ordenação padrão usada para parâmetros STRING, o tipo de retorno e literais STRING no corpo da função.

  • Suporte a rCTE (Expressões de tabela comuns recursivas): o Azure Databricks agora dá suporte à navegação de dados hierárquicos usando rCTEs (recursive common table expressions). Use uma CTE autorreferenciada com UNION ALL para seguir a relação recursiva.

  • O PySpark e o Spark Connect agora suportam os DataFrames df.mergeInto API: O PySpark e o Spark Connect agora suportam a df.mergeInto API.

  • Suporte ALL CATALOGS em SHOW ESQUEMAS: A SHOW SCHEMAS sintaxe é atualizada para aceitar ALL CATALOGS, permitindo que você itere através de todos os catálogos ativos que suportam namespaces. Os atributos de saída agora incluem uma catalog coluna indicando o catálogo do namespace correspondente.

  • O agrupamento líquido agora compacta vetores de eliminação de forma mais eficiente: as tabelas delta com clustering líquido agora aplicam de forma mais eficiente as alterações físicas provenientes dos vetores de eliminação quando OPTIMIZE está em execução. Para obter mais detalhes, consulte Aplicar alterações aos arquivos de dados do Parquet.

  • Permitir expressões não determinísticas em UPDATE/INSERT valores de coluna para MERGE operações: o Azure Databricks agora permite o uso de expressões não determinísticas em valores de coluna atualizados e inseridos de MERGE operações. Por exemplo, agora você pode gerar valores dinâmicos ou aleatórios para colunas usando expressões como rand().

  • Altere as APIs Python Delta MERGE para retornar DataFrame em vez de Unit: As APIs Python MERGE (como DeltaMergeBuilder) agora também retornam um DataFrame como a API SQL, com os mesmos resultados.

Mudanças de comportamento

  • Alteração comportamental para a opção de listagem de diretório incremental do Auto Loader: O valor da opção Preterida Auto Loader cloudFiles.useIncrementalListing agora está definido como um valor padrão de false. Como resultado, essa alteração faz com que o Auto Loader execute uma listagem completa de diretórios cada vez que é executado. A Databricks recomenda não usar essa opção. Em vez disso, use o modo de notificação de arquivo com eventos de arquivo.

  • CREATE VIEW As cláusulas de nível de coluna agora geram erros quando a cláusula só se aplicaria a exibições materializadas: CREATE VIEW comandos que especificam uma cláusula de nível de coluna que só é válida para MATERIALIZED VIEWs agora geram um erro. As cláusulas afetadas incluem NOT NULL, tipos de dados especificados DEFAULTe COLUMN MASK.

As metas de desempenho sem servidor são GA

Junho 10, 2025

A seleção da configuração de desempenho sem servidor para trabalhos e pipelines agora está disponível para o público em geral.

Quando a configuração Desempenho otimizado está habilitada, sua carga de trabalho é otimizada para inicialização e tempo de execução mais rápidos. Quando desabilitada, a carga de trabalho sem servidor é executada no modo de desempenho padrão, que é otimizado para custo e tem uma latência de inicialização um pouco maior.

Para obter mais informações, consulte Selecionar um modo de desempenho e Selecionar um modo de desempenho.

Versão 16.4

Maio 28, 2025

Esta versão de computação sem servidor corresponde aproximadamente ao Databricks Runtime 16.4 LTS.

Mudanças de comportamento

  • Correção para respeitar as opções dos planos armazenados em cache da fonte de dados: esta atualização garante que as leituras de tabela respeitem as opções definidas para todos os planos de fonte de dados quando armazenadas em cache, não apenas a primeira tabela lida em cache. Anteriormente, os acessos à tabela da fonte de dados armazenavam em cache o primeiro plano, mas não levavam em conta as diferentes opções nas consultas subsequentes.

  • Habilitar o sinalizador para exigir materialização de origem para operações MERGE: Anteriormente, os usuários podiam desativar a materialização de origem em MERGE definindo merge.materializeSource como none. Com o novo indicador ativado, a materialização da fonte será sempre necessária, e as tentativas de desativá-la resultarão num erro. O Databricks planeja habilitar esse sinalizador apenas para clientes que não alteraram essa configuração anteriormente, portanto, a maioria dos usuários não deve experimentar nenhuma alteração no comportamento.

Novas funcionalidades

  • O Auto Loader agora pode limpar arquivos processados no diretório de origem: Agora você pode instruir o Auto Loader a mover ou excluir automaticamente os arquivos que foram processados. Opte por este recurso utilizando a opção cloudFiles.cleanSource Auto Loader. Consulte Opções do carregador automático, em cloudFiles.cleanSource.

  • Suporte de ampliação de tipo adicionado para streaming de tabelas Delta: esta versão adiciona suporte para streaming de uma tabela Delta que tenha dados de coluna ampliados por tipo e para compartilhar uma tabela Delta com ampliação de tipo habilitada usando o Compartilhamento Delta de Databricks para Databricks. A funcionalidade de alargamento de tipo está atualmente em Visualização Pública. Consulte Alargamento de tipos.

  • IDENTIFIER suporte agora disponível em DBSQL para operações de catálogo: Agora você pode usar a IDENTIFIER cláusula ao executar as seguintes operações de catálogo:

    • CREATE CATALOG
    • DROP CATALOG
    • COMMENT ON CATALOG
    • ALTER CATALOG

    Essa nova sintaxe permite especificar dinamicamente nomes de catálogo usando parâmetros definidos para essas operações, permitindo fluxos de trabalho SQL mais flexíveis e reutilizáveis. Como exemplo da sintaxe, considere CREATE CATALOG IDENTIFIER(:param) onde param é um parâmetro fornecido para especificar um nome de catálogo. Consulte a cláusula IDENTIFIER.

  • As expressões agrupadas agora fornecem aliases transitórios gerados automaticamente: aliases gerados automaticamente para expressões agrupadas agora incorporam COLLATE informações deterministicamente. Os aliases gerados automaticamente são transitórios (instáveis) e não devem ser confiáveis. Em vez disso, como prática recomendada, use expression AS alias de forma consistente e explícita.

  • Adicionar suporte à API de descida de filtros para fontes de dados Python: A computação sem servidor agora suporta a descida de filtros para leituras de lotes de fontes de dados Python como uma API, semelhante à interface SupportsPushDownFilters. Consulte as notas de versão 16.4 LTS.

  • Melhoria do traceback do Python UDF: O traceback do Python UDF agora inclui quadros do driver e do executor junto com os quadros do cliente, resultando em mensagens de erro melhores que mostram detalhes maiores e mais relevantes (como o conteúdo da linha de quadros dentro de um UDF).

  • UNIÃO/EXCEÇÃO/INTERSEÇÃO dentro de uma vista e EXECUTE IMMEDIATE agora retornam resultados corretos: consultas para definições de vista temporárias e persistentes com nível UNION/EXCEPT/INTERSECT superior e colunas sem alias anteriormente retornaram resultados incorretos porque UNION/EXCEPT/INTERSECT as palavras-chave eram consideradas aliases. Agora, essas consultas executarão corretamente toda a operação do conjunto.

  • Configuração de planos em cache das fontes de dados e guia de migração: A leitura da tabela de origem de um arquivo respeitará corretamente as opções de consulta, como delimitadores. Anteriormente, o primeiro plano de consulta era armazenado em cache e as alterações de opção subsequentes ignoradas. Para restaurar o comportamento anterior, defina spark.sql.legacy.readFileSourceTableCacheIgnoreOptions como true.

  • Novas funções listagg e string_agg: A partir desta versão, pode usar as funções listagg ou string_agg para agregar valores STRING de um grupo BINARY. Ver string_agg.

O modo de desempenho agora é configurável em trabalhos sem servidor

14 de abril de 2025

Agora você pode selecionar o modo de desempenho de um trabalho sem servidor usando a configuração Desempenho otimizado na página de detalhes do trabalho. Anteriormente, todos os trabalhos sem servidor eram otimizados para desempenho. Agora, você pode desativar a configuração Desempenho otimizado para executar a carga de trabalho no modo de desempenho padrão. O modo de desempenho padrão foi projetado para reduzir os custos em cargas de trabalho onde uma latência de inicialização um pouco maior é aceitável.

O modo de desempenho padrão não é suportado para pipelines contínuos, execuções únicas criadas usando o ponto de extremidade runs/submit, ou tarefas de trabalho do armazém de dados SQL, incluindo vistas materializadas.

Para obter mais informações sobre o modo de desempenho, consulte Selecionar um modo de desempenho.

Versão 16.3

9 de abril de 2025

Esta versão de computação sem servidor corresponde aproximadamente ao Databricks Runtime 16.3.

Mudanças de comportamento

  • *Mensagem de erro melhorada quando kafka.sasl.client.callback.handler.class é atribuído um valor inválido: Esta versão inclui uma alteração para devolver uma mensagem de erro mais descritiva quando kafka.sasl.client.callback.handler.class é atribuído um valor inválido.

Novas funcionalidades

  • O suporte ao leitor de estado é GA: O suporte para leitura de informações de estado para consultas de Streaming Estruturado agora está disponível em computação sem servidor. Consulte as informações de estado do streaming estruturado.

  • O downgrade do protocolo da tabela Delta é GA com proteção de ponto de verificação: DROP FEATURE está geralmente disponível para remover recursos da tabela Delta Lake e fazer downgrade do protocolo da tabela. Por padrão, DROP FEATURE agora cria pontos de verificação protegidos para uma experiência de downgrade mais otimizada e simplificada que não requer tempo de espera ou truncamento de histórico. Consulte Remover uma funcionalidade de tabela do Delta Lake e reverter a versão do protocolo da tabela.

  • Escrever scripts SQL de procedimento com base em ANSI SQL/PSM (Public Preview): agora você pode usar recursos de script baseados em ANSI SQL/PSM para escrever lógica de procedimento com SQL, incluindo instruções de fluxo de controle, variáveis locais e tratamento de exceções. Consulte programação SQL.

  • Agrupamento padrão em nível de tabela e exibição: agora você pode especificar um agrupamento padrão para tabelas e exibições. Isso simplifica a criação de tabelas e modos de exibição onde todas ou a maioria das colunas compartilham o mesmo agrupamento. Consulte Agrupamento.

  • Novas funções H3: Três novas funções H3 foram adicionadas: h3_try_coverash3, h3_try_coverash3string e h3_try_tessellateaswkb.

  • Alterar várias colunas da tabela em uma ALTER TABLE instrução: agora você pode alterar várias colunas em uma única ALTER TABLE instrução. Ver ALTER TABLE cláusula. COLUMN

Versão 16.2

Março 13, 2025

Esta versão de computação sem servidor corresponde aproximadamente ao Databricks Runtime 16.2.

Mudanças de comportamento

  • No Compartilhamento Delta, o histórico de tabelas é habilitado por padrão: os compartilhamentos criados usando o comando ALTER SHARE <share> ADD TABLE <table> SQL agora têm o compartilhamento de histórico (WITH HISTORY) habilitado por padrão. Consulte ALTER SHARE.

  • As instruções SQL de credenciais retornam um erro quando há uma incompatibilidade de tipo de credencial: Agora, se o tipo de credencial especificado em uma instrução SQL de gerenciamento de credenciais não corresponder ao tipo do argumento de credencial, um erro será retornado e a instrução não será executada.

Novas funcionalidades

  • Use o timestampdiff & timestampadd em expressões de coluna geradas Agora você pode usar as funções timestampdiff e timestampadd em expressões de coluna geradas pelo Delta Lake. Veja as colunas geradas pelo Lago Delta.

  • Atualização para DESCRIBE TABLE retornar metadados como JSON estruturado: agora pode usar o comando para retornar metadados da tabela DESCRIBE TABLE AS JSON como um documento JSON. A saída JSON é mais estruturada do que o relatório padrão legível por humanos e pode ser usada para interpretar o esquema de uma tabela programaticamente. Para saber mais, consulte DESCRIBE TABLE AS JSON.

  • Agrupamentos insensíveis a espaços finais: O Serverless agora suporta agrupamentos insensíveis a espaços finais. Por exemplo, esses agrupamentos tratam 'Hello' e 'Hello ' como iguais. Para saber mais, consulte Agrupamento RTRIM.

Correções de bugs

  • Processamento de clones incrementais aprimorado: esta versão inclui uma correção para um caso de borda em que um incremental CLONE pode recopiar arquivos já copiados de uma tabela de origem para uma tabela de destino. Ver Clonar uma tabela no Azure Databricks.

Configuração de alta memória disponível em notebooks sem servidor (Visualização pública)

Fevereiro 7, 2025

Agora você pode configurar um tamanho de memória maior para suas tarefas de notebooks serverless. Esta configuração pode ser aplicada a cargas de trabalho de notebooks interativos e agendados.

O uso sem servidor com alta memória tem uma taxa de emissão de DBU mais alta do que a memória padrão.

Para obter mais informações, consulte Usar computação sem servidor de alta memória.

Versão 16.1

5 de fevereiro de 2025

Esta versão de computação sem servidor corresponde aproximadamente ao Databricks Runtime 16.0 e ao Databricks Runtime 16.1.

Novas funcionalidades

  • Suporte Avro para esquema recursivo: Agora você pode usar a recursiveFieldMaxDepth opção com a from_avro função e a fonte de avro dados. Esta opção define a profundidade máxima para recursão de esquema na fonte de dados Avro. Consulte Ler e gravar dados de streaming Avro.
  • Suporte expandido para Confluent Schema Registry for Avro: Serverless agora suporta referência de esquema Avro com o Confluent Schema Registry. Consulte Autenticar em um registro de esquema confluente externo.
  • Forçar o reagrupamento em tabelas com agrupamento líquido: Agora pode usar a OPTIMIZE FULL sintaxe para forçar o reagrupamento de todos os registros em uma tabela com agrupamento líquido ativado. Consulte Forçar agrupamento para todos os registos.
  • As APIs Delta para Python agora suportam colunas de identidade: Agora você pode usar as APIs Delta para Python para criar tabelas com colunas de identidade. Veja Utilizar colunas de identidade no Delta Lake.
  • Crie tabelas clusterizadas líquidas durante gravações de streaming: Agora você pode usar clusterBy para habilitar o clustering líquido ao criar novas tabelas com gravações de Streaming Estruturado. Consulte Ativar agrupamento de líquidos.
  • Suporte para a OPTIMIZE cláusula FULL: A computação serverless agora suporta a OPTIMIZE cláusula FULL. Esta cláusula otimiza todos os registos numa tabela que utiliza agrupamento dinâmico, incluindo dados que possam ter sido agrupados anteriormente.
  • Suporte para a especificação das opções WITH e INSERT de referência de tabela: A Computação sem servidor agora suporta uma especificação de opções para referências de tabela e nomes de tabela numa INSERT instrução, o que pode ser usado para controlar o comportamento das fontes de dados.
  • Novas funções SQL: As seguintes funções SQL agora estão disponíveis na computação sem servidor:
    • try_url_decode é uma versão tolerante a erros do url_decode.
    • zeroifnull retorna 0 se a expressão de entrada para a zeroifnull() função é NULL.
    • nullifzero retorna NULL se a entrada for 0 ou a própria entrada se não for 0.
    • dayname(expr) retorna o acrônimo inglês de três letras para o dia da semana para a data determinada.
    • uniforme(expr1, expr2 [,seed]) retorna um valor aleatório com valores independentes e distribuídos de forma idêntica dentro do intervalo especificado de números.
    • randstr(length) retorna uma sequência aleatória de length caracteres alfanuméricos.
  • Habilite a evolução automática do esquema ao mesclar dados em uma tabela Delta: Foi adicionado suporte para o withSchemaEvolution()DeltaMergeBuilder membro da classe. Use withSchemaEvolution() para habilitar a evolução automática do esquema durante as operações MERGE. Por exemplo, mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.
  • O suporte para agrupamentos no Apache Spark está em Visualização Pública: Agora você pode atribuir agrupamentos com reconhecimento de idioma, sem diferenciação de maiúsculas e minúsculas e sem acesso a STRING colunas e expressões. Esses agrupamentos são usados em comparações de cadeia de caracteres, classificação, operações de agrupamento e muitas funções de cadeia de caracteres. Consulte Agrupamento.
  • O suporte para agrupamentos em Delta Lake está em Visualização Pública: Agora você pode definir agrupamentos para colunas ao criar ou alterar uma tabela Delta. Consulte Suporte de agrupamento para Delta Lake.
  • LITE modo para vácuo está em Visualização pública: agora você pode usar VACUUM table_name LITE para executar uma operação de vácuo mais leve que aproveita metadados no log de transações Delta. Veja modo completo vs. modo leve e VACUUM.
  • Dar suporte para parametrizar a cláusula : A cláusula agora é suportada para a instrução . Com esse suporte, você pode parametrizar o catálogo atual com base em uma variável de cadeia de caracteres ou marcador de parâmetro.
  • COMMENT ON COLUMN suporte para tabelas e exibições: a COMMENT ON instrução agora suporta a alteração de comentários para colunas de exibição e tabela.
  • Invocação de parâmetro nomeado para mais funções: As seguintes funções suportam a invocação de parâmetro nomeado:
  • O SYNC METADATA parâmetro para o REPAIR TABLE comando é suportado com o metastore do Hive: agora você pode usar o SYNC METADATA parâmetro com o REPAIR TABLE comando para atualizar os metadados de uma tabela gerenciada do metastore do Hive. Consulte REPAIR TABLE.
  • Integridade de dados aprimorada para lotes do Apache Arrow compactados: Para proteger ainda mais contra corrupção de dados, cada lote do Apache Arrow compactado agora inclui as somas de verificação de conteúdo e bloco. Consulte Descrição do formato de quadro LZ4.
  • Driver JDBC Oracle integrado: A computação sem servidor agora tem o Oracle JDBC Driver integrado. Se usares um JAR de driver JDBC carregado pelo cliente via DriverManager, deves reescrever os scripts para usar explicitamente o JAR personalizado. Caso contrário, é utilizado o driver embutido. Este driver suporta apenas Lakehouse Federation. Para outros casos de uso, deve fornecer o seu próprio controlador.
  • Erros mais detalhados para tabelas Delta acessadas com caminhos: Uma nova experiência de mensagem de erro para tabelas Delta acessadas usando caminhos já está disponível. Todas as exceções agora são encaminhadas para o usuário. A exceção DELTA_MISSING_DELTA_TABLE agora está reservada para quando os arquivos subjacentes não podem ser lidos como uma tabela Delta.

Mudanças de comportamento

  • Alteração crucial: o RStudio hospedado está em fim de vida: Com esta versão, o Servidor RStudio hospedado pela Databricks está em fim de vida e indisponível em qualquer espaço de trabalho do Azure Databricks que utilize computação sem servidor. Para saber mais e ver uma lista de alternativas ao RStudio, consulte Conectar-se a um servidor RStudio hospedado pelo Databricks.

  • Alteração de rutura: Remoção do suporte para alterar byte, short, int e long tipos para tipos mais abrangentes: Para garantir um comportamento consistente nas tabelas Delta e Apache Iceberg, as seguintes alterações de tipo de dados não podem mais ser aplicadas a tabelas com o recurso de alargamento de tipo habilitado:

    • byte, short, int e long para decimal.
    • byte, short, e int para double.

  • Análise correta de padrões regex com negação no agrupamento de caracteres aninhados: Esta versão inclui uma alteração para suportar a análise correta de padrões regex com negação no agrupamento de caracteres aninhados. Por exemplo, [^[abc]] será analisado como "qualquer personagem que NÃO seja um de 'abc'".

    Além disso, o comportamento do Photón foi inconsistente com o Spark para classes de caracteres aninhadas. Os padrões Regex contendo classes de caracteres aninhadas não usarão mais o Photon e, em vez disso, usarão o Spark. Uma classe de caracteres aninhada é qualquer padrão que contém colchetes dentro de colchetes, como [[a-c][1-3]].

  • Melhorar a deteção de correspondência de duplicados no Delta Lake MERGE:MERGE agora considera as WHEN MATCHED condições especificadas na cláusula. Veja Inserção ou atualização numa tabela Delta Lake usando junção.

  • A addArtifact() funcionalidade agora é consistente entre os tipos de computação: quando você usa addArtifact(archive = True) para adicionar uma dependência à computação sem servidor, o arquivo é automaticamente descompactado.

Correções de bugs

  • Os deslocamentos de fuso horário agora incluem segundos quando serializados para CSV, JSON e XML: Carimbos de data/hora com deslocamentos de fuso horário que incluem segundos (comuns para carimbos de data/hora anteriores a 1900) omitiam os segundos quando serializados para CSV, JSON e XML. O formatador de timestamp padrão foi ajustado e agora retorna os valores de deslocamento corretos para esses timestamps.

Outras alterações

  • Códigos de erro renomeados para o cloudFiles Fonte de streaming estruturada: Os seguintes códigos de erro foram renomeados:
    • _LEGACY_ERROR_TEMP_DBR_0143 é renomeado para CF_INCORRECT_STREAM_USAGE.
    • _LEGACY_ERROR_TEMP_DBR_0260 é renomeado para CF_INCORRECT_BATCH_USAGE .

Versão 15.4

Outubro 28, 2024

Esta versão de computação sem servidor corresponde aproximadamente ao Databricks Runtime 15.4

Novas funcionalidades

  • Funções de validação UTF-8: Esta versão apresenta as seguintes funções para validar cadeias de caracteres UTF-8:
    • is_valid_utf8 verificado se uma cadeia de caracteres é uma cadeia de caracteres UTF-8 válida.
    • make_valid_utf8 converte uma cadeia de caracteres UTF-8 potencialmente inválida em uma cadeia de caracteres UTF-8 válida usando caracteres de substituição.
    • validate_utf8 gera um erro se a entrada não for uma cadeia de caracteres UTF-8 válida.
    • try_validate_utf8 retorna NULL se a entrada não for uma cadeia de caracteres UTF-8 válida.
  • Habilite o UniForm Iceberg usando ALTER TABLE: Agora você pode habilitar o UniForm Iceberg em tabelas existentes sem reescrever arquivos de dados. Consulte Ativar leituras do Iceberg numa tabela existente.
  • try_url_decode função: Esta versão apresenta a função try_url_decode , que decodifica uma cadeia de caracteres codificada por URL. Se a cadeia de caracteres não estiver no formato correto, a função retornará NULL em vez de gerar um erro.
  • Opcionalmente, permita que o otimizador dependa de restrições de chave estrangeira não impostas: Para melhorar o desempenho das consultas, agora pode-se especificar a palavra-chave RELY em restrições FOREIGN KEY ao CRIAR ou ALTERAR uma tabela.
  • Execuções de trabalho paralelizadas para substituições seletivas: Substituições seletivas usando replaceWhere agora executa trabalhos que excluem e inserem dados novos em paralelo, melhorando o desempenho das consultas e a utilização do cluster.
  • Melhor desempenho para feed de dados de alteração com substituições seletivas: As substituições seletivas usando replaceWhere em tabelas com feed de dados de alteração já não gravam arquivos de dados de alteração separados para dados inseridos. Essas operações usam uma coluna _change_type oculta presente nos arquivos de dados subjacentes do Parquet para registrar alterações sem causar amplificação de escrita.
  • Latência de consulta melhorada para o COPY INTO comando: esta versão inclui uma alteração que melhora a latência de consulta para o COPY INTO comando. Esta melhoria é implementada tornando assíncrono o carregamento de estado pelo armazenamento de estado RocksDB. Com essa alteração, você verá uma melhoria nos tempos de início para consultas com estados grandes, como consultas com um grande número de arquivos já ingeridos.
  • Suporte para eliminar o recurso de tabela de restrições de verificação: Agora você pode soltar o checkConstraints recurso de tabela de uma tabela Delta usando ALTER TABLE table_name DROP FEATURE checkConstraints. Consulte Desativar restrições de verificação.

Mudanças de comportamento

  • Alteração de vinculação de esquema para visualizações: Quando os tipos de dados na consulta subjacente de uma visualização mudam daqueles usados quando a visualização foi criada pela primeira vez, o Databricks não gera mais erros para referências à visualização quando não é possível realizar uma conversão segura.

    Em vez disso, a exibição compensa usando regras de transmissão regulares sempre que possível. Essa alteração permite que o Databricks tolere alterações de esquema de tabela mais prontamente.

  • Não permitir tolerância de sintaxe não documentada ! para NOT lógica booleana externa: Databricks não tolerará mais o uso de ! como sinônimo para NOT fora da lógica booleana. Essa alteração reduz a confusão, alinha-se com o padrão SQL e torna o SQL mais portátil. Por exemplo:

    CREATE ... IF ! EXISTS, É ! NULL, ! NULL propriedade ! IN de coluna ou campo e ! BETWEEN deve ser substituído por:

    CREATE ... IF NOT EXISTS, IS NOT NULL, coluna ou campo de propriedade NOT NULL, NOT IN e NOT BETWEEN.

    O operador ! (por exemplo, !is_mgr ou !(true AND false)) não é afetado por esta alteração.

  • Não permitir partes não documentadas e não processadas da sintaxe de definição de coluna em modos de exibição: O Databricks suporta CREATE VIEW colunas nomeadas e comentários de coluna.

    A especificação de tipos de coluna ou restrições como NOT NULL e DEFAULT foi aceita na sintaxe sem produzir qualquer efeito. O Databricks removerá essa tolerância de sintaxe. Isso reduz a confusão, alinha-se com o padrão SQL e permite aprimoramentos futuros.

  • Tratamento consistente de erros para decodificação Base64 no Spark e Photon: Esta versão altera como o Photon lida com erros de decodificação Base64 para corresponder ao tratamento Spark desses erros. Antes dessas alterações, o caminho de geração de código do Photon e do Spark às vezes falhava em levantar exceções de análise, enquanto a execução interpretada do Spark levantava corretamente IllegalArgumentException ou ConversionInvalidInputError. Esta atualização garante que o Photon gere consistentemente as mesmas exceções que o Spark durante erros de decodificação Base64, fornecendo tratamento de erros mais previsível e confiável.

  • Adicionar uma CHECK restrição numa coluna inválida agora devolve a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION: Para fornecer mensagens de erro mais úteis, no Databricks Runtime 15.3 e versões posteriores, uma ALTER TABLE ADD CONSTRAINT instrução que inclui uma CHECK restrição que faz referência a um nome de coluna inválido devolve a classe de erro UNRESOLVED_COLUMN.WITH_SUGGESTION. Anteriormente, um INTERNAL_ERROR foi retornado.

O JDK é atualizado do JDK 8 para o JDK 17

15 de agosto de 2024

A computação sem servidor para notebooks e fluxos de trabalho migrou do Java Development Kit (JDK) 8 para o JDK 17 no lado do servidor. Esta atualização inclui as seguintes alterações comportamentais:

  • Análise correta de padrões regex com negação no agrupamento de caracteres aninhados: com essa atualização, o Azure Databricks agora dá suporte à análise correta de padrões regex com negação no agrupamento de caracteres aninhados. Por exemplo, [^[abc]] será analisado como "qualquer personagem que NÃO seja um de 'abc'".

    Além disso, o comportamento do Photón foi inconsistente com o Spark para classes de caracteres aninhadas. Os padrões Regex contendo classes de caracteres aninhadas não usarão mais o Photon e, em vez disso, usarão o Spark. Uma classe de caracteres aninhada é qualquer padrão que contém colchetes dentro de colchetes, como [[a-c][1-3]].

Versão 15.1

Julho 23, 2024

Esta versão de computação sem servidor corresponde aproximadamente ao Databricks Runtime 15.1

Novas funcionalidades

Suporte para sintaxe de estrela (*) na WHERE cláusula: Agora você pode usar a sintaxe de estrela (*) na WHERE cláusula para fazer referência a todas as colunas da SELECT lista.

Por exemplo, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Changes

Recuperação de erros aprimorada para análise JSON: o analisador JSON usado para from_json() expressões de caminho JSON agora se recupera mais rapidamente da sintaxe malformada, resultando em menos perda de dados.

Ao encontrar sintaxe JSON malformada em um campo struct, um valor de matriz, uma chave de mapa ou um valor de mapa, o analisador JSON retornará NULL apenas para o campo, chave ou elemento ilegível. Os campos, chaves ou elementos subsequentes serão analisados corretamente. Antes dessa alteração, o analisador JSON abandonou a análise da matriz, struct ou mapa e retornou NULL para o conteúdo restante.

Versão 14.3

15 de abril de 2024

Esta é a versão inicial de computação sem servidor. Esta versão corresponde aproximadamente ao Databricks Runtime 14.3 com algumas modificações que removem o suporte para alguns recursos não sem servidor e herdados.

Parâmetros de configuração do Spark suportados

Para automatizar a configuração do Spark na computação sem servidor, o Azure Databricks removeu o suporte para definir manualmente a maioria das configurações do Spark. Para exibir uma lista de parâmetros de configuração do Spark suportados, consulte Configurar propriedades do Spark para blocos de anotações e trabalhos sem servidor.

O trabalho executado em computação sem servidor falhará se você definir uma configuração do Spark sem suporte.

input_file funções foram preteridas

As funções input_file_name(), input_file_block_length()) e input_file_block_start() foram preteridas. O uso dessas funções é altamente desencorajado.

Em vez disso, use a coluna de metadados do arquivo para recuperar informações de metadados do arquivo.

Mudanças comportamentais

A versão de computação sem servidor 2024.15 inclui as seguintes alterações comportamentais:

  • unhex(hexStr) correção de bug: Ao usar a função unhex(hexStr), hexStr é sempre preenchido à esquerda para completar um byte. Anteriormente, a função unhex ignorava o primeiro meio byte. Por exemplo: unhex('ABC') agora produz x'0ABC' em vez de x'BC'.
  • Os aliases de coluna gerados automaticamente agora são estáveis: Quando o resultado de uma expressão é referenciado sem um alias de coluna especificado pelo usuário, esse alias gerado automaticamente agora será estável. O novo algoritmo pode resultar em uma mudança nos nomes gerados automaticamente anteriormente usados em recursos como visualizações materializadas.
  • As varreduras de tabela com CHAR campos de tipo agora são sempre acolchoadas: tabelas delta, determinadas tabelas JDBC e fontes de dados externas armazenam dados CHAR em formato não acolchoado. Durante a leitura, o Azure Databricks agora preencherá os dados com espaços para o comprimento declarado para garantir a semântica correta.
  • Conversões de BIGINT/DECIMAL para TIMESTAMP lançam uma exceção para valores excedidos: O Azure Databricks permite a conversão de BIGINT e DECIMAL para TIMESTAMP considerando o valor como o número de segundos desde a época Unix. Anteriormente, o Azure Databricks retornava valores transbordados, mas agora lança uma exceção em casos de transbordo. Use try_cast para retornar NULL em vez de uma exceção.
  • A execução UDF do PySpark foi melhorada para corresponder ao comportamento exato da execução UDF em computação dedicada: Foram introduzidas as seguintes alterações:
    • UDFs com um tipo de retorno do tipo cadeia de caracteres não convertem mais implicitamente valores que não sejam desse tipo em cadeias de caracteres. Anteriormente, UDFs com um tipo de retorno de str aplicariam um wrapper str(..) ao resultado, independentemente do tipo de dados real do valor retornado.
    • UDFs com tipos de retorno timestamp já não aplicam implicitamente uma conversão de fuso horário a timestamps.
  • Last updated on