Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
23 a 30 de janeiro de 2025
Esses recursos e melhorias foram lançados com a versão 2025.04 do DLT.
Versões do Databricks Runtime usadas por esta versão
Channel:
- ATUAL (padrão): Databricks Runtime 15.4
- VISUALIZAÇÃO: Databricks Runtime 15.4 ou 16.1
Note
Como as versões de canal DLT seguem um processo de atualização contínua, as atualizações de canal são implantadas em diferentes regiões em momentos diferentes. Sua versão, incluindo as versões do Databricks Runtime, pode não ser atualizada até uma semana ou mais após a data de lançamento inicial. Para localizar a versão do Databricks Runtime para um pipeline, consulte informações sobre o tempo de execução.
Novos recursos e melhorias
- Por padrão, os novos Lakeflow Spark Declarative Pipelines suportam a criação e atualização de exibições materializadas e tabelas de streaming em vários catálogos e esquemas. Esse novo comportamento padrão para a configuração do pipeline requer que os usuários especifiquem um esquema de destino que se torne o esquema padrão para o pipeline. O esquema virtual
LIVEe a sintaxe associada não são mais necessários. Para saber mais, consulte Definir o catálogo e o esquema de destino, Configurar pipelines e Esquema LIVE (legado).
- A solicitação de
clone a pipelinena API REST do Databricks agora está disponível para o público em geral. Você pode usar essa solicitação para copiar um pipeline existente que publica no metastore do Hive para um novo pipeline que publica no Unity Catalog. Consulte Criar um pipeline do Unity Catalog clonando um pipeline de metastore do Hive.
- O suporte para visualizar métricas de carga de trabalho de streaming para suas atualizações de pipeline está em Visualização pública. Ao visualizar as atualizações do pipeline na interface do usuário Lakeflow Spark Declarative Pipelines, agora pode ver métricas como segundos de acumulação, bytes de acumulação, registros de acumulação e arquivos de acumulação para cada fluxo de streaming no pipeline. As métricas de streaming são suportadas para fontes do Spark Structured Streaming, incluindo Apache Kafka, Amazon Kinesis e Auto Loader. Consulte para ver métricas de transmissão contínua.