Partilhar via

Notas de versão do Lakeflow Spark Declarative Pipelines e o processo de atualização da versão

Este artigo explica o processo de liberação do Lakeflow Spark Declarative Pipelines, como o tempo de execução do Lakeflow Spark Declarative Pipelines é gerenciado e fornece links para notas de versão para cada liberação do Lakeflow Spark Declarative Pipelines.

Canais de execução do Lakeflow Spark Declarative Pipelines

Note

Para ver as versões do Databricks Runtime usadas com uma versão do Lakeflow Spark Declarative Pipelines, consulte as notas de versão dessa versão.

Os clusters do Lakeflow Spark Declarative Pipelines usam tempos de execução baseados nas versões e compatibilidade das notas de versão do Databricks Runtime. O Databricks atualiza automaticamente os tempos de execução do Lakeflow Spark Declarative Pipelines para oferecer suporte a aprimoramentos e upgrades na plataforma. Você pode usar o campo channel nas definições de Lakeflow Spark Declarative Pipelines para controlar a versão do runtime de Lakeflow Spark Declarative Pipelines que executa o pipeline. Os valores suportados são:

  • current para usar a versão atual do tempo de execução.
  • preview para testar o seu pipeline com alterações futuras na versão de runtime.

Por predefinição, os seus pipelines são executados usando a versão de tempo de execução current. O Databricks recomenda o uso do tempo de execução current para cargas de trabalho de produção. Para saber como usar a configuração preview para testar seus pipelines com a próxima versão de tempo de execução, consulte Automatizar o teste de seus pipelines com a próxima versão de tempo de execução.

Important

Os recursos marcados como geralmente disponíveis ou Visualização Pública estão disponíveis no canal current.

Para obter mais informações sobre os canais dos pipelines declarativos do Lakeflow Spark, consulte o campo channel nas configurações do pipeline.

Para entender como o Lakeflow Spark Declarative Pipelines gerencia o processo de atualização para cada versão, consulte Como funcionam as atualizações do Lakeflow Spark Declarative Pipelines?.

Como posso encontrar a versão do Databricks Runtime para uma atualização de pipeline?

Você pode consultar o log de eventos do Lakeflow Spark Declarative Pipelines para localizar a versão do Databricks Runtime para uma atualização do pipeline. Consulte informações sobre o tempo de execução.

Notas de versão do Lakeflow Spark Declarative Pipelines

As notas de lançamento do Lakeflow Spark Declarative Pipelines são organizadas por ano e semana do ano. Como o Lakeflow Spark Declarative Pipelines não tem versão, as alterações no espaço de trabalho e no tempo de execução ocorrem automaticamente. As seguintes notas de versão fornecem uma visão geral das alterações e correções de bugs em cada versão:

Como funcionam as atualizações do Lakeflow Spark Declarative Pipelines?

O Lakeflow Spark Declarative Pipelines é considerado um produto sem versão , o que significa que o Databricks atualiza automaticamente o tempo de execução do Lakeflow Spark Declarative Pipelines para oferecer suporte a aprimoramentos e upgrades para a plataforma. O Databricks recomenda limitar as dependências externas para Lakeflow Spark Declarative Pipelines.

O Databricks trabalha proativamente para evitar que atualizações automáticas introduzam erros ou problemas nos pipelines declarativos Lakeflow Spark de produção. Consulte processo de atualização do Lakeflow Spark Declarative Pipelines.

Especialmente para utilizadores que implementam pipelines declarativos Lakeflow Spark com dependências externas, a Databricks recomenda testar pipelines proativamente com canais preview. Consulte Automatizar o teste de seus pipelines com a próxima versão de tempo de execução.

Processo de atualização do Lakeflow Spark Declarative Pipelines

O Databricks gerencia o Databricks Runtime usado pelos recursos de computação do Lakeflow Spark Declarative Pipelines. O Lakeflow Spark Declarative Pipelines atualiza automaticamente o tempo de execução em seus espaços de trabalho do Azure Databricks e monitora a integridade de seus pipelines após a atualização.

Se o Lakeflow Spark Declarative Pipelines detetar que um pipeline não pode ser iniciado devido a uma atualização, a versão de tempo de execução do pipeline será revertida para a versão anterior que é conhecida por ser estável e as seguintes etapas serão acionadas automaticamente:

  • O tempo de execução dos pipelines declarativos Lakeflow Spark está fixado na versão anterior considerada estável.
  • O suporte da Databricks é notificado do problema.
    • Se o problema estiver relacionado a uma regressão no tempo de execução, o Databricks resolverá o problema.
    • Se o problema for causado por uma biblioteca personalizada ou pacote usado pelo pipeline, o Databricks entrará em contato com você para resolver o problema.
  • Quando o problema é resolvido, o Databricks inicia a atualização novamente.

Important

Lakeflow Spark Declarative Pipelines apenas reverte pipelines em execução no modo de produção com o canal definido como current.

Automatize os testes de seus pipelines com a próxima versão de tempo de execução

Para garantir que as alterações na próxima versão de tempo de execução do Lakeflow Spark Declarative Pipelines não afetem os seus pipelines, utilize o recurso de canais do Lakeflow Spark Declarative Pipelines:

  1. Crie um pipeline de implantação e defina o canal como preview.
  2. Na interface do usuário do Lakeflow Spark Declarative Pipelines, crie uma agenda para executar o pipeline semanalmente e habilite alertas para receber uma notificação por email para falhas no pipeline. Databricks recomenda o agendamento de execuções de teste semanais de pipelines, especialmente se utilizar dependências personalizadas de pipeline de .
  3. Se receber uma notificação de uma falha e não conseguir resolvê-la, abra um pedido de suporte à Databricks.

Dependências do fluxo de produção

Lakeflow Spark Declarative Pipelines suporta dependências externas em seus pipelines; por exemplo, você pode instalar qualquer pacote Python usando o %pip install comando. O Lakeflow Spark Declarative Pipelines também suporta o uso de scripts init globais e com escopo de cluster. No entanto, essas dependências externas, particularmente scripts de inicialização, aumentam o risco de problemas com atualizações de tempo de execução. Para reduzir esses riscos, minimize o uso de scripts init em seus pipelines. Se o seu processamento requer scripts de inicialização, automatize os testes dos seus pipelines para detetar problemas antecipadamente; consulte Automatize o teste dos seus pipelines com a próxima versão de runtime. Se você usar scripts init, o Databricks recomenda aumentar a frequência de teste.

  • Last updated on