Compartilhar via

Notas de versão do Lakeflow Spark Declarative Pipelines e o processo de atualização de versão

Este artigo explica o processo de versão do Lakeflow Spark Declarative Pipelines, como o runtime do Lakeflow Spark Declarative Pipelines é gerenciado e fornece links para notas de versão para cada versão do Lakeflow Spark Declarative Pipelines.

Canais de runtime do Lakeflow Spark Declarative Pipelines

Note

Para ver as versões do Databricks Runtime usadas com uma versão do Lakeflow Spark Declarative Pipelines, consulte as notas de versão para essa versão.

Os clusters do Lakeflow Spark Declarative Pipelines usam runtimes baseados em notas de lançamento do Databricks Runtime e compatibilidade. O Databricks atualiza automaticamente os runtimes do Lakeflow Spark Declarative Pipelines para dar suporte a aprimoramentos e atualizações para a plataforma. Você pode usar o channel campo nas configurações do Lakeflow Spark Declarative Pipelines para controlar a versão de runtime do Lakeflow Spark Declarative Pipelines que executa seu pipeline. Os valores com suporte são:

  • current para usar a versão atual do runtime.
  • preview para testar seu pipeline com as próximas alterações na versão do runtime.

Por padrão, seus pipelines são executados usando a versão current do runtime. A Databricks recomenda usar o runtime current para cargas de trabalho de produção. Para saber como usar a preview configuração para testar seus pipelines com a próxima versão de runtime, consulte Automatizar o teste de seus pipelines com a próxima versão de runtime.

Important

Os recursos marcados como disponíveis para o público em geral ou Versão preliminar pública estão disponíveis no canal current.

Para obter mais informações sobre os canais do Lakeflow Spark Declarative Pipelines, consulte o channel campo nas configurações de pipeline do Lakeflow Spark Declarative Pipelines.

Para entender como o Lakeflow Spark Declarative Pipelines gerencia o processo de atualização para cada versão, confira Como funcionam as atualizações do Lakeflow Spark Declarative Pipelines?.

Como posso encontrar a versão do Databricks Runtime para uma atualização de pipeline?

Você pode consultar o log de eventos do Lakeflow Spark Declarative Pipelines para encontrar a versão do Databricks Runtime para uma atualização do pipeline. Confira as informações do Runtime.

Notas de versão do Lakeflow Spark Declarative Pipelines

As notas de lançamento do Lakeflow Spark Declarative Pipelines são organizadas por ano e por semana do ano. Como o Lakeflow Spark Declarative Pipelines não tem versão, as alterações de workspace e de runtime ocorrem automaticamente. As notas sobre a versão a seguir fornecem uma visão geral das alterações e correções de bugs em cada versão:

Como funcionam as atualizações do Lakeflow Spark Declarative Pipelines?

O Lakeflow Spark Declarative Pipelines é considerado um produto sem versão , o que significa que o Databricks atualiza automaticamente o runtime do Lakeflow Spark Declarative Pipelines para dar suporte a aprimoramentos e atualizações para a plataforma. O Databricks recomenda limitar dependências externas para pipelines declarativos do Lakeflow Spark.

O Databricks funciona proativamente para impedir que atualizações automáticas introduzam erros ou problemas na produção de Pipelines Declarativos do Spark do Lakeflow. Consulte o processo de atualização do Lakeflow Spark Declarative Pipelines.

Especialmente para usuários que implementam pipelines declarativos do Lakeflow Spark com dependências externas, o Databricks recomenda realizar testes proativos das pipelines com os canais preview. Consulte Automatizar o teste dos seus pipelines com a próxima versão de runtime.

Processo de atualização do Lakeflow Spark Declarative Pipelines

O Databricks gerencia o Databricks Runtime usado pelos recursos de computação do Lakeflow Spark Declarative Pipelines. O Lakeflow Spark Declarative Pipelines atualiza automaticamente o runtime em seus workspaces do Azure Databricks e monitora a integridade dos pipelines após a atualização.

Se o Lakeflow Spark Declarative Pipelines detectar que um pipeline não pode ser iniciado devido a uma atualização, a versão de runtime do pipeline será revertida para a versão anterior conhecida como estável e as seguintes etapas serão disparadas automaticamente:

  • O runtime do Lakeflow Spark Declarative Pipelines do pipeline está fixado na versão anterior conhecida.
  • O suporte da Databricks é notificado sobre o problema.
    • Se o problema estiver relacionado a uma regressão no runtime, o Databricks resolverá o problema.
    • Se o problema for causado por uma biblioteca ou pacote personalizado usado pelo pipeline, o Databricks entrará em contato com você para resolver o problema.
  • Quando o problema é resolvido, o Databricks inicia a atualização novamente.

Important

O Lakeflow Spark Declarative Pipelines só reverte pipelines em execução no modo de produção com o canal definido como current.

Automatizar o teste dos seus pipelines com a próxima versão do runtime

Para garantir que as alterações na próxima versão de runtime do Lakeflow Spark Declarative Pipelines não afetem seus pipelines, use o recurso de canais do Lakeflow Spark Declarative Pipelines:

  1. Crie um pipeline de preparo e defina o canal como preview.
  2. Na interface de usuário do Lakeflow Spark Declarative Pipelines, crie um agendamento para executar o pipeline semanalmente e habilite alertas para receber uma notificação por e-mail em caso de falhas no pipeline. A Databricks recomenda o agendamento de execuções de teste semanais de pipelines, especialmente se você usar dependências de pipeline personalizadas.
  3. Se você receber uma notificação de uma falha e não conseguir resolvê-la, abra um tíquete de suporte na Databricks.

Dependências do pipeline

O Lakeflow Spark Declarative Pipelines dá suporte a dependências externas em seus pipelines; por exemplo, você pode instalar qualquer pacote do Python usando o %pip install comando. O Lakeflow Spark Declarative Pipelines também dá suporte ao uso de scripts de inicialização globais e com escopo de cluster. No entanto, essas dependências externas, principalmente os scripts de inicialização, aumentam o risco de problemas com atualizações de runtime. Para mitigar esses riscos, minimize o uso de scripts de inicialização em seus pipelines. Se o processamento exigir scripts de inicialização, automatize o teste do pipeline para detectar problemas antecipadamente; consulte Automatizar o teste de seus pipelines com a próxima versão de runtime. Se você usa scripts de inicialização, a Databricks recomenda aumentar sua frequência de teste.

  • Last updated on