Executar uma atualização de pipeline

Este artigo explica as atualizações de pipeline e fornece detalhes sobre como iniciar uma atualização.

O que é uma atualização de pipeline?

Depois de criar um pipeline e estiver pronto para executá-lo, inicie uma atualização. Uma atualização de pipeline faz o seguinte:

• Inicia um cluster com a configuração correta.
• Descobre todas as tabelas e exibições definidas e verifica se há erros de análise, como nomes de coluna não válidos, dependências ausentes e erros de sintaxe.
• Cria ou atualiza tabelas e exibições com os dados mais recentes disponíveis.

Usando uma execução seca, você pode verificar se há problemas no código-fonte de um pipeline sem esperar que as tabelas sejam criadas ou atualizadas. Esse recurso é útil ao desenvolver ou testar pipelines, pois permite que você localize e corrija rapidamente erros em seu pipeline, como nomes de tabelas ou colunas incorretos.

Como as atualizações de pipeline são disparadas?

Utilize uma das seguintes opções para iniciar as atualizações do pipeline:

Disparar manualmente uma atualização de pipeline

Use uma das seguintes opções para disparar manualmente uma atualização de pipeline:

• Execute o pipeline completo ou um subconjunto do pipeline (um único arquivo de origem ou uma única tabela) no Editor do Lakeflow Pipelines. Para obter mais informações, consulte Executar o código do pipeline.
• Execute o pipeline completo na lista Trabalhos &Pipelines . Clique no na mesma linha do pipeline da lista.
• Na página de monitoramento de pipeline, clique no botão .

Semântica de atualização do pipeline

A tabela a seguir descreve o comportamento padrão de atualização, atualização completa e redefinição de pontos de verificação para exibições materializadas e tabelas de streaming:

Por padrão, todas as exibições materializadas e tabelas de streaming em um pipeline são atualizadas com cada atualização. Opcionalmente, você pode omitir tabelas de atualizações usando os seguintes recursos:

• Selecione tabelas para atualização: use essa interface do usuário para adicionar ou remover exibições materializadas e tabelas de streaming antes de executar uma atualização. Consulte Iniciar uma atualização do pipeline nas tabelas selecionadas.
• Atualizar tabelas com falha: Inicie uma atualização para visões materializadas e tabelas de streaming com falha, incluindo suas dependências subsequentes. Consulte Iniciar uma atualização do pipeline nas tabelas com falha.

Ambos os recursos dão suporte à semântica de atualização padrão ou à atualização completa. Opcionalmente, você pode usar a caixa de diálogo Selecionar tabelas para atualização para excluir tabelas adicionais ao executar uma atualização para tabelas com falha.

Para tabelas de streaming, você pode optar por limpar os pontos de verificação de streaming para fluxos selecionados e não os dados das tabelas de streaming associadas. Para limpar os pontos de verificação para fluxos selecionados, use a API REST do Databricks para iniciar uma atualização. Consulte Iniciar uma atualização de pipeline para limpar os pontos de verificação dos fluxos de streaming seletivos.

Devo usar uma atualização completa?

O Databricks recomenda executar atualizações completas somente quando necessário. Uma atualização completa sempre reprocessa todos os registros das fontes de dados especificadas por meio da lógica que define o conjunto de dados. O tempo e os recursos para concluir uma atualização completa estão correlacionados ao tamanho dos dados de origem.

As exibições materializadas retornam os mesmos resultados se a atualização padrão ou completa for usada. O uso de uma atualização completa com tabelas de streaming redefine todas as informações de processamento de estado e ponto de verificação e pode resultar em registros descartados se os dados de entrada não estiverem mais disponíveis.

O Databricks só recomenda a atualização completa quando as fontes de dados de entrada contêm os dados necessários para recriar o estado desejado da tabela ou exibição. Considere os seguintes cenários em que os dados da fonte de entrada não estão mais disponíveis e o resultado da execução de uma atualização completa:

Para impedir que atualizações completas sejam executadas em uma tabela ou exibição, defina a propriedade pipelines.reset.allowed da tabela como false. Consulte Propriedades da Tabela Pipeline. Você também pode usar um fluxo de acréscimo para acrescentar dados a uma tabela de streaming existente sem a necessidade de uma atualização completa.

Iniciar uma atualização de pipeline nas tabelas selecionadas

Opcionalmente, você pode reprocessar dados apenas para tabelas selecionadas em seu pipeline. Por exemplo, durante o desenvolvimento, você só altera uma única tabela e deseja reduzir o tempo de teste ou uma atualização de pipeline falha e deseja atualizar apenas as tabelas com falha.

O Editor do Lakeflow Pipelines tem opções para reprocessar um arquivo de origem, tabelas selecionadas ou uma única tabela. Para obter detalhes, consulte Executar o código do pipeline.

Iniciar uma atualização de pipeline nas tabelas com falha

Se uma atualização de pipeline falhar devido aos erros em uma ou mais tabelas no grafo de pipeline, você poderá iniciar uma atualização apenas de tabelas com falha e quaisquer dependências downstream.

Para atualizar tabelas com falha, na página de monitoramento de pipeline, clique em Atualizar tabelas com falha.

Para atualizar apenas as tabelas com falha selecionadas na página de monitoramento do pipeline:

1. Clique ao lado do botão Atualizar tabelas com falha e clique em Selecionar tabelas para atualização. A caixa de diálogo Selecionar tabelas para atualização é exibida.

2. Para selecionar as tabelas a serem atualizadas, clique em cada tabela. As tabelas selecionadas são realçadas e rotuladas. Para remover uma tabela da atualização, clique na tabela novamente.

3. Clique em Atualizar seleção.

   Observação

   O botão Atualizar seleção exibe o número de tabelas selecionadas entre parênteses.

Para reprocessar dados já ingeridos para as tabelas selecionadas, clique em ao lado do botão Atualizar seleção e clique na seleção De Atualização Completa.

Iniciar uma atualização de pipeline para limpar os pontos de verificação dos fluxos de streaming seletivos

Opcionalmente, você pode reprocessar dados para fluxos de streaming selecionados em seu pipeline sem limpar dados já ingeridos.

Para iniciar uma atualização para atualizar os pontos de verificação de streaming selecionados, use a solicitação de atualizações na API REST do Lakeflow Spark Declarative Pipelines. O exemplo a seguir usa o curl comando para chamar a solicitação updates para iniciar uma atualização de pipeline:

curl -X POST \
-H "Authorization: Bearer <your-token>" \
-H "Content-Type: application/json" \
-d '{
"reset_checkpoint_selection": [<streaming flow1>, <streaming flow 2>...]
}' \
https://<your-databricks-instance>/api/2.0/pipelines/<your-pipeline-id>/updates

Verificar se há erros em um pipeline sem esperar que as tabelas se atualizem

Para verificar se o código-fonte de um pipeline é válido sem executar uma atualização completa, use uma execução seca. Uma execução seca resolve as definições de conjuntos de dados e fluxos definidos no pipeline, mas não materializa nem publica nenhum conjunto de dados. Erros encontrados durante a execução seca, como nomes de tabela ou coluna incorretos, são relatados na interface do usuário.

Para iniciar uma execução seca, clique em na página de detalhes do pipeline ao lado de Iniciar e clique em Execução Seca.

Depois que a simulação for concluída, todos os erros serão exibidos na bandeja de eventos, no painel inferior. Clicar na bandeja de eventos exibirá todos os problemas encontrados no painel inferior. Além disso, o log de eventos mostra eventos relacionados apenas a testes a seco, e nenhuma métrica é exibida no DAG. Se forem encontrados erros, os detalhes estarão disponíveis no log de eventos.

Você pode ver os resultados apenas para a execução seca mais recente. Se a execução seca tiver sido a atualização de execução mais recente, você poderá ver os resultados selecionando-os no histórico de atualizações. Se outra atualização for executada após a execução seca, os resultados não estarão mais disponíveis na interface do usuário.

Modo de desenvolvimento

Os pipelines são iniciados a partir do Editor do Lakeflow Pipelines com o modo de desenvolvimento ativado. Os pipelines que são agendados, por padrão, executam com o modo de desenvolvimento desativado. Se você quiser testar como o pipeline será executado em produção, você poderá escolher interativamente se deseja usar o modo de desenvolvimento escolhendo Executar com configurações diferentes da lista suspensa no editor.

Quando você executa o pipeline no modo de desenvolvimento, o sistema Lakeflow Spark Declarative Pipelines faz o seguinte:

• Reutiliza o cluster para evitar a sobrecarga de reinicializações. Por padrão, os clusters são executados por duas horas quando o modo de desenvolvimento está habilitado. Você pode alterar isso com a pipelines.clusterShutdown.delay opção em Configurar computação clássica para pipelines.
• Desabilita as recuperações de pipeline para que você possa detectar e corrigir erros imediatamente.

Com o modo de desenvolvimento desativado, o sistema faz o seguinte:

• Reinicia o cluster para erros recuperáveis específicos, incluindo vazamentos de memória e credenciais obsoletas.
• Tenta a execução novamente no caso de erros específicos, como uma falha ao iniciar um cluster.