Partilhar via


Dataflow Gen2 com integração CI/CD e Git

O Dataflow Gen2 suporta integração contínua/implantação contínua (CI/CD) e integração Git. Você pode criar, editar e gerenciar fluxos de dados em um repositório Git conectado ao seu espaço de trabalho do Fabric. Utilize pipelines de implementação para automatizar a transferência de fluxos de dados entre diferentes áreas de trabalho. Este artigo explica como usar esses recursos no Fabric Data Factory.

Caraterísticas

O Dataflow Gen2 com integração CI/CD e Git oferece uma gama de recursos para simplificar seu fluxo de trabalho. Veja o que você pode fazer com esses recursos:

  • Integre o Git ao Dataflow Gen2.
  • Automatizar a implantação do fluxo de dados entre espaços de trabalho usando linhas de implantação.
  • Atualize e edite as configurações do Dataflow Gen2 com as ferramentas Fabric.
  • Crie Dataflow Gen2 diretamente em uma pasta de espaço de trabalho.
  • Use APIs públicas (visualização) para gerenciar o Dataflow Gen2 com integração CI/CD e Git.

Pré-requisitos

Antes de começar, certifique-se de que:

Crie um Dataflow Gen2 com integração CI/CD e Git

Criar um Dataflow Gen2 com integração CI/CD e Git permite que você gerencie seus fluxos de dados de forma eficiente dentro de um repositório Git conectado. Siga estes passos para começar:

  1. No espaço de trabalho Malha, selecione Criar novo item e, em seguida, selecione Dataflow Gen2.

    Captura de tela da janela Novo item com o item Dataflow Gen2 enfatizado.

  2. Nomeie seu fluxo de dados, habilite a integração com o Git e selecione Criar.

    Captura de tela da janela New Dataflow Gen2 com o nome do fluxo de dados definido e a integração com o Git enfatizada e selecionada.

    O fluxo de dados é aberto na tela de criação, onde você pode começar a criar seu fluxo de dados.

  3. Quando terminar, selecione Salvar e executar.

  4. Após a publicação, o fluxo de dados mostra um status "não confirmado".

    Captura de ecrã do Dataflow Gen2 guardado com o estado mostrado como não submetido.

  5. Para confirmar o fluxo de dados no Git, selecione o ícone de controle do código-fonte no canto superior direito.

    Captura de tela do botão Controle do código-fonte.

  6. Selecione as alterações a serem confirmadas e, em seguida, selecione Confirmar.

    Captura de tela da janela Controle do código-fonte com o fluxo de dados selecionado e o botão Confirmar enfatizado.

Seu Dataflow Gen2 com integração CI/CD e Git está pronto. Para obter as práticas recomendadas, consulte o tutorial Cenário 2 - Desenvolver usando outro espaço de trabalho .

Atualizar um Dataflow Gen2

Atualizar Dataflow Gen2 garante que os dados estejam atualizados. Você pode atualizar manualmente ou configurar uma agenda para automatizar o processo.

Atualizar agora

  1. No espaço de trabalho Fabric, selecione o botão de reticências ao lado do fluxo de dados.

  2. Selecione Atualizar agora.

    Captura de ecrã do menu suspenso de opções adicionais com a opção Atualizar agora destacada.

Agendar uma atualização

  1. No espaço de trabalho Fabric, selecione o botão de reticências ao lado do fluxo de dados.

  2. Selecione Agendar.

    Captura do menu dropdown de mais opções com a opção Agendar enfatizada.

  3. Na página de agendamento, defina a frequência de atualização, a hora de início e a hora de término. Aplicar alterações.

    Captura de tela da tela de configurações do fluxo de dados com a guia Agenda selecionada e o botão Atualizar enfatizado.

  4. Para atualizar imediatamente, selecione Atualizar.

Ver histórico de atualizações e definições

Compreender o histórico de atualizações e gerenciar configurações ajuda você a monitorar e controlar seu Dataflow Gen2. Veja como você pode acessar essas opções.

Para visualizar o histórico de atualizações, selecione a guia "executadas recentemente" no menu suspenso ou vá para o hub do monitor e selecione o fluxo de dados.

Aceda às definições do fluxo de dados clicando nas reticências ao lado do fluxo de dados e escolhendo Configurações.

Salvar substitui publicar

A operação de salvamento no Dataflow Gen2 com integração CI/CD e Git publica automaticamente as alterações, simplificando o fluxo de trabalho.

Salvar um Dataflow Gen2 publica automaticamente as alterações. Se quiser descartar as alterações, selecione Descartar alterações ao fechar o editor.

Validação

Ao salvar, o sistema verifica se o fluxo de dados é válido. Caso contrário, aparece um erro na vista da área de trabalho. A validação executa uma avaliação de "linha zero", que verifica esquemas de consulta sem retornar linhas. Se o esquema de uma consulta não puder ser determinado em 10 minutos, a avaliação falhará. Se a validação falhar, o sistema usará a última versão salva para atualizações.

Publicação just-in-time

A publicação just-in-time garante que suas alterações estejam disponíveis quando necessário. Esta seção explica como o sistema lida com a publicação durante atualizações e outras operações.

O Dataflow Gen2 usa um modelo de publicação automatizado "just-in-time". Quando você salva um fluxo de dados, as alterações ficam imediatamente disponíveis para a próxima atualização ou execução. Sincronizar alterações do Git ou usar pipelines de implantação salva o fluxo de dados atualizado em seu espaço de trabalho. A próxima atualização tenta publicar a versão salva mais recente. Se a publicação falhar, o erro aparecerá no histórico de atualizações.

Quando atualiza um fluxo de dados, existe uma opção (Run On Demand Execute na API REST de Tarefas em Segundo Plano) que controla se a publicação é realizada. O padrão desta opção para ApplyChangesIfNeeded é verdadeiro, o que desencadeia uma publicação apenas se a fonte tiver mudado desde a última publicação. Isto aborda cenários em que os utilizadores precisavam de ativar manualmente uma publicação ao fazer alterações via CI/CD ou API.

Em alguns casos, o back-end republica automaticamente os fluxos de dados durante as atualizações para garantir a compatibilidade com as atualizações.

Anteriormente, se a publicação falhasse, a atualização é executada usando a última versão publicada com sucesso do fluxo de dados. Com a publicação just-in-time, a atualização falhará se:

  • O fluxo de dados foi guardado pela última vez após 1 de fevereiro de 2026, e
  • A publicação falha (mesmo que tenha havido uma publicação bem-sucedida no passado).

Isto previne cenários em que os clientes, sem saberem, executam versões desatualizadas de um fluxo de dados. Garante que o que é mostrado no editor corresponde ao que é executado.

As APIs também estão disponíveis para atualizar um fluxo de dados sem publicação ou para acionar manualmente a publicação.

Limitações e problemas conhecidos

Embora o Dataflow Gen2 com integração CI/CD e Git seja poderoso, há algumas limitações e problemas conhecidos a serem observados. Aqui está o que você precisa saber.

  • Quando você exclui o último Dataflow Gen2 com suporte a CI/CD e Git, os itens de preparo ficam visíveis no espaço de trabalho e são seguros para serem excluídos pelo usuário.
  • A vista de espaço de trabalho não mostra o seguinte: indicação de atualização contínua, atualização mais recente, próxima atualização, e indicação de falha de atualização.
  • Quando o seu fluxo de dados não é atualizado, não suportamos o envio automático de uma notificação de falha. Como solução alternativa, pode-se aproveitar os recursos de orquestração de pipelines.
  • Ao expandir para outro espaço de trabalho, uma atualização do Dataflow Gen2 pode falhar com a mensagem de que o lakehouse de preparação não pôde ser encontrado. Quando isso acontecer, crie um novo “Dataflow Gen2” com suporte para CI/CD e Git no espaço de trabalho para dar início à criação do lago de preparação. Depois disso, todos os outros fluxos de dados no espaço de trabalho devem começar a funcionar novamente.
  • Ao sincronizares alterações do GIT no espaço de trabalho ou usares pipelines de implantação, precisas abrir o dataflow novo ou atualizado e guardar manualmente as alterações utilizando o editor. Isso dispara uma ação de publicação em segundo plano para permitir que as alterações sejam usadas durante a atualização do seu fluxo de dados. Você também pode usar a chamada da API do trabalho de publicação sob demanda do Dataflow para automatizar a operação de publicação.
  • O conector Power Automate para fluxos de dados não está funcionando com o novo Dataflow Gen2 com suporte a CI/CD e Git.