Arquiteturas de solução de CI/CD e ALM para o Dataflow Gen2

O Microsoft Fabric fornece ferramentas para CI/CD (Integração Contínua/Implantação Contínua) e ALM (Gerenciamento do Ciclo de Vida do Aplicativo). Essas ferramentas ajudam as equipes a criar, testar e implantar soluções de dados com consistência e governança.

O Dataflow Gen2 com suporte a CI/CD integra fluxos de dados em pipelines de implantação do Fabric. Essa integração automatiza estágios de build, teste e implantação. Ele fornece entrega consistente e controlada por versão de fluxos de dados e melhora a confiabilidade inserindo o Dataflow Gen2 na orquestração de pipeline do Fabric.

Este artigo fornece diretrizes sobre arquiteturas de solução para seu fluxo de dados e itens relacionados do Fabric com CI/CD e ALM em mente. Você pode usar essas diretrizes para criar uma solução que atenda às suas necessidades. Este artigo se concentra em duas metas específicas:

• Consistência: mantenha o script de mashup do Dataflow inalterado durante todo o ciclo de vida do aplicativo (ou estágios de implantação em um pipeline de implantação).
• Configuração específica do estágio: use referências dinâmicas para fontes de dados e destinos que se adaptam a cada estágio (Desenvolvimento, Teste, Prod).

Arquiteturas de solução

Uma boa arquitetura de solução funciona para seu Dataflow Gen2 e se estende por meio de sua solução geral do Fabric.

A tabela a seguir aborda as arquiteturas de solução disponíveis ao usar um Dataflow Gen2:

Tipo	Description	Diagramar	Tutorial
Gen2 de fluxo de dados parametrizado	Usando o modo de parâmetros públicos, você pode parametrizar componentes de fluxo de dados, como lógica, fontes ou destinos, e passar valores de runtime para adaptar dinamicamente o fluxo de dados com base no estágio do pipeline.		Link para Tutorial
Referências de variável em um Fluxo de Dados Gen2	Usando a integração das bibliotecas de variáveis com o Dataflow Gen2, você pode referenciar variáveis em todo o fluxo de dados. Essas variáveis são avaliadas em runtime com base nos valores armazenados na biblioteca, habilitando o comportamento dinâmico alinhado com o estágio do pipeline.		Link para Tutorial

A principal diferença entre essas duas abordagens é como elas passam valores em runtime. Um fluxo de dados parametrizado requer um processo por meio da API REST ou da atividade de fluxo de dados de pipeline do Fabric para passar valores. A integração das bibliotecas de variáveis com o Dataflow Gen2 requer uma biblioteca de variáveis no nível do workspace e as variáveis corretas referenciadas dentro do fluxo de dados.

Ambas as opções são válidas e cada uma tem suas próprias considerações e limitações. Recomendamos avaliar como o fluxo de trabalho funciona e como ele se encaixa em sua solução geral do Fabric.

Considerações gerais

Aqui estão as coisas a serem consideradas ao escolher uma arquitetura de solução com CI/CD e ALM em mente:

• Referências padrão: o Dataflow Gen2 cria referências absolutas a itens do Fabric (por exemplo, Lakehouses, Warehouses) por padrão. Examine o fluxo de dados para identificar quais referências devem permanecer fixas e quais devem ser adaptadas dinamicamente entre ambientes.
• Comportamento de conexão: o Dataflow Gen2 não dá suporte à reconfiguração dinâmica de conexões de fonte de dados. Se o fluxo de dados se conectar a fontes como bancos de dados SQL usando parâmetros (por exemplo, nome do servidor, nome do banco de dados), essas conexões serão associadas estaticamente e não poderão ser alteradas usando variáveis de workspace ou parametrização.
• Escopo de integração do Git: recomendamos que apenas o primeiro estágio (normalmente Dev) precise da integração do Git habilitada. Depois que o script de mashup for criado e confirmado, os estágios subsequentes poderão usar pipelines de implantação sem o Git.
• Use pipelines do Fabric para orquestrar: uma atividade de Dataflow em pipelines pode ajudá-lo a orquestrar a execução do Dataflow e passar parâmetros usando uma interface de usuário intuitiva. Você também pode usar a integração da biblioteca de variáveis com pipelines para recuperar os valores das variáveis e passar esses valores para os parâmetros de fluxo de dados em runtime.
• Compatibilidade de regras de implantação: atualmente, as regras de implantação podem modificar determinadas propriedades de item, mas não dão suporte à alteração de conexões de fluxo de dados ou à lógica de mashup. Planeje sua arquitetura adequadamente.
• Teste em estágios: sempre valide o comportamento do fluxo de dados em cada estágio após a implantação. Diferenças em fontes de dados, permissões ou valores variáveis podem levar a resultados inesperados.