Compartilhar via

Planejamento de migração do Azure Data Factory para o Fabric Data Factory

O Microsoft Fabric reúne as ferramentas de análise da Microsoft em uma única plataforma SaaS. Ele oferece recursos fortes para orquestração de fluxo de trabalho, movimentação de dados, replicação e transformação em escala. O Fabric Data Factory fornece um ambiente SaaS que se baseia no PaaS do Azure Data Factory (ADF) por meio de melhorias de facilidade de uso e funcionalidade extra, tornando o Fabric Data Factory a modernização perfeita de suas soluções de integração de dados existentes.

Este guia mostra estratégias de migração, considerações e abordagens para ajudá-lo a migrar do Azure Data Factory para o Fabric Data Factory.

Por que migrar?

A migração dos pipelines do ADF e do Synapse para o Fabric Data Factory é mais do que um lift-and-shift: é uma oportunidade para simplificar a governança, padronizar padrões e usar os recursos avançados do Fabric Data Factory para melhorar sua estratégia de integração de dados.

O Fabric oferece muitos novos recursos, incluindo:

Para obter uma comparação detalhada, consulte o guia de comparação do Azure Data Factory e do Fabric Data Factory.

Considerações antes de migrar

A migração do ADF (Azure Data Factory) para o Fabric Data Factory envolve várias considerações importantes. Veja o que ter em mente:

  • Pipelines complexos e conectores personalizados: eles podem exigir ajustes manuais para funcionar no novo ambiente.
  • Runtimes de integração: os runtimes herdados podem precisar de refatoração para se alinharem à arquitetura do Fabric.
  • Diferenças de fluxo de dados: os fluxos de dados de mapeamento do ADF usam transformações baseadas em Spark, enquanto o Fabric Dataflow Gen2 opera de forma diferente e pode precisar de retrabalho.
  • Segurança e rede: examine a identidade gerenciada, os pontos de extremidade privados e as configurações de gateway. Teste novamente essas configurações e atualize as permissões conforme necessário.
  • Teste e validação: verifique se os pipelines migrados produzem saídas precisas, atendam aos SLAs e estejam em conformidade com os requisitos. Use cintos de teste robustos para comparações objetivas.

Para enfrentar esses desafios, siga estas práticas recomendadas:

  1. Realize um inventário completo de ativos. Identificar duplicatas, itens não utilizados e dependências.
  2. Use a ferramenta de avaliação de migração e examine a paridade do conector e a paridade de atividades para identificar e mapear lacunas de recursos antecipadamente.
  3. Considere o uso de scripts automatizados e ferramentas de parceiro para migração em massa.
  4. Mantenha a documentação detalhada e os planos de reversão.
  5. Envolva as partes interessadas durante todo o processo.
  6. Execute migrações incrementais para minimizar o risco.
  7. Use scripts de validação alimentados por IA para acelerar a resolução de problemas.

Caminhos de migração

Os caminhos de migração dependem dos ativos do ADF e da equivalência de funcionalidades. As opções incluem:

Itens do Azure Data Factory no workspace do Fabric

A adição de um ADF existente ao workspace do Fabric oferece visibilidade e governança imediatas enquanto você migra incrementalmente. É ideal para descoberta, atribuição de propriedade e testes comparativos, pois as equipes podem ver pipelines, organizá-los em espaços de trabalho do Fabric e planejar transições por domínio. Use os itens do Azure Data Factory para catalogar o que existe, priorizar os pipelines de maior valor/menor risco primeiro e estabelecer convenções (nomenclatura, pastas, reutilização de conexão) que seus scripts de conversão e ferramentas de parceiro podem seguir consistentemente.

A montagem no Fabric é realizada por meio do tipo de item do Azure Data Factory: Integre o Azure Data Factory ao Fabric.

Usar a ferramenta de atualização do PowerShell

A Microsoft oferece um utilitário de migração do ADF para o Fabric no módulo do Azure PowerShell. Ao usar o módulo, você pode converter um grande subconjunto de JSON do ADF (pipelines, atividades, parâmetros) em definições nativas do Fabric, fornecendo um ponto de partida rápido. Espere uma cobertura forte para padrões de Cópia/Pesquisa/Procedimento Armazenado e fluxo de controle, com acompanhamento manual para casos extremos (conectores personalizados, expressões complexas, certas construções de fluxo de dados). Trate a saída do script como um scaffold: execute-a em lotes, imponha verificações de estilo de código/lint, anexe conexões e corrija quaisquer incompatibilidades de propriedade. Crie isso em uma execução de CI repetível para que você possa iterar conforme aprende, em vez de editar manualmente cada pipeline.

Para obter um guia completo, consulte a migração do PowerShell. Para obter um tutorial detalhado com exemplos, consulte o tutorial de migração do PowerShell.

Migração manual

A migração manual é necessária para pipelines complexos com baixa paridade, mas também é uma chance de modernizar sua arquitetura e adotar os recursos integrados do Fabric. Esse caminho requer um planejamento e desenvolvimento mais antecipados, mas pode gerar benefícios de longo prazo em manutenção, desempenho e custo.

Para migrar efetivamente, considere estas etapas:

  1. Avaliar e inventariar: cataloge todos os ativos do ADF, incluindo pipelines, conjuntos de dados, serviços vinculados e runtimes de integração. Identificar dependências e padrões de uso.
  2. Identificar itens duplicados e não utilizados: limpe itens não utilizados ou redundantes no ADF para simplificar a migração e seu ambiente de integração de dados.
  3. Identificar lacunas: Use a ferramenta de avaliação de migração e examine a paridade do conector e a paridade de atividade para identificar as lacunas entre os pipelines do ADF e os pipelines do Fabric e planejar alternativas.
  4. Examine os novos recursos: use nosso guia de decisão de movimentação de dados e o guia de decisão de integração de dados para decidir quais ferramentas do Fabric funcionarão melhor para suas necessidades.
  5. Plano: Revise as práticas recomendadas de migração para considerar cada um dos seus itens e diretrizes para tirar o máximo proveito dos recursos aprimorados do Fabric.
  6. Transição do ADF: considere adicionar um item do Azure Data Factory no Microsoft Fabric como uma primeira etapa na migração, permitindo a transição gradual em uma única plataforma.
  7. Priorizar: classifique seus pipelines com base no impacto nos negócios, na complexidade e na facilidade de migração.
  8. Automatize onde puder: para todos os pipelines de baixa complexidade, considere usar a ferramenta de atualização do PowerShell para automatizar alguma migração.
  9. Considere ferramentas: use estas ferramentas para facilitar a recreação:
  10. Migração manual: para cenários sem suporte por outros métodos de migração, recompile-os no Fabric:
    1. Recriar conexões: configurar conexões no Fabric para substituir serviços vinculados no ADF
    2. Recriar atividades: configure suas atividades em seus pipelines, substituindo atividades não suportadas por alternativas do Fabric ou utilizando a atividade de invocação de pipeline
    3. Agendar e definir gatilhos: Reconstruir agendas e gatilhos de evento no Fabric para alinhar com os agendamentos do ADF
  11. Teste minuciosamente: valide os pipelines migrados em relação às saídas esperadas, aos parâmetros de comparação de desempenho e aos requisitos de conformidade.

Cenários de migração de exemplo

A mudança do ADF para o Fabric pode envolver estratégias diferentes dependendo do seu caso de uso. Esta seção descreve caminhos e considerações comuns de migração para ajudá-lo a planejar com eficiência.

Cenário 1: pipelines e fluxos de dados do ADF

Modernize seu ambiente ETL movendo pipelines e fluxos de dados para o Fabric. Planeje estes elementos:

  • Recriar serviços vinculados como conexões
  • Definir propriedades do conjunto de dados em linha nas atividades de pipeline
  • Substituir SHIRs (runtimes de integração auto-hospedada) por OPDGs (gateways de dados locais) e IRs de VNet por Gateways de Dados de Rede Virtual
  • Recompile atividades do ADF sem suporte usando alternativas do Fabric ou a atividade de pipeline Invoke. Atividades sem suporte incluem:
    • Data Lake Analytics (U-SQL), um serviço do Azure preterido
    • Atividade de validação, que pode ser recriada usando as atividades Get Metadata, loops de pipeline e If activities
    • Power Query, que é totalmente integrado ao Fabric como fluxos de dados em que o código M pode ser reutilizado
    • As atividades de Notebook, Jar e Python podem ser substituídas pela atividade do Databricks no Fabric
    • As atividades de Hive, Pig, MapReduce, Spark e Streaming podem ser substituídas pela atividade HDInsight no Fabric

Por exemplo, aqui está a página de configuração do conjunto de dados do ADF, com seu caminho de arquivo e configurações de compactação:

Captura de tela da página de configuração do conjunto de dados do ADF.

E aqui está uma atividade de cópia para o Data Factory no Fabric, em que a compactação e o caminho do arquivo estão embutidos na atividade:

Captura de tela da configuração de compactação da atividade Cópia do Fabric.

Cenário 2: ADF com CDC, SSIS e Fluxo de Ar

Recrie o CDC como copiar itens de trabalho . Para o Airflow, copie seus DAGs para a oferta de Fluxo de Ar apache do Fabric. Execute pacotes SSIS usando pipelines do ADF e chame-os do Fabric.

Cenário 3: migração do PowerShell

Utilize o módulo Microsoft.FabricPipelineUpgrade do PowerShell para migrar seus pipelines do Azure Data Factory para o Fabric. Essa abordagem funciona bem para automatizar a migração de pipelines, atividades e parâmetros em larga escala. O módulo do PowerShell converte um grande subconjunto de JSON do ADF em definições nativas do Fabric, fornecendo um ponto de partida rápido para a migração.

Para obter diretrizes detalhadas, consulte o tutorial de migração do PowerShell.

Cenário 4: Itens do ADF em um workspace do Fabric

Você pode adicionar uma fábrica inteira do ADF em um espaço de trabalho do Fabric como um item nativo. Isso permite que você gerencie fábricas do ADF junto com artefatos do Fabric na mesma interface. A interface do usuário do ADF permanece totalmente acessível, permitindo que você monitore, gerencie e edite seus itens de fábrica do ADF diretamente do workspace do Fabric. No entanto, a execução de pipelines, atividades e runtimes de integração ainda ocorre em seus recursos do Azure.

Esse recurso é útil para as organizações que fazem a transição para o Fabric, pois fornece uma exibição unificada dos recursos do ADF e do Fabric, simplificando o gerenciamento e o planejamento da migração.

Para obter mais informações, consulte Bring your Azure Data Factory into Fabric.

Conteúdo relacionado

  • Last updated on