Partilhar via

Introdução ao Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

Bem-vindo ao Azure Data Factory! Este artigo ajuda-o a criar sua primeira fábrica de dados e pipeline dentro de cinco minutos.

O modelo do Azure Resource Manager (modelo ARM) neste artigo cria e configura tudo o que você precisa. Em seguida, podes ir à tua fábrica de dados de demonstração e acionar o Pipeline, que move alguns dados de exemplo de uma pasta do Azure Blob Storage para outra.

Pré-requisitos

Se não tiver uma subscrição do Azure, crie uma conta gratuita antes de começar.

Resumo do vídeo

O vídeo a seguir fornece um passo a passo do exemplo neste artigo:

Etapa 1: Use a demonstração para criar recursos

Neste cenário de demonstração, você usa a atividade de cópia em uma fábrica de dados para copiar um blob chamado moviesDB2.csv de uma pasta de entrada no Armazenamento de Blobs do Azure para uma pasta de saída. Em um cenário real, essa operação de cópia pode estar entre qualquer uma das muitas fontes de dados suportadas e coletores disponíveis no serviço. Também pode envolver transformações nos dados.

  1. Selecione o botão a seguir.

    Experimente a sua primeira demonstração de fábrica de dados

    Selecionar o botão cria os seguintes recursos do Azure:

    • Uma conta do Azure Data Factory
    • Um Data Factory que contém um pipeline com uma atividade de cópia
    • Uma conta de Armazenamento de Blobs do Azure com moviesDB2.csv carregada em uma pasta de entrada como fonte
    • Um serviço vinculado para conectar a Fábrica de Dados ao Armazenamento de Blobs

  2. Você é direcionado para a página de configuração para implantar o modelo. Nesta página:

    1. Em Grupo de recursos, selecione Criar novo para criar um grupo de recursos. Pode deixar todos os outros valores com as suas definições padrão.

    2. Selecione Rever + criar e, em seguida, selecione Criar para implementar os recursos.

    Captura de tela da página para implantar um modelo para a criação de recursos.

Nota

O usuário que implanta o modelo precisa atribuir uma função a uma identidade gerenciada. Esta etapa requer permissões que podem ser concedidas por meio da função Proprietário, Administrador de Acesso de Usuário ou Operador de Identidade Gerenciada.

Todos os recursos nesta demonstração são criados no novo grupo de recursos, para que você possa limpá-los facilmente mais tarde.

Etapa 2: Revisar os recursos implantados

  1. Na mensagem que mostra a conclusão bem-sucedida da implantação, selecione Ir para o grupo de recursos.

    Captura de ecrã da página do portal do Azure que mostra a implementação bem-sucedida do modelo de demonstração.

  2. O grupo de recursos inclui a nova fábrica de dados, a conta de Armazenamento de Blobs e a identidade gerida que a implantação criou. Selecione a fábrica de dados no grupo de recursos para visualizá-la.

    Captura de ecrã do conteúdo do grupo de recursos criado para a demonstração, com o data factory realçado.

  3. Selecione o botão Iniciar estúdio .

    Captura de ecrã do portal do Azure que mostra detalhes do data factory recém-criado, com o botão para abrir o Azure Data Factory Studio realçado.

  4. No Azure Data Factory Studio:

    1. Selecione a guia Autorguia Autor.
    2. Selecione o pipeline que o modelo criou.
    3. Verifique os dados de origem selecionando Abrir.

    Captura de ecrã do Azure Data Factory Studio que mostra o pipeline criado pelo modelo.

  5. No conjunto de dados de origem, selecione Procurar para visualizar o arquivo de entrada criado para a demonstração.

    Captura de ecrã do conjunto de dados de origem, com o botão Procurar realçado.

    Observe o arquivo moviesDB2.csv, que já foi carregado na pasta de entrada.

    Captura de tela do conteúdo da pasta de entrada, mostrando o arquivo de entrada usado na demonstração.

Etapa 3: acionar o pipeline de demonstração para executar

  1. Selecione Adicionar gatilho e, em seguida, selecione Gatilho agora.

    Captura de ecrã do botão para acionar a execução do pipeline de demonstração.

  2. No painel direito, em Execução de pipeline, selecione OK.

Monitorizar a tubagem

  1. Selecione o separador guia Monitor. Esta aba fornece uma visão geral das execuções do pipeline, incluindo a hora de início e o estado.

    Captura de ecrã da guia para monitoramento de execuções de pipeline num data factory.

  2. Neste início rápido, o pipeline tem apenas um tipo de atividade: Copiar dados. Selecione o nome do pipeline para exibir os detalhes dos resultados de execução da atividade de cópia.

    Captura de ecrã dos resultados de execução de uma atividade de cópia no separador de monitorização de uma fábrica de dados.

  3. Selecione o ícone Detalhes para exibir o processo de cópia detalhado. Nos resultados, os tamanhos de dados lidos e dados gravados são os mesmos, e um arquivo foi lido e gravado. Esta informação prova que todos os dados foram copiados com sucesso para o destino.

    Captura de ecrã dos resultados de execução detalhados de uma atividade de cópia.

Limpar recursos

Você pode limpar todos os recursos criados neste artigo de duas maneiras:

  • Você pode excluir todo o grupo de recursos do Azure, que inclui todos os recursos criados nele.

  • Se quiser manter alguns recursos intactos, vá para o grupo de recursos e exclua apenas os recursos específicos que deseja remover.

    Por exemplo, se você estiver usando esse modelo para criar uma fábrica de dados para uso em outro tutorial, poderá excluir os outros recursos, mas manter apenas a fábrica de dados.

Conteúdos relacionados

Neste artigo, você criou uma fábrica de dados que continha um pipeline com uma atividade de cópia. Para saber mais sobre o Azure Data Factory, continue no seguinte artigo e módulo de treinamento:

  • Last updated on