Compartilhar via

Criar um Link do Azure Synapse para Dataverse com o Azure Data Lake

Você pode usar o Link do Azure Synapse para conectar os dados do Microsoft Dataverse ao Azure Data Lake Storage Gen2 para habilitar cenários analíticos variados. Este artigo mostra como realizar as seguintes tarefas:

  1. Conecte os dados do Dataverse à conta do Azure Data Lake Storage Gen2 com o serviço Link do Azure Synapse.
  2. Gerencie tabelas do Dataverse incluídas no Link do Azure Synapse.
  3. Monitore o Link do Azure Synapse.
  4. Desvincule o Link do Azure Synapse.
  5. Revincule o Link do Azure Synapse.
  6. Visualize seus dados no Azure Data Lake e entenda a estrutura de arquivos.

Nota

O Link do Azure Synapse para Dataverse era conhecido como Exportar para o Data Lake. O serviço foi renomeado em maio de 2021 e continuará a exportar dados para o Azure Data Lake, bem como para o Azure Synapse Analytics.

Pré-requisitos

  • Azure Data Lake Storage Gen2: você deve ter uma conta do Azure Data Lake Storage Gen2 e o acesso de função Proprietário e Colaborador de dados do Storage Blob. Sua conta de armazenamento deve habilitar namespace hierárquico para a configuração inicial e a sincronização delta. Permitir acesso à chave da conta de armazenamento é obrigatório apenas para a configuração inicial. Sua conta de armazenamento deve ter Escopo permitido para operações de cópia definido como De qualquer conta de armazenamento.

Nota

  • A conta de armazenamento devem ser criada no mesmo locatário do Microsoft Entra que seu locatário do Power Apps.
  • Para definir Habilitado a partir de redes virtuais e endereços IP selecionados para uma conta de armazenamento vinculada a fim de conceder acesso com base em endereços IP selecionados, você deve criar um Link do Azure Synapse com identidades gerenciadas.Use identidades gerenciadas para Azure com o Azure Data Lake Storage (sem identidades gerenciadas configuradas, você deve habilitar o acesso à rede pública para recursos do Azure para configuração inicial e sincronização delta).
  • É altamente recomendável que você habilite o recurso de soft delete na conta de armazenamento selecionada para essa finalidade. A habilitação de uma exclusão temporária permite a você se recuperar mais rapidamente das exclusões de dados acidentais.
  • Você deve ter o direito de acesso Leitor ao grupo de recursos com a conta de armazenamento.
  • Para vincular o ambiente ao Azure Data Lake Storage Gen2, é necessário ter o direito de acesso de administrador do sistema do Dataverse.
  • Somente as tabelas que tenham o controle de alterações habilitado podem ser exportadas.
  • A criação de perfis do Link do Azure Synapse em um único ambiente do Dataverse é limitada a um máximo de 10.

Conectar seu Dataverse ao Azure Data Lake Storage Gen2

  1. Entre no Power Apps e selecione o ambiente preferido.

  2. No painel de navegação esquerdo, selecione Link do Azure Synapse. Se Link do Azure Synapse não estiver visível no painel lateral, selecione ...Mais e Descobrir tudo. Link do Azure Synapse está na seção Gerenciamento de Dados.

  3. Na barra de comandos, selecione + Novo link para o data lake.

  4. Selecione a Assinatura, o Grupo de recursos e a Conta de armazenamento. Verifique se a conta de armazenamento atende aos requisitos especificados na seção Pré-requisitos. Selecione Avançar.

    Observação

    Como parte da vinculação de um ambiente para um data lake, você concede ao serviço Link do Azure Synapse o acesso à sua conta de armazenamento. Verifique se você seguiu os pré-requisitos de criar e configurar a conta Azure Data Lake Storage e conceder a si mesmo uma função de proprietário na conta de armazenamento. Além disso, você concede ao serviço de fluxo de dados da Power Platform acesso à sua conta de armazenamento. Mais informações: Preparação de dados de autoatendimento com fluxos de dados.

  5. Escolha as tabelas que deseja exportar selecionando-as uma a uma ou inserindo uma lista separada por vírgulas de tabelas na caixa de pesquisa e selecione Salvar. Somente tabelas com a propriedade Controlar alterações podem ser exportadas. Mais informações: Opções avançadas para tabelas.

    Selecionar tabelas para exportação.

Você pode seguir as etapas neste artigo para criar um link de um ambiente para vários Azure Data Lakes em sua assinatura do Azure. Da mesma forma, você pode criar um link de vários ambientes para o mesmo Azure Data Lake, tudo no mesmo locatário.

Nota

O serviço Link do Azure Synapse para Dataverse está perfeitamente integrado ao Power Platform como um recurso pronto para uso. Ele atende aos padrões de segurança e governança definidos para o armazenamento de dados e governança do Power Platform. Mais informações: Armazenamento de dados e governança

Os dados exportados pelo serviço Link do Azure Synapse são criptografados em trânsito usando o protocolo Transport Layer Security (TLS) 1.2 ou superior e criptografados em repouso no Azure Data Lake Storage Gen2. Além disso, os dados transitórios no armazenamento de blobs também são criptografados em repouso. A criptografia no Azure Data Lake Storage Gen2 ajuda a proteger seus dados, implementar políticas de segurança corporativa e atender aos requisitos de conformidade regulamentar. Mais informações: Criptografia de dados em repouso do Azure

Gerenciar dados da tabela para o data lake

Depois de configurar o Link do Azure Synapse, você pode gerenciar as tabelas que são exportadas de duas maneiras:

  • No Power Apps Maker Portal, na área Link do Azure Synapse, selecione Gerenciar tabelas na barra de comandos para adicionar ou remover uma ou mais tabelas vinculadas.

  • Na área Tabelas do Power Apps Maker Portal, selecione ... ao lado de uma tabela e, em seguida, selecione o data lake vinculado para o qual você deseja exportar os dados da tabela.

    Selecionar uma tabela para exportação.

Depois de configurar o Link do Azure Synapse, você poderá monitorar o Link do Azure Synapse na guia Tabelas.

Monitoramento do Link do Azure Synapse

  • Haverá uma lista de tabelas que fazem parte do Link do Azure Synapse selecionado.
  • Há diferentes estágios pelos quais o status de sincronização circula. NotStarted indica que a tabela está esperando para ser sincronizada. Assim que a sincronização inicial da tabela for Concluída, haverá um estágio de pós-processamento em que as atualizações incrementais não ocorrerão. Isso pode levar algumas horas, dependendo do tamanho dos dados. Conforme as atualizações incrementais começam a ocorrer, a data da última sincronização será atualizada regularmente.
  • A coluna Contagem mostra o número de linhas gravadas. Quando Somente acrescentar estiver definido como Não, este será o número total de registros. Quando Somente acrescentar estiver definido como Sim, este será o número total de alterações.
  • As colunas Anexar somente e Estratégia de partição mostram o uso de diferentes configurações avançadas.

  1. Selecione o Link do Azure Synapse desejado a ser desvinculado.

  2. Selecione Desvincular data lake na barra de comandos.

  3. Para excluir o data lake e o sistema de arquivos, selecione Excluir sistema de arquivos do data lake.

  4. Selecione Sim e aguarde alguns minutos para que tudo seja desvinculado e excluído.

Se você excluiu o sistema de arquivos ao desvinculá-lo, siga as etapas acima para vincular novamente o mesmo data lake. Se não excluiu o sistema de arquivos ao desvincular, você deverá limpar os dados para revincular:

  1. Acesse o Azure Data Lake.

  2. Exclua o contêiner do Dataverse.

  3. Acesse o Power Apps e vincule novamente o data lake.

Exibir seus dados no Azure Data Lake Storage Gen2

  1. Selecione o Link do Azure Synapse desejado e, em seguida, selecione Acessar o Azure Data Lake no painel superior.

  2. Expanda Sistemas de Arquivos e, em seguida, selecione dataverse-environmentName-organizationUniqueName.

O arquivo model.json, junto com seu nome e versão, fornece uma lista de tabelas que foram exportadas para o data lake. O arquivo model.json também inclui o status inicial da sincronização e o horário de conclusão da sincronização.

Uma pasta que inclui arquivos delimitados por vírgulas (formato CSV) de instantâneo é exibida para cada tabela exportada para o data lake. Dados da tabela no data lake.

  1. Na barra de endereços do seu navegador da Web, acrescente ?athena.updateLake=true ao endereço Web que termina com exporttodatalake.

  2. Selecione um perfil existente na área Link do Azure Synapse e selecione a opção estendida.

  3. Selecione Link para Espaço de Trabalho do Azure Synapse Analytics e aguarde alguns minutos para que tudo seja vinculado.

Atualizações contínuas de instantâneos

Os dados do Microsoft Dataverse podem mudar continuamente por meio da criação, atualização e exclusão de transações. Os instantâneos fornecem uma cópia somente leitura dos dados que são atualizados em intervalos regulares, neste caso a cada hora. Isso garante que, a qualquer momento, um consumidor de análise de dados possa consumir dados de forma confiável no data lake.

Atualizações contínuas de instantâneos.

Quando as tabelas são adicionadas como parte da exportação inicial, os dados da tabela são gravados nos arquivos table.csv nas pastas correspondentes no data lake. Este é o intervalo T1, em que um arquivo somente leitura de instantâneo chamado table-T1.csv – por exemplo, Account-T1.csv ou Contacts-T1.csv – é criado. Além disso, o arquivo model.json é atualizado para apontar para os arquivos desse instantâneo. Abrindo o model.json, você pode exibir os detalhes do instantâneo.

Veja a seguir um exemplo de arquivo particionado Account.csv e pasta de instantâneo no data lake.

Instantâneo da tabela Contas.

As alterações no Dataverse são continuamente enviadas para os arquivos CSV correspondentes usando o mecanismo de alimentação lenta. Esse é o intervalo T2, onde outro instantâneo é obtido. tabela-T2.csv – por exemplo, Contas-T2.csv ou Contatos-T2.csv (supondo que haja alterações para a tabela) – e model.json são atualizados para os novos arquivos de instantâneo. Qualquer outra pessoa que exibir os dados de instantâneo do T2 em diante é direcionada aos arquivos de instantâneo mais recentes. Dessa forma, o visualizador do instantâneo original pode continuar trabalhando nos arquivos T1 do instantâneo mais antigos, enquanto os visualizadores mais novos podem ler as atualizações mais recentes. Isso é útil em cenários com processos de downstream demorados.

Observação

Um novo arquivo de instantâneo será criado, somente se houver uma atualização de dados. Somente os cinco arquivos de instantâneo mais recentes são mantidos. Os dados estagnados são removidos automaticamente da conta do Azure Data Lake Storage Gen 2.

Veja a seguir um exemplo do arquivo model.json, que sempre aponta para o arquivo de instantâneo mais recente da conta marcado.

Arquivo model.json de instantâneo de amostra.

O que vem a seguir?

Depois de usar com sucesso o serviço Link do Azure Synapse para Dataverse, descubra como você pode analisar e consumir seus dados com Hub de Descoberta. Para acessar o Hub de Descoberta, vá até Power Apps>Link do Azure Synapse. Selecione seu serviço vinculado e selecione a guia Hub de Descoberta. Aqui você pode encontrar ferramentas recomendadas e documentação com curadoria para obter o máximo valor de seus dados. Hub de Descoberta.

Consulte também

Analisar dados do Dataverse no data lake com o Power BI

Ingerir dados do Dataverse no data lake com o Azure Data Factory

Configuração avançada do Link do Azure Synapse para Dataverse

Perguntas frequentes sobre o Link do Azure Synapse

  • Last updated on