Nota
O acesso a esta página requer autorização. Podes tentar iniciar sessão ou mudar de diretório.
O acesso a esta página requer autorização. Podes tentar mudar de diretório.
Serviço de exportação de dados, bring your own database (BYOD) e Exportar para Data Lake foram caraterísticas introduzidas em aplicações do Dynamics 365 para exportar dados para cenários de análise e integração de dados. Estes serviços permitiram que os administradores e especialistas de TI exportassem dados para bases de dados ou data lakes externos e criassem pipelines de integração de dados. Apesar de termos melhorado estes serviços ao longo dos anos com atualizações, como parte da unificação do Dynamics 365 com o Power Platform, voltámos a arquitetar as mesmas capacidades destes serviços díspares em experiências mais simples e unificadas, incorporadas no Power Apps (make.powerapps.com). Com uma transição para o Microsoft Fabric link ou atualizar a versão para o Azure Synapse Link, os serviços arquitetados novamente fornecem uma rampa fácil para beneficiar dos investimentos em IA e Copilot no Microsoft Dataverse e Fabric.
Se for um cliente que utiliza qualquer um dos serviços da geração anterior, este artigo fornece orientações sobre a atualização da versão para as novas experiências, beneficiando de inovações, bem como da redução de despesas e esforço de ponta a ponta.
Com base na pré-visualização de inquéritos ao cliente, também compilámos uma estimativa de custos e benefícios de alto nível para ajudar na transição. Também fornecemos aqui ligações para mais informações e vídeos, ligações para participar em fóruns e sessões semanais durante o horário de trabalho para interagir com a equipa do produto, especialistas da Microsoft e outros utilizadores. Esforçamo-nos para melhorar estes serviços com a participação da comunidade.
Antes da transição
Se for um cliente que utiliza serviços legados BYOD, serviço de exportação de dados ou Exportar para Data Lake, poderá ter uma arquitetura de integração de dados semelhante à apresentada aqui. A caixa destacada indica os pipelines de dados que a sua organização pode ter criado para tirar partido dos dados exportados do Dynamics 365 e do Dataverse. Pode utilizar uma seleção de ferramentas da Microsoft, bem como de outras empresas, para copiar e integrar dados do Dynamics com os seus próprios dados. Também pode transformar e agregar dados ao copiar para vários armazenamentos – mostrados na caixa de preparação de dados do diagrama. Pode utilizar o Power BI ou outra ferramenta para visualizar dados e criar informações acionáveis. Pode ter pipelines criados para exportar dados para um sistema no local e para outras clouds.
Depois da transição
Existem dois padrões de integração de dados ativados no Power Apps:
- O Azure Synapse Link permite a exportação contínua de dados semelhantes a BYOD, Exportar para Data Lake ou serviço de exportação de dados. Esta opção está ativada para administradores de TI e especialistas em integração de dados.
- A caraterística Ligar ao Fabric fornece uma integração de software como serviço (SaaS) sem cópia, sem extração, transformação e carga (ETL), totalmente gerida.
Estas opções são complementares. Eis uma comparação detalhada dos serviços de integração de dados.
Se é um cliente de aplicações de finanças e operações que está atualmente a usar caraterísticas BYOD ou Exportar para Data Lake, ao atualizar para o Azure Synapse Link ou Fabric link, pode beneficiar de uma arquitetura de integração de dados simplificada, o que resulta em custos operacionais reduzidos:
- Fácil de configurar e manter através do Power Apps (make.powerapps.com). Integração incorporada com o Azure Synapse e o Fabric.
- O Azure Synapse Link e Fabric link são serviços totalmente geridos. Cada um requer um mínimo de despesas gerais de gestão contínua.
- Os novos serviços oferecem as mesmas formas de dados que os serviços anteriores. Os seus pipelines de integração a jusante existentes podem permanecer como estão.
- Com um impacto mínimo nas cargas de trabalho operacionais, não necessita de gerir cargas de trabalho e agendar exportações de dados.
Pipelines de integração de dados segura e de ponta a ponta:
- Com a ligação ao Fabric, os dados não saem do limite da governação do Dataverse, enquanto os utilizadores autorizados do Fabric podem aceder com segurança aos dados que residem no Dataverse.
- O serviço Azure Synapse Link permite-lhe restringir o acesso às suas contas de armazenamento com firewalls e, ao mesmo tempo, permitir que o Dataverse exporte dados com identidades geridas para o Azure, uma caraterística de segurança integrada no Microsoft Entra.
Se é um cliente do Dynamics 365 Customer Engagement que usa o serviço de exportação de dados ou o Azure Synapse Link clássico com exportações de dados em formato CSV, poderá beneficiar de relatórios eficientes compatíveis com o formato de dados padrão Delta ou Parquet do setor:
- A opção de conversão integrada Delta Lake ou Parquet reduz a necessidade de criar os seus próprios pipelines para análises e relatórios operacionais.
- O formato Delta Lake ou Parquet permite consultas ou relatórios mais rápidos e responsivos e dimensiona para conjuntos de dados maiores de qualquer tamanho.
- Os dados no lake são compactados para 1/3 a 1/8 do tamanho original, resultando em ficheiros menores que reduzem os custos de consulta e transporte de dados.
| Associar ao Fabric | Azure Synapse Link |
|---|---|
| Sem cópia e sem integração ETL direta com o Fabric. | Exporte dados para a sua própria conta de armazenamento e integre com o Azure Synapse, o Fabric e outras ferramentas. |
| Os dados ficam no Dataverse. Os utilizadores têm acesso seguro no Microsoft Fabric. | Os dados permanecem no seu próprio armazenamento. Efetua a gestão do acesso aos utilizadores. |
| Todas as tabelas escolhidas por predefinição. | Os administradores do sistema podem escolher as tabelas necessárias. |
| Consome armazenamento adicional do Dataverse. | Consome o seu próprio armazenamento e outras ferramentas de computação e integração. |
Que opção que devo utilizar?
Se a sua organização já estiver a utilizar o Fabric ou a planear efetuar a transição nos próximos meses, recomendamos a utilização da caraterística ligação ao Fabric. Pode continuar a usar o serviço Azure Synapse Link se o seu foco imediato for atualizar os seus serviços atuais.
Simplificação com ligação ao Fabric
Se já estiver a consumir dados utilizando o Power BI, utilizando um armazém de dados ou utilizando fluxos de dados e blocos de notas para transformar dados, a caraterística de ligação ao Fabric fornece valor imediato. Pode simplificar a sua arquitetura de integração de dados eliminando a necessidade de ter a sua própria conta de armazenamento ou serviços Synapse para dados do Dataverse. Em vez de pagar por recursos do Azure, como armazenamento e computação, paga pelo aumento no armazenamento do Dataverse. As taxas de computação, como atualizações de dados quase em tempo real e despesas gerais de gestão, também são consideradas no armazenamento do Dataverse. A opção de ligação ao Fabric é como ter uma réplica só de leitura quase em tempo real dos seus dados otimizados para informações.
Consulte esta réplica utilizando T-SQL, Apache Spark Python e outras cargas de trabalho no Fabric. Também pode aceder a estes dados utilizando qualquer ferramenta que possa consumir T-SQL ou que possa consumir dados a partir do Azure Data Lake Storage.
Como cliente do Dynamics ou do Power Apps, obtém uma quota de armazenamento do Dataverse baseada no número de licenças que comprou. A caraterística ligação ao Fabric utiliza esta quota de base de dados. Pode comprar mais suplementos de armazenamento se o volume de dados exceder a sua quota.
Pode continuar a reter os serviços de plataforma como um serviço (PaaS) do Azure, como o Databricks e a Base de Dados SQL, na sua própria subscrição. As funcionalidades do Fabric recentemente anunciadas, como o espelhamento de dados e os atalhos, podem ajudar a simplificar ainda mais a integração dos seus dados.
São descritos aqui exemplos de reduções de custos obtidas com a simplicidade derivada da caraterística de integração do Fabric.
Atualizar para o Azure Synapse Link
Ao atualizar para o Azure Synapse Link e ativar a conversão Delta ou Parquet, pode eliminar pipelines de preparação de dados do Dataverse na sua solução. O serviço Azure Synapse Link exporta as mesmas formas de dados para a sua conta de armazenamento num formato Delta ou Parquet de melhor desempenho. Pode continuar a utilizar as ferramentas existentes e os serviços do Azure, como armazenamento e consulta do Azure Synapse Analytics, com interrupções mínimas nos seus ambientes de produção.
Compreender os benefícios e as reduções de custos
A simplicidade alcançada com o Fabric link e o Azure Synapse Link produz reduções nos custos de ponto a ponto. Considere os seguintes exemplos baseados em experiências de cliente de pré-visualização.
Exemplo 1: Transição de BYOD ou Exportar para Data Lake para ligação ao Fabric
Considere o caso em que faz a transição para a ligação ao Fabric de Exportar para Data Lake.
Conforme indicado nos diagramas antes e depois deste artigo, o cliente retirou o serviço exportar para data lake (1), bem como os arquivos de dados de teste (2) com o Fabric link. Para informações operacionais, (4) consumiram dados no OneLake diretamente no Power BI. Algumas das informações requerem união, transformação e agregação de dados (3). Em vez de usarem serviços díspares do Azure, padronizaram as mesmas ferramentas incorporadas no Fabric.
As inovações no Dataverse e no Fabric permitem simplificações e reduções de custos:
- O Dataverse vem com uma loja OneLake integrada. Os dados operacionais do Dynamics 365 e do Power Apps são replicados para o armazenamento lake incorporado quase em tempo real (para evitar influenciar cargas de trabalho operacionais) e ligados de forma segura ao Fabric através de atalhos. Não há necessidade de trazer o armazenamento do Azure e proteger os dados que são exportados para fora. Os dados não saem do limite da governação do Dataverse e os utilizadores autorizados no Fabric podem trabalhar com dados utilizando todas as cargas de trabalho do Fabric.
- Exportar para data lake e o serviço de exportação de dados exporta dados em formato CSV. Os ficheiros CSV não são adequados para consumo direto devido ao fraco desempenho da consulta, bem como a problemas ocasionais de contenção de leitura/escrita. A solução antes da transição utiliza o Azure Data Factory para ingerir e converter periodicamente dados não processados numa Base de Dados SQL do Azure ou num armazém de dados do Azure. Esta camada não é necessária na solução após a transição, uma vez que os dados OneLake integrados do Dataverse são mantidos no formato Delta ou Parquet — o mesmo formato aberto nativo do Microsoft Fabric. O formato Delta ou Parquet, juntamente com as otimizações no Fabric, elimina a necessidade de manter arquivos de dados adicionais para colocação em cache e melhorar o desempenho da consulta, ao mesmo tempo que elimina a contenção de leitura/escrita. Pode criar relatórios do Power BI utilizando o Direct Lake sobre dados no OneLake sem quaisquer fases de dados adicionais.
- Apesar de as informações operacionais poderem ser realizadas utilizando os dados já disponíveis no OneLake, poderá ter dados adicionais de outros sistemas. Estes dados poderão ter de ser combinados, remodelados e agregados com dados do Dataverse. O Fabric fornece um ambiente integrado, que fornece as melhores ferramentas do setor, como fluxos de dados, Azure Data Factory e Spark. Utilize estas ferramentas em vez de configurar e aprovisionar ferramentas autónomas, onde adota as ferramentas à sua escolha. A faturação, o controlo de código fonte e a segurança integrados permitem uma gestão e governação mais simples.
- Embora possa continuar a utilizar o serviço Power BI para fins de relatórios, o Fabric apresenta relatórios do modo Direct Lake, que tira partido dos índices na memória integrados no formato Delta ou Parquet, eliminando assim a necessidade de utilizar relatórios de modo de importação do Power BI.
Estas inovações geram poupanças de custos de ponta a ponta, além dos benefícios discutidos anteriormente. As tabelas aqui descrevem os itens de linha dos custos, juntamente com uma comparação de soluções antes e depois. Pode utilizar esta tabela como orientação para estimar as poupanças de custos esperadas.
| Item de linha de poupança de custos | Antes do custo - exportar para data lake | Depois do custo – ligação ao Fabric |
|---|---|---|
| Instalação e configuração | Precisa de usar várias ferramentas. - Pague por várias licenças de software e subscrições. - Esforços de configuração do sistema. - Esforço para construir e validar pipelines de dados. - Governação, gestão e monitorização contínuas. - Formação de utilizadores. |
Experiência de configuração mais simples no Power Platform. Compre capacidade do Fabric e pague pela utilização de todos os serviços. Paga apenas pelo que usa. Em alguns casos, é-lhe faturado ao segundo. Não são necessários pipelines ETL para dados do Dataverse. |
| Teste de dados (1, 2) | Custos incorridos com os serviços do Azure. - Custo de armazenamento do Azure, incluindo custo de ES. - Synapse Analytics (consulta sem servidor SQL). - Tarefas do Azure Data Factory para copiar dados. - Arquivo de dados de teste, como a Base de Dados SQL do Azure. |
Aumento de custos de armazenamento do Dataverse Por exemplo, se sincronizar 500 GB de dados do Dynamics 365, o armazenamento do Dataverse poderá aumentar cerca de 100 GB (assumindo cinco a oito vezes a compressão de dados). |
| Custos operacionais - preparação de dados (3) | - Área de teste de armazenamento do Azure. - Pipelines de dados. - Ingestão de dados no SQL do Azure ou armazém de dados. - Desenvolvimento de dados de manutenção. |
As despesas mudam para o Fabric, onde paga pelo consumo com uma capacidade partilhada. |
| Custos operacionais – relatórios (4) - Conjuntos de Dados do Power BI. - Criação de relatórios. |
Synapse Analytics (consulta SQL). Capacidade e armazenamento do Power BI para relatórios de modo de importação. |
À medida que os dados são compactados (por exemplo, 1/3 a 1/6 do tamanho original), os seus custos de relatórios e consultas são reduzidos em conformidade. Novas funcionalidades, como relatórios do Direct Lake, reduzem o consumo de armazenamento do Power BI. |
Nota
Estas estimativas são fornecidas para permitir estimar os gastos após a transição. Embora estas estimativas se baseiem na experiência de clientes de pré-visualização, os custos reais incorridos no ambiente, bem como a compressão de dados, podem variar consoante o volume e a composição dos dados.
Exemplo 2: Atualizar para o Azure Synapse Link
Atualizar para o Azure Synapse Link é uma opção a ser considerada se não estiver atualmente a usar o Fabric ou se não estiver a planear fazer a transição nos próximos meses.
Conforme indicado nos diagramas antes e depois aqui, o cliente retirou o serviço Exportar para Data Lake (1), bem como os arquivos de dados de teste (2) com o Azure Synapse link. Os arquivos de dados usados para teste de dados, como Bases de Dados SQL do Azure intermédias, são retirados à medida que os dados do Dataverse são guardados no formato Delta ou Parquet – um formato de dados compactado e com melhor desempenho. Os pipelines a jusante utilizados para a união, transformação e agregação de dados (3), bem como as ferramentas de apresentação (4), como o Power BI, permanecem inalterados.
O Azure Synapse Link fornece um caminho de atualização fácil para clientes que desejam expandir os seus investimentos existentes com alterações mínimas. Como discutimos aqui, as inovações no Dataverse permitem uma transição fácil de serviços das aplicações de finanças e operações, como Exportar para Data Lake e BYOD.
O Azure Synapse Link permite a configuração fácil do armazenamento do Azure e serviços do Synapse dentro do Power Apps (make.powerapps.com). São removidas várias limitações de Exportar para Data Lake:
- Uma experiência uniforme permite escolher dados de todas as aplicações do Dynamics 365, incluindo das aplicações de finanças e operações e do Customer Engagement. Pode manter um único serviço para exportar dados de todo o Dynamics 365 e do Power Apps.
- As limitações da tabela presentes com Exportar para Data Lake desaparecem. Pode escolher até 1.000 tabelas para cada perfil do Azure Synapse Link numa única conta de armazenamento. Pode criar vários perfis (pipelines de exportação) cada um até 1.000 tabelas.
- O Azure Synapse Link fornece suporte incorporado para usar contas de armazenamento restrito de firewall para exportar dados.
- Não é necessário configurar os recursos do Azure. O Azure Synapse link aprovisiona e configura os recursos do Azure por si.
- Azure Synapse O link exporta dados no mesmo formato que Exportar para Data Lake ou BYOD, permitindo que você mantenha os pipelines existentes.
Tanto Exportar para Data Lake como o serviço de exportação de dados exportam dados em formato CSV. Os ficheiros CSV não são adequados para consumo direto devido ao fraco desempenho da consulta, bem como a problemas ocasionais de contenção de leitura/escrita. Antes da transição usa o Azure Data Factory para ingerir e converter periodicamente dados não processados numa Base de Dados SQL do Azure ou num armazém de dados do Azure. Esta camada não é necessária na "pós-transição, pois o Azure Synapse Link exporta dados em Delta ou Parquet, o que elimina a necessidade de manter arquivos de dados adicionais para armazenamento em cache e melhorar o desempenho da consulta, eliminando a contenção de leitura/escrita.
Continue a utilizar os seus pipelines de dados existentes para combinar, remodelar e agregar dados adicionais de outros sistemas.
Continue a utilizar o serviço Power BI o serviço para efeitos de relatórios. O Fabric apresenta relatórios do modo Direct Lake, que tira partido dos índices na memória integrados no formato Delta ou Parquet, que elimina assim a necessidade de utilizar relatórios de modo de importação do Power BI.
Estas inovações geram poupanças de custos de ponta a ponta, além dos benefícios discutidos anteriormente. As tabelas aqui descrevem os itens de linha dos custos, juntamente com uma comparação de soluções antes e depois. Utilize a tabela como orientação para estimar as poupanças de custos esperadas.
| Item de linha de poupança de custos | Antes do custo - Exportar para Data Lake | Custo posterior — Azure Synapse Link |
|---|---|---|
| Instalação e configuração | Deve usar várias ferramentas. - Pague por várias licenças de software e subscrições. - Esforços de configuração do sistema. - Esforço para construir e validar pipelines de dados. - Governação, gestão e monitorização contínuas. - Formação de utilizadores. |
Experiência de configuração mais simples no Power Platform. Não são necessários pipelines ETL para dados do Dataverse. |
| Teste de dados (1, 2) | Custos incorridos com os serviços do Azure. - Custo de armazenamento do Azure, incluindo custo de ES. - Synapse Analytics (consulta sem servidor SQL). - Tarefas do Azure Data Factory para copiar dados. - Arquivo de dados de teste, como a Base de Dados SQL do Azure. |
O Azure Synapse Link requer que forneça um conjunto do Spark para converter dados para o formato Parquet. Dependendo da frequência de sincronização de dados, bem como do volume de alterações de dados, os custos do conjunto do Spark podem variar. Pequenas a médias alterações de dados (por mês): - 600 USD a 2.000 USD para atualização à hora. - 1.200 USD a 4.100 USD para atualização de 15 minutos. Médias a grandes alterações de dados (por mês): - 1.200 USD a 2.500 USD para atualização à hora. - 2.500 USD a 8.300 USD para atualização de 15 minutos. |
| Custos operacionais - preparação de dados (3) | - Área de teste de armazenamento do Azure. - Pipelines de dados. - Ingestão de dados na Base de Dados SQL do Azure ou armazém de dados. - Desenvolvimento e dados de manutenção. |
Os mesmos custos indicados acima, no entanto, pode não precisar de agregar dados do Dataverse devido à conversão Parquet. |
| Custos operacionais - relatórios (4): - Conjuntos de Dados do Power BI. - Criação de relatórios. |
Synapse Analytics (consulta SQL). Capacidade do Power BI. |
À medida que os dados são compactados, por exemplo, 1/3 a 1/6 do tamanho original, os seus custos de relatórios e consultas são reduzidos em conformidade. |
Importante
Estas estimativas são fornecidas para permitir estimar os gastos após a transição. Embora estas estimativas se baseiem na experiência de clientes de pré-visualização, os custos reais incorridos no ambiente, bem como a compressão de dados, podem variar consoante o volume e a composição dos dados.
Exemplo 3: Ingestão incremental de dados para um armazém de dados
Se estiver atualmente a consumir dados incrementais da caraterística Exportar para Data Lake para povoar um pipeline de dados a jusante, pode continuar a utilizar o mesmo pipeline. Como mostrado aqui, o serviço Azure Synapse Link pode exportar alterações incrementais de dados no mesmo formato que o feed de alterações em Exportar para Data Lake.
O serviço Azure Synapse Link fornece vários melhoramentos em relação ao Exportar para Data Lake para alterações de dados incrementais:
- A carga de dados inicial é incluída nas pastas de alteração. Isto facilita que o mesmo pipeline consuma tanto a carga inicial como atualizações incrementais.
- Os dados de alteração não são eliminados em caso de reinicialização de uma tabela.
- O sistema cria uma estrutura de pastas com carimbo de data/hora e metadados que o ajudam a ler as alterações por ordem cronológica. Os dados alterados, uma vez escritos, nunca são atualizados. Esta abordagem é mais adequada para processar alterações utilizando ferramentas de ingestão de macrodados, como o Azure Data Factory.
- Pode configurar a frequência com que pretende que os feeds de alterações sejam atualizados em pastas com o Azure Synapse Link, em apenas cinco minutos.
Quando faz a transição para o Fabric ou para o Azure Synapse Link, a alteração ao custo é mínima para alterações de dados incrementais.
Compreender as vantagens – mais relatórios em tempo real
O Fabric não só simplifica a arquitetura de integração de dados, como também reduz a necessidade de copiar ou replicar dados. O formato de dados subjacente no Fabric, o formato Delta ou Parquet padrão da indústria, pode ser consumido diretamente pelo Power BI, fluxos de dados, blocos de notas e outras cargas de trabalho, eliminando a necessidade de áreas de colocação em cache e de teste.
Se atualizar para o Azure Synapse Link e continuar a exportar dados, os seus dados serão guardados no formato Delta ou Parquet, o que pode reduzir os passos nos seus próprios pipelines de dados para relatórios operacionais.
Considere o tempo necessário para atualizar um relatório operacional, como a análise de inventário ou a análise financeira de fim de mês. Estes relatórios podem exigir a agregação de dados de milhões de linhas de dados de várias tabelas no Dynamics 365 Finance. Utilizando o serviço Exportar para Data Lake, os dados CSV são exportados em 10 minutos. Estes dados poderão ter de ser importados para um relatório do Power BI para fornecer melhores tempos de resposta. A atualização do Power BI pode ser realizada até 24 vezes por dia (a cada 30 minutos). Dependendo da forma como o relatório foi concebido, a atualização pode demorar vários minutos para concluir a atualização. Utilizando esta abordagem, os utilizadores podem ver os dados dentro de 60 minutos após uma atualização.
Os relatórios operacionais que obtêm dados utilizando a ligação ao Fabric podem tirar partido do modo Direct Lake ou do modo DirectQuery no Fabric, que tira partido do índice na memória incorporado em ficheiros Delta ou Parquet. Nestes modos, não necessita de agendar a atualização de relatórios do Power BI, uma vez que o relatório mostra sempre os dados mais recentes do Dataverse atualizados no Fabric.
O serviço Fabric link atualiza os dados no OneLake do Dataverse dentro de uma hora a partir deste momento. O Dataverse aciona tarefas de atualização de dados a cada 15 minutos e, dependendo do volume de alterações de dados, poderá ver ficheiros Parquet atualizados dentro de 15 a 45 minutos.
Se estiver a consumir feeds de dados incrementais do Dynamics 365 com o serviço Exportar para Data Lake para cenários de integração de dados quase em tempo real (exemplo 3). Atualizar para o Azure Synapse Link permite-lhe executar os mesmos pipelines de dados.
Limitações e alterações de comportamento
Poderá encontrar algumas alterações introduzidas nos formatos de tabela que ajudam a evitar conflitos. Mais informações: Limitações conhecidas.
Verifique também se tem as atualizações mais recentes, que resolvem alguns dos problemas conhecidos. Para obter mais informações sobre o mapa futuro e permanecer em contacto com a equipa de produto, adira ao grupo Viva Engage de pré-visualização.
Perguntas mais frequentes
Perguntas? Pode consultar o Documento de FAQ publicado aqui. Também pode participar de horas semanais de escritório, manter contacto com a equipa do produto e o fórum de clientes juntando-se ao Grupo no Viva Engage.
Veja também
O que é o Azure Synapse Link para Dataverse?
Associar o seu ambiente Dataverse ao Microsoft Fabric e desbloquear informações profundas