Partilhar via

Interoperabilidade do formato de tabela Delta Lake

No Microsoft Fabric, o formato de tabela Delta Lake é o padrão para análises. O Delta Lake é uma camada de armazenamento de código aberto que traz transações ACID (Atomicidade, Consistência, Isolamento, Durabilidade) para cargas de trabalho de big data e análise.

Todas as experiências do Fabric geram e consomem nativamente tabelas Delta Lake, proporcionando uma experiência unificada ao produto. As tabelas Delta Lake produzidas por um mecanismo de computação, como o Fabric Data Warehouse ou o Synapse Spark, podem ser consumidas por qualquer outro mecanismo, como o Power BI. Quando você ingere dados no Fabric, o Fabric os armazena como tabelas Delta por padrão. Você pode integrar facilmente dados externos contendo tabelas Delta Lake usando atalhos do OneLake.

Funcionalidades do Delta Lake e experiências do Fabric

Para alcançar a interoperabilidade, todas as experiências da plataforma alinham-se às funcionalidades do Delta Lake e às capacidades da plataforma. Algumas experiências só podem escrever em tabelas Delta Lake, enquanto outras podem ler a partir delas.

  • Autores: armazéns de dados, fluxos de eventos e modelos semânticos do Power BI exportados para o OneLake
  • Leitores: ponto final de análise SQL e modelos semânticos Power BI de acesso direto a lagoas
  • Gravadores e leitores: tempo de execução do Fabric Spark, fluxos de dados, pipelines e bancos de dados KQL (Kusto Query Language)

A matriz a seguir mostra os principais recursos do Delta Lake e sua disponibilidade em cada ambiente do Fabric.

Capacidade de malha Mapeamentos de coluna Vetores de eliminação Escrita de ordem V Otimização e manutenção de tabelas Partições Agrupamento de líquidos TIMESTAMP_NTZ Versão do leitor/gravador delta e recursos de tabela padrão
Exportação do armazém de dados Delta Lake Designação: Sim
ID: Nenhum		 Sim Sim Sim Leitura: N/A (não aplicável)
Escrever: Não		 Não Não Leitor: 3
Escritor: 7
vetores de exclusão,
Mapeamentos de coluna (nome)
Interface de análise SQL Designação: Sim
ID: Nenhum		 Sim N/A (não aplicável) N/A (não aplicável) Leia: Sim
Escrever: N/A (não aplicável)		 Sim Não N/A (não aplicável)
Explorador e visualização Lakehouse Designação: Sim
ID: Nenhum		 Sim N/A (não aplicável) Sim Leia: Sim
Escrever: N/A (não aplicável)		 Sim Sim N/A (não aplicável)
Tempo de execução do Fabric Spark 1.3 Designação: Sim
ID: Sim		 Sim Sim Sim Leia: Sim
Escrever: Sim		 Sim Sim Leitor: 1
Escritor: 2
Tempo de execução do Fabric Spark 1.2 Designação: Sim
ID: Sim		 Sim Sim Sim Leia: Sim
Escrever: Sim		 Sim, somente leitura Sim Leitor: 1
Escritor: 2
Tempo de execução do Fabric Spark 1.1 Designação: Sim
ID: Sim		 Não Sim Sim Leia: Sim
Escrever: Sim		 Sim, somente leitura Não Leitor: 1
Escritor: 2
Fluxos de dados Gen2 Designação: Sim
ID: Nenhum		 Sim Sim Não Leia: Sim
Escrever: Sim		 Sim, somente leitura Não Leitor: 1
Escritor: 2
Tubulações Designação: Não
ID: Nenhum		 Não Sim Não Leia: Sim
Gravar: Sim, substituir apenas		 Sim, somente leitura Não Leitor: 1
Escritor: 2
Modelos semânticos "Direct Lake" do Power BI Designação: Sim
ID: Sim		 Sim N/A (não aplicável) N/A (não aplicável) Leia: Sim
Escrever: N/A (não aplicável)		 Sim Não N/A (não aplicável)
Exportar modelos semânticos do Power BI para o OneLake Designação: Sim
ID: Nenhum		 N/A (não aplicável) Sim Não Leitura: N/A (não aplicável)
Escrever: Não		 Não Não Leitor: 2
Escritor: 5
Mapeamentos de coluna (nome)
Bases de dados KQL Designação: Sim
ID: Nenhum		 Sim Não Não* Leia: Sim
Escrever: Sim		 Não Não Leitor: 1
Escritor: 1
Fluxos de eventos Designação: Não
ID: Nenhum		 Não Não Não Leitura: N/A (não aplicável)
Escrever: Sim		 Não Não Leitor: 1
Escritor: 2

* Os bancos de dados KQL fornecem determinados recursos de manutenção de tabelas, como retenção. Os dados são removidos no final do período de retenção da OneLake. Para obter mais informações, consulte Uma cópia lógica.

Observação

  • O Fabric não escreve mapeamentos de coluna por padrão, exceto onde indicado. A experiência padrão do Fabric gera tabelas que são compatíveis com todo o serviço. As tabelas Delta Lake produzidas por serviços de terceiros podem ter recursos de tabela incompatíveis.
  • Algumas experiências do Fabric não oferecem recursos de otimização e manutenção de tabelas, como compactação de binários, ordenação em V, mesclagem de vetores de exclusão (PURGE) e limpeza de arquivos antigos não referenciados (VACUUM). Para manter as tabelas Delta Lake ideais para análises, siga as técnicas em Usar recurso de manutenção de tabela para gerenciar tabelas delta no Fabric para tabelas ingeridas usando essas experiências.

Limitações atuais

Atualmente, o Fabric não oferece suporte a esses recursos do Delta Lake:

  • Os pontos de verificação V2 não estão uniformemente disponíveis em todas as experiências. Somente notebooks Spark e tarefas Spark podem ler e gravar em tabelas com pontos de verificação V2. O Lakehouse e o SQL Analytics não listam corretamente tabelas que contêm arquivos V2 Checkpoint na __delta_log pasta.
  • Delta Lake 3.x Uniforme. Este recurso é suportado apenas no Data Engineering Spark-compute (Notebooks, Spark Jobs).
  • Escrita de colunas de identidade (funcionalidade do Azure Databricks)
  • Lakeflow Spark Declarative Pipelines (funcionalidade Azure Databricks)
  • Delta Lake 4.x características: Ampliação de tipos, ordenações, tipo variante, commits coordenados.

Caracteres especiais nos nomes das tabelas

O Microsoft Fabric oferece suporte a caracteres especiais como parte dos nomes de tabela. Esse recurso permite o uso de caracteres unicode para compor nomes de tabela em experiências do Microsoft Fabric.

Os seguintes caracteres especiais são reservados ou não são compatíveis com pelo menos uma das tecnologias do Microsoft Fabric e não devem ser usados como parte de um nome de tabela: " (aspas duplas), ' (aspas simples), #, %, +, :, ?, ' (backtick).

Conteúdo relacionado

  • Last updated on