Limitações nos bancos de dados espelhados do Microsoft Fabric em relação ao Google BigQuery

Este guia ajuda você a saber mais sobre as limitações existentes no BigQuery espelhado no Microsoft Fabric.

Limitações no nível do banco de dados

Ao espelhar tabelas sem chaves primárias, pode-se apenas executar alterações de apenas inserção para garantir a precisão dos dados. Se forem encontradas alterações não inseridas, a tabela será repropagada automaticamente (a tabela será reespelhada na sua inteireza). Se ocorrerem várias alterações que não envolvam inserção após essa reinicialização inicial, o espelhamento entrará temporariamente em um estado de backoff; esse estado ajuda a manter os custos baixos e limita a replicação desnecessária de tabelas completas. Após o período de backoff, a tabela retornará ao seu estado normal de espelhamento (replicação contínua de dados).

Limitações de desempenho

Se você estiver alterando a maioria dos dados em uma tabela grande, é mais eficiente parar e reiniciar o espelhamento. Inserir ou atualizar bilhões de registros pode levar muito tempo.

Os dados espelhados normalmente refletem alterações com um atraso de 10 a 15 minutos devido à arquitetura Change Data Capture (CDC) do BigQuery. Se nenhuma alteração for detetada, o mecanismo de replicação entrará em modo de backoff, aumentando os intervalos de sondagem em até 1 hora.

Limitações da região suportada

O espelhamento de banco de dados está disponível em todas as regiões do Microsoft Fabric. Para obter mais informações, consulte Disponibilidade da região Fabric.

Limitações de permissão

Entendemos que alguns clientes hesitam em ativar as permissões de edição para o Espelhamento para o Google BigQuery. O espelhamento cria uma réplica ativa, editável de consumo dos seus dados do BigQuery no OneLake. Para oferecer suporte ao espelhamento para o Google BigQuery, o mecanismo de replicação deve:

• Acessar e exportar dados de tabelas do BigQuery
• Controlar alterações usando o Change Data Capture (CDC)
• Criar conjuntos de dados temporários e trabalhos para replicação
• Interaja com o Google Cloud Storage para preparação e ingestão

Limitações do Reseed

A função CHANGES, que permite o controle de alterações em tabelas do BigQuery usando a tecnologia CDC do Google, está sujeita a várias limitações importantes de repropagação que os usuários devem considerar ao implementar soluções de espelhamento:

• Limitação de viagem no tempo: A função CHANGES só retorna dados dentro da janela de viagem no tempo configurada da tabela. Para tabelas padrão, normalmente são sete dias, mas podem ser mais curtos se configurados de forma diferente. Quaisquer alterações fora desta janela são inacessíveis.
• Limitação de Carimbo de Data: A janela de tempo do histórico de alterações para CHANGES TVF excede o tempo máximo permitido. O intervalo máximo permitido entre start_timestamp e end_timestamp é de um dia. Isso restringe o processamento em lote de janelas históricas mais longas, e várias consultas podem ser necessárias para uma cobertura mais ampla.
  -Limitação do histórico de alterações: A função CHANGES requer que o controle do histórico de alterações seja ativado para a tabela antes do uso. Se não estiver ativado, as alterações delta não poderão ser consultadas.
• Limitação de várias instruções: A função CHANGES não pode ser usada dentro de transações com várias instruções. Não é possível consultar tabelas que tiveram transações de múltiplas instruções confirmadas no intervalo de tempo solicitado.

Para saber mais, consulte a Documentação de limitação de alterações do BigQuery do Google.

Conteúdo relacionado

• Visão geral do espelhamento do Google BigQuery
• Tutorial para configurar o espelhamento para o Google BigQuery