Conectores gerenciados no Lakeflow Connect

Importante

Os conectores gerenciados no Lakeflow Connect estão em vários estados de versão.

Este artigo fornece uma visão geral dos conectores gerenciados no Databricks Lakeflow Connect para ingestão de dados de aplicativos e bancos de dados SaaS. O pipeline de ingestão resultante é governado pelo Unity Catalog e é alimentado por computação sem servidor e Lakeflow Spark Declarative Pipelines. Os conectores gerenciados aproveitam leituras e gravações incrementais eficientes para tornar a ingestão de dados mais rápida, escalável e econômica, enquanto seus dados permanecem atualizados para consumo downstream.

Componentes do conector SaaS

Um conector SaaS tem os seguintes componentes:

Componente	Descrição
Conexão	Um objeto protegível do Unity Catalog que armazena detalhes de autenticação para o aplicativo.
Conduta de ingestão	Um pipeline que copia os dados da aplicação para as tabelas de destino. O canal de ingestão é executado em computação sem servidor.
Tabelas de destino	As tabelas onde o canal de ingestão escreve os dados. Estas são tabelas de streaming, que são tabelas Delta com suporte extra para processamento incremental de dados.

Diagrama de componentes do conector SaaS

Componentes do conector de banco de dados

Um conector de banco de dados tem os seguintes componentes:

Componente	Descrição
Conexão	Um objeto protegível do Unity Catalog que armazena detalhes de autenticação para o banco de dados.
Gateway de ingestão	Um pipeline que extrai instantâneos, registos de alterações e metadados do banco de dados de origem. O gateway opera com computação clássica e funciona continuamente para capturar alterações antes que os registos de mudanças possam ser eliminados na origem.
Armazenamento temporário	Um volume do Catálogo Unity que armazena temporariamente os dados extraídos antes de serem aplicados à tabela de destino. Isso permite que você execute seu pipeline de ingestão em qualquer horário que desejar, mesmo quando o gateway captura continuamente as alterações. Também ajuda na recuperação de falhas. Você cria automaticamente um volume de armazenamento temporário ao implantar o gateway e pode personalizar o catálogo e o esquema onde está localizado. Os dados são automaticamente removidos do preparo após 30 dias.
Conduta de ingestão	Um pipeline que move os dados do armazenamento temporário para as tabelas de destino. O pipeline funciona em computação sem servidor.
Tabelas de destino	As tabelas onde o canal de ingestão escreve os dados. Estas são tabelas de streaming, que são tabelas Delta com suporte extra para processamento incremental de dados.

Diagrama de componentes do conector de banco de dados

Orquestração

Você pode executar o seu pipeline de ingestão em um ou mais horários personalizados. Para cada agenda que adicionar a um pipeline, o Lakeflow Connect cria automaticamente uma tarefa para o mesmo. O fluxo de ingestão é uma tarefa dentro da função. Opcionalmente, você pode adicionar mais tarefas ao trabalho.

Diagrama de orquestração de pipeline para conectores SaaS

Para conectores de banco de dados, o gateway de ingestão é executado em seu próprio trabalho como uma tarefa contínua.

Diagrama de orquestração do pipeline para conectores de bases de dados

Ingestão incremental

Lakeflow Connect usa ingestão incremental para melhorar a eficiência do pipeline. Na primeira execução do pipeline, ele ingere todos os dados selecionados da fonte. Em paralelo, ele rastreia as alterações nos dados de origem. Em cada execução subsequente do pipeline, ele usa esse rastreamento de alterações para processar apenas os dados que foram alterados da execução anterior, quando possível.

A abordagem exata depende do que está disponível na sua fonte de dados. Por exemplo, você pode usar o controle de alterações e a captura de dados de alteração (CDC) com o SQL Server. Por outro lado, o conector do Salesforce seleciona uma coluna de cursor de uma lista definida de opções.

Algumas fontes ou tabelas específicas não suportam ingestão incremental no momento. A Databricks planeja expandir a cobertura para suporte incremental.

Rede

Há várias opções para se conectar a um aplicativo ou banco de dados SaaS.

Os conectores para aplicativos SaaS alcançam as APIs de origem. Eles também são automaticamente compatíveis com controles de saída sem servidor.
Conectores para bancos de dados em nuvem podem se conectar à fonte via Private Link. Como alternativa, se seu espaço de trabalho tiver uma Rede Virtual (VNet) ou Virtual Private Cloud (VPC) emparelhada com a VNet ou VPC que hospeda seu banco de dados, você poderá implantar o gateway de ingestão dentro dele.
Os conectores para bancos de dados locais podem se conectar usando serviços como o AWS Direct Connect e o Azure ExpressRoute.

Implantação

Você pode implantar pipelines de ingestão usando Databricks Asset Bundles, que permitem práticas recomendadas como controle do código-fonte, revisão de código, teste e integração e entrega contínuas (CI/CD). Os pacotes são gerenciados usando a CLI do Databricks e podem ser executados em diferentes espaços de trabalho de destino, como desenvolvimento, preparação e produção.

Recuperação de falhas

Como um serviço totalmente gerenciado, o Lakeflow Connect visa se recuperar automaticamente de problemas quando possível. Por exemplo, quando um conector falha, ele tenta novamente automaticamente com recuo exponencial.

No entanto, é possível que um erro exija sua intervenção (por exemplo, quando as credenciais expiram). Nesses casos, o conector tenta evitar a falta de dados armazenando a última posição do cursor. Ele pode então pegar de volta a partir dessa posição na próxima corrida do gasoduto, quando possível.

Monitorização

O Lakeflow Connect fornece alertas e monitoramento robustos para ajudá-lo a manter seus oleodutos. Isso inclui registos de eventos, registos do cluster, métricas de integridade do pipeline e métricas de qualidade de dados.

Compatibilidade de funcionalidades

A tabela a seguir resume a disponibilidade de recursos para cada conector de ingestão gerenciado. Para recursos e limitações adicionais, consulte a documentação do seu conector específico.

Característica	Google Analytics	MySQL	NetSuite	Salesforce	Workday	SQL Server	PostgreSQL	ServiceNow	SharePoint
Situação	Disponibilidade geral	Pré-visualização Pública	Pré-visualização Pública	Disponibilidade geral	Disponibilidade geral	Disponibilidade geral	Pré-visualização Pública	Disponibilidade geral	Beta
Criação de pipelines com base na interface de utilizador	Não		Sim	Sim	Sim	Sim		Sim	Não
Criação de pipeline baseada em API	Sim		Sim	Sim	Sim	Sim		Sim	Sim
Pacotes de Ativos da Databricks	Sim		Sim	Sim	Sim	Sim		Sim	Sim
Ingestão incremental	Sim		Sim	Sim - Com uma exceção temporária para campos de fórmula. Para obter detalhes, consulte Como o conector recebe atualizações incrementalmente?.	Sim	Sim		Sim - Com exceções quando a tabela não tem um campo de cursor.	Sim
Governança do Catálogo Unity	Sim		Sim	Sim	Sim	Sim		Sim	Sim
Orquestração usando fluxos de trabalho Databricks	Sim		Sim	Sim	Sim	Sim		Sim	Sim
SCD tipo 2	Sim		Sim	Sim	Sim	Sim		Sim	Sim
Seleção e desseleção de colunas baseadas em API	Sim		Sim	Sim	Sim	Sim		Sim	Sim
Evolução automatizada do esquema: colunas novas e excluídas	Sim		Sim	Sim	Sim	Sim		Sim	Sim
Evolução automatizada do esquema: alterações no tipo de dados	Não		Não	Não	Não	Não		Não	Não
Evolução automatizada do esquema: renomeações de colunas	Sim - Tratada como uma nova coluna (novo nome) e coluna eliminada (nome antigo).	Tratado como uma coluna nova (nome novo) e coluna eliminada (nome antigo).	Sim - Tratada como uma nova coluna (novo nome) e coluna eliminada (nome antigo).	Sim - Tratada como uma nova coluna (novo nome) e coluna eliminada (nome antigo).	Sim - Tratada como uma nova coluna (novo nome) e coluna eliminada (nome antigo).	Não - Quando os objetos DDL estão ativados, o conector pode renomear a coluna. Quando os objetos DDL não estão habilitados, o conector trata isso como uma nova coluna (novo nome) e uma coluna excluída (nome antigo). Em ambos os casos, requer uma atualização completa.	Não - Quando os objetos DDL estão ativados, o conector pode renomear a coluna. Quando os objetos DDL não estão habilitados, o conector trata isso como uma nova coluna (novo nome) e uma coluna excluída (nome antigo). Em ambos os casos, requer uma atualização completa.	Sim - Tratada como uma nova coluna (novo nome) e coluna eliminada (nome antigo).	Sim - Tratada como uma nova coluna (novo nome) e coluna eliminada (nome antigo).
Evolução automatizada do esquema: Novas tabelas	Sim - Se você ingerir todo o esquema. Veja as limitações no número de tabelas por pipeline.	Se ingerires todo o esquema. Veja as limitações no número de tabelas por pipeline.	Sim - Se você ingerir todo o esquema. Veja as limitações no número de tabelas por pipeline.	Sim - Se você ingerir todo o esquema. Veja as limitações no número de tabelas por pipeline.	N/A	Sim - Se você ingerir todo o esquema. Veja as limitações no número de tabelas por pipeline.	Se ingerires todo o esquema. Veja as limitações no número de tabelas por pipeline.	Sim - Se você ingerir todo o esquema. Veja as limitações no número de tabelas por pipeline.	Sim - Se você ingerir todo o esquema. Veja as limitações no número de tabelas por pipeline.
Número máximo de tabelas por pipeline	250	250	200	250	250	250	250	250	250

Métodos de autenticação

A tabela a seguir lista os métodos de autenticação suportados para cada conector de ingestão gerenciado. A Databricks recomenda o uso de OAuth U2M ou OAuth M2M quando possível. Se o conector suportar OAuth U2M ou OAuth M2M, a autenticação básica e o OAuth com atualização manual de token são considerados métodos de autenticação herdados.

Connector	OAuth U2M	OAuth M2M	OAuth (token de atualização manual)	Autenticação básica (nome de utilizador/palavra-passe)	Autenticação básica (chave JSON da conta de serviço)	Autenticação baseada em tokens
Confluência	Sim	Não	Não	Não	Não	Não
Dados brutos do Google Analytics	Sim	Não	Não	Não	Sim (somente API)	Não
MySQL	Não	Não	Não	Sim	Não	Não
NetSuite	Não	Não	Não	Não	Não	Sim
Salesforce	Sim	Não	Não	Não	Não	Não
ServiceNow	Sim	Não	Sim (somente API)	Não	Não	Não
SharePoint	Sim	Sim (Pré-visualização pública)	Sim	Não	Não	Não
SQL Server	Sim	Sim	Não	Não	Sim	Não
PostgreSQL	Não	Não	Não	Sim	Não	Não
Relatórios de dias úteis	Não	Não	Sim	Sim	Não	Não

Dependência de serviços externos

Databricks SaaS, banco de dados e outros conectores totalmente gerenciados dependem da acessibilidade, compatibilidade e estabilidade do aplicativo, banco de dados ou serviço externo ao qual eles se conectam. O Databricks não controla esses serviços externos e, portanto, tem influência limitada (se houver) sobre suas alterações, atualizações e manutenção.

Se alterações, interrupções ou circunstâncias relacionadas a um serviço externo impedirem ou tornarem impraticável a operação de um conector, o Databricks poderá descontinuar ou cessar a manutenção desse conector. A Databricks envidará todos os esforços razoáveis para notificar os clientes da descontinuação ou cessação da manutenção, incluindo atualizações da documentação aplicável.

Feedback

Esta página foi útil?

Last updated on 2025-12-20