Conectar-se a fontes de ingestão gerenciadas

Saiba como criar conexões no Catalog Explorer que armazenam detalhes de autenticação para fontes de ingestão gerenciadas do Lakeflow Connect. Qualquer usuário com USE CONNECTION privilégios ou ALL PRIVILEGES na conexão pode criar pipelines de ingestão gerenciados a partir de fontes como Salesforce e SQL Server.

Um utilizador administrador deve concluir as etapas neste artigo se os utilizadores que vão criar pipelines:

• são utilizadores não administradores.
• usará APIs do Databricks, SDKs do Databricks, a CLI do Databricks ou o Databricks Asset Bundles.

Essas interfaces exigem que os usuários especifiquem uma conexão existente quando criam um pipeline.

Como alternativa, os administradores podem criar uma conexão e um pipeline ao mesmo tempo na IU de ingestão de dados. Consulte Conectores gerenciados no Lakeflow Connect.

Lakeflow Connect vs. Lakehouse Federation

A Lakehouse Federation permite que você consulte fontes de dados externas sem mover seus dados. Quando você tiver a opção entre Lakeflow Connect e Lakehouse Federation, escolha Lakehouse Federation para relatórios ad hoc ou trabalho de prova de conceito em seus pipelines de ETL. Veja O que é Lakehouse Federation?.

Requisitos de privilégio

Os privilégios de usuário necessários para se conectar a uma fonte de ingestão gerenciada dependem da interface escolhida:

• Interface do usuário de ingestão de dados

  Os usuários administradores podem criar uma conexão e um pipeline ao mesmo tempo. Este assistente de ingestão de ponta a ponta só está disponível na interface do usuário. Nem todos os conectores de ingestão gerenciados oferecem suporte à criação de pipeline baseada em interface do usuário.

• Explorador de Catálogos

  O uso do Catalog Explorer separa a criação de conexão da criação de pipeline. Isso permite que os administradores criem conexões para usuários não administradores criarem pipelines.

  Se os usuários que criarão pipelines forem usuários não administradores ou planejarem usar APIs do Databricks, SDKs do Databricks, a CLI do Databricks ou o Databricks Asset Bundles, um administrador deverá primeiro criar a conexão no Gerenciador de Catálogos. Essas interfaces exigem que os usuários especifiquem uma conexão existente quando criam um pipeline.

Confluência

Para criar uma ligação Confluence no Explorador de Catálogos, faça o seguinte:

1. Conclua a configuração do código-fonte. Use os dados de autenticação que obtiver para criar a ligação.

2. No espaço de trabalho do Azure Databricks, clique em Catálogo > Dados externos > Conexões > Criar conexão.

3. Na página Noções básicas de conexão do assistente Configurar conexão , insira um Nome de conexão exclusivo.

4. No menu suspenso Tipo de Ligação, selecione Confluência.

5. No menu pendente Tipo de autenticação, selecione OAuth.

6. (Opcional) Adicione um comentário.

7. Clique em Avançar.

8. Na página de Autenticação , insira as seguintes credenciais:

   • Domínio: O nome de domínio da instância Confluence (por exemplo, your-domain.atlassian.net). Não incluas https:// nem www.
   • Segredo do cliente: O segredo do cliente da configuração de origem.
   • ID do cliente: O ID do cliente da configuração de origem.

9. Clique em Iniciar Sessão com a Confluência.

   És redirecionado para a página de autorização da Atlassian.

10. Introduza as suas credenciais da Confluence e complete o processo de autenticação.

    Você será redirecionado para o espaço de trabalho do Azure Databricks.

11. Clique em Criar conexão.

Dados brutos do Google Analytics

A interface do usuário do Databricks suporta apenas OAuth para conexões GA4. Em vez disso, você pode usar a autenticação básica criando a conexão usando APIs do Databricks.

Interface do usuário do Databricks

1. No espaço de trabalho do Azure Databricks, clique em Catálogo > Locais > externos Conexões > Criar conexão.
2. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um Nome de conexão exclusivo.
3. No menu suspenso Tipo de conexão , selecione Dados brutos do Google Analytics.
4. (Opcional) Adicione um comentário.
5. Clique em Avançar.
6. Na página Autenticação , clique em Iniciar sessão no Google e inicie sessão com as credenciais da sua Conta Google.
7. No prompt para permitir que o Lakeflow Connect acesse sua Conta do Google, clique em Permitir.
8. Clique em Criar conexão.

Databricks APIs

O exemplo a seguir mostra como criar uma conexão com GA4 usando autenticação básica com uma chave JSON de conta de serviço. O Databricks recomenda executar o código a seguir localmente para evitar ter seu token de acesso pessoal e conta de serviço registrados na runCommand ação de seus logs de auditoria. Se os logs de auditoria detalhados estiverem habilitados, a criação da conexão em um bloco de anotações do Azure Databricks com credenciais de texto sem formatação poderá torná-los visíveis para qualquer pessoa com acesso à tabela ou aos system.access.audit logs de auditoria brutos.

curl -X POST \
 "${DATABRICKS_INSTANCE}/api/2.1/unity-catalog/connections" \
 -H "Authorization: Bearer ${TOKEN}" \
 -H "Content-Type: application/json" \
 -d "{
\"name\": \"YOUR_CONNECTION_NAME\",
\"connection_type\": \"GA4_RAW_DATA\",
\"options\": {
\"service_account_json\": $(jq -Rs '.' service_account.json)
},
\"comment\": \"GA4 Raw Data connection for managed ingestion\"
}"

Meta Ads

Pré-requisitos

Configura o Meta Ads como fonte de dados.

Criar uma conexão

1. No Explorador de Catálogo, clique em Adicionar e selecione Adicionar uma ligação.
2. No menu pendente Tipo de Ligação, selecione Meta Marketing.
3. Introduzir um nome para a ligação.
4. No campo ID da App , introduza o ID da App da sua Meta App.
5. No campo Segredo da App , introduza o Segredo da App da sua Meta App.
6. Clica em Autenticar e cria ligação.
7. Na janela de autenticação Meta, inicia sessão com a tua conta Meta e concede as permissões solicitadas.
8. Após o sucesso da autenticação, a ligação é criada.

MySQL

Pré-requisitos

Conclua a configuração do código-fonte. Você usará os detalhes de autenticação obtidos para criar a conexão.

Criar conexão

1. No espaço de trabalho do Azure Databricks, clique em Catálogo > Locais > externos Conexões > Criar conexão.

2. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um Nome de conexão exclusivo.

3. No menu pendente Tipo de Ligação, selecione MySQL.

4. (Opcional) Adicione um comentário.

5. Clique em Avançar.

6. Na página Autenticação , insira o seguinte:

   • Anfitrião: Especifique o nome de domínio MySQL.
   • Utilizador e Palavra-passe: Insira as credenciais de login MySQL do utilizador de replicação.

7. Clique em Criar conexão.

O botão Testar Ligação falha atualmente para utilizadores criados com caching_sha2_password ou sha256_password mesmo quando as credenciais estão corretas. Este é um problema conhecido.

PostgreSQL

Pré-requisitos

Configure PostgreSQL para ingestão no Azure Databricks

Criar conexão

1. No espaço de trabalho do Azure Databricks, clique em Catálogo > Locais > externos Conexões > Criar conexão.
2. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um Nome de conexão exclusivo.
3. No menu suspenso Tipo de Ligação , selecione PostgreSQL.
4. (Opcional) Adicione um comentário.
5. Clique em Avançar.
6. Na página de Autenticação , para Host, especifique o nome de domínio PostgreSQL.
7. Para Utilizador e Palavra-passe, introduza as credenciais de login PostgreSQL do utilizador de replicação.
8. Clique em Criar conexão.

Salesforce

O Lakeflow Connect suporta a ingestão de dados da Salesforce Platform. O Databricks também oferece um conector de cópia zero na Lakehouse Federation para executar consultas federadas no Salesforce Data 360 (anteriormente Data Cloud).

Pré-requisitos

O Salesforce aplica restrições de uso a aplicativos conectados. As permissões na tabela a seguir são necessárias para uma autenticação inicial bem-sucedida. Se você não tiver essas permissões, o Salesforce bloqueará a conexão e exigirá que um administrador instale o aplicativo conectado Databricks.

Para obter informações detalhadas, consulte Preparar para alterações nas restrições de uso do aplicativo conectado na documentação do Salesforce.

Criar uma conexão

Para criar uma conexão de ingestão do Salesforce no Catalog Explorer, faça o seguinte:

1. No espaço de trabalho do Azure Databricks, clique em Catálogo > Locais > externos Conexões > Criar conexão.

2. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um Nome de conexão exclusivo.

3. No menu suspenso Tipo de conexão , selecione Salesforce.

4. (Opcional) Adicione um comentário.

5. Clique em Avançar.

6. Se você estiver ingerindo a partir de uma conta de área restrita do Salesforce, defina É área restrita como true.

7. Clique em Entrar com o Salesforce.

   Você será redirecionado para o Salesforce.

8. Se você estiver ingerindo a partir de uma área restrita do Salesforce, clique em Usar domínio personalizado, forneça a URL da área restrita e clique em Continuar.

   

   

9. Insira suas credenciais do Salesforce e clique em Fazer login. A Databricks recomenda fazer login como um utilizador do Salesforce dedicado à ingestão de dados no Databricks.

   Importante

   Para fins de segurança, autentique-se somente se você clicou em um link OAuth 2.0 na interface do usuário do Azure Databricks.

10. Depois de retornar ao assistente de ingestão, clique em Criar conexão.

ServiceNow

As etapas para criar uma conexão ServiceNow no Catalog Explorer dependem do método OAuth escolhido. Os seguintes métodos são suportados:

• U2M OAuth (recomendado)
• Credenciais de Palavra-passe do Proprietário de Recurso OAuth (ROPC)

A Databricks recomenda o uso do U2M OAuth porque é a abordagem mais segura.

U2M OAuth (recomendado)

1. Conclua a configuração do código-fonte. Você usará os detalhes de autenticação obtidos para criar a conexão.

2. No espaço de trabalho do Azure Databricks, clique em Catálogo > Locais > externos Conexões > Criar conexão.

3. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um Nome de conexão exclusivo.

4. No menu suspenso Tipo de conexão , selecione ServiceNow.

5. No menu suspenso Tipo de autenticação, selecione OAuth (recomendado).

6. (Opcional) Adicione um comentário.

7. Clique em Avançar.

8. Na página Autenticação , insira o seguinte:

   • URL da instância: URL da instância do ServiceNow.
   • Escopo OAuth: Deixe o valor padrãouseraccount.
   • Segredo do cliente: O segredo do cliente obtido na configuração de origem.
   • ID do cliente: a ID do cliente que você obteve na configuração de origem.

9. Clique em Entrar com ServiceNow.

10. Entre usando suas credenciais do ServiceNow.

    Você será redirecionado para o espaço de trabalho do Azure Databricks.

11. Clique em Criar conexão.

ROPC

1. Conclua a configuração do código-fonte. Use os detalhes de autenticação que você obtém para criar a conexão.

2. No espaço de trabalho do Azure Databricks, clique em Catálogo > Locais > externos Conexões > Criar conexão.

3. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um Nome de conexão exclusivo.

4. No menu suspenso Tipo de conexão , selecione ServiceNow.

5. No menu suspenso Tipo de autenticação, selecione Palavra-passe do Dono do Recurso OAuth.

6. (Opcional) Adicione um comentário.

7. Clique em Avançar.

8. Na página Autenticação , insira o seguinte:

   • Usuário: Seu nome de usuário ServiceNow.
   • Palavra-passe: A sua palavra-passe ServiceNow.
   • URL da instância: URL da instância do ServiceNow.
   • ID do cliente: a ID do cliente que você obteve na configuração de origem.
   • Segredo do cliente: O segredo do cliente obtido na configuração de origem.

9. Clique em Criar conexão.

NetSuite

O conector NetSuite utiliza autenticação baseada em tokens.

Pré-requisitos

Conclua a configuração do código-fonte. Você usará os detalhes de autenticação obtidos para criar a conexão.

Criar uma conexão

Para criar uma ligação de ingestão NetSuite no Explorador de Catálogos, faça o seguinte:

1. No espaço de trabalho do Azure Databricks, clique em Catálogo > Locais > externos Conexões > Criar conexão.

2. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um Nome de conexão exclusivo.

3. No menu suspenso Tipo de Ligação , selecione NetSuite.

4. (Opcional) Adicione um comentário.

5. Clique em Avançar.

6. Na página de Autenticação , insira as seguintes credenciais:

   • Chave do Consumidor: A chave de consumidor OAuth da sua integração com a NetSuite.
   • Segredo do Consumidor: O segredo do consumidor OAuth da sua integração com a NetSuite.
   • ID do Token: O ID do token de acesso para o seu utilizador NetSuite.
   • Token Secret: O segredo do token de acesso para o seu utilizador NetSuite.
   • ID de Função: O ID interno do papel de Integrador de Armazém de Dados no NetSuite.
   • Anfitrião: O hostname do seu URL JDBC da NetSuite.
   • Porta: O número de porta do teu URL JDBC do NetSuite.
   • ID da conta: O ID da conta a partir do URL JDBC do NetSuite.

7. Clique em Testar ligação para verificar se consegue ligar-se ao Netsuite.

8. Clique em Criar conexão.

SharePoint

Os seguintes métodos de autenticação são suportados:

• OAuth M2M (Pré-visualização pública)
• OAuth U2M
• OAuth com atualização manual de token

Na maioria dos cenários, o Databricks recomenda OAuth máquina-a-máquina (M2M). O M2M estende permissões de conectores para um local específico. No entanto, se quiser definir permissões a tudo o que o utilizador autenticador pode aceder, escolha utilizador-para-máquina (U2M) OAuth em vez disso. Ambos os métodos oferecem atualização automática de tokens e segurança reforçada.

M2M

1. Conclua a configuração do código-fonte. Você usará os detalhes de autenticação obtidos para criar a conexão.

2. No espaço de trabalho do Azure Databricks, clique em Catálogo > Dados externos > Conexões > Criar conexão.

3. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um Nome de conexão exclusivo.

4. No menu suspenso Tipo de conexão , selecione Microsoft SharePoint.

5. No menu suspenso Tipo de Autenticação, selecione OAuth Máquina para Máquina.

6. (Opcional) Adicione um comentário.

7. Clique em Avançar.

8. Na página Autenticação , insira as seguintes credenciais para seu aplicativo Microsoft Entra ID:

   • Segredo do cliente: o segredo do cliente que você recuperou na configuração de origem.
   • ID do cliente: o ID do cliente que você recuperou na configuração de origem.
   • Domínio: A URL da instância do SharePoint no seguinte formato: https://MYINSTANCE.sharepoint.com
   • ID do locatário: o ID do locatário que você recuperou na configuração de origem.

9. Clique em Entrar com o Microsoft SharePoint.

   Abre-se uma nova janela. Depois de entrar com suas credenciais do SharePoint, as permissões que você está concedendo ao aplicativo Entra ID são mostradas.

10. Clique Aceitar.

    Uma mensagem Autorizado com êxito é exibida e você é redirecionado para o espaço de trabalho do Azure Databricks.

11. Clique em Criar conexão.

U2M

1. Conclua a configuração do código-fonte. Você usará os detalhes de autenticação obtidos para criar a conexão.

2. No espaço de trabalho do Azure Databricks, clique em Catálogo > Dados externos > Conexões > Criar conexão.

3. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um Nome de conexão exclusivo.

4. No menu suspenso Tipo de conexão , selecione Microsoft SharePoint.

5. No menu pendente Tipo de autenticação, selecione OAuth.

6. (Opcional) Adicione um comentário.

7. Clique em Avançar.

8. Na página Autenticação , insira as seguintes credenciais para seu aplicativo Microsoft Entra ID:

   • Segredo do cliente: o segredo do cliente que você recuperou na configuração de origem.
   • ID do cliente: o ID do cliente que você recuperou na configuração de origem.
   • Âmbito OAuth: Deixe o âmbito OAuth definido para o valor pré-preenchido: https://graph.microsoft.com/Sites.Read.All offline_access
   • Domínio: A URL da instância do SharePoint no seguinte formato: https://MYINSTANCE.sharepoint.com
   • ID do locatário: o ID do locatário que você recuperou na configuração de origem.

   

9. Clique em Entrar com o Microsoft SharePoint.

   Abre-se uma nova janela. Depois de entrar com suas credenciais do SharePoint, as permissões que você está concedendo ao aplicativo Entra ID são mostradas.

10. Clique Aceitar.

    Uma mensagem Autorizado com êxito é exibida e você é redirecionado para o espaço de trabalho do Azure Databricks.

11. Clique em Criar conexão.

Token de atualização manual

1. Conclua a configuração do código-fonte. Você usará os detalhes de autenticação obtidos para criar a conexão.

2. No espaço de trabalho do Azure Databricks, clique em Catálogo > Dados externos > Conexões > Criar conexão.

3. Na página Noções básicas de conexão do assistente Configurar conexão , especifique um Nome de conexão exclusivo.

4. No menu suspenso Tipo de conexão , selecione Microsoft SharePoint.

5. No menu suspenso Tipo de autenticação, selecione OAuth Refresh Token.

6. (Opcional) Adicione um comentário.

7. Clique em Avançar.

8. Na página Autenticação , insira as seguintes credenciais para seu aplicativo Microsoft Entra ID:

   • ID do locatário: o ID do locatário que você recuperou na configuração de origem.
   • ID do cliente: o ID do cliente que você recuperou na configuração de origem.
   • Segredo do cliente: o segredo do cliente que você recuperou na configuração de origem.
   • Token de atualização: o token de atualização recuperado na configuração de origem.

   

9. Clique em Criar conexão.

SQL Server

Para criar uma conexão do Microsoft SQL Server no Gerenciador de Catálogos, faça o seguinte:

1. No espaço de trabalho do Azure Databricks, clique em Catálogo > Dados Externos > Conexões.
2. Clique em Criar conexão.
3. Insira um nome de conexão exclusivo.
4. Em Tipo de conexão , selecione SQL Server.
5. Para Host, especifique o nome de domínio do SQL Server.
6. Em Usuário e Senha, insira suas credenciais de logon do SQL Server.
7. Clique em Criar.

Relatórios de dias úteis

Para criar uma conexão de Relatórios de Dia de Trabalho no Gerenciador de Catálogos, faça o seguinte:

1. Crie credenciais de acesso ao Workday. Para obter instruções, consulte Configurar relatórios do Workday para a ingestão.
2. No espaço de trabalho do Azure Databricks, clique em Catálogo > Locais > externos Conexões > Criar conexão.
3. Em Nome da conexão, insira um nome exclusivo para a conexão Workday.
4. Em Tipo de conexão, selecione Relatórios de dia útil.
5. Para Tipo de autenticação, selecione Token de atualização OAuth ou Nome de usuário e senha (autenticação básica) e clique em Avançar.
6. (Token de atualização OAuth) Na página Autenticação , insira a ID do cliente, o segredo do cliente e o token de atualização que você obteve na configuração de origem.
7. (Autenticação básica) Introduza o seu nome de utilizador e palavra-passe do Workday.
8. Clique em Criar conexão.

Próximo passo

Após criar uma conexão com a sua fonte de ingestão gerida no Catalog Explorer, qualquer utilizador com USE CONNECTION privilégios ou ALL PRIVILEGES na conexão pode criar um pipeline de ingestão das seguintes maneiras:

• Assistente de ingestão (apenas conectores suportados)
• Pacotes de Ativos da Databricks
• Databricks APIs
• Databricks SDKs
• CLI do Databricks

Para obter instruções sobre como criar um pipeline, consulte a documentação do conector gerenciado.