Partilhar via

Obter dados do Amazon S3

Neste artigo, você aprenderá como obter dados do Amazon S3 em uma tabela nova ou existente. O Amazon S3 é um serviço de armazenamento de objetos criado para armazenar e recuperar dados.

Para obter mais informações sobre o Amazon S3, consulte O que é o Amazon S3?.

Pré-requisitos

  • Um espaço de trabalho com uma capacidade habilitada através de Microsoft Fabric
  • Um banco de dados KQL com permissões de edição
  • Um bucket do Amazon S3 com dados

Fonte

  1. Na faixa de opções inferior do banco de dados KQL, selecione Obter dados.

    Na janela Obter Dados, a aba Fonte está selecionada.

  2. Selecione a fonte de dados na lista disponível. Neste exemplo, você está ingerindo dados de Amazon S3.

    Uma captura de ecrã da janela de obter dados com o separador origem selecionado.

Configurar

  1. Selecione uma tabela de destino. Se pretender ingerir dados numa nova tabela, selecione +Nova tabela e introduza um nome de tabela.

    Observação

    Os nomes das tabelas podem ter até 1024 caracteres, incluindo espaços, alfanuméricos, hífenes e sublinhados. Não há suporte para caracteres especiais.

  2. No campo URI , cole a string de conexão de um único bucket ou de um objeto individual no formato seguinte.

    Bucket: https://BucketName.s3.RegionName.amazonaws.com;AwsCredentials=AwsAccessID,AwsSecretKey

    Opcionalmente, você pode aplicar filtros de bucket para filtrar dados de acordo com uma extensão de arquivo específica.

    Captura de tela da guia configurar com a nova tabela inserida e uma cadeia de conexão do Amazon S3 colada.

  3. Selecione Avançar.

Inspecionar

A guia Inspecionar é aberta com uma pré-visualização dos dados.

Para concluir o processo de ingestão, selecione Concluir.

Captura de tela da guia inspecionar.

Você pode visualizar, inspecionar e configurar os dados ingeridos. Os números na imagem correspondem a estas opções:

Selecione visualizador de comandos para visualizar e copiar os comandos automáticos gerados a partir das suas entradas.

(2) Utilize o menu pendente Arquivo de definição de esquema para alterar o arquivo do qual o esquema é inferido.

Mudar o formato de dados inferido automaticamente, selecionando o formato desejado no menu drop-down. Para obter mais informações, consulte Formatos de dados suportados pelo Real-Time Intelligence.

(4) Editar colunas.

(5) Explore Opções Avançadas com Base no Tipo de Dados.

Editar colunas

Observação

  • Para formatos tabulares (CSV, TSV, PSV), não é possível mapear uma coluna duas vezes. Para mapear para uma coluna existente, primeiro exclua a nova coluna.
  • Não é possível alterar um tipo de coluna existente. Se você tentar mapear para uma coluna com um formato diferente, você pode acabar com colunas vazias.

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

  • O tipo de tabela é novo ou existente
  • Tipo de mapeamento é novo ou existente
Tipo de tabela Tipo de mapeamento Ajustes disponíveis
Nova tabela Novo mapeamento Renomear coluna, alterar tipo de dados, alterar fonte de dados, transformação de mapeamento , adicionar coluna, eliminar coluna
Tabela existente Novo mapeamento Adicionar coluna (na qual você pode alterar o tipo de dados, renomear e atualizar)
Tabela existente Mapeamento existente nenhuma

Captura de tela de colunas abertas para edição.

Mapeando transformações

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) suportam transformações simples no momento de ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas.

As transformações de mapeamento podem ser executadas em uma coluna do tipo string ou datetime, com a fonte tendo o tipo de dados int ou long. Para obter mais informações, consulte a lista completa de transformações de mapeamento suportadas.

Opções avançadas com base no tipo de dados

Tabela (CSV, TSV, PSV):

  • Se estiver a ingerir formatos tabulares numa tabela existente, pode selecionar Avançadas>Manter o esquema da tabela. Os dados tabulares não incluem necessariamente os nomes das colunas usadas para mapear os dados de origem para as colunas existentes. Quando essa opção é marcada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para os dados de entrada, independentemente da estrutura dos dados.

    Captura de ecrã das opções avançadas.

  • Os dados tabulares não incluem necessariamente os nomes das colunas usadas para mapear os dados de origem para as colunas existentes. Para usar a primeira linha como nomes de coluna, selecione Primeira linha é o cabeçalho da coluna.

    Captura de ecrã onde a primeira linha é a alternância do cabeçalho da coluna.

Resumo

Na janela de preparação de dados, todas as três etapas são marcadas com marcas de seleção verdes quando a ingestão de dados é concluída com êxito. Você pode selecionar um cartão de consulta, eliminar os dados ingeridos, ou ver um painel de resumo da ingestão.

Captura de tela da página de resumo com a ingestão bem-sucedida concluída.

Conteúdo relacionado

  • Last updated on