Configurar o banco de dados SQL em uma atividade de cópia (versão prévia)

Este artigo descreve como usar a atividade de cópia em um pipeline para copiar dados de e para o banco de dados SQL.

Configuração com suporte

Para a configuração de cada guia em atividade Copy, vá para as seções a seguir, respectivamente.

• Geral
• Fonte
• Destino
• Mapeamento
• Settings

Geral

Consulte as diretrizes de Configurações Geraispara definir a guia Configurações Gerais.

Source

As propriedades a seguir têm suporte para o banco de dados SQL na guia Origem de uma atividade de cópia.

As seguintes propriedades são necessárias:

• Conexão: selecione um banco de dados SQL existente referente à etapa neste artigo.

• Use a consulta: você pode escolher Tabela, Consulta ou procedimento armazenado. A lista a seguir descreve a configuração de cada configuração:

  • Tabela: especifique o nome do banco de dados SQL para ler dados. Escolha uma tabela existente na lista suspensa ou selecione Enter manualmente para inserir o esquema e o nome da tabela.

  • Consulta: especifique a consulta SQL personalizada para ler dados. Um exemplo é select * from MyTable. Ou selecione o ícone de lápis a ser editado no editor de código.

    

  • Procedimento armazenado: selecione o procedimento armazenado na lista suspensa.

Em Avançado, você pode especificar os seguintes campos:

• Tempo limite da consulta (minutos): especifique o tempo limite para a execução do comando de consulta, o padrão é 120 minutos. Se o parâmetro for definido para essa propriedade, os valores permitidos serão intervalos de tempo, como "02:00:00" (120 minutos).

  

• Nível de isolamento: especifica o comportamento de bloqueio de transação para a origem do SQL. Os valores permitidos são: Leitura confirmada, leitura não confirmada, leitura repetível, serializável ou instantâneo. Consulte IsolationLevel Enum para obter mais detalhes.

  

• Opção de partição: especifique as opções de particionamento de dados usadas para carregar dados do banco de dados SQL. Os valores permitidos são: Nenhum (padrão), partições físicas da tabela e intervalo dinâmico. Quando uma opção de partição está habilitada (ou seja, não Nenhuma), o grau de paralelismo para carregar dados simultaneamente de um banco de dados SQL é controlado pelo grau de paralelismo de cópia na guia configurações de atividade de cópia.

  • Nenhum: escolha essa configuração para não usar uma partição.

  • Partições físicas da tabela: ao usar uma partição física, a coluna de partição e o mecanismo são determinados automaticamente com base na definição da tabela física.

  • Intervalo dinâmico: ao usar a consulta com o paralelo habilitado, o parâmetro de partição de intervalo(?DfDynamicRangePartitionCondition) é necessário. Consulta de exemplo: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition.

    • Nome da coluna de partição: especifique o nome da coluna de origem nos tipos inteiro ou date/datetime (int, smallint, bigint, date, smalldatetime, datetime, datetime2, ou datetimeoffset) usado pelo particionamento de intervalo para cópia paralela. Se não for especificado, o índice ou a chave primária da tabela serão detectados automaticamente e usados como a coluna de partição.

      Se você usar uma consulta para recuperar os dados de origem, conecte ?DfDynamicRangePartitionCondition na cláusula WHERE. Para ver um exemplo, confira a seção Cópia paralela do banco de dados SQL.

    • Limite superior da partição: especifique o valor máximo da coluna de partição para divisão do intervalo de partição. Esse valor é usado para decidir o passo da partição, não para filtrar as linhas na tabela. Todas as linhas na tabela ou no resultado da consulta serão particionadas e copiadas. Se não for especificado, a atividade Copy detectará o valor automaticamente. Para ver um exemplo, confira a seção Cópia paralela do banco de dados SQL.

    • Limite inferior da partição: especifique o valor mínimo da coluna de partição para divisão do intervalo de partição. Esse valor é usado para decidir o passo da partição, não para filtrar as linhas na tabela. Todas as linhas na tabela ou no resultado da consulta serão particionadas e copiadas. Se não for especificado, a atividade Copy detectará o valor automaticamente. Para ver um exemplo, confira a seção Cópia paralela do banco de dados SQL.

• Colunas adicionais: adicione mais colunas de dados para armazenar o caminho relativo ou o valor estático dos arquivos de origem. A expressão tem suporte para o último. Para obter mais informações, acesse Adicionar colunas adicionais durante a cópia.

Destino

As propriedades a seguir têm suporte para o banco de dados SQL na guia Destino de uma atividade de cópia.

As seguintes propriedades são necessárias:

• Conexão: selecione um banco de dados SQL existente referente à etapa neste artigo.

• Opção de Tabela: Selecione entre Usar existente ou Criação automática de tabela.

  • Se você selecionar Usar existente:

    • Tabela: Especifique o nome do banco de dados SQL para gravar dados. Escolha uma tabela existente na lista suspensa ou selecione Enter manualmente para inserir o esquema e o nome da tabela.

  • Se você selecionar Criar tabela automaticamente:

    • Tabela: Ele cria automaticamente a tabela (se inexistente) no esquema de origem, que não tem suporte quando o procedimento armazenado é usado como comportamento de gravação.

Em Avançado, você pode especificar os seguintes campos:

• Comportamento de gravação: define o comportamento de gravação quando a origem é arquivos de um armazenamento de dados baseado em arquivo. Você pode escolher Inserir, Upsert ou procedimento armazenado.

  

  • Insira: escolha esta opção se os dados de origem tiverem inserções.

  • Upsert: escolha essa opção se os dados de origem tiverem inserções e atualizações.

    • Use TempDB: especifique se uma tabela temporária global ou uma tabela física deve ser usada como a tabela provisória para upsert. Por padrão, o serviço usa a tabela temporária global como a tabela provisória e essa caixa de seleção está selecionada.
      Se você gravar uma grande quantidade de dados no banco de dados SQL, desmarque isto e especifique um nome de esquema no qual o Data Factory criará uma tabela intermediária para carregar dados anteriores e limpar automaticamente após a conclusão. Verifique se o usuário criou a permissão de tabela no banco de dados e altere a permissão no esquema. Caso não seja especificado, uma tabela temporária global será usada como preparação.

      

    • Selecione o esquema de banco de dados do usuário: quando o Uso do TempDB não estiver selecionado, especifique um nome de esquema sob o qual o Data Factory criará uma tabela intermediária para carregar os dados de entrada e limpá-los automaticamente após a conclusão. Crie a permissão de tabela no banco de dados e altere a permissão no esquema.

      Observação

      Você deve ter a permissão para criar e excluir tabelas. Por padrão, uma tabela provisória compartilhará o mesmo esquema de uma tabela de destino.

      

    • Colunas de chave: escolha qual coluna é usada para determinar se uma linha da origem corresponde a uma linha do destino.

  • Nome da procedure armazenada: Selecione a procedure armazenada na lista suspensa.

• Bloqueio de tabela para inserção em massa: Escolha Sim ou Não. Use essa configuração para melhorar o desempenho da cópia durante uma operação de inserção em massa em uma tabela sem índice de vários clientes. Para obter mais informações, vá para BULK INSERT (Transact-SQL)

• Script de pré-cópia: especifique um script para a atividade de cópia a ser executada antes de gravar dados em uma tabela de destino em cada execução. Você pode usar essa propriedade para limpar os dados previamente carregados.

• Tempo limite do lote de gravação: especifique o tempo de espera para que a operação de inserção em lote termine antes de atingir o tempo limite. O valor permitido é timespan. O valor padrão é "00:30:00" (30 minutos).

• Tamanho do lote de gravação: especifique o número de linhas a serem inseridas na tabela SQL por lote. O valor permitido é inteiro (número de linhas). Por padrão, o serviço determina dinamicamente o tamanho do lote apropriado com base no tamanho da linha.

• Máximo de conexões simultâneas: especifique o limite superior de conexões simultâneas estabelecidas com o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.

Mapeamento

Para a configuração da guia Mapeamento, se você não usar o banco de dados SQL com criação automática de tabelas como destino, vá para Mapeamento.

Se você utilizar um banco de dados SQL e configurar a criação automática de tabelas como destino, além das configurações em Mapeamento, você poderá editar os tipos das colunas de destino. Depois de selecionar Esquemas de importação, você pode especificar o tipo de coluna em seu destino.

Por exemplo, o tipo da coluna ID na origem é int, e você pode alterá-lo para o tipo float durante o mapeamento para a coluna de destino.

Configurações

Para configuração da guia Configurações, acesse Definir suas outras configurações na guia configurações.

Cópia paralela do banco de dados SQL

O conector do banco de dados SQL na atividade de cópia fornece particionamento de dados interno para copiar dados em paralelo. Você pode encontrar opções de particionamento de dados na guia Origem da atividade de cópia.

Quando você habilita a cópia particionada, a atividade de cópia executa consultas paralelas na fonte do banco de dados SQL para carregar dados por partições. O grau paralelo é controlado pelo grau de paralelismo de cópia na guia configurações de atividade de cópia. Por exemplo, se você definir Grau de paralelismo de cópia como quatro, o serviço gerará e executará simultaneamente quatro consultas com base na opção e nas configurações de partição especificadas, e cada consulta recuperará uma parte dos dados do banco de dados SQL.

Recomenda-se que você habilite a cópia paralela com particionamento de dados, especialmente ao carregar um grande volume de dados do banco de dados SQL. Veja a seguir as configurações sugeridas para cenários diferentes. Ao copiar dados para o armazenamento de dados baseado em arquivo, recomendamos gravá-los em uma pasta como vários arquivos (apenas especifique o nome da pasta) para ter um desempenho melhor do que gravar em um arquivo.

Melhores práticas para carregar dados com a opção de partição:

• Escolha a coluna distinta como coluna de partição (como chave primária ou chave exclusiva) para evitar a distorção de dados.
• Se a tabela tiver partição interna, use a opção de partição Partições físicas da tabela para obter um melhor desempenho.

Exemplo de consulta para verificar a partição física

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id 
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id 
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id 
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id 
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id 
WHERE s.name='[your schema]' AND t.name = '[your table name]'

Se a tabela tiver uma partição física, você verá "HasPartition" como "yes" conforme segue.

Sumário da tabela

As tabelas a seguir contêm mais informações sobre a atividade de cópia no banco de dados SQL.

Source

Destino

Conteúdo relacionado

• Visão geral do banco de dados SQL