Configurar o Banco de Dados SQL do Azure em uma atividade de cópia

Este artigo descreve como usar a atividade de cópia em um pipeline para copiar dados de e para o Banco de Dados SQL do Azure.

Configuração com suporte

Para a configuração de cada guia em atividade Copy, vá para as seções a seguir, respectivamente.

• Geral
• Origem
• Destino
• Mapeamento
• Configurações

Geral

Confira as diretrizes de Configurações gerais para definir a guia de configurações Gerais.

Fonte

As propriedades a seguir têm suporte para Banco de Dados SQL do Azure na guia Origem de uma atividade de cópia.

As propriedades a seguir são necessárias:

• Conexão: selecione uma conexão do Banco de Dados SQL do Azure na lista de conexões. Se a conexão não existir, crie uma nova conexão do Banco de Dados SQL do Azure selecionando Novo.
• Tipo de conexão: selecione banco de dados SQL do Azure.
• Tabela: selecione a tabela em seu banco de dados na lista suspensa. Ou marcar Editar para inserir o nome da tabela manualmente.
• Visualizar dados: selecione Visualizar dados para visualizar os dados em sua tabela.

Em Avançado, você pode especificar os seguintes campos:

• Usar consulta: você pode escolher Tabela, Consulta ou Procedimento armazenado. A lista a seguir descreve a configuração de cada configuração:

  • Tabela: leia os dados da tabela que você especificou em Tabela se você selecionar esse botão.

  • Consulta: Especifique a consulta SQL personalizada para ler os dados. Um exemplo é select * from MyTable. Ou selecione o ícone de lápis a ser editado no editor de código.

    

  • Procedimento Armazenado: Utilize o procedimento armazenado que lê dados da tabela de origem. A última instrução SQL deve ser uma instrução SELECT no procedimento armazenado.

    • nome do procedimento armazenado: selecione o procedimento armazenado ou especifique o nome do procedimento armazenado manualmente ao marcar a caixa Editar para ler dados da tabela de origem.

    • parâmetros de procedimento armazenado: especifique valores para parâmetros de procedimento armazenado. Os valores permitidos são pares de nome ou valor. Os nomes e o uso de maiúsculas e minúsculas de parâmetros devem corresponder aos nomes e o uso de maiúsculas e minúsculas dos parâmetros do procedimento armazenado.

      

• tempo limite de consulta (minutos): especifique o tempo limite para a execução do comando de consulta, o padrão é 120 minutos. Se um parâmetro for definido para essa propriedade, os valores permitidos serão intervalos de tempo, como "02:00:00" (120 minutos).

  

• Nível de isolamento: especifica o comportamento de bloqueio de transação para a fonte SQL. Os valores permitidos são: None, ReadCommitted, ReadUncommitted, RepeatableRead, Serializable ou Snapshot. Se não for especificado, nenhum nível de isolamento será usado. Consulte IsolationLevel Enum para obter mais detalhes.

  

• opção de partição: especifique as opções de particionamento de dados usadas para carregar dados do Banco de Dados SQL do Azure. Os valores permitidos são: Nenhum (padrão), partições físicas da tabelae intervalo dinâmico. Quando uma opção de partição está ativada (ou seja, não é None), o grau de paralelismo para carregar dados simultaneamente de um Banco de Dados SQL do Azure é controlado pela configuração de cópia paralela na atividade de cópia.

  

  • Nenhum: escolha essa configuração para não usar uma partição.

  • Partições físicas da tabela: quando você usa uma partição física, a coluna de partição e o mecanismo são determinados automaticamente com base na definição da tabela física.

  • intervalo dinâmico: quando você usa uma consulta com o paralelo habilitado, o parâmetro de partição de intervalo(?DfDynamicRangePartitionCondition) é necessário. Exemplo de consulta: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition.

    • Nome da coluna de partição: Especifique o nome da coluna de origem no tipo inteiro ou data/datetime ( int, smallint, bigint, date, smalldatetime, datetime, datetime2 o datetimeoffset) que é usada pelo particionamento de intervalo para cópia paralela. Se não for especificado, o índice ou a chave primária da tabela serão detectados automaticamente e usados como a coluna de partição.
    • Limite superior da partição: especifique o valor máximo da coluna de partição para divisão de intervalo de partição. Esse valor é usado para decidir o passo da partição, não para filtrar as linhas na tabela. Todas as linhas na tabela ou no resultado da consulta são particionadas e copiadas.
    • Limite inferior da partição: especifique o valor mínimo da coluna de partição para divisão do intervalo de partição. Esse valor é usado para decidir o passo da partição, não para filtrar as linhas na tabela. Todas as linhas na tabela ou no resultado da consulta são particionadas e copiadas.

• Colunas adicionais: adicione mais colunas de dados para armazenar o caminho relativo ou o valor estático dos arquivos de origem. A expressão tem suporte para o último. Para obter mais informações, acesse Adicionar colunas adicionais durante a cópia.

Destino

As seguintes propriedades são compatíveis com o Banco de Dados SQL do Azure na guia Destino de uma atividade de cópia.

Captura de tela

As propriedades a seguir são necessárias:

• Conexão: selecione uma conexão do Banco de Dados SQL do Azure na lista de conexões. Se a conexão não existir, crie uma nova conexão do Banco de Dados SQL do Azure selecionando Novo.
• Tipo de conexão: selecione banco de dados SQL do Azure.
• Tabela: selecione a tabela em seu banco de dados na lista suspensa. Ou marcar Editar para inserir o nome da tabela manualmente.
• Visualizar dados: selecione Visualizar dados para visualizar os dados em sua tabela.

Em Avançado, você pode especificar os seguintes campos:

• Comportamento de gravação: define o comportamento de gravação quando a origem são arquivos de um armazenamento de dados baseado em arquivo. Você pode escolher Insert, Upsert ou Procedimento armazenado.

  

  • Inserir: escolha esta opção se os dados de origem tiverem inserções.

  • Upsert: escolha essa opção se os dados de origem tiverem inserções e atualizações.

    • Usar TempDB: especifique se quer usar uma tabela temporária global ou uma tabela física como a tabela provisória para upsert. Por padrão, o serviço usa a tabela temporária global como a tabela provisória e essa caixa de seleção está selecionada.

      

    • Selecione o esquema de banco de dados do usuário: quando a caixa de seleção Usar TempDB não estiver selecionada, especifique o esquema provisório para criar uma tabela provisória se uma tabela física for usada.

      Nota

      Você deve ter a permissão para criar e excluir tabelas. Por padrão, uma tabela provisória compartilhará o mesmo esquema de uma tabela de destino.

      

    • Colunas de chave: especifique os nomes de coluna para identificação de linha exclusiva. Uma única chave ou uma série de chaves podem ser usadas. Se não for especificado, a chave primária será usada.

  • procedimento armazenado: utilize o procedimento armazenado que define como aplicar os dados de origem em uma tabela de destino. Esse procedimento armazenado é chamado por lote.

    • nome do procedimento armazenado: selecione o procedimento armazenado ou especifique o nome do procedimento armazenado manualmente ao marcar a caixa Editar para ler dados da tabela de origem.

    • parâmetros de procedimento armazenado: especifique valores para parâmetros de procedimento armazenado. Os valores permitidos são pares de nome ou valor. Os nomes e o uso de maiúsculas e minúsculas de parâmetros devem corresponder aos nomes e o uso de maiúsculas e minúsculas dos parâmetros do procedimento armazenado.

      

• Bloqueio de tabela de inserção em massa: escolha Sim ou Não. Use essa configuração para melhorar o desempenho da cópia durante uma operação de inserção em massa em uma tabela sem índice de vários clientes. Para obter mais informações, acesse BULK INSERT (Transact-SQL)

• opção de tabela: especifica se criar automaticamente a tabela de destino ou não, caso a tabela não exista, com base no esquema de origem. Escolha Nenhum ou Criar tabela automaticamente. Não há suporte para a criação de tabela automática quando o destino especifica um procedimento armazenado.

• Script de pré-cópia: especifique um script para a atividade Copy a ser executada antes de gravar dados em uma tabela de destino em cada execução. Você pode usar essa propriedade para limpar os dados pré-carregados.

• Tempo limite do lote de gravação: especifique o tempo de espera para que a operação de inserção em lote termine antes de atingir o tempo limite. O valor permitido é timespan. O valor padrão é "00:30:00" (30 minutos).

• Gravar o tamanho do lote: especifique o número de linhas a serem inseridas na tabela SQL por lote. O valor permitido é inteiro (número de linhas). Por padrão, o serviço determina dinamicamente o tamanho do lote apropriado com base no tamanho da linha.

• Máximo de conexões simultâneas: especifique o limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas.

• Desabilitar a análise de métricas de desempenho: essa configuração é usada para coletar métricas, como DTU, DWU, RU e assim por diante, para copiar recomendações e otimização de desempenho. Se você estiver preocupado com esse comportamento, marque esta caixa de seleção.

Mapeamento

Para a configuração da guia Mapeamento, se você não aplicar o Banco de Dados SQL do Azure com a tabela de criação automática como destino, vá para Mapeamento.

Se você aplicar o Banco de Dados SQL do Azure com a tabela de criação automática como seu destino, exceto a configuração no Mapeamento, você poderá editar o tipo para suas colunas de destino. Depois de selecionar Esquemas de importação, você poderá especificar o tipo de coluna em seu destino.

Por exemplo, o tipo da coluna ID na origem é int, e você pode alterá-lo para o tipo float ao mapear para a coluna de destino.

Configurações

Para definição da guia Configurações, acesse Definir suas outras configurações na guia configurações.

Cópia paralela do Banco de Dados SQL do Azure

O conector do Banco de Dados SQL do Azure na atividade de cópia fornece particionamento de dados interno para copiar dados em paralelo. Você pode encontrar opções de particionamento de dados na guia Origem da atividade de cópia.

Quando você habilita a cópia particionada, a atividade de cópia executa consultas paralelas em sua fonte do Banco de Dados SQL do Azure para carregar dados por partições. O grau paralelo é controlado pelo Grau de paralelismo de cópia na guia configurações de atividade de cópia. Por exemplo, se você definir Grau de paralelismo de cópia para quatro, o serviço gerará e executará simultaneamente quatro consultas com base na opção de partição e nas configurações especificadas e cada consulta recuperará uma parte dos dados do Banco de Dados SQL do Azure.

Recomenda-se que você habilite a cópia paralela com particionamento de dados, especialmente ao carregar uma grande quantidade de dados de seu Azure SQL Database. Veja a seguir as configurações sugeridas para cenários diferentes. Ao copiar dados para o armazenamento de dados baseado em arquivo, é recomendável gravar em uma pasta como vários arquivos (especificar apenas o nome da pasta), nesse caso, o desempenho é melhor do que gravar em um único arquivo.

Práticas recomendadas para carregar dados com a opção de partição:

• Escolha coluna distinta como coluna de partição (como chave primária ou chave exclusiva) para evitar distorção de dados.
• Se a tabela tiver uma partição incorporada, use a opção de partição para as partições físicas da tabela e obtenha um melhor desempenho.

Consulta de exemplo para verificar a partição física

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id 
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id 
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id 
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id 
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id 
WHERE s.name='[your schema]' AND t.name = '[your table name]'

Se a tabela tiver partição física, você verá "HasPartition" como "sim", como mostrado a seguir.

Resumo da tabela

As tabelas a seguir contêm mais informações sobre a atividade de cópia no Banco de Dados SQL do Azure.

Fonte

Destino

Conteúdo relacionado

• Configurar sua Conexão do Banco de Dados SQL do Azure