Copiar e transformar dados no Banco de Dados do Azure para MySQL usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a Atividade de Cópia no Azure Data Factory ou nos pipelines do Synapse Analytics para copiar dados de e para o Banco de Dados do Azure para MySQL e usar o Fluxo de Dados para transformar dados no Banco de Dados do Azure para MySQL. Para saber mais, leia os artigos introdutórios do Azure Data Factory e do Synapse Analytics.

Este conector é especializado para

• Servidor Único da Base de Dados do Azure para MySQL
• Base de Dados do Azure para MySQL – Servidor Flexível

Para copiar dados do banco de dados MySQL genérico localizado no local ou na nuvem, use o conector MySQL.

Pré-requisitos

Este início rápido requer os seguintes recursos e configuração mencionados abaixo como ponto de partida:

• Uma Base de Dados do Azure existente para MySQL Single Server ou MySQL Flexible Server com acesso público ou endpoint privado.
• Habilite Permitir acesso público de qualquer serviço Azure a este servidor na página de rede do servidor MySQL. Isso permitirá que você use o estúdio Data Factory.

Capacidades suportadas

Este conector do Banco de Dados do Azure para MySQL tem suporte para os seguintes recursos:

(1) Tempo de execução de integração do Azure (2) Tempo de execução de integração auto-hospedado

Começar

Para executar a atividade de cópia com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• Ferramenta Copiar dados
• portal do Azure
• SDK do .NET
• Python SDK
• Azure PowerShell
• API REST
• Modelo Azure Resource Manager

Criar um serviço vinculado ao Banco de Dados do Azure para MySQL usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao Banco de Dados do Azure para MySQL na interface do usuário do portal do Azure.

1. Navegue até a guia Gerenciar em seu espaço de trabalho do Azure Data Factory ou Synapse e selecione Serviços Vinculados e clique em Novo:

   • Fábrica de Dados do Azure
   • Azure Synapse

   

2. Pesquise o MySQL e selecione o conector do Banco de Dados do Azure para MySQL.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas para o conector do Banco de Dados do Azure para MySQL.

Propriedades do serviço vinculado

As seguintes propriedades são suportadas pelo serviço associado do Banco de Dados do Azure para MySQL.

Uma cadeia de conexão típica é Server=<server>.mysql.database.azure.com;Port=<port>;Database=<database>;UID=<username>;PWD=<password>. Mais propriedades que pode definir de acordo com o seu caso:

Exemplo:

{
    "name": "AzureDatabaseForMySQLLinkedService",
    "properties": {
        "type": "AzureMySql",
        "typeProperties": {
            "connectionString": "Server=<server>.mysql.database.azure.com;Port=<port>;Database=<database>;UID=<username>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar senha no Cofre da Chave do Azure

{
    "name": "AzureDatabaseForMySQLLinkedService",
    "properties": {
        "type": "AzureMySql",
        "typeProperties": {
            "connectionString": "Server=<server>.mysql.database.azure.com;Port=<port>;Database=<database>;UID=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo sobre conjuntos de dados. Esta seção fornece uma lista de propriedades suportadas pelo conjunto de dados do Banco de Dados do Azure para MySQL.

Para copiar dados do Banco de Dados do Azure para MySQL, defina a propriedade type do conjunto de dados como AzureMySqlTable. As seguintes propriedades são suportadas:

Exemplo

{
    "name": "AzureMySQLDataset",
    "properties": {
        "type": "AzureMySqlTable",
        "linkedServiceName": {
            "referenceName": "<Azure MySQL linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pelo Banco de Dados do Azure para origem e coletor do MySQL.

Banco de Dados do Azure para MySQL como origem

Para copiar dados da Base de Dados do Azure para MySQL, as seguintes propriedades são suportadas na seção source da atividade de cópia:

Exemplo:

"activities":[
    {
        "name": "CopyFromAzureDatabaseForMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure MySQL input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureMySqlSource",
                "query": "<custom query e.g. SELECT * FROM MyTable>"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Banco de Dados do Azure para MySQL como coletor

Para copiar dados para a Base de Dados do Azure para MySQL, as seguintes propriedades são suportadas na seção destino da atividade de cópia:

Exemplo:

"activities":[
    {
        "name": "CopyToAzureDatabaseForMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure MySQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureMySqlSink",
                "preCopyScript": "<custom SQL script>",
                "writeBatchSize": 100000
            }
        }
    }
]

Mapeando propriedades de fluxo de dados

Ao transformar dados em fluxo de dados de mapeamento, você pode ler e gravar em tabelas do Banco de Dados do Azure para MySQL. Para obter mais informações, consulte a transformação de origem e transformação de destino no mapeamento de fluxos de dados. Você pode optar por usar um Banco de Dados do Azure para conjunto de dados MySQL ou um conjunto de dados embutido como tipo de fonte e coletor.

Transformação da fonte

A tabela abaixo lista as propriedades suportadas pelo Banco de Dados do Azure para a fonte MySQL. Você pode editar essas propriedades na guia Opções de origem .

Exemplo de script de origem do Banco de Dados do Azure para MySQL

Quando você usa o Banco de Dados do Azure para MySQL como tipo de origem, o script de fluxo de dados associado é:

source(allowSchemaDrift: true,
    validateSchema: false,
    isolationLevel: 'READ_UNCOMMITTED',
    query: 'select * from mytable',
    format: 'query') ~> AzureMySQLSource

Transformação do lavatório

A tabela abaixo lista as propriedades suportadas pelo coletor do Banco de Dados do Azure para MySQL. Você pode editar essas propriedades no separador Opções do Sink.

• Habilitar extração incremental: use esta opção para informar ao ADF para processar apenas as linhas que foram alteradas desde a última execução do pipeline.

• Coluna incremental: Ao usar o recurso de extração incremental, deve-se escolher a coluna de data/hora ou a coluna numérica que se deseja usar como marca d'água na tabela de origem.

• Comece a ler desde o início: definir essa opção com extração incremental instruirá o ADF a ler todas as linhas na primeira execução de um pipeline com a extração incremental ativada.

Exemplo de script de coletor do Banco de Dados do Azure para MySQL

Quando você usa o Banco de Dados do Azure para MySQL como tipo de coletor, o script de fluxo de dados associado é:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    deletable:false,
    insertable:true,
    updateable:true,
    upsertable:true,
    keys:['keyColumn'],
    format: 'table',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzureMySQLSink

Propriedades da atividade de consulta

Para saber mais detalhes sobre as propriedades, verifique a atividade de consulta.

Mapeamento de tipo de dados para o Banco de Dados do Azure para MySQL

Ao copiar dados do Banco de Dados do Azure para MySQL, os mapeamentos a seguir são usados de tipos de dados MySQL para tipos de dados provisórios usados internamente no serviço. Consulte Mapeamentos de esquema e tipo de dados para saber como a atividade de cópia mapeia o esquema de origem e o tipo de dados para o coletor.

Conteúdos relacionados

Para obter uma lista de armazenamentos de dados suportados como fontes e destinos pela atividade de cópia, consulte armazenamentos de dados suportados.