Copiar dados do MySQL utilizando o Azure Data Factory ou Synapse Analytics

  • Artigo

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

Este artigo descreve como usar a atividade de cópia nos pipelines do Azure Data Factory e do Azure Synapse Analytics para copiar dados de um banco de dados do MySQL. Ele amplia o artigo Visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.

Observação

Para copiar dados de ou para o serviço de Banco de Dados do Azure para MySQL, use o conector especializado do Banco de Dados do Azure para MySQL.

Funcionalidades com suporte

O conector do MySQL é compatível com as seguintes funcionalidades:

Funcionalidades com suporte IR
Atividade de cópia (origem/-) ① ②
Atividade de pesquisa ① ②

① Runtime de integração do Azure ② Runtime de integração auto-hospedada

Para obter uma lista de armazenamentos de dados com suporte como origens/coletores da atividade de cópia, confira a tabela Armazenamentos de dados com suporte.

Esse conector dá suporte ao MySQL versões 5.5, 5.6, 5.7, 8.0, 8.1 e 8.2 com as novas versões de driver recomendadas v2 e 5.6, 5.7 e 8.0 para a versão herdada do driver.

Pré-requisitos

Se o armazenamento de dados estiver localizado dentro de uma rede local, em uma rede virtual do Azure ou na Amazon Virtual Private Cloud, você precisará configurar um runtime de integração auto-hospedada para se conectar a ele.

Se o armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Azure Integration Runtime. Se o acesso for restrito aos IPs que estão aprovados nas regras de firewall, você poderá adicionar IPs do Azure Integration Runtime à lista de permissões.

Você também pode usar o recurso de runtime de integração da rede virtual gerenciada no Azure Data Factory para acessar a rede local sem instalar e configurar um runtime de integração auto-hospedada.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções compatíveis com o Data Factory, consulte Estratégias de acesso a dados.

O Integration Runtime fornece um driver MySQL interno a partir da versão 3.7, portanto, não é necessário instalar nenhum driver manualmente.

Introdução

Para executar a atividade de Cópia com um pipeline, será possível usar as ferramentas ou os SDKs abaixo:

Criar um serviço vinculado ao MySQL usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao MySQL na interface do usuário do portal do Azure.

  1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse e selecione Serviços Vinculados, em seguida, clique em Novo:

  2. Pesquise o MySQL e selecione o conector do MySQL.

    Select the MySQL connector.

  3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

    Configure a linked service to MySQL.

Detalhes da configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas ao conector do MySQL.

Propriedades do serviço vinculado

Se você usar a versão recomendada do driver, as seguintes propriedades terão suporte no serviço vinculado do MySQL:

Propriedade Descrição Obrigatório
type A propriedade type deve ser definida como: MySql Sim
driverVersion A versão do driver quando você seleciona a versão recomendada do driver. O valor é v2. Sim
Servidor O nome do seu servidor MySQL. Sim
porta O número da porta a ser conectada ao servidor MySQL. Não
Banco de Dados O nome do banco de dados MySQL. Sim
Nome de Usuário Seu nome de usuário. Sim
password A senha do nome de usuário. Marque esse campo como SecureString para armazená-lo com segurança. Você também pode referenciar um segredo armazenado no Azure Key Vault. Sim
sslMode Esta opção especifica se o driver usa criptografia e verificação TLS ao se conectar ao MySQL. Por exemplo, SSLMode=<0/1/2/3/4>.
Opções: DESATIVADO (0)/PREFERENCIAL (1) (padrão)/OBRIGATÓRIO (2)/VERIFY_CA (3)/VERIFY_IDENTITY (4)		 Sim
useSystemTrustStore Esta opção especifica se deve usar um certificado de autoridade de certificação do repositório de confiança de sistema ou de um arquivo PEM especificado. Por exemplo, UseSystemTrustStore=<0/1>;
Opções: Ativado (1)/Desativado (0) (Padrão)		 Não
connectVia O Integration Runtime a ser usado para se conectar ao armazenamento de dados. Saiba mais na seção Pré-requisitos. Se não for especificado, ele usa o Integration Runtime padrão do Azure. Não

Exemplo:

{
    "name": "MySQLLinkedService",
    "properties": {
        "type": "MySql",
        "typeProperties": {
             "server": "<server>",
             "port": 3306,
             "database": "<database>",
             "username": "<username>",
             "password": {
                "type": "SecureString",
                "value": "<password>"
             },
             "sslmode": <sslmode>,
             "usesystemtruststore": <UseSystemTrustStore>,
             "driverVersion": "v2"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar a senha no Azure Key Vault

{
    "name": "MySQLLinkedService",
    "properties": {
        "type": "MySql",
        "typeProperties": {
            "server": "<server>",
            "port": 3306,
            "database": "<database>",
            "username": "<username>",
            "sslmode": <sslmode>,
            "usesystemtruststore": <UseSystemTrustStore>,
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            },
            "driverVersion": "v2"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Se você usar a versão herdada do driver, as seguintes propriedades terão suporte:

Propriedade Descrição Obrigatório
type A propriedade type deve ser definida como: MySql Sim
connectionString Obtenha as informações de conexão necessárias para se conectar ao Banco de Dados do Azure para MySQL.
Você também pode colocar uma senha no Azure Key Vault e extrair a configuração password da cadeia de conexão. Confira os exemplos a seguir e o artigo Armazenar credenciais no Azure Key Vault com mais detalhes.		 Sim
connectVia O Integration Runtime a ser usado para se conectar ao armazenamento de dados. Saiba mais na seção Pré-requisitos. Se não for especificado, ele usa o Integration Runtime padrão do Azure. Não

Uma cadeia de conexão válida é Server=<server>;Port=<port>;Database=<database>;UID=<username>;PWD=<password>. Mais propriedades que podem ser definidas para seu caso:

Propriedade Descrição Obrigatório
sslMode Esta opção especifica se o driver usa criptografia e verificação TLS ao se conectar ao MySQL. Por exemplo, SSLMode=<0/1/2/3/4>.
Opções: DESATIVADO (0)/PREFERENCIAL (1) (padrão)/OBRIGATÓRIO (2)/VERIFY_CA (3)/VERIFY_IDENTITY (4)		 Sim
SSLCert O caminho completo e o nome de um arquivo. pem que contém o certificado SSL usado para provar a identidade do cliente.
Para especificar uma chave privada para criptografar esse certificado antes de enviá-lo para o servidor, use a propriedade SSLKey.		 Sim, se estiver usando a verificação de SSL bidirecional.
SSLKey O caminho completo e o nome de um arquivo que contém a chave privada usada para criptografar o certificado do lado do cliente durante a verificação de SSL bidirecional. Sim, se estiver usando a verificação de SSL bidirecional.
useSystemTrustStore Esta opção especifica se deve usar um certificado de autoridade de certificação do repositório de confiança de sistema ou de um arquivo PEM especificado. Por exemplo, UseSystemTrustStore=<0/1>;
Opções: Ativado (1)/Desativado (0) (Padrão)		 Não

Exemplo:

{
    "name": "MySQLLinkedService",
    "properties": {
        "type": "MySql",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<username>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre conjuntos de dados. Esta seção fornece uma lista das propriedades com suporte pelo conjunto de dados do MySQL.

Para copiar dados do MySQL, há suporte para as seguintes propriedades:

Propriedade Descrição Obrigatório
type A propriedade type do conjunto de dados deve ser definida como: MySqlTable Sim
tableName Nome da tabela no banco de dados MySQL. Não (se "query" na fonte da atividade for especificada)

Exemplo

{
    "name": "MySQLDataset",
    "properties":
    {
        "type": "MySqlTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<MySQL linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Se você estava usando o conjunto de dados com tipos RelationalTable, ele ainda tem suporte como está, mas é recomendável usar o novo de agora em diante.

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista das propriedades com suporte pela fonte do MySQL.

MySQL como fonte

Para a cópia de dados do MySQL, as propriedades a seguir têm suporte na seção de origem da atividade de cópia:

Propriedade Descrição Obrigatório
type A propriedade type da fonte da atividade de cópia deve ser definida como: MySqlSource Sim
Consulta Utiliza a consulta SQL personalizada para ler os dados. Por exemplo: "SELECT * FROM MyTable". Não (se "tableName" no conjunto de dados for especificado)

Exemplo:

"activities":[
    {
        "name": "CopyFromMySQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<MySQL input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "MySqlSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Se você estava usando a fonte com tipos RelationalSource, ela ainda tem suporte como se encontra, mas é recomendável empregar a nova de agora em diante.

Mapeamento de tipo de dados para o MySQL

Ao copiar dados do MySQL, os seguintes mapeamentos são usados de tipos de dados do MySQL para tipos de dados provisórios usados internamente com o serviço. Consulte Mapeamentos de tipo de dados e esquema para saber mais sobre como a atividade de cópia mapeia o tipo de dados e esquema de origem para o coletor.

Tipo de dados do MySQL Tipo de dados provisório do serviço Tipo de dados provisórios do serviço (para a versão herdada do driver)
bigint Int64 Int64
bigint unsigned Decimal Decimal
bit(1) UInt64 Boolean
bit(M), M>1 UInt64 Byte[]
blob Byte[] Byte[]
bool Boolean
(Se TreatTinyAsBoolean=false, será mapeado como SByte. TreatTinyAsBoolean é true por padrão)		 Int16
char String String
date Datetime Datetime
datetime Datetime Datetime
decimal Decimal Decimal, String
double Double Double
double precision Double Double
enum String String
float Single Single
int Int32 Int32
int unsigned Int64 Int64
integer Int32 Int32
integer unsigned Int64 Int64
JSON String -
long varbinary Byte[] Byte[]
long varchar String String
longblob Byte[] Byte[]
longtext String String
mediumblob Byte[] Byte[]
mediumint Int32 Int32
mediumint unsigned Int64 Int64
mediumtext String String
numeric Decimal Decimal
real Double Double
set String String
smallint Int16 Int16
smallint unsigned Int32 Int32
text String String
time TimeSpan TimeSpan
timestamp Datetime Datetime
tinyblob Byte[] Byte[]
tinyint SByte Int16
tinyint unsigned Int16 Int16
tinytext String String
varchar String String
year Int Int

Pesquisar propriedades de atividade

Para saber detalhes sobre as propriedades, verifique Pesquisar atividade.

Atualizar a versão do driver MySQL

Abaixo as etapas que ajudarão você a atualizar sua versão do driver MySQL:

  1. Na página Editar serviço vinculado, selecione Recomendado em Versão do driver e configure o serviço vinculado, consultando as Propriedades do serviço vinculado.

  2. O mapeamento de tipo de dados para o serviço vinculado mais recente do MySQL é diferente do da versão herdada. Para saber qual é o mapeamento de tipo de dados mais recente, confira Mapeamento de tipo de dados para MySQL.

  3. A versão mais recente do driver v2 dá suporte a mais versões do MySQL. Para obter mais informações, confira Funcionalidades com suporte.

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados com suporte como coletores e fontes da atividade de cópia, confira os armazenamentos de dados com suporte.