Kopiowanie danych z greenplum przy użyciu Azure Data Factory lub Synapse Analytics

DOTYCZY: Azure Data Factory Azure Synapse Analytics

W tym artykule opisano sposób używania działania kopiowania w potoku Azure Data Factory lub Synapse Analytics do kopiowania danych z greenplum. Opiera się on na artykule omówienie działania kopiowania, który zawiera ogólne omówienie działania kopiowania.

Obsługiwane funkcje

Ten łącznik Greenplum jest obsługiwany w przypadku następujących działań:

Dane z greenplum można skopiować do dowolnego obsługiwanego magazynu danych ujścia. Aby uzyskać listę magazynów danych obsługiwanych przez działanie kopiowania jako źródła/ujścia, zobacz tabelę Obsługiwane magazyny danych.

Usługa udostępnia wbudowany sterownik umożliwiający łączność, dlatego nie trzeba ręcznie instalować żadnego sterownika przy użyciu tego łącznika.

Wymagania wstępne

Jeśli magazyn danych znajduje się w sieci lokalnej, sieci wirtualnej platformy Azure lub wirtualnej chmurze prywatnej firmy Amazon, należy skonfigurować własne środowisko Integration Runtime, aby nawiązać z nim połączenie.

Jeśli magazyn danych jest zarządzaną usługą danych w chmurze, możesz użyć Azure Integration Runtime. Jeśli dostęp jest ograniczony do adresów IP zatwierdzonych w regułach zapory, możesz dodać Azure Integration Runtime IP do listy zezwalań.

Możesz również użyć funkcji środowiska Integration Runtime zarządzanej sieci wirtualnej w programie Azure Data Factory, aby uzyskać dostęp do sieci lokalnej bez instalowania i konfigurowania własnego środowiska Integration Runtime.

Aby uzyskać więcej informacji na temat mechanizmów zabezpieczeń sieci i opcji obsługiwanych przez usługę Data Factory, zobacz Strategie dostępu do danych.

Wprowadzenie

Aby wykonać działanie Kopiuj potoku, można użyć jednego z następujących narzędzi lub zestawów SDK:

Tworzenie połączonej usługi na platformie Greenplum przy użyciu interfejsu użytkownika

Aby utworzyć usługę połączona z usługą Greenplum w interfejsie Azure Portal użytkownika, Azure Portal poniższe kroki.

  1. Przejdź do karty Zarządzanie w obszarze roboczym usługi Azure Data Factory usługi Synapse i wybierz pozycję Połączone usługi, a następnie kliknij pozycję Nowy:

  2. Wyszukaj pozycję Greenplum i wybierz łącznik Greenplum.

    Zrzut ekranu przedstawiający łącznik Greenplum.

  3. Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączona usługę.

    Zrzut ekranu przedstawiający konfigurację połączonej usługi dla aplikacji Greenplum.

Szczegóły konfiguracji łącznika

Poniższe sekcje zawierają szczegółowe informacje o właściwościach, które są używane do definiowania Data Factory jednostki specyficzne dla łącznika Greenplum.

Właściwości połączonej usługi

Następujące właściwości są obsługiwane dla połączonej usługi Greenplum:

Właściwość Opis Wymagane
typ Właściwość type musi być ustawiona na: Greenplum Tak
Parametry połączenia Ciąg połączenia ODBC do nawiązania połączenia z usługą Greenplum.
Możesz również umieścić hasło w Azure Key Vault i ściągnąć pwd konfigurację z parametrów połączenia. Zapoznaj się z poniższymi przykładami i artykułem Store credentials in Azure Key Vault (Przechowuj poświadczenia w magazynie), aby uzyskać więcej informacji.
Tak
connectVia Ten Integration Runtime używany do nawiązywania połączenia z magazynem danych. Dowiedz się więcej z sekcji Wymagania wstępne. Jeśli nie zostanie określony, będzie używany domyślny Azure Integration Runtime. Nie

Przykład:

{
    "name": "GreenplumLinkedService",
    "properties": {
        "type": "Greenplum",
        "typeProperties": {
            "connectionString": "HOST=<server>;PORT=<port>;DB=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Przykład: przechowywanie hasła w Azure Key Vault

{
    "name": "GreenplumLinkedService",
    "properties": {
        "type": "Greenplum",
        "typeProperties": {
            "connectionString": "HOST=<server>;PORT=<port>;DB=<database>;UID=<user name>;",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Właściwości zestawu danych

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania zestawów danych, zobacz artykuł datasets (Zestawy danych). Ta sekcja zawiera listę właściwości obsługiwanych przez zestaw danych Greenplum.

Aby skopiować dane z tabeli Greenplum, ustaw właściwość type zestawu danych na wartość GreenplumTable. Obsługiwane są następujące właściwości:

Właściwość Opis Wymagane
typ Właściwość type zestawu danych musi być ustawiona na: GreenplumTable Tak
schema Nazwa schematu. Nie (jeśli określono "zapytanie" w źródle działania)
tabela Nazwa tabeli. Nie (jeśli określono "zapytanie" w źródle działania)
tableName Nazwa tabeli ze schematem. Ta właściwość jest obsługiwana w celu zapewnienia zgodności z poprzednimi wersjami. Użyj schema funkcji i dla nowego table obciążenia. Nie (jeśli określono "zapytanie" w źródle działania)

Przykład

{
    "name": "GreenplumDataset",
    "properties": {
        "type": "GreenplumTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Greenplum linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Właściwości działania kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz Pipelines artykułu. Ta sekcja zawiera listę właściwości obsługiwanych przez źródło Greenplum.

GreenplumSource jako źródło

Aby skopiować dane z greenplum, ustaw typ źródła w działaniu kopiowania na GreenplumSource. Następujące właściwości są obsługiwane w sekcji źródła działania kopiowania:

Właściwość Opis Wymagane
typ Właściwość type źródła działania kopiowania musi być ustawiona na: GreenplumSource Tak
query Użyj niestandardowego zapytania SQL, aby odczytać dane. Na przykład: "SELECT * FROM MyTable". Nie (jeśli określono wartość "tableName" w zestawie danych)

Przykład:

"activities":[
    {
        "name": "CopyFromGreenplum",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Greenplum input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "GreenplumSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Właściwości działania Lookup

Aby dowiedzieć się więcej o właściwościach, sprawdź działanie Lookup (Odnośnik).

Następne kroki

Aby uzyskać listę magazynów danych obsługiwanych jako źródła i ujścia przez działanie kopiowania, zobacz obsługiwane magazyny danych.