Kopiowanie danych z impala przy użyciu usługi Azure Data Factory lub Synapse Analytics

Artykuł
11/16/2023

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

W tym artykule opisano sposób używania działania kopiowania w potoku usługi Azure Data Factory lub Synapse Analytics do kopiowania danych z usługi Impala. Jest on oparty na artykule Omówienie działania kopiowania, który przedstawia ogólne omówienie działania kopiowania.

Obsługiwane możliwości

Ten łącznik Impala jest obsługiwany w przypadku następujących możliwości:

Obsługiwane możliwości	IR
działanie Kopiuj (źródło/-)	① ②
Działanie Lookup	① ②

(1) Środowisko Azure Integration Runtime (2) Self-hosted Integration Runtime

Aby uzyskać listę magazynów danych obsługiwanych jako źródła lub ujścia przez działanie kopiowania, zobacz tabelę Obsługiwane magazyny danych.

Usługa udostępnia wbudowany sterownik umożliwiający łączność. W związku z tym nie trzeba ręcznie instalować sterownika do korzystania z tego łącznika.

Wymagania wstępne

Jeśli magazyn danych znajduje się wewnątrz sieci lokalnej, sieci wirtualnej platformy Azure lub chmury prywatnej Amazon Virtual, musisz skonfigurować własne środowisko Integration Runtime , aby się z nim połączyć.

Jeśli magazyn danych jest zarządzaną usługą danych w chmurze, możesz użyć środowiska Azure Integration Runtime. Jeśli dostęp jest ograniczony do adresów IP zatwierdzonych w regułach zapory, możesz dodać adresy IP środowiska Azure Integration Runtime do listy dozwolonych.

Możesz również użyć funkcji środowiska Integration Runtime zarządzanej sieci wirtualnej w usłudze Azure Data Factory, aby uzyskać dostęp do sieci lokalnej bez instalowania i konfigurowania własnego środowiska Integration Runtime.

Aby uzyskać więcej informacji na temat mechanizmów zabezpieczeń sieci i opcji obsługiwanych przez usługę Data Factory, zobacz Strategie dostępu do danych.

Rozpocznij

Aby wykonać działanie Kopiuj za pomocą potoku, możesz użyć jednego z następujących narzędzi lub zestawów SDK:

Tworzenie połączonej usługi z usługą Impala przy użyciu interfejsu użytkownika

Wykonaj poniższe kroki, aby utworzyć połączoną usługę z aplikacją Impala w interfejsie użytkownika witryny Azure Portal.

Przejdź do karty Zarządzanie w obszarze roboczym usługi Azure Data Factory lub Synapse i wybierz pozycję Połączone usługi, a następnie kliknij pozycję Nowy:
- Azure Data Factory
- Azure Synapse
Wyszukaj ciąg Impala i wybierz łącznik Impala.
Skonfiguruj szczegóły usługi, przetestuj połączenie i utwórz nową połączoną usługę.

szczegóły konfiguracji Połączenie or

Poniższe sekcje zawierają szczegółowe informacje o właściwościach używanych do definiowania jednostek usługi Data Factory specyficznych dla łącznika Impala.

Właściwości połączonej usługi

Następujące właściwości są obsługiwane w przypadku połączonej usługi Impala.

Właściwości	Opis	Wymagania
type	Właściwość type musi być ustawiona na Impala.	Tak
host	Adres IP lub nazwa hosta serwera Impala (tj. 192.168.222.160).	Tak
port	Port TCP używany przez serwer Impala do nasłuchiwania połączeń klienckich. Wartość domyślna to 21050.	Nie.
authenticationType	Typ uwierzytelniania do użycia. Dozwolone wartości to Anonimowe, SASLUsername i UsernameAndPassword.	Tak
nazwa użytkownika	Nazwa użytkownika używana do uzyskiwania dostępu do serwera Impala. Wartość domyślna jest anonimowa w przypadku używania nazwy SASLUsername.	Nie.
hasło	Hasło odpowiadające nazwie użytkownika podczas korzystania z nazwy użytkownikaAndPassword. Oznacz to pole jako element SecureString w celu bezpiecznego przechowywania go lub odwołuj się do wpisu tajnego przechowywanego w usłudze Azure Key Vault.	Nie.
Enablessl	Określa, czy połączenia z serwerem są szyfrowane przy użyciu protokołu TLS. Domyślna wartość to false.	Nie.
trustedCertPath	Pełna ścieżka pliku pem zawierającego zaufane certyfikaty urzędu certyfikacji używane do weryfikowania serwera podczas nawiązywania połączenia za pośrednictwem protokołu TLS. Tę właściwość można ustawić tylko wtedy, gdy używasz protokołu TLS w własnym środowisku Integration Runtime. Wartość domyślna to plik cacerts.pem zainstalowany w środowisku Integration Runtime.	Nie.
useSystemTrustStore	Określa, czy należy użyć certyfikatu urzędu certyfikacji z magazynu zaufania systemu, czy z określonego pliku PEM. Domyślna wartość to false.	Nie.
allowHostNameCNMismatch	Określa, czy podczas nawiązywania połączenia za pośrednictwem protokołu TLS/SSL nazwa certyfikatu TLS/SSL ma być zgodna z nazwą hosta serwera. Domyślna wartość to false.	Nie.
allowSelfSignedServerCert	Określa, czy zezwalać na certyfikaty z podpisem własnym z serwera. Domyślna wartość to false.	Nie.
connectVia	Środowisko Integration Runtime do nawiązania połączenia z magazynem danych. Dowiedz się więcej w sekcji Wymagania wstępne . Jeśli nie zostanie określony, używa domyślnego środowiska Azure Integration Runtime.	Nie.

Przykład:

{
    "name": "ImpalaLinkedService",
    "properties": {
        "type": "Impala",
        "typeProperties": {
            "host" : "<host>",
            "port" : "<port>",
            "authenticationType" : "UsernameAndPassword",
            "username" : "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Właściwości zestawu danych

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania zestawów danych, zobacz artykuł Zestawy danych. Ta sekcja zawiera listę właściwości obsługiwanych przez zestaw danych Impala.

Aby skopiować dane z impala, ustaw właściwość type zestawu danych na ImpalaObject. Obsługiwane są następujące właściwości:

Właściwości	Opis	Wymagania
type	Właściwość type zestawu danych musi być ustawiona na: ImpalaObject	Tak
schema	Nazwa schematu.	Nie (jeśli określono "zapytanie" w źródle działania)
table	Nazwa tabeli.	Nie (jeśli określono "zapytanie" w źródle działania)
tableName	Nazwa tabeli ze schematem. Ta właściwość jest obsługiwana w celu zapewnienia zgodności z poprzednimi wersjami. Użyj polecenia `schema` i `table` dla nowego obciążenia.	Nie (jeśli określono "zapytanie" w źródle działania)

Przykład

{
    "name": "ImpalaDataset",
    "properties": {
        "type": "ImpalaObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Impala linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Właściwości działania kopiowania

Aby uzyskać pełną listę sekcji i właściwości dostępnych do definiowania działań, zobacz artykuł Pipelines (Potoki ). Ta sekcja zawiera listę właściwości obsługiwanych przez typ źródła Impala.

Impala jako typ źródła

Aby skopiować dane z impala, ustaw typ źródła w działaniu kopiowania na ImpalaSource. Poniższe właściwości są obsługiwane w sekcji źródła działania kopiowania.

Właściwości	Opis	Wymagania
type	Właściwość type źródła działania kopiowania musi być ustawiona na Wartość ImpalaSource.	Tak
zapytanie	Użyj niestandardowego zapytania SQL, aby odczytać dane. Może to być na przykład `"SELECT * FROM MyTable"`.	Nie (jeśli określono "tableName" w zestawie danych)