Replikacja usługi Qlik

Ważne

Ta funkcja jest dostępna w publicznej wersji zapoznawczej.

Usługa Qlik Replicate ułatwia ściąganie danych z wielu źródeł danych (Oracle, Microsoft SQL Server, SAP, mainframe i nie tylko) do usługi Delta Lake. Automatyczna funkcja przechwytywania danych zmian (CDC) replikacji pomaga uniknąć dużego obciążenia ręcznego wyodrębniania danych, przesyłania przy użyciu skryptu interfejsu API, posiekania, przemieszczania i importowania. Usługa Qlik Compose automatyzuje usługę CDC w usłudze Delta Lake.

Uwaga

Aby uzyskać informacje o usłudze Qlik Sense, rozwiązaniu, które ułatwia analizowanie danych w usłudze Delta Lake, zobacz Qlik Sense.

Aby uzyskać ogólną demonstrację replikacji usługi Qlik Replicate, obejrzyj następujący film wideo w serwisie YouTube (14 minut).

Aby zapoznać się z pokazem potoków danych z replikacją usługi Qlik Replikowanie, zobacz poniższy film wideo w serwisie YouTube (6 minut).

Poniżej przedstawiono kroki korzystania z usługi Qlik Replicate z usługą Azure Databricks.

Krok 1. Generowanie osobistego tokenu dostępu usługi Databricks

Usługa Qlik Replicate uwierzytelnia się w usłudze Azure Databricks przy użyciu osobistego tokenu dostępu usługi Azure Databricks. Aby wygenerować osobisty token dostępu, postępuj zgodnie z instrukcjami w temacie Generowanie osobistego tokenu dostępu.

Krok 2. Konfigurowanie klastra w celu obsługi potrzeb związanych z integracją

Usługa Qlik Replicate będzie zapisywać dane w ścieżce Azure Data Lake Storage, a klaster integracji usługi Azure Databricks odczytuje dane z tej lokalizacji. W związku z tym klaster integracji wymaga bezpiecznego dostępu do ścieżki Azure Data Lake Storage.

Zabezpieczanie dostępu do ścieżki Azure Data Lake Storage

Aby zabezpieczyć dostęp do danych w usłudze Azure Data Lake Storage (ADLS), możesz użyć klucza dostępu do konta usługi Azure Storage (zalecane) lub jednostki usługi platformy Azure.

Używanie klucza dostępu do konta usługi Azure Storage

Klucz dostępu konta magazynu można skonfigurować w klastrze integracji w ramach konfiguracji platformy Spark. Upewnij się, że konto magazynu ma dostęp do kontenera usługi ADLS i systemu plików używanego do przemieszczania danych oraz kontenera usługi ADLS i systemu plików, w którym chcesz zapisać tabele usługi Delta Lake. Aby skonfigurować klaster integracji do użycia klucza, wykonaj kroki opisane w Wprowadzenie z Azure Data Lake Storage Gen2.

Używanie jednostki usługi platformy Azure

Jednostkę usługi można skonfigurować w klastrze integracji usługi Azure Databricks w ramach konfiguracji platformy Spark. Upewnij się, że jednostka usługi ma dostęp do kontenera usługi ADLS używanego do przemieszczania danych i kontenera usługi ADLS, w którym chcesz zapisać tabele różnicowe. Aby skonfigurować klaster integracji do korzystania z jednostki usługi, wykonaj kroki opisane w temacie Uzyskiwanie dostępu do usługi ADLS Gen2 z jednostką usługi lub dostępem do usługi ADLS Gen1 zapomocą jednostki usługi.

Określanie konfiguracji klastra

  1. Ustaw wartość Tryb klastra na Standardowa.

  2. Ustaw wersję środowiska uruchomieniowego usługi Databricks na wersję środowiska uruchomieniowego usługi Databricks.

  3. Włącz automatyczne optymalizowanie , dodając następujące właściwości do konfiguracji platformy Spark:

    spark.databricks.delta.optimizeWrite.enabled true
    spark.databricks.delta.autoCompact.enabled true
    
  4. Skonfiguruj klaster w zależności od potrzeb integracji i skalowania.

Aby uzyskać szczegółowe informacje o konfiguracji klastra, zobacz Konfigurowanie klastrów.

Zobacz Pobieranie szczegółów połączenia , aby uzyskać adres URL JDBC i ścieżkę HTTP.

Krok 3. Uzyskiwanie szczegółów połączenia JDBC i ODBC w celu nawiązania połączenia z klastrem

Aby połączyć klaster usługi Azure Databricks z usługą Qlik Replicate, potrzebne są następujące właściwości połączenia JDBC/ODBC:

  • JDBC URL
  • HTTP Path (Ścieżka HTTP)

Krok 4. Konfigurowanie replikacji qlik przy użyciu usługi Azure Databricks

Przejdź do strony logowania usługi Qlik i postępuj zgodnie z instrukcjami.