Qlik

Belangrijk

Deze functie is beschikbaar als openbare preview.

Met Qlik Repliceren kunt u gegevens uit meerdere gegevensbronnen (Oracle, Microsoft SQL Server, SAP, mainframe en meer) naar Delta Lake halen. Met behulp van de geautomatiseerde change data capture (CDC) van Repliceren voorkomt u dat handmatig gegevens worden ge├źxtraheerd, via API-script worden overgeplaatst, geseed, klaargeplaatst en ge├»mporteerd. Qlik Compose automatiseert het CDC in Delta Lake.

Hier volgen de stappen voor het gebruik van Qlik met Azure Databricks.

Stap 1: een persoonlijk Databricks-toegang token genereren

Qlik verifieert met Azure Databricks met behulp van Azure Databricks persoonlijke toegangsken. Volg de instructies in Generate a personal access token (Een persoonlijk toegang token genereren) om een persoonlijk toegang token te genereren.

Stap 2: een cluster instellen ter ondersteuning van de integratiebehoeften

Qlik schrijft gegevens naar een Azure Data Lake Storage-pad en het Azure Databricks-integratiecluster leest gegevens van die locatie. Daarom vereist het integratiecluster beveiligde toegang tot het Azure Data Lake-Storage pad.

Toegang tot een Azure Data Lake-Storage beveiligen

Als u de toegang tot gegevens in Azure Data Lake Storage (ADLS) wilt beveiligen, kunt u een toegangssleutel voor het Azure-opslagaccount gebruiken (aanbevolen) of een Azure-service-principal.

Een toegangssleutel voor een Azure-opslagaccount gebruiken

U kunt een toegangssleutel voor een opslagaccount configureren op het integratiecluster als onderdeel van de Spark-configuratie. Zorg ervoor dat het opslagaccount toegang heeft tot de ADLS-container en het bestandssysteem die worden gebruikt voor faseringsgegevens en de ADLS-container en het bestandssysteem waar u de Delta Lake-tabellen wilt schrijven. Volg de stappen in Aan de slag met Azure Data Lake Storage Gen2 om het integratiecluster te configureren voor het gebruik van de sleutel.

Een Azure-service-principal gebruiken

U kunt een service-principal configureren op Azure Databricks-integratiecluster als onderdeel van de Spark-configuratie. Zorg ervoor dat de service-principal toegang heeft tot de ADLS-container die wordt gebruikt voor faseringsgegevens en de ADLS-container waar u de Delta-tabellen wilt schrijven. Als u het integratiecluster wilt configureren voor het gebruik van de service-principal, volgt u de stappen in Toegang tot ADLS Gen2 met service-principal of Access ADLS Gen1 met service-principal.

De clusterconfiguratie opgeven

  1. Stel Clustermodus in op Standaard.

  2. Stel Databricks Runtime versie in op een Databricks-runtimeversie.

  3. Schakel Automatisch optimaliseren in door de volgende eigenschappen toe te voegen aan uw Spark-configuratie:

    spark.databricks.delta.optimizeWrite.enabled true
    spark.databricks.delta.autoCompact.enabled true
    
  4. Configureer uw cluster afhankelijk van uw integratie- en schaalbehoeften.

Zie Clusters configureren voor meer informatie over clusterconfiguratie.

Zie Serverhostnaam, poort, HTTP-pad en JDBC-URL verkrijgen voor de stappen voor het verkrijgen van de JDBC-URL en het HTTP-pad.

Stap 3: JDBC- en ODBC-verbindingsgegevens verkrijgen om verbinding te maken met een cluster

Als u een Azure Databricks cluster wilt verbinden met Qlik, hebt u de volgende JDBC-/ODBC-verbindingseigenschappen nodig:

  • JDBC-URL
  • HTTP-pad

Stap 4: Qlik configureren met Azure Databricks

Ga naar de aanmeldingspagina van Qlik en volg de instructies.