Anslut till StreamSets

Viktigt!

Den här funktionen finns som allmänt tillgänglig förhandsversion.

StreamSets hjälper dig att hantera och övervaka ditt dataflöde under hela livscykeln. Med StreamSets intern integrering med Azure Databricks och Delta Lake kan du enkelt hämta data från olika källor och hantera dina pipelines.

En allmän demonstration av StreamSets finns i följande YouTube-video (10 minuter).

Här följer stegen för att använda StreamSets med Azure Databricks.

Steg 1: Generera en personlig Databricks-åtkomsttoken

StreamSets autentiserar med Azure Databricks med en personlig Åtkomsttoken för Azure Databricks.

Kommentar

När du autentiserar med automatiserade verktyg, system, skript och appar rekommenderar Databricks att du använder personliga åtkomsttoken som tillhör tjänstens huvudnamn i stället för arbetsyteanvändare. Information om hur du skapar token för tjänstens huvudnamn finns i Hantera token för tjänstens huvudnamn.

Steg 2: Konfigurera ett kluster för att stödja integrationsbehov

StreamSets skriver data till en Azure Data Lake Storage-sökväg och Azure Databricks-integreringsklustret läser data från den platsen. Därför kräver integreringsklustret säker åtkomst till Azure Data Lake Storage-sökvägen.

Säker åtkomst till en Azure Data Lake Storage-sökväg

För att skydda åtkomsten till data i Azure Data Lake Storage (ADLS) kan du använda en Åtkomstnyckel för Azure-lagringskonto (rekommenderas) eller ett Microsoft Entra ID-tjänsthuvudnamn.

Använda åtkomstnyckeln för ett Azure Storage-konto

Du kan konfigurera en åtkomstnyckel för lagringskontot i integrationsklustret som en del av Spark-konfigurationen. Kontrollera att lagringskontot har åtkomst till ADLS-containern och filsystemet som används för mellanlagring av data och ADLS-containern och filsystemet där du vill skriva Delta Lake-tabellerna. Om du vill konfigurera integreringsklustret att använda nyckeln följer du stegen i Anslut till Azure Data Lake Storage Gen2 och Blob Storage.

Använda tjänstens huvudnamn för Microsoft Entra-ID

Du kan konfigurera ett huvudnamn för tjänsten i Azure Databricks-integreringsklustret som en del av Spark-konfigurationen. Kontrollera att tjänstens huvudnamn har åtkomst till den ADLS-container som används för mellanlagringsdata och den ADLS-container där du vill skriva Delta-tabellerna. Följ stegen i Access ADLS Gen2 med tjänstens huvudnamn för att konfigurera integreringsklustret att använda tjänstens huvudnamn.

Ange klusterkonfigurationen

1. Ange Klusterläge till Standard.

2. Ange Databricks Runtime Version till Runtime: 6.3 eller senare.

3. Aktivera optimerade skrivningar och automatisk komprimering genom att lägga till följande egenskaper i Spark-konfigurationen:

   spark.databricks.delta.optimizeWrite.enabled true
   spark.databricks.delta.autoCompact.enabled true
   

4. Konfigurera klustret beroende på dina integrerings- och skalningsbehov.

Information om klusterkonfiguration finns i Referens för beräkningskonfiguration.

Se Hämta anslutningsinformation för en Azure Databricks-beräkningsresurs för stegen för att hämta JDBC-URL:en och HTTP-sökvägen.

Steg 3: Hämta JDBC- och ODBC-anslutningsinformation för att ansluta till ett kluster

För att ansluta ett Azure Databricks-kluster till StreamSets behöver du följande JDBC/ODBC-anslutningsegenskaper:

• JDBC-URL
• HTTP-sökväg

Steg 4: Hämta StreamSets för Azure Databricks

Registrera dig för StreamSets för Databricks om du inte redan har ett StreamSets-konto. Du kan komma igång kostnadsfritt och uppgradera när du är redo. se Priser för StreamSets DataOps Platform.

Steg 5: Lär dig hur du använder StreamSets för att läsa in data i Delta Lake

Börja med en exempelpipeline eller kolla in StreamSets-lösningar för att lära dig hur du skapar en pipeline som matar in data i Delta Lake.

Ytterligare resurser

Support