Herstellen einer Verbindung mit Fivetran

  • Artikel

Die automatisierte Fivetran-Datenintegration passt sich an, wenn sich Schemas und APIs ändern, um zuverlässigen Datenzugriff und eine vereinfachte Analyse mit abfragebereiten Schemas sicherzustellen.

Sie können Ihre Databricks SQL-Warehouses (ehemals Databricks SQL-Endpunkte) und Azure Databricks-Cluster in Fivetran integrieren. Die Fivetran-Integration mit Azure Databricks hilft Ihnen, Daten aus unterschiedlichen Datenquellen in Delta Lake zu zentralisieren.

Herstellen einer Verbindung zu Fivetran über Partner Connect

In diesem Abschnitt wird beschrieben, wie Sie mithilfe von Partner Connect eine Verbindung mit Fivetran herstellen. Jeder Benutzer erstellt seine eigene Verbindung.

Hinweis

Die Benutzerverbindung befindet sich unter Public Preview. Sie können die Möglichkeit, Verbindungen pro Benutzer zu erstellen, deaktivieren, indem Sie sich an Ihr Azure Databricks-Kontoteam wenden.

Bevor Sie eine Verbindung mit Partner Connect herstellen

Bevor Sie über Partner Connect eine Verbindung mit Fivetran herstellen, stellen Sie sicher, dass Sie über Folgendes verfügen:

  • Die Benutzerrolle Arbeitsbereichsadministrator oder die folgenden Berechtigungen:

    • Die Berechtigung CAN USE für ein SQL-Warehouse
    • Die Berechtigung CAN USE für die Tokennutzung

  • Für Daten, die von Unity Catalog verwaltet werden, gelten die folgenden Metastoreobjektberechtigungen für den Katalog, in den Fivetran schreiben soll:

    -USE CATALOG und CREATE SCHEMA im Katalog.

    • (Optional) Um einen Zielspeicherort anzugeben, wählen Sie CREATE EXTERNAL TABLE am externen Speicherort aus und greifen Sie auf Daten im Cloudobjektspeicher zu.

  • Für Daten, die durch den Legacy-Hive-Metastore verwaltet werden, gelten die folgenden Metastoreobjektberechtigungen für den Katalog, in den Fivetran schreiben soll:

    • USAGE und CREATE im Katalog
    • (Optional) Um einen Zielspeicherort anzugeben, greifen Sie auf Daten im Cloudobjektspeicher zu.

Berechtigungen für Unity Catalog-Metastoreobjekte können entweder von einem Metastoreadministrator, vom Besitzer des Objekts oder vom Besitzer des Katalogs oder Schemas erteilt werden, der bzw. das das Objekt enthält. Weitere Informationen finden Sie unter Unity Catalog-Berechtigungen und sicherungsfähige Objekte.

Berechtigungen für Legacy-Hive-Metastoreobjekte können von einem Arbeitsbereichsadministrator oder dem Besitzer des Objekts erteilt werden. Weitere Informationen finden Sie unter Hive-Metastoreberechtigungen und sicherungsfähige Objekte (Legacy).

Der Zugriff auf Daten im Cloudobjektspeicher muss von einem Arbeitsbereichsadministrator mit ausreichenden Berechtigungen im Cloudobjektspeicherkonto konfiguriert werden. Weitere Informationen finden Sie unter Aktivieren der Datenzugriffskonfiguration.

Partner Connect-Schritte

Gehen Sie wie folgt vor, um Ihren Azure Databricks-Arbeitsbereich mithilfe von Partner Connect mit Fivetran zu verbinden:

  1. Klicken Sie auf der Randleiste auf Partner Connect.

  2. Klicken Sie auf die Kachel Fivetran.

    Mit den Schritten in diesem Abschnitt wird ein Fivetran-Testkonto auf Benutzerebene erstellt. Um sich bei einem vorhandenen Fivetran-Testkonto auf Arbeitsbereichsebene anzumelden, klicken Sie auf Vorhandene Verbindung verwenden, führen Sie die Bildschirmanweisungen zum Anmelden bei Fivetran aus, und überspringen Sie die restlichen Schritte in diesem Artikel.

  3. Wählen Sie ein SQL-Warehouse aus. Wenn das SQL-Warehouse angehalten wurde, klicken Sie auf Starten.

  4. Wenn Ihr Arbeitsbereich für Unity Catalog aktiviert ist, wählen Sie einen Katalog aus, in den Fivetran geschrieben werden soll, und klicken Sie dann auf Weiter.

    Partner Connect generiert ein persönliches Zugriffstoken in Azure Databricks, das Ihrem Benutzer zugeordnet ist.

  5. Klicken Sie auf Mit Fivetran verbinden.

    In Ihrem Webbrowser wird eine neue Registerkarte geöffnet, auf der die Fivetran-Website angezeigt wird.

  6. Führen Sie die Anweisungen auf dem Bildschirm auf der Fivetran-Website aus, um Ihr Testpartnerkonto zu erstellen.

Manuelles Verbinden mit Fivetran

Eine Übersicht über das Verfahren zum Herstellen einer manuellen Verbindung finden Sie in diesem YouTube-Video (ca. 2 Minuten).

Hinweis

Verwenden Sie Partner Connect, wenn Sie ein SQL-Warehouse schneller mit Fivetran verbinden möchten.

Bevor Sie eine manuelle Verbindung herstellen

Bevor Sie eine manuelle Verbindung mit Fivetran herstellen, müssen Sie über Folgendes verfügen:

  • Ein Cluster oder SQL-Warehouse in Ihrem Azure Databricks-Arbeitsbereich

  • Die Verbindungsdetails für Ihren Cluster oder Ihr SQL-Warehouse, insbesondere die Werte Serverhostname, Hafen und HTTP-Pfad

  • Ein persönliches Azure Databricks-Zugriffstoken oder ein Microsoft Entra ID-Token (früher Azure Active Directory). Gehen Sie wie folgt vor, um ein persönliches Zugriffstoken zu erstellen:

    1. Klicken Sie in Ihrem Azure Databricks-Arbeitsbereich in der oberen Leiste auf Ihren Azure Databricks-Benutzernamen, und wählen Sie dann im Dropdownmenü die Option Benutzereinstellungen aus.
    2. Klicken Sie auf Entwickler.
    3. Klicken Sie neben Zugriffstoken auf Verwalten.
    4. Klicken Sie auf Neues Token generieren.
    5. (Optional) Geben Sie einen Kommentar ein, durch den Sie dieses Token in Zukunft identifizieren können, und ändern Sie die standardmäßige Lebensdauer des Tokens von 90 Tagen. Wenn Sie ein Token ohne Gültigkeitsdauer erstellen möchten (nicht empfohlen), lassen Sie das Feld Lebensdauer (Tage) leer.
    6. Klicken Sie auf Generate (Generieren) .
    7. Kopieren Sie das angezeigte Token an einen sicheren Speicherort, und klicken Sie auf Fertig.

    Hinweis

    Achten Sie darauf, den kopierten Token an einem sicheren Ort zu speichern. Geben Sie das kopierte Token nicht an andere Personen weiter. Wenn Sie das kopierte Token verlieren, können Sie das gleiche Token nicht erneut generieren. Stattdessen müssen Sie erneut das Verfahren zum Erstellen eines neuen Tokens durchlaufen. Wenn Sie das kopierte Token verlieren oder glauben, dass das Token kompromittiert wurde, empfiehlt Databricks dringend, dass Sie das Token sofort aus Ihrem Arbeitsbereich löschen. Klicken Sie hierzu auf der Seite Zugriffstoken auf das Papierkorbsymbol (Widerrufen) neben dem Token.

    Wenn Sie in Ihrem Arbeitsbereich keine Token erstellen oder verwenden können, liegt dies möglicherweise daran, dass Ihr Arbeitsbereichsadministrator Token deaktiviert hat oder Ihnen keine Berechtigung zum Erstellen oder Verwenden von Token erteilt hat. Wenden Sie sich an Ihren Arbeitsbereichsadministrator oder lesen Sie:

    Hinweis

    Als bewährte Methode für die Sicherheit empfiehlt Databricks, dass Sie bei der Authentifizierung mit automatisierten Tools, Systemen, Skripten und Anwendungen persönliche Zugriffstoken verwenden, die zu Dienstprinzipalen und nicht zu Benutzern des Arbeitsbereichs gehören. Informationen zum Erstellen von Token für Dienstprinzipale finden Sie unter Verwalten von Token für einen Dienstprinzipal.

Tipp

Wenn die Kachel Fivetran in Partner Connect in Ihrem Arbeitsbereich mit einem Häkchen versehen ist, können Sie die Verbindungsdetails für das verbundene SQL-Warehouse abrufen, indem Sie auf die Kachel klicken und dann die Verbindungsdetails erweitern. Das persönliche Zugriffstoken ist ausgeblendet. Sie müssen ein persönliches Ersatzzugriffstoken erstellen und dann dieses neue Token eingeben, wenn Fivetran Sie dazu auffordert.

Manuelle Schritte

Gehen Sie wie folgt vor, um eine manuelle Verbindung mit Fivetran herzustellen:

  1. Melden Sie sich bei Ihrem Fivetran-Konto an, oder erstellen Sie unter https://fivetran.com/login ein neues Fivetran-Konto.

    Wichtig

    Wenn Sie sich beim Fivetran-Konto Ihrer Organisation anmelden, wird möglicherweise die Seite Ziel auswählen angezeigt, auf der mindestens ein vorhandener Zieleintrag mit dem Databricks-Logo aufgeführt wird. Diese Einträge können Verbindungsdetails für Computeressourcen in Arbeitsbereichen enthalten, die von Ihrem Arbeitsbereich getrennt sind. Wenn Sie weiterhin eine dieser Verbindungen wiederverwenden möchten und der Computeressource vertrauen und Zugriff darauf haben, wählen Sie dieses Ziel aus, und fahren Sie dann mit „Nächste Schritte“ fort. Wählen Sie andernfalls ein beliebiges verfügbares Ziel aus, um diese Seite zu überspringen.

  2. Klicken Sie auf der Seite Dashboard in Fivetran auf die Registerkarte Ziele.

  3. Klicken Sie auf Add Destination (Ziel hinzufügen).

  4. Geben Sie einen Zielnamen ein, und klicken Sie auf Hinzufügen.

  5. Klicken Sie auf der Seite Fivetran is modern ELT (Fivetran ist moderner ELT-Prozess) auf Set up a connector (Connector einrichten).

  6. Klicken Sie auf eine Datenquelle und dann auf Next (Weiter).

  7. Befolgen Sie die Anweisungen auf dem Bildschirm im Setupleitfaden in Fivetran, um die Einrichtung des Connectors abzuschließen.

  8. Klicken Sie auf Speichern und testen.

  9. Klicken Sie nach erfolgreichem Test auf Fortsetzen.

  10. Klicken Sie auf der Seite Ziel Ihrer Daten auswählen auf Databricks in Azure.

  11. Klicken Sie auf Continue Setup (Setup fortsetzen).

  12. Führen Sie die Anweisungen auf dem Bildschirm in Fivetran aus, um die Verbindungsdetails für Ihre vorhandene Azure Databricks-Computeressource einzugeben, insbesondere die Feldwerte Serverhostname und HTTP-Pfad sowie das zuvor generierte Token.

  13. Klicken Sie auf Speichern und testen.

  14. Klicken Sie nach erfolgreichem Test auf Fortsetzen.

  15. Fahren Sie mit den nächsten Schritten fort.

Zusätzliche Ressourcen

Erkunden Sie eine oder mehrere der folgenden Ressourcen auf der Fivetran-Website: