Gegevens laden in Azure Synapse Analytics met Azure Data Factory of een Synapse-pijplijn

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Azure Synapse Analytics is een op de cloud gebaseerde, scale-out database die geschikt is voor het verwerken van enorme hoeveelheden gegevens, zowel relationele als niet-relationele. Azure Synapse Analytics is gebouwd op de MPP-architectuur (Massively Parallel Processing) die is geoptimaliseerd voor zakelijke datawarehouse-workloads. Het biedt elasticiteit in de cloud met de flexibiliteit om opslag en rekenkracht onafhankelijk te schalen.

Aan de slag Azure Synapse Analytics is nu eenvoudiger dan ooit. Azure Data Factory en de equivalente pijplijnen in Azure Synapse zelf bieden een volledig beheerde cloudservice voor gegevensintegratie. U kunt de service gebruiken om een Azure Synapse Analytics met gegevens van uw bestaande systeem te vullen en tijd te besparen bij het bouwen van uw analyseoplossingen.

Azure Data Factory en Synapse-pijplijnen bieden de volgende voordelen voor het laden van gegevens in Azure Synapse Analytics:

• Eenvoudig in te stellen: een intuïtieve wizard met vijf stappen, zonder dat er scripts nodig zijn.
• Uitgebreide ondersteuning voor gegevensopslag: ingebouwde ondersteuning voor een uitgebreide set on-premises gegevensopslag en gegevensopslag in de cloud. Zie de tabel met ondersteunde gegevensopslag voor een gedetailleerde lijst.
• Veilig en compatibel: gegevens worden overgedragen via HTTPS of ExpressRoute. De aanwezigheid van de wereldwijde service zorgt ervoor dat uw gegevens nooit de geografische grens overschrijden.
• Ongeëvenaarde prestaties met PolyBase: Polybase is de meest efficiënte manier om gegevens naar een Azure Synapse Analytics. Gebruik de faseringsblobfunctie voor hoge laadsnelheden van alle typen gegevensopslag, waaronder Azure Blob Storage en Data Lake Store. (Polybase ondersteunt standaard Azure Blob Storage en Azure Data Lake Store.) Zie prestaties Copy-activiteit voor meer informatie.

In dit artikel wordt beschreven hoe u het hulpprogramma Gegevens kopiëren gebruikt om gegevens van Azure SQL Database in Azure Synapse Analytics. U kunt vergelijkbare stappen volgen om gegevens te kopiëren vanuit andere typen gegevensarchieven.

Vereisten

• Azure-abonnement: Als u nog geen abonnement op Azure hebt, maak dan een gratis account aan voordat u begint.
• Azure Synapse Analytics: Het datawarehouse bevat de gegevens die zijn gekopieerd uit de SQL database. Als u geen account hebt, Azure Synapse Analytics u de instructies in Een Azure Synapse Analytics.
• Azure SQL Database: In deze zelfstudie worden gegevens uit de voorbeeldgegevensset Adventure Works LT gekopieerd naar Azure SQL Database. U kunt deze voorbeelddatabase maken in SQL Database door de instructies in Een voorbeelddatabase maken in Azure SQL Database te volgen.
• Azure-opslagaccount: Azure Storage wordt gebruikt als de faseringsblob in de bulkkopiebewerking. Als u geen Azure-opslagaccount hebt, raadpleegt u de instructies in Een opslagaccount maken.

Een gegevensfactory maken

1. Selecteer in het linkermenu Een resource maken > Gegevens en analyses > Data factory:

2. Geef op de pagina Data factory waarden op voor de volgende items:

   • Naam: voer LoadSQLDWDemo in als naam. De naam van uw data factory moet *globaal uniek zijn. Als u de foutmelding 'Data factory name 'LoadSQLDWDemo' is not available' ziet, voert u een andere naam in voor de data factory. U kunt bijvoorbeeld de __ naam ADFTutorialDataFactory gebruiken. Maak de data factory opnieuw. Raadpleeg het onderwerp Data Factory - Naamgevingsregels voor meer informatie over naamgevingsregels voor Data Factory-artefacten.
   • Abonnement: selecteer uw Azure-abonnement waarin u de data factory.
   • Resourcegroep: selecteer een bestaande resourcegroep in de vervolgkeuzelijst of selecteer de optie Nieuwe maken en voer de naam van een resourcegroep in. Zie Resourcegroepen gebruiken om Azure-resources te beheren voor meer informatie.
   • Versie: Selecteer V2.
   • Locatie: selecteer de locatie voor de data factory. In de vervolgkeuzelijst worden alleen ondersteunde locaties weergegeven. De gegevensopslag die wordt gebruikt door data factory kunnen zich in andere locaties en regio's bevinden. Deze gegevensopslagen omvatten Azure Data Lake Store, Azure Storage, Azure SQL Database, en meer.

3. Selecteer Maken.

4. Nadat het maken is voltooid, gaat u naar uw data factory. U ziet de Data Factory startpagina zoals wordt weergegeven in de volgende afbeelding:

   

   Selecteer Openen op de tegel Azure Data Factory Studio om de gegevensintegratietoepassing op een afzonderlijk tabblad te openen.

Gegevens laden in Azure Synapse Analytics

1. Selecteer op de startpagina van Azure Data Factory of Azure Synapse werkruimte de tegel Opnemen om het hulpprogramma Gegevens kopiëren starten. Kies vervolgens de ingebouwde kopieertaak.

2. Kies op de pagina Eigenschappen de optie Ingebouwde kopieertaak onder Taaktype en selecteer vervolgens Volgende.

   

3. Voltooi op de pagina Brongegevensopslag de volgende stappen:

   Tip

   In deze zelfstudie gebruikt u SQL als verificatietype voor uw brongegevensopslag, maar u kunt indien nodig andere ondersteunde verificatiemethoden kiezen:Service-principal en Beheerde identiteit. Raadpleeg de bijbehorende secties in dit artikel voor meer informatie. Het ook raadzaam om een Azure Key Vault te gebruiken om geheimen voor gegevensarchieven veilig op te slaan. Raadpleeg dit artikel voor gedetailleerde illustraties.

   1. Selecteer + Nieuwe verbinding.

   2. Selecteer Azure SQL Database in de galerie en selecteer Doorgaan. U kunt 'SQL' in het zoekvak typen om de connectors te filteren.

      

   3. Selecteer op de pagina Nieuwe verbinding (Azure SQL Database) uw servernaam en DB-naam in de vervolgkeuzelijst en geef de gebruikersnaam en het wachtwoord op. Selecteer Verbinding testen om de instellingen te valideren en selecteer vervolgens Maken.

      

   4. Selecteer op de pagina Brongegevensopslag de zojuist gemaakte verbinding als bron in de sectie Verbinding.

   5. Voer in de sectie Brontabellen SalesLT in om de tabellen te filteren. Kies het vak (Alles selecteren) om alle tabellen voor de kopie te gebruiken en selecteer vervolgens Volgende.

   

4. Geef op de pagina Filter toepassen uw instellingen op of selecteer Volgende. U kunt een voorbeeld van gegevens bekijken en het schema van de invoergegevens bekijken door de knop Voorbeeld van gegevens weergeven op deze pagina te selecteren.

   

5. Voltooi op de pagina Doelgegevensopslag de volgende stappen:

   Tip

   In deze zelfstudie gebruikt u SQL als verificatietype voor uw doelgegevensopslag, maar u kunt indien nodig andere ondersteunde verificatiemethoden kiezen:Service-principal en Beheerde identiteit. Raadpleeg de bijbehorende secties in dit artikel voor meer informatie. Het ook raadzaam om een Azure Key Vault te gebruiken om geheimen voor gegevensarchieven veilig op te slaan. Raadpleeg dit artikel voor gedetailleerde illustraties.

   1. Selecteer + Nieuwe verbinding om een verbinding toe te voegen.

   2. Selecteer Azure Synapse Analytics in de galerie en selecteer Doorgaan.

      

   3. Selecteer op de pagina Nieuwe verbinding (Azure Synapse Analytics) uw servernaam en DB-naam in de vervolgkeuzelijst en geef de gebruikersnaam en het wachtwoord op. Selecteer Verbinding testen om de instellingen te valideren en selecteer vervolgens Maken.

      

   4. Selecteer op de pagina Doelgegevensopslag de zojuist gemaakte verbinding als sink in de sectie Verbinding.

6. Controleer de inhoud in de sectie Tabeltoewijzing en selecteer Volgende. Er wordt een intelligente tabeltoewijzing weergegeven. De brontabellen worden aan de doeltabellen op basis van de tabelnamen. Als er geen brontabel in het doel bestaat, maakt de service standaard een doeltabel met dezelfde naam. U kunt ook een brontabel aan een bestaande doeltabel toe te wijsen.

   

7. Controleer de inhoud op de pagina Kolomtoewijzing en selecteer Volgende. De intelligente tabeltoewijzing is gebaseerd op de kolomnaam. Als u de service de tabellen automatisch laat maken, kan de conversie van gegevenstype plaatsvinden wanneer er sprake is van incompatibiliteit tussen de bron- en doelopslag. Als er een niet-ondersteunde gegevenstypeconversie is tussen de bron- en doelkolom, ziet u een foutbericht naast de bijbehorende tabel.

   

8. Voltooi op Instellingen pagina de volgende stappen:

   1. Geef CopyFromSQLToSQLDW op voor het veld Taaknaam.

   2. Selecteer in de sectie Faseringsinstellingen de optie + Nieuw om een faseringsopslag te maken. Het archief wordt gebruikt voor het faseren van de gegevens voordat deze in Azure Synapse Analytics worden geladen met PolyBase. Nadat het kopiëren is voltooid, worden de tussentijdse gegevens in Azure Blob Storage automatisch opgeschoond.

   3. Selecteer op de pagina Nieuwe gekoppelde service uw opslagaccount en selecteer Maken om de gekoppelde service te implementeren.

   4. Deselecteer de optie Standaardtype gebruiken en selecteer vervolgens Volgende.

   

9. Controleer de instellingen op de pagina Samenvatting en selecteer Volgende.

10. Selecteer op de pagina Implementatie de optie Controleren om de pijplijn of taak te controleren.

    

11. U ziet dat het tabblad Controleren aan de linkerkant automatisch wordt geselecteerd. Wanneer de pijplijnuitleiding is voltooid, selecteert u de koppeling CopyFromSQLToSQLDW in de kolom Pijplijnnaam om details van de activiteitsuit werking weer te geven of om de pijplijn opnieuw uit te voeren.

    • Azure Data Factory
    • Azure Synapse

    controleren

12. Als u wilt terugkeren naar de weergave met de pijplijnuitvoeringen, selecteert u de koppeling Alle pijplijnuitvoeringen bovenaan. Selecteer Vernieuwen om de lijst te vernieuwen.

    

13. Als u de uitvoeringsdetails voor elke kopieeractiviteit wilt controleren, selecteert u de koppeling Details (pictogram van een bril) onder Activiteitsnaam in de weergave uitvoeringen van activiteit. U kunt details bekijken, zoals het volume van de gegevens die uit de bron zijn gekopieerd naar de sink, de gegevensdoorvoer, de uitvoeringsstappen met de overeenkomstige duur en de gebruikte configuraties.

    

    

Volgende stappen

Ga naar het volgende artikel voor meer informatie over ondersteuning voor Azure Synapse Analytics: