Gegevens laden in Azure Synapse Analytics met behulp van Azure Data Factory of een Synapse-pijplijn
VAN TOEPASSING OP:
Azure Data Factory Azure Synapse Analytics
Tip
Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .
Azure Synapse Analytics is een op de cloud gebaseerde, scale-out database die grote hoeveelheden gegevens kan verwerken, zowel relationeel als niet-relationeel. Azure Synapse Analytics is gebaseerd op de MPP-architectuur (Massively Parallel Processing) die is geoptimaliseerd voor workloads van enterprise datawarehouses. Het biedt cloud elasticiteit met de flexibiliteit om opslag en rekenkracht onafhankelijk te schalen.
Aan de slag met Azure Synapse Analytics is nu eenvoudiger dan ooit. Azure Data Factory en de bijbehorende pijplijnen binnen Azure Synapse zelf bieden een volledig beheerde cloudservice voor gegevensintegratie. U kunt de service gebruiken om een Azure Synapse Analytics te vullen met gegevens uit uw bestaande systeem en tijd te besparen bij het bouwen van uw analyseoplossingen.
Azure Data Factory- en Synapse-pijplijnen bieden de volgende voordelen voor het laden van gegevens in Azure Synapse Analytics:
- Eenvoudig in te stellen: een intuïtieve wizard met vijf stappen zonder scripting vereist.
- Uitgebreide ondersteuning voor gegevensopslag: ingebouwde ondersteuning voor een uitgebreide set on-premises en cloudgegevensarchieven. Zie de tabel met ondersteunde gegevensarchieven voor een gedetailleerde lijst.
- Veilig en compatibel: gegevens worden overgedragen via HTTPS of ExpressRoute. De aanwezigheid van de wereldwijde service zorgt ervoor dat uw gegevens nooit de geografische grens verlaten.
- Ongeëvenaarde prestaties met behulp van PolyBase: Polybase is de meest efficiënte manier om gegevens naar Azure Synapse Analytics te verplaatsen. Gebruik de functie voor faseringsblob om hoge laadsnelheden te bereiken van alle typen gegevensarchieven, waaronder Azure Blob Storage en Data Lake Store. (Polybase biedt standaard ondersteuning voor Azure Blob Storage en Azure Data Lake Store.) Zie Copy-activiteit prestaties voor meer informatie.
In dit artikel leest u hoe u het hulpprogramma Copy Data gebruikt om gegevens uit Azure SQL Database te laden in Azure Synapse Analytics. U kunt vergelijkbare stappen volgen om gegevens te kopiëren vanuit andere typen gegevensarchieven.
Notitie
Zie Gegevens kopiëren naar of van Azure Synapse Analytics voor meer informatie.
Vereisten
- Azure-abonnement: als u geen Azure-abonnement hebt, maakt u een gratis account voordat u begint.
- Azure Synapse Analytics: het datawarehouse bevat de gegevens die worden gekopieerd uit de SQL-database. Als u geen Azure Synapse Analytics hebt, raadpleegt u de instructies in Een Azure Synapse Analytics maken.
- Azure SQL Database: in deze zelfstudie worden gegevens gekopieerd uit de Adventure Works LT-voorbeeldgegevensset in Azure SQL Database. U kunt deze voorbeelddatabase maken in SQL Database door de instructies in Een voorbeelddatabase maken in Azure SQL Database te volgen.
- Azure Storage-account: Azure Storage wordt gebruikt als de faserings-blob in de bulkkopiebewerking. Als u geen Azure-opslagaccount hebt, raadpleegt u de instructies in Een opslagaccount maken.
Een data factory maken
Als u uw data factory nog niet hebt gemaakt, volgt u de stappen in quickstart: Een gegevensfactory maken met behulp van Azure Portal en Azure Data Factory Studio om er een te maken. Nadat u deze hebt gemaakt, bladert u naar de data factory in Azure Portal.
Selecteer Openen op de tegel Azure Data Factory Studio openen om de Data-Integratie toepassing op een afzonderlijk tabblad te starten.
Gegevens laden in Azure Synapse Analytics
Selecteer op de startpagina van de Azure Data Factory- of Azure Synapse-werkruimte de tegel Opnemen om het hulpprogramma Copy Data te starten. Kies vervolgens de ingebouwde kopieertaak.
Kies op de pagina Eigenschappen de optie Ingebouwde kopieertaak onder Taaktype en selecteer vervolgens Volgende.
Voer op de pagina Brongegevensarchief de volgende stappen uit:
Tip
In deze zelfstudie gebruikt u SQL-verificatie als verificatietype voor uw brongegevensarchief, maar u kunt indien nodig andere ondersteunde verificatiemethoden kiezen: Service-principal en beheerde identiteit . Raadpleeg de bijbehorende secties in dit artikel voor meer informatie. Het ook raadzaam om een Azure Key Vault te gebruiken om geheimen voor gegevensarchieven veilig op te slaan. Raadpleeg dit artikel voor gedetailleerde illustraties.
Selecteer + Nieuwe verbinding.
Selecteer Azure SQL Database in de galerie en selecteer Doorgaan. U kunt 'SQL' typen in het zoekvak om de connectors te filteren.
Selecteer op de pagina Nieuwe verbinding (Azure SQL Database) uw servernaam en DB-naam in de vervolgkeuzelijst en geef de gebruikersnaam en het wachtwoord op. Selecteer Verbinding testen om de instellingen te valideren en selecteer vervolgens Maken.
Selecteer op de pagina Brongegevensarchief de zojuist gemaakte verbinding als bron in de sectie Verbinding maken ion.
Voer in de sectie Brontabellen SalesLT in om de tabellen te filteren. Kies het vak (Alles selecteren) om alle tabellen voor de kopie te gebruiken en selecteer vervolgens Volgende.
Geef uw instellingen op op de pagina Filter toepassen of selecteer Volgende. U kunt een voorbeeld van gegevens bekijken en het schema van de invoergegevens bekijken door op deze pagina de knop Voorbeeldgegevens te selecteren.
Voer op de pagina Doelgegevensarchief de volgende stappen uit:
Tip
In deze zelfstudie gebruikt u SQL-verificatie als verificatietype voor uw doelgegevensarchief, maar u kunt indien nodig andere ondersteunde verificatiemethoden kiezen: Service-principal en beheerde identiteit . Raadpleeg de bijbehorende secties in dit artikel voor meer informatie. Het ook raadzaam om een Azure Key Vault te gebruiken om geheimen voor gegevensarchieven veilig op te slaan. Raadpleeg dit artikel voor gedetailleerde illustraties.
Selecteer + Nieuwe verbinding om een verbinding toe te voegen.
Selecteer Azure Synapse Analytics in de galerie en selecteer Doorgaan.
Selecteer op de pagina Nieuwe verbinding (Azure Synapse Analytics) uw servernaam en DB-naam in de vervolgkeuzelijst en geef de gebruikersnaam en het wachtwoord op. Selecteer Verbinding testen om de instellingen te valideren en selecteer vervolgens Maken.
Selecteer op de pagina Doelgegevensarchief de zojuist gemaakte verbinding als sink in de sectie Verbinding maken ion.
Controleer de inhoud in de sectie Tabeltoewijzing en selecteer Volgende. Er wordt een intelligente tabeltoewijzing weergegeven. De brontabellen worden toegewezen aan de doeltabellen op basis van de tabelnamen. Als er geen brontabel in het doel bestaat, maakt de service standaard een doeltabel met dezelfde naam. U kunt ook een brontabel toewijzen aan een bestaande doeltabel.
Controleer de inhoud op de pagina Kolomtoewijzing en selecteer Volgende. De intelligente tabeltoewijzing is gebaseerd op de kolomnaam. Als u de service automatisch de tabellen laat maken, kan de conversie van het gegevenstype optreden wanneer er incompatibiliteit is tussen de bron- en doelarchieven. Als er een niet-ondersteunde gegevenstypeconversie is tussen de bron- en doelkolom, ziet u een foutbericht naast de bijbehorende tabel.
Voer op de pagina Instellingen de volgende stappen uit:
Geef CopyFromSQLToSQLDW op voor het veld Taaknaam .
Selecteer + Nieuw in een faseringsopslag in de sectie Faseringsinstellingen. Het archief wordt gebruikt voor het faseren van de gegevens voordat deze in Azure Synapse Analytics worden geladen met PolyBase. Nadat het kopiëren is voltooid, worden de tussentijdse gegevens in Azure Blob Storage automatisch opgeschoond.
Selecteer uw opslagaccount op de pagina Nieuwe gekoppelde service en selecteer Maken om de gekoppelde service te implementeren.
Schakel de selectie van de standaardoptie Type gebruiken uit en selecteer vervolgens Volgende.
Controleer de instellingen op de pagina Samenvatting en selecteer Volgende.
Selecteer op de pagina Implementatie de optie Controleren om de pijplijn of taak te controleren.
U ziet dat het tabblad Controleren aan de linkerkant automatisch wordt geselecteerd. Wanneer de pijplijnuitvoering is voltooid, selecteert u de koppeling CopyFromSQLToSQLToSQLDW onder de kolom Pijplijnnaam om details van de uitvoering van de activiteit weer te geven of om de pijplijn opnieuw uit te voeren.
Als u wilt terugkeren naar de weergave met de pijplijnuitvoeringen, selecteert u de koppeling Alle pijplijnuitvoeringen bovenaan. Selecteer Vernieuwen om de lijst te vernieuwen.
Als u de uitvoeringsdetails voor elke kopieeractiviteit wilt controleren, selecteert u de koppeling Details (brilpictogram) onder De naam van de activiteit in de weergave uitvoeringen van de activiteit. U kunt details bekijken, zoals het volume van de gegevens die uit de bron zijn gekopieerd naar de sink, de gegevensdoorvoer, de uitvoeringsstappen met de overeenkomstige duur en de gebruikte configuraties.
Gerelateerde inhoud
Ga naar het volgende artikel voor meer informatie over ondersteuning voor Azure Synapse Analytics: