Gegevens kopiëren vanuit Azure Blob-opslag naar een SQL Database met het hulpprogramma Gegevens kopiëren

Artikel
09/13/2021
6 minuten om te lezen

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

In deze zelfstudie gebruikt u Azure Portal om een gegevensfactory te maken. Vervolgens gebruikt u het hulpprogramma Gegevens kopiëren om een pijplijn te maken waarmee gegevens uit Azure Blob-opslag worden gekopieerd naar een SQL Database.

Notitie

Zie Inleiding tot Azure Data Factory als u niet bekend bent met Azure Data Factory.

In deze zelfstudie voert u de volgende stappen uit:

Een data factory maken.
Het hulpprogramma Copy Data gebruiken om een pijplijn te maken.
De uitvoering van de pijplijn en van de activiteit controleren.

Vereisten

Azure-abonnement: Als u nog geen abonnement op Azure hebt, maak dan een gratis account aan voordat u begint.
Azure-opslagaccount: Gebruik blobopslag als de bron-gegevensopslag. Als u geen Azure-opslagaccount hebt, raadpleegt u de instructies in Een opslagaccount maken.
Azure SQL Database: Gebruik een SQL Database als de sink-gegevensopslag. Als u geen SQL Database hebt, raadpleegt u de instructies in Een SQL Database maken.

Een blob en een SQL-tabel maken

Bereid uw Blob-opslag en de SQL Database voor voor gebruik tijdens de zelfstudie, door de volgende stappen uit te voeren.

Een bron-blob maken

Start Kladblok. Kopieer de volgende tekst en sla deze op schijf op in een bestand met de naam inputEmp.txt:
```
FirstName|LastName
John|Doe
Jane|Doe
```
Maak een container met de naam adfv2tutorial en upload het bestand inputEmp.txt naar de container. U kunt de Azure Portal of verschillende hulpprogramma's gebruiken zoals Azure Storage Explorer om deze taken uit te voeren.

Een SQL-sink-tabel maken

Gebruik het volgende SQL-script om een tabel met de naam dbo.emp te maken in uw SQL Database:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO
CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Geef Azure-services toegang tot de SQL-server. Controleer of de instelling Azure-services en -resources toegang geven tot deze server is ingeschakeld voor uw server waarop SQL Database wordt uitgevoerd. Met deze instelling kan Data Factory gegevens naar uw database-instantie schrijven. Om deze instelling te controleren en in te schakelen, gaat u naar logische SQL-server > Beveiliging > Firewalls en virtuele netwerken > zet de optie Toegang tot Azure-services toestaan op AAN.

Notitie

Met de optie Azure-services en -resources toegang geven tot deze server wordt netwerktoegang tot uw SQL Server vanuit elke Azure-resource, niet alleen die in uw abonnement. Zie Firewallregels voor Azure SQL Server voor meer informatie. In plaats daarvan kunt u privé-eindpunten gebruiken om verbinding te maken met Azure PaaS-services zonder gebruik te maken van openbare IP's.

Een gegevensfactory maken

Selecteer in het linkermenu Een resource maken > Integratie > Data Factory:
Voer op de pagina Nieuwe data factory ADFTutorialDataFactory in bij Naam.

De naam van de data factory moet wereldwijd uniek zijn. Mogelijk wordt het volgende foutbericht weergegeven:

Als u een foutbericht ontvangt dat betrekking heeft op de waarde die bij de naam is ingevuld, voert u een andere naam in voor de data factory. Gebruik bijvoorbeeld de naam uwnaamADFTutorialDataFactory. Raadpleeg het onderwerp Data Factory - Naamgevingsregels voor meer informatie over naamgevingsregels voor Data Factory-artefacten.
Selecteer het Azure-abonnement waarin u de nieuwe data factory wilt maken.
Voer een van de volgende stappen uit voor Resourcegroep:

a. Selecteer Bestaande gebruiken en selecteer een bestaande resourcegroep in de vervolgkeuzelijst.

b. Selecteer Nieuwe maken en voer de naam van een resourcegroep in.

Zie Resourcegroepen gebruiken om Azure-resources te beheren voor meer informatie.
Selecteer bij Versie de optie V2 als de versie.
Selecteer bij Locatie de locatie voor de data factory. In de vervolgkeuzelijst worden alleen ondersteunde locaties weergegeven. De gegevensarchieven (bijvoorbeeld Azure Storage en SQL Database) en -berekeningen (bijvoorbeeld Azure HDInsight) die door uw data factory worden gebruikt, kunnen zich in andere locaties of regio's bevinden.
Selecteer Maken.
Nadat de data factory is gemaakt, wordt de startpagina Data Factory weergegeven.
Als u de Azure Data Factory interface (UI) op een afzonderlijk tabblad wilt starten, selecteert u Openen op de Azure Data Factory Studio openen.

Het hulpprogramma Copy Data gebruiken om een pijplijn te maken

Selecteer op de startpagina van Azure Data Factory de tegel Opnemen om het hulpprogramma Gegevens kopiëren starten.
Kies op de pagina Eigenschappen van Gegevens kopiëren hulpprogramma de optie Ingebouwde kopieertaak onder Taaktype en selecteer vervolgens Volgende.
Voltooi op de pagina Brongegevensarchief de volgende stappen:

a. Selecteer + Nieuwe verbinding maken om een verbinding toe te voegen.

b. Selecteer in de galerie de optie Azure Blob Storage. Selecteer vervolgens Doorgaan.

c. Selecteer op de pagina Nieuwe verbinding (Azure Blob Storage) uw Azure-abonnement in de lijst met Azure-abonnementen en selecteer uw opslagaccount in de lijst Storage-accountnaam. Test de verbinding en selecteer vervolgens Maken.

d. Selecteer de zojuist gemaakte gekoppelde service als bron in het blok Verbinding.

e. Selecteer in de sectie Bestand of map de optie Bladeren om naar de map adfv2tutorial te gaan, selecteer hetinputEmp.txt bestand en selecteer vervolgens OK.

f. Selecteer Volgende om naar de volgende stap te gaan.
Schakel op de pagina Instellingen bestandsindeling het selectievakje voor Eerste rij als header in. U ziet dat het hulpprogramma automatisch de scheidingstekens voor kolommen en rijen detecteert. U kunt een voorbeeld van gegevens bekijken en het schema van de invoergegevens bekijken door de knop Voorbeeld van gegevens weergeven op deze pagina te selecteren. Selecteer vervolgens Volgende.
Voltooi op de pagina Doelgegevensarchief de volgende stappen:

a. Selecteer + Nieuwe verbinding maken om een verbinding toe te voegen.

b. Selecteer in de galerie de optie Azure SQL Database. Selecteer vervolgens Doorgaan.

c. Selecteer op de pagina Nieuwe verbinding (Azure SQL Database) uw Azure-abonnement, servernaam en databasenaam in de vervolgkeuzelijst. Selecteer vervolgens SQL verificatie onder Verificatietype en geef de gebruikersnaam en het wachtwoord op. Test de verbinding en selecteer Maken.

d. Selecteer de zojuist gemaakte gekoppelde service als sink en selecteer vervolgens Volgende.
Selecteer op de pagina Doelgegevensopslag de optie Bestaande tabel gebruiken en selecteer de tabel dbo.emp. Selecteer vervolgens Volgende.
Op de pagina Kolomtoewijzing ziet u dat de tweede en derde kolom in het invoerbestand zijn toegewezen aan de kolommen FirstName en LastName van de tabel emp. Pas de toewijzing aan om ervoor te zorgen dat er geen fout is en selecteer vervolgens Volgende.
Voer op Instellingen pagina taaknaam CopyFromBlobToSqlPipeline in en selecteer Volgende.
Bekijk op de Overzichtspagina de waarden voor alle instellingen en selecteer vervolgens Volgende.
Selecteer op de pagina Implementatie de optie Controleren om de pijplijn (taak) te bewaken.
Selecteer op de pagina Pijplijnuitvoeringen Vernieuwen om de lijst te vernieuwen. Selecteer de koppeling onder Pijplijnnaam om details van de activiteituit te voeren of de pijplijn opnieuw uit te voeren.
Selecteer op de pagina Activiteit wordt uitgevoerd de koppeling Details (pictogram van een bril) onder de kolom Activiteitsnaam voor meer informatie over de kopieerbewerking. Als u wilt teruggaan naar de weergave Pijplijn-runs, selecteert u de koppeling Alle pijplijn-runs in het breadcrumb-menu. Selecteer Vernieuwen om de weergave te vernieuwen.
Controleer of de gegevens zijn opgenomen in de tabel dbo.emp in uw SQL Database.
Selecteer het tabblad Auteur aan de linkerkant om over te schakelen naar de bewerkingsmodus. U kunt de gekoppelde services, gegevenssets en pijplijnen die zijn gemaakt met het hulpprogramma, bijwerken met behulp van de editor. Bekijk de Azure Portal-versie van deze tutorial voor details over het bewerken van entiteiten in de Data Factory-UI.