Gegevens uit een SQL Server-database naar Azure Blob-opslag kopiëren met behulp van het hulpprogramma Copy Data

Artikel
09/13/2021
8 minuten om te lezen

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

In deze zelfstudie gebruikt u Azure Portal om een gegevensfactory te maken. Vervolgens gebruikt u het hulpprogramma Copy Data om een pijplijn te maken waarmee gegevens uit een SQL Server-database worden gekopieerd naar Azure Blob-opslag.

Notitie

Zie Inleiding tot Data Factory als u niet bekend bent met Azure Data Factory.

In deze zelfstudie voert u de volgende stappen uit:

Een data factory maken.
Het hulpprogramma Copy Data gebruiken om een pijplijn te maken.
De uitvoering van de pijplijn en van de activiteit controleren.

Vereisten

Azure-abonnement

Als u nog geen abonnement op Azure hebt, maak dan een gratis account aan voordat u begint.

Azure-rollen

Als u data factory-exemplaren wilt maken, moet het gebruikersaccount waarmee u zich bij Azure aanmeldt, zijn toegewezen aan de rollen Inzender of Eigenaar, of moet dit een beheerder van het Azure-abonnement zijn.

Ga naar Azure Portal als u de machtigingen wilt weergeven die u hebt in het abonnement. Selecteer uw gebruikersnaam in de rechterbovenhoek en selecteer vervolgens Machtigingen. Als u toegang tot meerdere abonnementen hebt, moet u het juiste abonnement selecteren. Zie Azure-rollen toewijzen met behulp van de Azure Portal voor voorbeeldinstructiesvoor het toevoegen van een gebruiker Azure Portal.

SQL Server 2014, 2016 en 2017

In deze zelfstudie gebruikt u een SQL Server-database als een brongegevensopslag. De pijplijn in de data factory die u in deze zelfstudie gaat maken, kopieert gegevens van deze SQL Server-database (bron) naar Blob-opslag (sink). Maak een tabel met de naam emp in uw SQL Server-database en voeg een aantal voorbeeldgegevens toe aan de tabel.

Start SQL Server Management Studio. Als dit niet al is geïnstalleerd op uw computer, gaat u naar SQL Server Management Studio downloaden.
Maak verbinding met SQL Server-exemplaar met behulp van uw referenties.
Maak een voorbeelddatabase. Klik in de structuurweergave met de rechtermuisknop op Databases en selecteer Nieuwe database.
Voer in het venster Nieuwe database een naam in voor de database en selecteer OK.
Voer het volgende queryscript uit voor de database. Hiermee wordt de emp-tabel gemaakt en worden enkele voorbeeldgegevens ingevoegd in deze tabel. In de structuurweergave klikt u met de rechtermuisknop op de database die u hebt gemaakt en selecteert u Nieuwe query.
```
CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
GO
```

Azure Storage-account

In deze zelfstudie gaat u een algemeen Azure Storage-account (en dan met name Blob Storage) gebruiken als een doel/sink-gegevensopslag. Zie het artikel Een opslagaccount maken als u geen opslagaccount voor algemeen gebruikt hebt en er een wilt maken. De pijplijn in de data factory die u in deze zelfstudie gaat maken, kopieert gegevens van de SQL Server-database (bron) naar deze Blob-opslag (sink).

De naam en sleutel van een opslagaccount ophalen

In deze zelfstudie gaat u de naam en sleutel van uw opslagaccount gebruiken. Voer de volgende stappen uit om de naam en sleutel van uw opslagaccount op te halen:

Meld u aan bij Azure Portal met uw Azure-gebruikersnaam en -wachtwoord.
Selecteer Alle services in het linkerdeelvenster. Filter met behulp van het sleutelwoord Opslag en selecteer vervolgens Opslagaccounts.
Filter indien nodig in de lijst met opslagaccounts op uw opslagaccount. Selecteer vervolgens uw opslagaccount.
Selecteer in het venster Opslagaccount de optie Toegangssleutels.
Kopieer de waarden in de vakken opslagaccountnaam en key1 en plak deze in Kladblok of een andere editor voor later gebruik in de zelfstudie.

Een gegevensfactory maken

Selecteer in het menu aan de linkerkant Een resource maken > Integratie > Data Factory.
Voer op de pagina Nieuwe data factory ADFTutorialDataFactory in bij Naam.

De naam van de data factory moet wereldwijd uniek zijn. Als het volgende foutbericht wordt weergegeven voor het naamveld, wijzigt u de naam van de data factory (bijvoorbeeld uwnaamADFTutorialDataFactory). Zie Data Factory - Naamgevingsregels voor meer informatie over naamgevingsregels voor Data Factory-artefacten.
Selecteer het Azure-abonnement waarin u de data factory wilt maken.
Voer een van de volgende stappen uit voor Resourcegroep:
- Selecteer Bestaande gebruiken en selecteer een bestaande resourcegroep in de vervolgkeuzelijst.
- Selecteer Nieuwe maken en voer de naam van een resourcegroep in.
  
  Zie Resourcegroepen gebruiken om Azure-resources te beheren voor meer informatie.
Selecteer V2 onder Versie.
Selecteer bij Locatie de locatie voor de data factory. In de vervolgkeuzelijst worden alleen ondersteunde locaties weergegeven. De gegevensarchieven (bijvoorbeeld Azure Storage en SQL Database) en -berekeningen (bijvoorbeeld Azure HDInsight) die door Data Factory worden gebruikt, kunnen zich in andere locaties/regio's bevinden.
Selecteer Maken.
Na het aanmaken ziet u de pagina Data Factory zoals weergegeven in de afbeelding.
Selecteer Openen op de tegel Azure Data Factory Studio om de gebruikersinterface Data Factory openen op een afzonderlijk tabblad.

Het hulpprogramma Copy Data gebruiken om een pijplijn te maken

Selecteer op Azure Data Factory startpagina Opnemen om het hulpprogramma Gegevens kopiëren starten.
Kies op de pagina Eigenschappen van het hulpprogramma Gegevens kopiëren de optie Ingebouwde kopieertaak onder Taaktype en kies nu eenmaal uitvoeren onder Taakfrequentie of taakschema en selecteer vervolgens Volgende.
Selecteer op de pagina Brongegevensopslag de optie + Nieuwe verbinding maken.
Zoek onder Nieuwe verbinding naar SQL Server en selecteer vervolgens Doorgaan.
Voer in het dialoogvenster Nieuwe verbinding (SQL server) onder Naam SqlServerLinkedService in. Selecteer + Nieuw onder Verbinding maken via integratieruntime. U moet een zelf-hostende integratieruntime maken, deze downloaden op de computer en registreren bij Data Factory. Met de zelf-hostende integratieruntime worden gegevens gekopieerd tussen uw on-premises omgeving en de cloud.
Selecteer in het dialoogvenster Integratieruntime instellen de optie Zelf-hostend. Selecteer vervolgens Doorgaan.
Voer in het dialoogvenster Integratieruntime instellen onder Naam TutorialIntegrationRuntime in. Selecteer vervolgens Maken.
Selecteer in het dialoogvenster Integratieruntime instellen de optie Klik hier om de express-installatie voor deze computer te starten. Met deze actie wordt de integratieruntime op de computer geïnstalleerd en geregistreerd bij Data Factory. U kunt er ook voor kiezen om handmatig te configureren door het installatiebestand te downloaden, uit te voeren, en de sleutel te gebruiken om de integratieruntime te registreren.
Voer de gedownloade toepassing uit. U ziet de status van de snelle installatie in het venster.
Controleer in het dialoogvenster Nieuwe verbinding (SQL Server) of TutorialIntegrationRuntime is geselecteerd onder Verbinding maken via integration runtime. Voer dan de volgende stappen uit:

a. Voer SqlServerLinkedService in bij Naam.

b. Voer de naam van uw SQL Server-exemplaar in bij Servernaam.

c. Voer de naam van uw on-premises database in bij Databasenaam.

d. Selecteer de juiste verificatie bij Verificatietype.

e. Voer bij Gebruikersnaam de naam in van de gebruiker die toegang heeft tot de SQL Server.

f. Voer het wachtwoord voor de gebruiker in.

g. Test de verbinding en selecteer Maken.
Controleer op de pagina Brongegevensopslag of de zojuist gemaakte SQL Server verbinding is geselecteerd in het blok Verbinding. Kies vervolgens in de sectie Brontabellen de optie BESTAANDE TABELLEN, selecteer de tabel dbo.emp in de lijst en selecteer Volgende. U kunt een andere tabel selecteren op basis van uw database.
Op de pagina Filter toepassen kunt u een voorbeeld van gegevens bekijken en het schema van de invoergegevens bekijken door de knop Voorbeeld van gegevens te selecteren. Selecteer vervolgens Volgende.
Selecteer op de pagina Doelgegevensopslag de optie + Nieuwe verbinding maken
In Nieuwe verbinding zoekt en selecteert u Azure Blob Storage en selecteert u vervolgens Doorgaan.
In het dialoogvenster Nieuwe verbinding (Azure Blob Storage) moet u de volgende stappen uitvoeren:

a. Voer bij Naam AzureStorageLinkedService in.

b. Selecteer Verbinding maken via integration runtime tutorialIntegrationRuntime en selecteer Accountsleutel onder Verificatiemethode.

c. Selecteer onder Azure-abonnement uw Azure-abonnement in de vervolgkeuzelijst.

d. Selecteer bij Opslagaccountnaam uw opslagaccount in de vervolgkeuzelijst.

e. Test de verbinding en selecteer Maken.
Zorg ervoor dat in het dialoogvenster Doelgegevensopslag de zojuist gemaakte Azure Blob-Storage is geselecteerd in het blok Verbinding. Voer vervolgens onder Mappad adftutorial/fromonprem in. U hebt de container adftutorial gemaakt als onderdeel van de vereisten. Als de uitvoermap (in dit geval fromonprem) niet bestaat, wordt deze automatisch aangemaakt in Data Factory. U kunt ook de knop Bladeren gebruiken om te navigeren in de blob-opslag en bijbehorende containers/mappen. Als u geen waarde opgeeft onder Bestandsnaam wordt standaard de naam van de bron gebruikt (in dit geval dbo.emp).
Selecteer op de pagina Instellingen bestandsindelingen de optie Volgende.
Voer in Instellingen dialoogvenster onder Taaknaam CopyFromOnPremSqlToAzureBlobPipeline in en selecteer Volgende. Met het hulpprogramma Copy Data wordt een pijplijn gemaakt met de naam die u opgeeft in dit veld.
Bekijk in het dialoogvenster Overzicht de waarden voor alle instellingen en selecteer Volgende.
Selecteer op de pagina Implementatie de optie Controleren om de pijplijn (taak) te bewaken.
Nadat de uitvoering van de pijplijn is voltooid, kunt u de status bekijken van de pijplijn die u hebt gemaakt.
Selecteer vernieuwen op de pagina Pijplijn wordt uitgevoerd om de lijst te vernieuwen. Selecteer de koppeling onder Pijplijnnaam om details van de activiteitsuitleiding weer te geven of voer de pijplijn opnieuw uit.
Selecteer op de pagina Activiteit wordt uitgevoerd de koppeling Details (pictogram van een bril) onder de kolom Activiteitsnaam voor meer informatie over de kopieerbewerking. Als u wilt teruggaan naar de pagina Pijplijn-runs, selecteert u de koppeling Alle pijplijn-runs in het breadcrumb-menu. Selecteer Vernieuwen om de weergave te vernieuwen.
Controleer of een uitvoerbestand wordt weergegeven in de map fromonprem van de container adftutorial.
Selecteer het tabblad Auteur aan de linkerkant om over te schakelen naar de bewerkingsmodus. U kunt de gekoppelde services, gegevenssets en pijplijnen die zijn gemaakt met het hulpprogramma, bijwerken met behulp van de editor. Selecteer Code om de JSON-code weer te geven die is gekoppeld aan de entiteit die in de editor is geopend. Bekijk de Azure Portal-versie van deze tutorial voor details over hoe u entiteiten in de Data Factory-gebruikersinterface kunt bewerken.