Gegevens opnemen in Azure Data Lake Gen 2 met behulp van Azure Data Factory
Als u een pijplijn wilt maken, moeten we eerst gekoppelde services instellen in Azure Data Factory. Gekoppelde services definiëren de verbindingsgegevens voor Azure Data Factory met de externe resources waarmee u verbinding wilt maken, zoals een Azure SQL Database of Azure Data Lake Storage Gen 2 (ADLS Gen 2).
De verbinding met de gegevensbron en gegevensset die aan die gekoppelde service is gekoppeld, vertegenwoordigt de gegevensstructuur. Een gekoppelde Azure Data Lake Storage-service geeft bijvoorbeeld de verbindingsreeks op voor het Azure Data Lake Storage-account.
De verbindingsreeks kan worden doorgegeven aan Azure Data Factory door een gekoppelde service te maken.
Het doel van gekoppelde services is om gegevensarchieven en rekenresources weer te geven die moeten worden gehost voor de uitvoering van een pijplijn of activiteit.
Met behulp van de codevrije gebruikerservaring van Azure Data Factory vanuit Azure Portal is het voor de niet-coder eenvoudig om gekoppelde services te ontwikkelen.
We gaan drie van de meer dan 85 connectors verkennen die momenteel door Azure Data Factory worden ondersteund.
Als u gegevens uit een resource wilt opnemen, kunt u een Azure Data Factory-pijplijn gebruiken met een kopieeractiviteit die kan worden opgenomen. Bijvoorbeeld één tabel uit de Azure SQL Database in een ADLS Gen 2-opslagaccount. Het is belangrijk om te begrijpen dat wanneer u pijplijnen toevoegt in Azure Data Factory, u de gegevensset moet configureren en fouten in de pijplijn in Azure Data Factory moet opsporen.
Een pijplijn in Azure Data Factory is een logische groepering van activiteiten, zoals de activiteit Gegevens kopiëren om een taak uit te voeren. De activiteit definieert de bewerking die u uitvoert op de gegevens, dus een kopie betekent dat dezelfde gegevens naar een ander gegevensarchief worden gekopieerd.
De gegevensset die u gebruikt, verwijst naar de gegevens die u gaat gebruiken vanuit de gekoppelde service. Dus als u een database met tabellen hebt gekoppeld, kunt u de tabel selecteren die u wilt kopiëren. Als u dit doet, worden de gegevens uit die tabel gekopieerd naar een Azure Data Lake Storage-account.
Nu begrijpt u gekoppelde services in Azure Data Factory. In de volgende les krijgen we handen om gegevens op te nemen met Azure Data Factory.