Inzicht in Azure Data Factory
De noodzaak om de batchverplaatsing van gegevens te activeren of om een regelmatig schema in te stellen, is een vereiste voor de meeste analyseoplossingen. Azure Data Factory (ADF) is de service die kan worden gebruikt om aan een dergelijke vereiste te voldoen. ADF biedt een cloudservice voor gegevensintegratie waarmee de verplaatsing en transformatie van gegevens tussen verschillende gegevensarchieven en rekenresources wordt georganiseerd.
Azure Data Factory is de cloudgebaseerde ETL- en gegevensintegratieservice waarmee u gegevensgestuurde werkstromen kunt maken voor het organiseren van gegevensverplaatsing en het transformeren van gegevens op schaal. Met behulp van Azure Data Factory kunt u gegevensgestuurde werkstromen (pijplijnen genoemd) maken en plannen die gegevens uit verschillende gegevensarchieven kunnen opnemen. U kunt complexe ETL-processen bouwen die gegevens visueel transformeren met gegevensstromen of met behulp van rekenservices zoals Azure HDInsight Hadoop, Azure Databricks en Azure Synapse Analytics.
Veel van de functionaliteit van Azure Data Factory wordt weergegeven in Azure Synapse Analytics als een functie die wordt aangeduid als pijplijnen, waarmee u gegevenspijplijnen kunt integreren tussen SQL-pools, Spark-pools en SQL Serverloos, zodat u een stopshop kunt bieden voor al uw analytische behoeften.
Wat wordt bedoeld door indeling
Als u een analogie wilt gebruiken, moet u nadenken over een symfonisch orkest. Het centrale lid van het orkest is de dirigent. De dirigent speelt de instrumenten niet, ze leiden gewoon de symfonieleden door het hele muziekstuk dat ze uitvoeren. De muzikanten gebruiken hun eigen vaardigheden om bepaalde geluiden te produceren in verschillende stadia van de symfonie, zodat ze alleen bepaalde delen van de muziek kunnen leren. De dirigent organiseert het hele muziekstuk en is daarom op de hoogte van de gehele muziek die wordt uitgevoerd. Ze zullen ook specifieke armbewegingen gebruiken die de muzikanten instructies geven hoe een stuk muziek moet worden gespeeld.
ADF kan een vergelijkbare benadering gebruiken, terwijl het systeemeigen functionaliteit heeft om gegevens op te nemen en te transformeren, soms wordt een andere service geïnstrueerd om de werkelijke hoeveelheid werk uit te voeren die nodig is namens deze service, zoals een Databricks om een transformatiequery uit te voeren. In dit geval zou het dus Databricks zijn dat het werk uitvoert, niet ADF. ADF organiseert alleen de uitvoering van de query en levert vervolgens de pijplijnen om de gegevens naar de volgende stap of bestemming te verplaatsen.
U vindt uitgebreide visualisaties om de afkomst en afhankelijkheden tussen uw gegevenspijplijnen weer te geven en al uw gegevenspijplijnen te controleren vanuit één centrale weergave zodat u eenvoudig problemen kunt detecteren en bewakingswaarschuwingen kunt instellen.
