De opnamemethoden van de data factory weergeven
Azure Data Factory kan geschikt zijn voor organisaties die beginnen met projecten voor gegevensintegratie vanaf het verschillende startpunt. Het is zeldzaam dat een gegevensmigratieproject een groen veldproject is. Normaal gesproken moeten veel werkstromen voor gegevensintegratie rekening houden met bestaande pijplijnen die zijn gemaakt in eerdere projecten, met verschillende afhankelijkheden en het gebruik van verschillende technologieën. Hiervoor zijn er verschillende opnamemethoden die kunnen worden gebruikt om gegevens uit verschillende bronnen te extraheren.
Gegevens opnemen met behulp van de kopieeractiviteit
Gebruik deze methode om codevrije pijplijnen voor gegevensopname te bouwen die geen transformatie vereisen tijdens het extraheren van de gegevens. De kopieeractiviteit biedt ondersteuning voor meer dan 100 systeemeigen connectors. Deze methode kan geschikt zijn voor groene veldprojecten met een eenvoudige extractiemethode voor een intermediair gegevensarchief. Een voorbeeld van het opnemen van gegevens met behulp van de kopieeractiviteit kan bestaan uit het extraheren van gegevens uit meerdere brondatabasesystemen en het uitvoeren van de gegevens naar bestanden in een Data Lake Store. Het voordeel van deze opnamemethode is dat ze eenvoudig kunnen worden gemaakt, maar ze kunnen niet omgaan met geavanceerde transformaties of bedrijfslogica.
Gegevens opnemen met behulp van rekenresources
Azure Data Factory kan rekenresources aanroepen om gegevens te verwerken door een gegevensplatformservice die mogelijk beter geschikt is voor de taak. Een goed voorbeeld hiervan is dat Azure Data Factory een pijplijn kan maken naar een analytische gegevensplatform, zoals Spark-pools in een Azure Synapse Analytics-exemplaar om een complexe berekening uit te voeren, waarmee nieuwe gegevens worden gegenereerd. Deze gegevens worden vervolgens weer opgenomen in de pijplijn voor verdere downstreamverwerking. Er zijn talloze computingresources en de bijbehorende activiteiten die ze kunnen uitvoeren, zoals wordt weergegeven in de volgende tabel:
| Compute-omgeving | activities |
|---|---|
| HdInsight-cluster op aanvraag of uw eigen HDInsight-cluster | Hive, Pig, Spark, MapReduce, Hadoop Streaming |
| Azure Batch | Aangepaste activiteiten |
| Azure Machine Learning Studio Machine | Leeractiviteiten: BatchUitvoering en Resource bijwerken |
| Azure Machine Learning | Pijplijn uitvoeren van Azure Machine Learning |
| Azure Data Lake Analytics | Data Lake Analytics U-SQL |
| Azure SQL, Azure SQL Data Warehouse, SQL Server | Opgeslagen procedure |
| Azure Databricks | Notebook, Jar, Python |
| Azure-functie | Azure Function-activiteit |
Gegevens opnemen met behulp van SSIS-pakketten
Veel organisaties hebben decennia aan ontwikkelingsinvesteringen in SSIS-pakketten (SQL Server Integration Services) die zowel opname- als transformatielogica van on-premises en cloudgegevensarchieven bevatten. Azure Data Factory biedt de mogelijkheid om bestaande SSIS-werkbelasting op te tillen en te verplaatsen door een Azure-SSIS Integration Runtime te maken om systeemeigen SSIS-pakketten uit te voeren, en stelt u in staat om uw bestaande SSIS-pakketten te implementeren en te beheren met weinig tot geen wijzigingen met behulp van vertrouwde hulpprogramma's zoals SQL Server Data Tools (SSDT) en SQL Server Management Studio (SSMS), net als bij het gebruik van SSIS on-premises.