Wyjaśnienie metod przekształcania usługi Azure Data Factory
Podobnie jak usługa Azure Data Factory udostępnia różne metody pozyskiwania danych, udostępnia również szereg metod przeprowadzania przekształceń. Możesz wybrać metodę zgodną z zestawami umiejętności twojego zespołu lub skorzystać z istniejących technologii, które już masz w infrastrukturze danych. Istnieje również możliwość wykonania przekształceń bez konieczności pisania kodu przy użyciu Przepływ danych mapowania.
Przekształcanie danych przy użyciu Przepływ danych mapowania
Mapowanie Przepływ danych zapewnia środowisko do tworzenia szerokiej gamy przekształceń danych wizualnie bez konieczności używania kodu. Wynikowe przepływy danych, które są tworzone, są następnie wykonywane w skalowanych w poziomie klastrów Apache Spark, które są automatycznie aprowizowane podczas wykonywania Przepływ danych mapowania. Mapowanie Przepływ danych zapewnia również możliwość monitorowania wykonywania przekształceń, dzięki czemu można wyświetlić postęp przekształceń lub zrozumieć wszelkie błędy, które mogą wystąpić
Przekształcanie danych przy użyciu zasobów obliczeniowych
Usługa Azure Data Factory umożliwia również wywołanie zasobów obliczeniowych w celu przekształcenia danych przez usługę platformy danych, która może być lepiej odpowiednia dla zadania. Doskonałym przykładem jest to, że usługa Azure Data Factory może utworzyć potok dla platformy danych analitycznych, takich jak pule platformy Spark w wystąpieniu usługi Azure Synapse Analytics w celu wykonania złożonych obliczeń przy użyciu języka Python. Innym przykładem może być wysłanie danych do wystąpienia usługi Azure SQL Database w celu wykonania procedury składowanej przy użyciu języka Transact-SQL. Istnieje szeroki zakres zasobów obliczeniowych i skojarzone z nimi działania, które mogą wykonywać, jak pokazano w poniższej tabeli:
| Środowisko obliczeniowe | activities |
|---|---|
| Klaster usługi HDInsight na żądanie lub własny klaster usługi HDInsight | Hive, Pig, Spark, MapReduce, Hadoop Streaming |
| Usługa Azure Batch | Działania niestandardowe |
| Maszyna azure Machine Edukacja Studio | działania Edukacja: Wykonywanie wsadowe i aktualizowanie zasobu |
| Uczenie maszynowe Azure | Potok wykonywania usługi Azure Machine Edukacja |
| Azure Data Lake Analytics | Język U-SQL usługi Data Lake Analytics |
| Azure SQL, Azure SQL Data Warehouse, SQL Server | Procedura składowana |
| Azure Databricks | Notes, Jar, Python |
| Funkcja platformy Azure | Działanie funkcji platformy Azure |
Przekształcanie danych przy użyciu pakietów usług SQL Server Integration Services (SSIS)
Wiele organizacji ma dziesięciolecia inwestycji programistycznych w pakiety usług SSIS, które zawierają zarówno logikę pozyskiwania, jak i transformacji z lokalnych i w chmurze magazynów danych. Usługa Azure Data Factory umożliwia podnoszenie i przenoszenie istniejącego obciążenia usług SSIS przez utworzenie środowiska Azure-SSIS Integration Runtime w celu natywnego wykonywania pakietów usług SSIS. Użycie środowiska Azure-SSIS Integration Runtime umożliwi wdrażanie istniejących pakietów usług SSIS i zarządzanie nimi bez konieczności wprowadzania zmian przy użyciu znanych narzędzi, takich jak SQL Server Data Tools (SSDT) i SQL Server Management Studio (SSMS), podobnie jak w przypadku korzystania z usług SSIS w środowisku lokalnym.