Przepływy mapowania danych w usłudze Azure Data Factory
DOTYCZY:
Azure Data Factory Azure Synapse Analytics
Napiwek
Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !
Czym są przepływy danych mapowania?
Przepływy danych mapowania są wizualnie projektowane przekształcenia danych w usłudze Azure Data Factory. Przepływy danych umożliwiają inżynierom danych opracowywanie logiki przekształcania danych bez pisania kodu. Wynikowe przepływy danych są wykonywane jako działania w potokach usługi Azure Data Factory, które używają skalowanych w poziomie klastrów Platformy Apache Spark. Działania przepływu danych można zoperacjonalizować przy użyciu istniejących funkcji planowania, sterowania, przepływu i monitorowania usługi Azure Data Factory.
Przepływy danych mapowania zapewniają całkowicie wizualne środowisko bez konieczności kodowania. Przepływy danych są uruchamiane w klastrach wykonywania zarządzanych przez usługę ADF na potrzeby skalowanego w poziomie przetwarzania danych. Usługa Azure Data Factory obsługuje całe tłumaczenie kodu, optymalizację ścieżki i wykonywanie zadań przepływu danych.
Wprowadzenie
Przepływy danych są tworzone w okienku zasobów fabrycznych, takich jak potoki i zestawy danych. Aby utworzyć przepływ danych, wybierz znak plus obok pozycji Zasoby fabryki, a następnie wybierz pozycję Przepływ danych.
Ta akcja powoduje przejście do kanwy przepływu danych, w której można utworzyć logikę przekształcania. Wybierz pozycję Dodaj źródło , aby rozpocząć konfigurowanie transformacji źródłowej. Aby uzyskać więcej informacji, zobacz Przekształcanie źródła.
Tworzenie przepływów danych
Przepływ danych mapowania ma unikatową kanwę tworzenia, która ułatwia tworzenie logiki przekształcania. Kanwa przepływu danych jest podzielona na trzy części: górny pasek, graf i panel konfiguracji.
Wykres
Wykres wyświetla strumień transformacji. Przedstawia pochodzenie danych źródłowych, gdy przepływa do co najmniej jednego ujścia. Aby dodać nowe źródło, wybierz pozycję Dodaj źródło. Aby dodać nową transformację, wybierz znak plus w prawym dolnym rogu istniejącej transformacji. Dowiedz się więcej na temat zarządzania wykresem przepływu danych.
Panel konfiguracji
Na panelu konfiguracji są wyświetlane ustawienia specyficzne dla aktualnie wybranej transformacji. Jeśli nie wybrano przekształcenia, zostanie wyświetlony przepływ danych. W ogólnej konfiguracji przepływu danych można dodać parametry za pomocą karty Parametry . Aby uzyskać więcej informacji, zobacz Mapowanie parametrów przepływu danych.
Każde przekształcenie zawiera co najmniej cztery karty konfiguracji.
Ustawienia przekształcania
Pierwsza karta w okienku konfiguracji każdego przekształcenia zawiera ustawienia specyficzne dla tej transformacji. Aby uzyskać więcej informacji, zobacz stronę dokumentacji przekształcenia.
Optymalizacja
Karta Optymalizacja zawiera ustawienia służące do konfigurowania schematów partycjonowania. Aby dowiedzieć się więcej na temat optymalizowania przepływów danych, zobacz przewodnik dotyczący wydajności przepływu mapowania danych.
Kontrola
Karta Inspekcja zawiera widok metadanych strumienia danych, który jest przekształcany. Liczby kolumn, zmienione kolumny, dodane kolumny, typy danych, kolejność kolumn i odwołania do kolumn. Inspekcja to widok metadanych tylko do odczytu. Nie musisz mieć włączonego trybu debugowania, aby wyświetlić metadane w okienku Inspekcja .
Po zmianie kształtu danych za pomocą przekształceń zobaczysz przepływ zmian metadanych w okienku Inspekcja . Jeśli w transformacji źródłowej nie ma zdefiniowanego schematu, metadane nie będą widoczne w okienku Inspekcja . Brak metadanych jest typowy w scenariuszach dryfu schematu.
Podgląd danych
Jeśli tryb debugowania jest włączony, karta Podgląd danych zawiera interaktywną migawkę danych w każdej transformacji. Aby uzyskać więcej informacji, zobacz Podgląd danych w trybie debugowania.
Górny pasek
Górny pasek zawiera akcje wpływające na cały przepływ danych, takie jak zapisywanie i walidacja. Możesz również wyświetlić źródłowy skrypt przepływu danych i kodu JSON logiki transformacji. Aby uzyskać więcej informacji, dowiedz się więcej na temat skryptu przepływu danych.
Dostępne przekształcenia
Zapoznaj się z omówieniem przekształcania przepływu mapowania danych, aby uzyskać listę dostępnych przekształceń.
Typy danych przepływu danych
- tablica
- dane binarne
- boolean
- complex
- dziesiętne (z dokładnością)
- data
- liczba zmiennoprzecinkowa
- integer
- długi
- map
- short
- string
- timestamp
Działanie przepływu danych
Przepływy danych mapowania są operacjonalizowane w potokach usługi ADF przy użyciu działania przepływu danych. Każdy użytkownik musi to zrobić, to określić, które środowisko Integration Runtime ma używać i przekazywać wartości parametrów. Aby uzyskać więcej informacji, dowiedz się więcej o środowisku Azure Integration Runtime.
Tryb debugowania
Tryb debugowania umożliwia interaktywne wyświetlanie wyników każdego kroku transformacji podczas kompilowania i debugowania przepływów danych. Sesja debugowania może być używana zarówno podczas tworzenia logiki przepływu danych, jak i uruchamiania przebiegów debugowania potoku z działaniami przepływu danych. Aby dowiedzieć się więcej, zobacz dokumentację trybu debugowania.
Monitorowanie przepływów danych
Przepływ mapowania danych integruje się z istniejącymi możliwościami monitorowania usługi Azure Data Factory. Aby dowiedzieć się, jak zrozumieć dane wyjściowe monitorowania przepływu danych, zobacz Monitorowanie przepływów danych mapowania.
Zespół usługi Azure Data Factory utworzył przewodnik dostrajania wydajności, który pomoże ci zoptymalizować czas wykonywania przepływów danych po utworzeniu logiki biznesowej.
Dostępne regiony
Przepływy danych mapowania są dostępne w następujących regionach w usłudze ADF:
| Region platformy Azure | Przepływy danych w usłudze ADF |
|---|---|
| Australia Środkowa | |
| Australia Środkowa 2 | |
| Australia Wschodnia | ✓ |
| Australia Południowo-Wschodnia | ✓ |
| Brazylia Południowa | ✓ |
| Kanada Środkowa | ✓ |
| Indie Centralne | ✓ |
| Środkowe stany USA | ✓ |
| Chiny Wschodnie | |
| Chiny Wschodnie 2 | |
| Chiny (inne niż regionalne) | |
| Chiny Północne | ✓ |
| Chiny Północne 2 | ✓ |
| Chiny Północne 3 | ✓ |
| Azja Wschodnia | ✓ |
| Wschodnie stany USA | ✓ |
| Wschodnie stany USA 2 | ✓ |
| Francja Środkowa | ✓ |
| Francja Południowa | |
| Niemcy Środkowe (suwerenna) | |
| Niemcy (inne niż regionalne) (suwerenna) | |
| Niemcy Północne (publiczna) | |
| Niemcy Północno-Wschodnie (suwerenna) | |
| Niemcy Środkowo-Zachodnie (publiczna) | ✓ |
| Japonia Wschodnia | ✓ |
| Japonia Zachodnia | ✓ |
| Korea Środkowa | ✓ |
| Korea Południowa | |
| Północno-środkowe stany USA | ✓ |
| Europa Północna | ✓ |
| Norwegia Wschodnia | ✓ |
| Norwegia Zachodnia | |
| Północna Republika Południowej Afryki | ✓ |
| Zachodnia Republika Południowej Afryki | |
| South Central US | |
| Indie Południowe | ✓ |
| Azja Południowo-Wschodnia | ✓ |
| Szwajcaria Północna | ✓ |
| Szwajcaria Zachodnia | |
| Środkowe Zjednoczone Emiraty Arabskie | |
| Północne Zjednoczone Emiraty Arabskie | ✓ |
| Południowe Zjednoczone Królestwo | ✓ |
| Zachodnie Zjednoczone Królestwo | |
| US DoD (region środkowy) | |
| US DoD (region wschodni) | |
| US Gov Arizona | ✓ |
| US Gov (inne niż regionalne) | |
| US Gov Teksas | |
| US Gov Wirginia | ✓ |
| Zachodnio-środkowe stany USA | |
| West Europe | ✓ |
| Indie Zachodnie | ✓ |
| Zachodnie stany USA | ✓ |
| Zachodnie stany USA 2 | ✓ |
| Zachodnie stany USA 3 | ✓ |