Co to jest usługa Azure Data Factory?
Zacznijmy od omówienia usługi Azure Data Factory. Powinno to pomóc w ustaleniu, czy jest to dobry wybór do organizowania danych w celu utworzenia szczegółowych informacji biznesowych.
Azure Data Factory to oparta na chmurze usługa ETL i integracja danych, która ułatwia tworzenie przepływów pracy opartych na danych w celu:
- Organizowanie przenoszenia danych.
- Przekształcanie danych na dużą skalę.
Uwaga
Przepływy pracy oparte na danych są również nazywane potokami.
Korzystając z usługi Azure Data Factory, można zreorganizować nieprzetworzone dane w znaczących magazynach danych i magazynach data lake. Dzięki temu można podejmować lepsze decyzje biznesowe.
Co to jest analiza danych?
Analiza danych to proces zbierania danych pierwotnych i badania ich w celu wyciągania wniosków z niego. Może to być trudne, jeśli dane znajdują się w wielu lokalizacjach, takich jak hostowane bazy danych i lokalizacje lokalne.
Napiwek
Nieprzetworzone dane to dane , które zostały zebrane ze źródła i nie zostały przetworzone. Czasami jest to nazywane nieorganizowanymi danymi.
Platforma Azure udostępnia kilka technologii, które można zaimplementować, aby pomóc w analizie danych organizacji. Są to:
- Azure Synapse Analytics
- Azure Blob Storage
- Azure Data Lake Storage
- Azure Data Lake Analytics
- Azure Analysis Services
- Azure HDInsight
- Azure Databricks
- Uczenie maszynowe Azure
W razie potrzeby możesz użyć niektórych lub wszystkich tych usług do analizowania danych organizacji. Jednak żadna z tych usług nie obsługuje integracji danych. Integracja danych umożliwia zbieranie danych z wielu źródeł, a następnie ładowanie tych połączonych danych do lokalizacji odpowiedniej do analizy danych. W razie potrzeby możesz przekształcić dane podczas tego procesu. Chociaż te zadania można wykonać ręcznie, możesz rozważyć użycie usługi Azure Data Factory.
Definicja usługi Azure Data Factory
Azure Data Factory to oparta na chmurze usługa integracji danych, która została zaprojektowana pod kątem potrzeb dwóch konkretnych społeczności, zgodnie z opisem w poniższej tabeli:
| Społeczność | Opis potrzeb społeczności |
|---|---|
| Społeczność danych big data | Ta społeczność opiera się na technologiach do zarządzania dużymi ilościami różnorodnych danych. W przypadku nich usługa Azure Data Factory umożliwia tworzenie i uruchamianie potoków w chmurze. Te potoki mogą uzyskiwać dostęp zarówno do usług danych w chmurze, jak i lokalnych. Te potoki zwykle współpracują z technologiami, takimi jak Azure Synapse Analytics, Azure Blobs, Azure Data Lake, Azure HDInsight, Azure Databricks i Azure Machine Edukacja. |
| Społeczność magazynowania danych relacyjnych | Ta społeczność zwykle opiera się na technologiach, takich jak program Microsoft SQL Server. Usługi SQL Server Integration Services (SSIS) są często używane do tworzenia pakietów usług SSIS. W przypadku tej społeczności usługa Azure Data Factory zapewnia możliwość uruchamiania pakietów usług SSIS na platformie Azure, umożliwiając im dostęp zarówno do usług danych w chmurze, jak i lokalnych. |
Uwaga
Pakiet jest podobny do potoku usługi Azure Data Factory. Każdy pakiet definiuje proces wyodrębniania, ładowania, przekształcania lub w inny sposób pracy z danymi.
Głównym punktem jest to, że usługa Azure Data Factory jest pojedynczą usługą w chmurze na potrzeby integracji danych. Udostępnia on jeden zestaw narzędzi i wspólny interfejs zarządzania dla całej integracji danych i obsługuje wszystkie źródła danych, niezależnie od tego, gdzie się znajdują:
- Azure
- Lokalnie
- Platforma chmury publicznej innej firmy
Jak usługa Azure Data Factory może pomóc w analizie danych
Za pomocą usługi Azure Data Factory można wykonywać następujące czynności:
Tworzenie złożonych procesów ETL. Te procesy mogą wizualnie przekształcać dane przy użyciu przepływów danych lub usług obliczeniowych, takich jak:
- Azure HDInsight Hadoop
- Azure Databricks
- Azure SQL Database
Opublikuj te przekształcone dane w magazynach danych dla aplikacji analizy biznesowej, które mają być używane.
Na poniższej ilustracji zewnętrzne źródła danych są połączone z usługą Azure Data Factory. Obiekt blob magazynu służy do pozyskiwania danych, a usługa Azure Synapse Analytics jest używana jako magazyn. Te elementy zapewniają aranżację. Składniki analizy i wizualizacji, usługa Azure Analysis Service i usługa Power BI są również połączone z usługą Azure Data Factory.
Napiwek
Usługa Azure Data Factory udostępnia ponad 90 wbudowanych łączników bez konserwacji.