Migrowanie usługi Azure Data Lake Analytics do usługi Azure Synapse Analytics

Usługa Azure Data Lake Analytics zostanie wycofana 29 lutego 2024 r. Dowiedz się więcej z tego ogłoszenia.

Jeśli już używasz usługi Azure Data Lake Analytics, możesz utworzyć plan migracji, aby Azure Synapse Analytics dla swojej organizacji.

Firma Microsoft uruchomiła usługę Azure Synapse Analytics, która ma na celu połączenie magazynów danych i magazynów danych w celu uzyskania unikatowego środowiska analizy danych big data. Pomoże to zebrać i przeanalizować dane w celu rozwiązania nieefektywności danych i pomoże zespołom współpracować. Ponadto integracja usługi Synapse z usługą Azure Machine Learning i usługą Power BI umożliwi organizacjom uzyskanie szczegółowych informacji z danych i wykonywanie uczenia maszynowego we wszystkich aplikacjach inteligentnych.

W dokumencie pokazano, jak przeprowadzić migrację z usługi Azure Data Lake Analytics do usługi Azure Synapse Analytics.

Zalecane podejście

• Krok 1. Ocena gotowości
• Krok 2. Przygotowanie do migracji
• Krok 3. Migrowanie danych i obciążeń aplikacji
• Krok 4. Migracja jednorazowa z usługi Azure Data Lake Analytics do usługi Azure Synapse Analytics

Krok 1. Ocena gotowości

1. Zapoznaj się z platformą Apache Spark w usłudze Azure Synapse Analytics i zapoznaj się z kluczowymi różnicami w usługach Azure Data Lake Analytics i Spark w usłudze Azure Synapse Analytics.

   Element	Azure Data Lake Analytics	Platforma Spark w usłudze Synapse
   Cennik	Godzina jednostkowa na godzinę	Na godzinę rdzenia wirtualnego
   Aparat	Azure Data Lake Analytics	Apache Spark
   Domyślny język programowania	U-SQL	T-SQL, Python, Scala, Spark SQL i .NET
   Źródła danych	Azure Data Lake Storage	Azure Blob Storage, Azure Data Lake Storage

2. Zapoznaj się z kwestionariuszem oceny migracji i podaj listę możliwych zagrożeń do rozważenia.

Krok 2. Przygotowanie do migracji

1. Identyfikowanie zadań i danych, które zostaną zmigrowane.

   • Skorzystaj z tej okazji, aby wyczyścić te zadania, których już nie używasz. Jeśli nie planujesz migrowania wszystkich zadań jednocześnie, poświęć ten czas, aby zidentyfikować logiczne grupy zadań, które można migrować w fazach.
   • Oceń rozmiar danych i zapoznaj się z formatem danych platformy Apache Spark. Przejrzyj skrypty U-SQL i oceń działania związane z ponownym zapisywaniem skryptów i zapoznaj się z koncepcją kodu platformy Apache Spark.

2. Określ wpływ migracji na Twoją firmę. Na przykład, czy możesz sobie pozwolić na przestoje podczas migracji.

3. Utwórz plan migracji.

Krok 3. Migrowanie danych i obciążenia aplikacji

1. Przeprowadź migrację danych z usługi Azure Data Lake Storage Gen1 do Azure Data Lake Storage Gen2.
   
   Azure Data Lake Storage Gen1 emerytura odbędzie się w lutym 2024 r., zobacz oficjalne ogłoszenie. Zalecamy migrację danych do usługi Gen2 w pierwszej kolejności. Zobacz Understand Apache Spark data formats for Azure Data Lake Analytics U-SQL developers (Omówienie formatów danych platformy Apache Spark dla deweloperów języka U-SQL) i przenieś zarówno plik, jak i dane przechowywane w tabelach U-SQL, aby były dostępne dla Azure Synapse Analytics. Więcej szczegółów przewodnika po migracji można znaleźć tutaj.

2. Przekształć skrypty U-SQL na platformę Spark. Zapoznaj się z tematem Understand Apache Spark code concepts for Azure Data Lake Analytics U-SQL developers to transform your U-SQL scripts to Spark (Omówienie pojęć dotyczących kodu platformy Apache Spark dla deweloperów języka U-SQL w celu przekształcenia skryptów U-SQL na platformę Spark).

3. Przekształć lub ponownie utworzyć potoki aranżacji zadań w nowym programie Spark.

Krok 4. Przechodzenie z usługi Azure Data Lake Analytics do usługi Azure Synapse Analytics

Po upewnieniu się, że aplikacje i obciążenia są stabilne, możesz rozpocząć korzystanie z usługi Azure Synapse Analytics w celu zaspokojenia scenariuszy biznesowych. Wyłącz wszystkie pozostałe potoki uruchomione w usłudze Azure Data Lake Analytics i wycofaj konta usługi Azure Data Lake Analytics.

Kwestionariusz oceny migracji

Kategoria	Pytania	Odwołanie
Ocena rozmiaru migracji	Ile kont usługi Azure Data Lake Analytics masz? Ile potoków jest używanych? Ile skryptów U-SQL jest używanych?	Więcej danych i skryptów do zmigrowania, tym więcej funkcji UDO/UDF jest używanych w skryptach, tym trudniej jest przeprowadzić migrację. Czas i zasoby wymagane do migracji muszą być dobrze zaplanowane zgodnie ze skalą projektu.
Źródło danych	Jaki jest rozmiar źródła danych? Jakiego rodzaju format danych jest przeznaczony do przetwarzania?	Omówienie formatów danych platformy Apache Spark dla deweloperów języka U-SQL platformy Azure Data Lake Analytics
Dane wyjściowe	Czy zachowasz dane wyjściowe do późniejszego użycia? Jeśli dane wyjściowe są zapisywane w tabelach U-SQL, jak je obsłużyć?	Jeśli dane wyjściowe będą często używane i zapisywane w tabelach U-SQL, musisz zmienić skrypty i zmienić dane wyjściowe na format danych obsługiwanych przez platformę Spark.
Migracja danych	Czy plan migracji magazynu został wykonany?	Migrowanie Azure Data Lake Storage z gen1 do 2. generacji
Przekształcanie skryptów U-SQL	Czy używasz funkcji UDO/UDF (.NET, python itp.)? Jeśli powyższa odpowiedź brzmi tak, którego języka używasz w UDO/UDF i wszelkich problemach dotyczących transformacji podczas transformacji? Czy zapytanie federacyjne jest używane w języku U-SQL?	Omówienie pojęć związanych z kodem platformy Apache Spark dla deweloperów języka U-SQL platformy Azure Data Lake Analytics

Następne kroki

• Azure Synapse Analytics