Uruchamianie skryptów U-SQL na komputerze lokalnym
Ważne
Usługa Azure Data Lake Analytics wycofana 29 lutego 2024 r. Dowiedz się więcej z tego ogłoszenia.
Na potrzeby analizy danych organizacja może używać usługi Azure Synapse Analytics lub Microsoft Fabric.
Podczas opracowywania skryptów U-SQL można zaoszczędzić czas i wydatki, uruchamiając skrypty lokalnie. Azure Data Lake Tools for Visual Studio obsługuje uruchamianie skryptów U-SQL na komputerze lokalnym.
Podstawowe pojęcia dotyczące przebiegów lokalnych
Na poniższym wykresie przedstawiono składniki uruchamiania lokalnego i sposób mapowania tych składników na uruchomienie chmury.
| Składnik | Uruchamianie lokalne | Uruchamianie w chmurze |
|---|---|---|
| Storage | Lokalny folder główny danych | Domyślne konto usługi Azure Data Lake Store |
| Compute | Lokalny aparat uruchamiania języka U-SQL | Usługa Azure Data Lake Analytics |
| Uruchamianie środowiska | Katalog roboczy na komputerze lokalnym | Klaster usługi Azure Data Lake Analytics |
Poniższe sekcje zawierają więcej informacji na temat składników uruchamiania lokalnego.
Foldery główne danych lokalnych
Lokalny folder główny danych jest lokalnym magazynem dla lokalnego konta obliczeniowego. Dowolny folder w lokalnym systemie plików na komputerze lokalnym może być lokalnym folderem głównym danych. Jest to takie samo, jak domyślne konto usługi Azure Data Lake Store dla konta Data Lake Analytics. Przełączenie do innego folderu głównego danych jest podobne do przełączania do innego domyślnego konta magazynu.
Folder główny danych jest używany w następujący sposób:
- Przechowywanie metadanych. Przykłady to bazy danych, tabele, funkcje z wartościami tabel i zestawy.
- Wyszukaj ścieżki wejściowe i wyjściowe zdefiniowane jako ścieżki względne w skryptach U-SQL. Korzystając ze ścieżek względnych, łatwiej jest wdrożyć skrypty U-SQL na platformie Azure.
Lokalne aparaty uruchomieniowe U-SQL
Lokalny aparat uruchamiania U-SQL to lokalne konto obliczeniowe dla zadań U-SQL. Użytkownicy mogą uruchamiać zadania U-SQL lokalnie za pośrednictwem Azure Data Lake Tools for Visual Studio. Przebiegi lokalne są również obsługiwane za pośrednictwem interfejsów wiersza polecenia i programowania zestawu SDK U-SQL usługi Azure Data Lake. Dowiedz się więcej o zestawie AZURE Data Lake U-SQL SDK.
Katalogi robocze
Po uruchomieniu skryptu U-SQL folder katalogu roboczego jest potrzebny do buforowania wyników kompilacji, uruchamiania dzienników i wykonywania innych funkcji. W Azure Data Lake Tools for Visual Studio katalog roboczy jest katalogem roboczym projektu U-SQL. Znajduje się on w obszarze <U-SQL project root path>/bin/debug>. Katalog roboczy jest czyszczony za każdym razem, gdy zostanie wyzwolony nowy przebieg.
Lokalne uruchomienia w programie Microsoft Visual Studio
Azure Data Lake Tools for Visual Studio mieć wbudowany lokalny aparat uruchomieniowy. Narzędzia są udostępniane aparatowi jako lokalne konto obliczeniowe. Aby uruchomić skrypt U-SQL lokalnie, wybierz konto local-machine lub Local-project w menu rozwijanym marginesu edytora skryptu. Następnie wybierz pozycję Prześlij.
Lokalne przebiegi z kontem komputera lokalnego
Konto komputera lokalnego to współużytkowane lokalne konto obliczeniowe z pojedynczym lokalnym folderem głównym danych jako konto magazynu lokalnego. Domyślnie folder główny danych znajduje się w folderze C:\Users<username>\AppData\Local\USQLDataRoot. Można go również konfigurować za pomocą narzędzi Data>Lake>Options i Settings.
Do uruchomienia lokalnego wymagany jest projekt U-SQL. Katalog roboczy projektu U-SQL jest używany dla lokalnego katalogu roboczego uruchamiania U-SQL. Wyniki kompilacji, dzienniki uruchamiania i inne pliki związane z uruchamianiem zadania są generowane i przechowywane w folderze katalogu roboczego podczas uruchamiania lokalnego. Przy każdym ponownym uruchomieniu skryptu wszystkie pliki w katalogu roboczym są czyszczone i ponownie generowane.
Lokalne przebiegi z kontem projektu lokalnego
Konto projektu lokalnego to lokalne konto obliczeniowe odizolowane od projektu dla każdego projektu z izolowanym lokalnym folderem głównym danych. Każdy aktywny projekt U-SQL otwierany w Eksplorator rozwiązań w programie Visual Studio ma odpowiednie (Local-project: <project name>) konto. Konta są wyświetlane zarówno w Eksploratorze serwera w programie Visual Studio, jak i na marginesie edytora skryptów U-SQL.
Konto projektu lokalnego zapewnia czyste i izolowane środowisko projektowe. Konto komputera lokalnego ma udostępniony folder główny danych lokalnych, który przechowuje metadane i dane wejściowe i wyjściowe dla wszystkich zadań lokalnych. Jednak konto projektu lokalnego tworzy tymczasowy folder główny danych lokalnych w katalogu roboczym projektu U-SQL za każdym razem, gdy skrypt U-SQL jest uruchamiany. Ten tymczasowy folder główny danych jest czyszczony podczas ponownego kompilowania lub ponownego uruchamiania.
Projekt U-SQL zarządza izolowanym lokalnym środowiskiem uruchamiania za pomocą odwołania do projektu i właściwości. Źródła danych wejściowych dla skryptów U-SQL można skonfigurować zarówno w projekcie, jak i w środowiskach bazy danych, do których się odwołujesz.
Zarządzanie wejściowym źródłem danych dla konta projektu lokalnego
Projekt U-SQL tworzy lokalny folder główny danych i konfiguruje dane dla konta projektu lokalnego . Tymczasowy folder główny danych jest czyszczony i tworzony ponownie w katalogu roboczym projektu U-SQL za każdym razem, gdy następuje ponowne skompilowanie i lokalne uruchomienie. Wszystkie źródła danych skonfigurowane przez projekt U-SQL są kopiowane do tego tymczasowego lokalnego folderu głównego danych przed uruchomieniem zadania lokalnego.
Możesz skonfigurować folder główny źródeł danych. Kliknij prawym przyciskiem myszy pozycję Źródłodanych właściwościprojektu>> U-SQL. Po uruchomieniu skryptu U-SQL na koncie projektu lokalnego wszystkie pliki i podfoldery w folderze Źródła danych testowych są kopiowane do tymczasowego lokalnego folderu głównego danych. Pliki w podfolderach są uwzględniane. Po uruchomieniu zadania lokalnego wyniki wyjściowe można również znaleźć w folderze tymczasowym katalogu głównym danych lokalnych w katalogu roboczym projektu. Wszystkie te dane wyjściowe są usuwane i czyszczone, gdy projekt zostanie ponownie skompilowany i oczyszczony.
Zarządzanie środowiskiem bazy danych, do których odwołuje się konto projektu lokalnego
Jeśli zapytanie U-SQL używa obiektów bazy danych U-SQL lub wykonuje zapytania z obiektami bazy danych U-SQL, musisz przygotować środowiska bazy danych lokalnie przed uruchomieniem skryptu U-SQL lokalnie. W przypadku konta projektu lokalnego zależności bazy danych U-SQL mogą być zarządzane przez odwołania do projektu U-SQL. Odwołania projektu bazy danych U-SQL można dodać do projektu U-SQL. Przed uruchomieniem skryptów U-SQL na koncie projektu lokalnego wszystkie przywoływane bazy danych są wdrażane w tymczasowym folderze głównym danych lokalnych. W przypadku każdego przebiegu tymczasowy folder główny danych jest czyszczony jako nowe izolowane środowisko.
Zapoznaj się z tym powiązanym artykułem:
- Dowiedz się, jak zarządzać definicjami i odwołaniami bazy danych U-SQL w projektach bazy danych U-SQL.
Różnica między kontami lokalnego komputera i projektu lokalnego
Konto komputera lokalnego symuluje konto usługi Azure Data Lake Analytics na komputerach lokalnych użytkowników. Ma to takie samo doświadczenie z kontem usługi Azure Data Lake Analytics. Konto projektu lokalnego zapewnia przyjazne dla użytkownika lokalne środowisko projektowe. To środowisko ułatwia użytkownikom wdrażanie odwołań do bazy danych i danych wejściowych przed uruchomieniem skryptów lokalnie. Konto komputera lokalnego zapewnia współużytkowane środowisko trwałe, do którego można uzyskać dostęp za pośrednictwem wszystkich projektów. Konto projektu lokalnego zapewnia izolowane środowisko projektowe dla każdego projektu. Jest on odświeżany dla każdego przebiegu. Konto projektu lokalnego oferuje szybsze środowisko programistyczne, szybko stosując nowe zmiany.
Więcej różnic między kontami local-machine i Local-project przedstawiono w poniższej tabeli:
| Kąt różnicy | Maszyna lokalna | Projekt lokalny |
|---|---|---|
| Dostęp lokalny | Dostęp do wszystkich projektów można uzyskać. | Tylko odpowiedni projekt może uzyskać dostęp do tego konta. |
| Folder główny danych lokalnych | Stały folder lokalny. Skonfigurowane za pomocą opcjii ustawień usługiData Lake>narzędzi>. | Folder tymczasowy utworzony dla każdego lokalnego przebiegu w katalogu roboczym projektu U-SQL. Folder jest czyszczony po ponownym uruchomieniu lub ponownym uruchomieniu. |
| Dane wejściowe skryptu U-SQL | Ścieżka względna w folderze głównym trwałych danych lokalnych. | Ustaw właściwość >projektu U-SQLTest Data Source. Wszystkie pliki i podfoldery są kopiowane do tymczasowego folderu głównego danych przed uruchomieniem lokalnym. |
| Dane wyjściowe skryptu U-SQL | Ścieżka względna pod trwałym lokalnym folderem głównym danych. | Dane wyjściowe do tymczasowego folderu głównego danych. Wyniki są czyszczone po ponownym uruchomieniu lub ponownym uruchomieniu. |
| Wdrożenie bazy danych, do których odwołuje się odwołanie | Przywoływane bazy danych nie są wdrażane automatycznie podczas uruchamiania na koncie komputera lokalnego . Jest to takie samo w przypadku przesyłania do konta usługi Azure Data Lake Analytics. | Przywoływane bazy danych są wdrażane na koncie projektu lokalnego automatycznie przed uruchomieniem lokalnym. Wszystkie środowiska bazy danych są czyszczone i wdrażane ponownie w przypadku ponownego kompilowanie lub ponowne uruchamianie. |
Uruchamianie lokalne przy użyciu zestawu U-SQL SDK
Skrypty U-SQL można uruchamiać lokalnie w programie Visual Studio, a także używać zestawu AZURE Data Lake U-SQL SDK do lokalnego uruchamiania skryptów U-SQL przy użyciu interfejsów wiersza polecenia i programowania. Za pomocą tych interfejsów można zautomatyzować lokalne przebiegi i testy języka U-SQL.
Dowiedz się więcej o zestawie AZURE Data Lake U-SQL SDK.