Tworzenie aplikacji Apache Spark dla klastra usługi HDInsight za pomocą Azure Toolkit for EclipseUse Azure Toolkit for Eclipse to create Apache Spark applications for an HDInsight cluster

Użyj narzędzi HDInsight dostępnych w zestawie narzędzi platformy Azure , aby przełożyć na Apache Spark aplikacje zapisane w Scala i przesłać je do klastra Azure HDInsight Spark bezpośrednio z poziomu środowiska IDE.Use HDInsight Tools in Azure Toolkit for Eclipse to develop Apache Spark applications written in Scala and submit them to an Azure HDInsight Spark cluster, directly from the Eclipse IDE. Możesz użyć wtyczki narzędzi HDInsight na kilka różnych sposobów:You can use the HDInsight Tools plug-in in a few different ways:

  • Aby opracować i przesłać aplikację Scala Spark w klastrze usługi HDInsight Spark.To develop and submit a Scala Spark application on an HDInsight Spark cluster.
  • Aby uzyskać dostęp do zasobów klastra Azure HDInsight Spark.To access your Azure HDInsight Spark cluster resources.
  • Aby lokalnie opracowywać i uruchamiać aplikację Scala Spark.To develop and run a Scala Spark application locally.

Wymagania wstępnePrerequisites

Zainstaluj wymagane wtyczkiInstall required plug-ins

Instalowanie zestawu Azure Toolkit for EclipseInstall Azure Toolkit for Eclipse

Instrukcje instalacji znajdują się w temacie installing Azure Toolkit for Eclipse.For installation instructions, see Installing Azure Toolkit for Eclipse.

Instalowanie wtyczki ScalaInstall the Scala plug-in

Po otwarciu okna zaćmienie narzędzia usługi HDInsight automatycznie wykrywają, czy zainstalowano wtyczkę Scala.When you open Eclipse, HDInsight Tools automatically detects whether you installed the Scala plug-in. Wybierz przycisk OK , aby kontynuować, a następnie postępuj zgodnie z instrukcjami, aby zainstalować wtyczkę z portalu Marketplace.Select OK to continue, and then follow the instructions to install the plug-in from the Eclipse Marketplace. Po zakończeniu instalacji ponownie uruchom środowisko IDE.Restart the IDE after installation completes.

Automatyczna instalacja wtyczki Scala

Potwierdź wtyczkiConfirm plug-ins

  1. Przejdź do > witryny help zaćmienie Marketplace...Navigate to Help > Eclipse Marketplace....

  2. Wybierz kartę Zainstalowano.Select the Installed tab.

  3. Powinna zostać wyświetlona co najmniej:You should see at least:

    • Azure Toolkit for Eclipse <version> .Azure Toolkit for Eclipse <version>.
    • Scala IDE <version> .Scala IDE <version>.

Zaloguj się do subskrypcji platformy AzureSign in to your Azure subscription

  1. Rozpocznij przezaćmienie środowiska IDE.Start Eclipse IDE.

  2. Przejdź do okna > Pokaż widok > inne... > Zaloguj się...Navigate to Window > Show View > Other... > Sign In...

  3. W oknie dialogowym Pokaż widok przejdź do Eksploratora Azure Azure > , a następnie wybierz pozycję Otwórz.From the Show View dialog, navigate to Azure > Azure Explorer, and then select Open.

    Apache Spark zaćmienie — Pokaż widok

  4. W programie Azure Explorer kliknij prawym przyciskiem myszy węzeł Azure , a następnie wybierz pozycję Zaloguj się.From Azure Explorer, right-click the Azure node, and then select Sign in.

  5. W oknie dialogowym Logowanie do platformy Azure wybierz metodę uwierzytelniania, wybierz pozycję Zaloguj i Ukończ proces logowania.In the Azure Sign In dialog box, choose the authentication method, select Sign in, and complete the sign-in process.

    Apache Spark zaćmienie na platformie Azure

  6. Po zalogowaniu się okno dialogowe subskrypcje zawiera listę wszystkich subskrypcji platformy Azure skojarzonych z poświadczeniami.After you're signed in, the Your Subscriptions dialog box lists all the Azure subscriptions associated with the credentials. Naciśnij przycisk Wybierz , aby zamknąć okno dialogowe.Press Select to close the dialog box.

    Okno dialogowe Wybieranie subskrypcji

  7. W Eksploratorze Azure przejdź do usługi Azure > HDInsight , aby zobaczyć klastry HDInsight Spark w ramach subskrypcji.From Azure Explorer, navigate to Azure > HDInsight to see the HDInsight Spark clusters under your subscription.

    Klastry HDInsight Spark na platformie Azure Explorer3

  8. Można dodatkowo rozwinąć węzeł Nazwa klastra, aby wyświetlić zasoby (na przykład konta magazynu) skojarzone z klastrem.You can further expand a cluster name node to see the resources (for example, storage accounts) associated with the cluster.

    Rozszerzanie nazwy klastra w celu wyświetlenia zasobów

Normalny klaster można połączyć za pomocą Ambari zarządzanej nazwy użytkownika.You can link a normal cluster by using the Ambari managed username. Podobnie w przypadku klastra usługi HDInsight przyłączonego do domeny można łączyć się za pomocą domeny i nazwy użytkownika, takich jak user1@contoso.com .Similarly, for a domain-joined HDInsight cluster, you can link by using the domain and username, such as user1@contoso.com.

  1. W programie Azure Explorer kliknij prawym przyciskiem myszy pozycję HDInsight, a następnie wybierz pozycję Połącz klaster.From Azure Explorer, right-click HDInsight, and select Link A Cluster.

    Menu klastra łącza programu Azure Explorer

  2. Wprowadź nazwę klastra, nazwę użytkownika i hasło, a następnie wybierz przycisk OK.Enter Cluster Name, User Name, and Password, then select OK. Opcjonalnie wprowadź konto magazynu, klucz magazynu, a następnie wybierz pozycję kontener magazynu dla Eksploratora usługi Storage, aby rozpocząć działanie w widoku drzewa po lewej stronieOptionally, enter Storage Account, Storage Key and then select Storage Container for storage explorer to work in the left tree view

    Okno dialogowe łączenie nowego klastra usługi HDInsight

    Uwaga

    Jeśli klaster jest zarejestrowany w ramach subskrypcji platformy Azure i połączony z klastrem, użyjemy podanego klucza magazynu, nazwy użytkownika i hasła.We use the linked storage key, username and password if the cluster both logged in Azure subscription and Linked a cluster. Konta usługi Azure Explorer Storage

    Tylko dla użytkownika klawiatury, gdy bieżący fokus jest w kluczu magazynu, należy użyć klawiszy CTRL + TAB , aby skoncentrować się na następnym polu w oknie dialogowym.For the keyboard only user, when the current focus is at Storage Key, you need to use Ctrl+TAB to focus on the next field in the dialog.

  3. Połączony klaster można zobaczyć w usłudze HDInsight.You can see the linked cluster under HDInsight. Teraz można przesłać aplikację do tego połączonego klastra.Now you can submit an application to this linked cluster.

    Połączony klaster programu Azure Explorer HDI

  4. Możesz również odłączyć klaster od programu Azure Explorer.You also can unlink a cluster from Azure Explorer.

    Niepołączony klaster programu Azure Explorer

Konfigurowanie projektu Spark Scala dla klastra usługi HDInsight SparkSet up a Spark Scala project for an HDInsight Spark cluster

  1. W obszarze roboczym zaćmienie IDE wybierz pozycję plik > Nowy > projekt....From the Eclipse IDE workspace, select File > New > Project....

  2. W kreatorze nowego projektu wybierz pozycję projekt HDInsight > Spark w usłudze HDInsight (Scala).In the New Project wizard, select HDInsight Project > Spark on HDInsight (Scala). Następnie wybierz przycisk Dalej.Then select Next.

    Wybieranie projektu platformy Spark w usłudze HDInsight (Scala)

  3. W oknie dialogowym Nowy projekt usługi HDInsight Scala podaj następujące wartości, a następnie wybierz pozycję dalej:In the New HDInsight Scala Project dialog box, provide the following values, and then select Next:

    • Wprowadź nazwę dla projektu.Enter a name for the project.
    • W obszarze środowiska JRE upewnij się, że w obszarze środowisko wykonawcze jest ustawiona wartość Java-1,7 lub nowsza.In the JRE area, make sure that Use an execution environment JRE is set to JavaSE-1.7 or later.
    • W obszarze Biblioteka platformy Spark możesz wybrać opcję Użyj Maven do skonfigurowania opcji zestawu SDK platformy Spark .In the Spark Library area, you can choose Use Maven to configure Spark SDK option. Nasze narzędzie integruje odpowiednią wersję zestawu Spark SDK i scala SDK.Our tool integrates the proper version for Spark SDK and Scala SDK. Można również wybrać opcję Dodaj ręcznie zestaw SDK platformy Spark , pobrać i ręcznie dodać zestaw Spark SDK.You can also choose Add Spark SDK manually option, download, and add Spark SDK by manually.

    Okno dialogowe Nowy projekt usługi HDInsight Scala

  4. W następnym oknie dialogowym Przejrzyj szczegóły, a następnie wybierz pozycję Zakończ.In the next dialog box, review the details, and then select Finish.

Tworzenie aplikacji Scala dla klastra usługi HDInsight SparkCreate a Scala application for an HDInsight Spark cluster

  1. W Eksploratorze pakietów rozwiń utworzony wcześniej projekt.From Package Explorer, expand the project that you created earlier. Kliknij prawym przyciskiem myszy pozycję src, wybierz pozycję Nowy > inne....Right-click src, select New > Other....

  2. W oknie dialogowym Wybierz kreatora wybierz pozycję Scala kreatorzy > Scala obiekt.In the Select a wizard dialog box, select Scala Wizards > Scala Object. Następnie wybierz przycisk Dalej.Then select Next.

    Wybieranie Kreatora tworzenia obiektu Scala

  3. W oknie dialogowym Utwórz nowy plik wprowadź nazwę obiektu, a następnie wybierz pozycję Zakończ.In the Create New File dialog box, enter a name for the object, and then select Finish. Zostanie otwarty Edytor tekstu.A text editor will open.

    Kreator nowego pliku — Utwórz nowy plik

  4. W edytorze tekstów Zastąp bieżącą zawartość następującym kodem:In the text editor, replace the current contents with the code below:

    import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    
    object MyClusterApp{
        def main (arg: Array[String]): Unit = {
        val conf = new SparkConf().setAppName("MyClusterApp")
        val sc = new SparkContext(conf)
    
        val rdd = sc.textFile("wasbs:///HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv")
    
        //find the rows that have only one digit in the seventh column in the CSV
        val rdd1 =  rdd.filter(s => s.split(",")(6).length() == 1)
    
        rdd1.saveAsTextFile("wasbs:///HVACOut")
        }
    }
    
  5. Uruchom aplikację w klastrze usługi HDInsight Spark:Run the application on an HDInsight Spark cluster:

    a.a. W Eksploratorze pakietów kliknij prawym przyciskiem myszy nazwę projektu, a następnie wybierz polecenie Prześlij aplikację Spark do usługi HDInsight.From Package Explorer, right-click the project name, and then select Submit Spark Application to HDInsight.

    b.b. W oknie dialogowym Przesyłanie w usłudze Spark podaj następujące wartości, a następnie wybierz pozycję Prześlij:In the Spark Submission dialog box, provide the following values, and then select Submit:

    • W polu Nazwa klastra wybierz klaster usługi HDInsight Spark, na którym chcesz uruchomić aplikację.For Cluster Name, select the HDInsight Spark cluster on which you want to run your application.

    • Wybierz artefakt z projektu zaćmienie lub wybierz go z dysku twardego.Select an artifact from the Eclipse project, or select one from a hard drive. Wartość domyślna zależy od elementu, który można kliknąć prawym przyciskiem myszy w Eksploratorze pakietów.The default value depends on the item that you right-click from Package Explorer.

    • Na liście rozwijanej Nazwa klasy głównej Kreator wysyłania wyświetla wszystkie nazwy obiektów z projektu.In the Main class name drop-down list, the submission wizard displays all object names from your project. Wybierz lub wprowadź jeden, który chcesz uruchomić.Select or enter one that you want to run. W przypadku wybrania artefaktu z dysku twardego należy ręcznie wprowadzić nazwę klasy głównej.If you selected an artifact from a hard drive, you must enter the main class name manually.

    • Ponieważ kod aplikacji w tym przykładzie nie wymaga żadnych argumentów wiersza polecenia lub JARs odniesienia lub plików, można pozostawić pozostałe pola tekstowe puste.Because the application code in this example doesn't require any command-line arguments or reference JARs or files, you can leave the remaining text boxes empty.

      Okno dialogowe przesyłanie Apache Spark

  6. Karta przesyłanie na platformie Spark powinna rozpocząć wyświetlanie postępu.The Spark Submission tab should start displaying the progress. Możesz zatrzymać aplikację, wybierając czerwony przycisk w oknie przesyłanie platformy Spark .You can stop the application by selecting the red button in the Spark Submission window. Możesz również wyświetlić dzienniki dla tego konkretnej aplikacji, wybierając ikonę globusa (oznaczaną niebieską ramką na obrazie).You can also view the logs for this specific application run by selecting the globe icon (denoted by the blue box in the image).

    Okno przesłania Apache Spark

Dostęp do klastrów usługi HDInsight Spark i zarządzanie nimi przy użyciu narzędzi usługi HDInsight w Azure Toolkit for EclipseAccess and manage HDInsight Spark clusters by using HDInsight Tools in Azure Toolkit for Eclipse

Możesz wykonywać różne operacje przy użyciu narzędzi usługi HDInsight, w tym do uzyskiwania dostępu do danych wyjściowych zadania.You can perform various operations by using HDInsight Tools, including accessing the job output.

Dostęp do widoku zadaniaAccess the job view

  1. W Eksploratorze Azure rozwiń węzeł HDInsight, a następnie nazwę klastra Spark, a następnie wybierz pozycję zadania.In Azure Explorer, expand HDInsight, then the Spark cluster name, and then select Jobs.

    Węzeł widoku zadania w programie Azure Explorer zaćmienie

  2. Wybierz węzeł zadania .Select the Jobs node. Jeśli wersja języka Java jest niższa niż 1,8, narzędzia usługi HDInsight automatycznie przypomnią, że zainstalowano wtyczkę klipu E (FX) .If Java version is lower than 1.8, HDInsight Tools automatically reminder you install the E(fx)clipse plug-in. Wybierz przycisk OK , aby kontynuować, a następnie postępuj zgodnie z instrukcjami kreatora, aby zainstalować go w witrynie zaćmienie Marketplace i ponownie uruchom program zaćmienie.Select OK to continue, and then follow the wizard to install it from the Eclipse Marketplace and restart Eclipse.

    Zainstaluj brakujące klipy wtyczki E (FX)

  3. Otwórz widok zadania w węźle zadania .Open the Job View from the Jobs node. W okienku po prawej stronie karta widok zadania platformy Spark wyświetla wszystkie aplikacje, które zostały uruchomione w klastrze.In the right pane, the Spark Job View tab displays all the applications that were run on the cluster. Wybierz nazwę aplikacji, dla której chcesz zobaczyć więcej szczegółów.Select the name of the application for which you want to see more details.

    Szczegóły dzienników zadań w widoku Apache zaćmienie

    Następnie można wykonać jedną z następujących czynności:You can then take any of these actions:

    • Umieść kursor na grafie zadania.Hover on the job graph. Są w nim wyświetlane podstawowe informacje o uruchomionym zadaniu.It displays basic info about the running job. Wybierz wykres zadania i możesz zobaczyć etapy i informacje, które generuje każde zadanie.Select the job graph, and you can see the stages and info that every job generates.

      Informacje o etapie grafu zadania Apache Spark

    • Wybierz kartę Dziennik , aby wyświetlić często używane dzienniki, w tym sterowniki stderr, Sterownik stdout i Informacje o katalogu.Select the Log tab to view frequently used logs, including Driver Stderr, Driver Stdout, and Directory Info.

      Apache Spark zaćmienie — informacje o dzienniku zadań

    • Otwórz interfejs użytkownika historii platformy Spark i interfejs użytkownika Apache Hadoop PRZĘDZy (na poziomie aplikacji), zaznaczając hiperlinki w górnej części okna.Open the Spark history UI and the Apache Hadoop YARN UI (at the application level) by selecting the hyperlinks at the top of the window.

Dostęp do kontenera magazynu dla klastraAccess the storage container for the cluster

  1. W Eksploratorze Azure rozwiń węzeł główny usługi HDInsight , aby wyświetlić listę dostępnych klastrów usługi HDInsight Spark.In Azure Explorer, expand the HDInsight root node to see a list of HDInsight Spark clusters that are available.

  2. Rozwiń nazwę klastra, aby wyświetlić konto magazynu i domyślny kontener magazynu dla klastra.Expand the cluster name to see the storage account and the default storage container for the cluster.

    Konto magazynu i domyślny kontener magazynu

  3. Wybierz nazwę kontenera magazynu skojarzonego z klastrem.Select the storage container name associated with the cluster. W prawym okienku kliknij dwukrotnie folder HVACOut .In the right pane, double-click the HVACOut folder. Otwórz jeden z plików części , aby wyświetlić dane wyjściowe aplikacji.Open one of the part- files to see the output of the application.

Dostęp do serwera historii platformy SparkAccess the Spark history server

  1. W Eksploratorze Azure kliknij prawym przyciskiem myszy nazwę klastra Spark, a następnie wybierz pozycję Otwórz interfejs użytkownika historii platformy Spark.In Azure Explorer, right-click your Spark cluster name, and then select Open Spark History UI. Po wyświetleniu monitu wprowadź poświadczenia administratora dla klastra.When you're prompted, enter the admin credentials for the cluster. Określono je podczas aprowizacji klastra.You specified these while provisioning the cluster.

  2. Na pulpicie nawigacyjnym serwera historii platformy Spark Użyj nazwy aplikacji, aby wyszukać aplikację, która właśnie została uruchomiona.In the Spark history server dashboard, you use the application name to look for the application that you just finished running. W powyższym kodzie, należy ustawić nazwę aplikacji przy użyciu val conf = new SparkConf().setAppName("MyClusterApp") .In the preceding code, you set the application name by using val conf = new SparkConf().setAppName("MyClusterApp"). Dlatego nazwa aplikacji Spark została MyClusterApp.So, your Spark application name was MyClusterApp.

Uruchamianie portalu Apache AmbariStart the Apache Ambari portal

  1. W Eksploratorze Azure kliknij prawym przyciskiem myszy nazwę klastra Spark, a następnie wybierz pozycję Otwórz klaster Portal zarządzania (Ambari).In Azure Explorer, right-click your Spark cluster name, and then select Open Cluster Management Portal (Ambari).

  2. Po wyświetleniu monitu wprowadź poświadczenia administratora dla klastra.When you're prompted, enter the admin credentials for the cluster. Określono je podczas aprowizacji klastra.You specified these while provisioning the cluster.

Zarządzanie subskrypcjami platformy AzureManage Azure subscriptions

Domyślnie narzędzie HDInsight w Azure Toolkit for Eclipse wyświetla listę klastrów Spark ze wszystkich subskrypcji platformy Azure.By default, HDInsight Tool in Azure Toolkit for Eclipse lists the Spark clusters from all your Azure subscriptions. W razie potrzeby możesz określić subskrypcje, dla których chcesz uzyskać dostęp do klastra.If necessary, you can specify the subscriptions for which you want to access the cluster.

  1. W Eksploratorze Azure kliknij prawym przyciskiem myszy węzeł główny platformy Azure , a następnie wybierz pozycję Zarządzaj subskrypcjami.In Azure Explorer, right-click the Azure root node, and then select Manage Subscriptions.

  2. W oknie dialogowym Usuń zaznaczenie pól wyboru dla subskrypcji, do której nie chcesz uzyskiwać dostępu, a następnie wybierz pozycję Zamknij.In the dialog box, clear the check boxes for the subscription that you don't want to access, and then select Close. Możesz również wybrać opcję Wyloguj się , jeśli chcesz wylogować się z subskrypcji platformy Azure.You can also select Sign Out if you want to sign out of your Azure subscription.

Uruchamianie aplikacji platformy Spark Scala lokalnieRun a Spark Scala application locally

Za pomocą narzędzi usługi HDInsight w Azure Toolkit for Eclipse można uruchamiać aplikacje platformy Spark Scala lokalnie na stacji roboczej.You can use HDInsight Tools in Azure Toolkit for Eclipse to run Spark Scala applications locally on your workstation. Zazwyczaj te aplikacje nie potrzebują dostępu do zasobów klastra, takich jak kontener magazynu, i można je uruchamiać i testować lokalnie.Typically, these applications don't need access to cluster resources such as a storage container, and you can run and test them locally.

Wymaganie wstępnePrerequisite

Podczas uruchamiania lokalnej aplikacji platformy Spark Scala na komputerze z systemem Windows może wystąpić wyjątek opisany w temacie Spark-2356.While you're running the local Spark Scala application on a Windows computer, you might get an exception as explained in SPARK-2356. Ten wyjątek występuje z powodu braku WinUtils.exe w systemie Windows.This exception occurs because WinUtils.exe is missing in Windows.

Aby rozwiązać ten problem, należy Winutils.exe do lokalizacji takiej jak C:\WinUtils\bin, a następnie dodać zmienną środowiskową HADOOP_HOME i ustawić wartość zmiennej na C\WinUtils.To resolve this error, you need Winutils.exe to a location like C:\WinUtils\bin, and then add the environment variable HADOOP_HOME and set the value of the variable to C\WinUtils.

Uruchamianie lokalnej aplikacji platformy Spark ScalaRun a local Spark Scala application

  1. Zacznij przezaćmienie i Utwórz projekt.Start Eclipse and create a project. W oknie dialogowym Nowy projekt wprowadź następujące opcje, a następnie wybierz przycisk dalej.In the New Project dialog box, make the following choices, and then select Next.

  2. W kreatorze nowego projektu wybierz pozycję projekt HDInsight > Spark w usłudze HDInsight Local Run Sample (Scala).In the New Project wizard, select HDInsight Project > Spark on HDInsight Local Run Sample (Scala). Następnie wybierz przycisk Dalej.Then select Next.

    Nowy projekt wybierz okno dialogowe kreatora

  3. Aby podać szczegóły projektu, wykonaj kroki od 3 do 6 z wcześniejszej sekcji Konfigurowanie projektu Spark Scala dla klastra usługi HDInsight Spark.To provide the project details, follow steps 3 through 6 from the earlier section Setup a Spark Scala project for an HDInsight Spark cluster.

  4. Szablon dodaje przykładowy kod (LogQuery) w folderze src , który można uruchomić lokalnie na komputerze.The template adds a sample code (LogQuery) under the src folder that you can run locally on your computer.

    Lokalizacja aplikacji LogQuery Local Scala

  5. Kliknij prawym przyciskiem myszy LogQuery. scala i wybierz polecenie Uruchom jako > 1 aplikację Scala.Right-click LogQuery.scala , and select Run As > 1 Scala Application. Dane wyjściowe podobne do tego pojawiają się na karcie konsoli :Output like this appears on the Console tab:

    Wynik uruchomienia lokalnego aplikacji platformy Spark

Rola tylko do odczytuReader-only role

Gdy użytkownicy przesyłają zadanie do klastra z uprawnieniami roli tylko do odczytu, wymagane są poświadczenia Ambari.When users submit job to a cluster with reader-only role permission, Ambari credentials is required.

  1. Zaloguj się przy użyciu konta roli tylko czytelnik.Sign in with reader-only role account.

  2. W Eksploratorze Azure rozwiń węzeł HDInsight , aby wyświetlić klastry usługi HDInsight, które znajdują się w Twojej subskrypcji.From Azure Explorer, expand HDInsight to view HDInsight clusters that are in your subscription. Klastry oznaczone jako "role: Reader" mają uprawnienia roli tylko do odczytu.The clusters marked "Role:Reader" only have reader-only role permission.

    Klastry HDInsight Spark w czytniku roli programu Azure Explorer

  3. Kliknij prawym przyciskiem myszy klaster z uprawnieniami roli tylko czytelnik.Right-click the cluster with reader-only role permission. Wybierz opcję Połącz ten klaster z menu kontekstowego, aby połączyć klaster.Select Link this cluster from context menu to link cluster. Wprowadź nazwę użytkownika i hasło Ambari.Enter the Ambari username and password.

    Linki do usługi HDInsight Spark w programie Azure Explorer

  4. Jeśli klaster zostanie połączony pomyślnie, Usługa HDInsight zostanie odświeżona.If the cluster is linked successfully, HDInsight will be refreshed. Etap klastra zostanie połączony.The stage of the cluster will become linked.

    Klastry HDInsight Spark w programie Azure Explorer połączone

  1. Kliknij pozycję zadania węzeł, okna odmowa dostępu do zadania klastra .Click Jobs node, Cluster Job Access Denied window pops up.

  2. Kliknij przycisk Połącz ten klaster , aby dołączyć klaster.Click Link this cluster to link cluster.

    Klastry HDInsight Spark na platformie Azure Explorer9

  1. Utwórz projekt usługi HDInsight.Create an HDInsight Project.

  2. Kliknij prawym przyciskiem myszy pakiet.Right-click the package. Następnie wybierz pozycję Prześlij aplikację platformy Spark do usługi HDInsight.Then select Submit Spark Application to HDInsight.

    Przesyłanie klastrów usługi HDInsight Spark w Eksploratorze Azure

  3. Wybierz klaster, który ma uprawnienia roli tylko do odczytu dla nazwy klastra.Select a cluster, which has reader-only role permission for Cluster Name. Komunikat ostrzegawczy jest wyświetlany. Możesz kliknąć przycisk Połącz ten klaster , aby połączyć klaster.Warning message shows out. You can click Link this cluster to link cluster.

    Klastry HDInsight Spark w programie Azure Explorer Połącz to

Wyświetlanie kont magazynuView Storage Accounts

  • W przypadku klastrów z uprawnieniem tylko do odczytu, kliknij węzeł konta magazynu , zostanie wystawione okno odmowa dostępu do magazynu .For clusters with reader-only role permission, click Storage Accounts node, Storage Access Denied window pops up.

    Klastry usługi HDInsight Spark w usłudze Azure Explorer Storage

    Odmówiono realizacji klastrów usługi HDInsight Spark w Eksploratorze Azure

  • W przypadku połączonych klastrów kliknij węzeł konta magazynu , w którym znajduje się okno odmowa dostępu do magazynu .For linked clusters, click Storage Accounts node, Storage Access Denied window pops up.

    Klastry HDInsight Spark w Eksploratorze Azure denied2

Znane problemyKnown problems

W przypadku korzystania z linku klastra zaleca się podanie poświadczeń magazynu.When using Link A Cluster, I would suggest you to provide credential of storage.

Łączenie klastra z zastąpeniem poświadczeń magazynu

Istnieją dwa tryby przesyłania zadań.There are two modes to submit the jobs. Jeśli podano poświadczenie magazynu, do przesłania zadania zostanie użyty tryb wsadowy.If storage credential is provided, batch mode will be used to submit the job. W przeciwnym razie zostanie użyty tryb interaktywny.Otherwise, interactive mode will be used. Jeśli klaster jest zajęty, może wystąpić błąd poniżej.If the cluster is busy, you might get the error below.

Zapoznaj się z błędem pobierania, gdy klaster jest zajęty

Zapoznaj się z błędem pobierania w przypadku, gdy klaster jest zajęty

Zobacz teżSee also

ScenariuszeScenarios

Tworzenie i uruchamianie aplikacjiCreating and running applications

Narzędzia i rozszerzeniaTools and extensions

Zarządzanie zasobamiManaging resources