Použití Azure Toolkit for Eclipse k vytvoření Apache Spark aplikací pro cluster HDInsightUse Azure Toolkit for Eclipse to create Apache Spark applications for an HDInsight cluster

Pomocí nástrojů HDInsight v sadě Azure Toolkit for zatmění můžete vyvíjet aplikace Apache Spark napsané v Scala a odeslat je do clusteru Azure HDInsight Spark přímo z integrovaného vývojového prostředí (IDE).Use HDInsight Tools in Azure Toolkit for Eclipse to develop Apache Spark applications written in Scala and submit them to an Azure HDInsight Spark cluster, directly from the Eclipse IDE. Modul plug-in nástroje HDInsight můžete použít několika různými způsoby:You can use the HDInsight Tools plug-in in a few different ways:

  • K vývoji a odeslání aplikace Scala Spark v clusteru HDInsight Spark.To develop and submit a Scala Spark application on an HDInsight Spark cluster.
  • Pro přístup k prostředkům clusteru Azure HDInsight Spark.To access your Azure HDInsight Spark cluster resources.
  • Pro vývoj a spouštění aplikace Scala Spark lokálně.To develop and run a Scala Spark application locally.

Důležité

Pomocí tohoto nástroje můžete vytvářet a odesílat aplikace jenom pro cluster HDInsight Spark v systému Linux.You can use this tool to create and submit applications only for an HDInsight Spark cluster on Linux.

PožadavkyPrerequisites

Instalace nástrojů HDInsight v Azure Toolkit for Eclipse a modulu plug-in ScalaInstall HDInsight Tools in Azure Toolkit for Eclipse and the Scala plug-in

Nainstalovat Azure Toolkit for EclipseInstall Azure Toolkit for Eclipse

Nástroje HDInsight pro zatmění jsou k dispozici jako součást Azure Toolkit for Eclipse.HDInsight Tools for Eclipse is available as part of Azure Toolkit for Eclipse. Pokyny k instalaci najdete v tématu instalace Azure Toolkit for Eclipse.For installation instructions, see Installing Azure Toolkit for Eclipse.

Instalace modulu plug-in ScalaInstall the Scala plug-in

Když otevřete položku zatmění, nástroj HDInsight automaticky zjistí, jestli jste nainstalovali modul plug-in Scala.When you open Eclipse, HDInsight Tool automatically detects whether you installed the Scala plug-in. Pokračujte výběrem OK a pak postupujte podle pokynů k instalaci modulu plug-in z webu zatmění.Select OK to continue, and then follow the instructions to install the plug-in from the Eclipse Marketplace.

Automatická instalace modulu plug-in Scala

Uživatel se může přihlásit k předplatnému Azurenebo připojit cluster HDInsight pomocí Ambari uživatelského jména/hesla nebo přihlašovacího údaje připojeného k doméně a spustit ho.User can either sign in to Azure subscription, or link a HDInsight cluster using Ambari username/password or domain joined credential to start.

Přihlaste se ke svému předplatnému Azure.Sign in to your Azure subscription

  1. Spusťte prostředí IDE pro zatmění a otevřete Průzkumníka Azure.Start the Eclipse IDE and open Azure Explorer. V nabídce okno vyberte Zobrazit zobrazenía pak vyberte Další.On the Window menu, select Show View, and then select Other. V dialogovém okně, které se otevře, rozbalte Azure, vyberte Průzkumník Azurea pak vyberte OK.In the dialog box that opens, expand Azure, select Azure Explorer, and then select OK.

    Apache Spark zobrazení Eclispse

  2. Klikněte pravým tlačítkem na uzel Azure a pak vyberte Přihlásitse.Right-click the Azure node, and then select Sign in.

  3. V dialogovém okně přihlášení do Azure zvolte metodu ověřování, vyberte Přihlásitse a zadejte svoje přihlašovací údaje Azure.In the Azure Sign In dialog box, choose the authentication method, select Sign in, and enter your Azure credentials.

    Eclispse – symbol pro Azure Apache Spark

  4. Po přihlášení se v dialogovém okně Vybrat odběry zobrazí všechna předplatná Azure přidružená k přihlašovacím údajům.After you're signed in, the Select Subscriptions dialog box lists all the Azure subscriptions associated with the credentials. Kliknutím na tlačítko Vybrat zavřete dialogové okno.Click Select to close the dialog box.

    Dialogové okno vybrat odběry

  5. Na kartě Azure Explorer rozbalte HDInsight , abyste viděli clustery HDInsight Spark v rámci vašeho předplatného.On the Azure Explorer tab, expand HDInsight to see the HDInsight Spark clusters under your subscription.

    Clustery HDInsight Spark v Azure Explorer3

  6. Uzel názvu clusteru můžete dále rozšířit, aby se zobrazily prostředky (například účty úložiště) přidružené ke clusteru.You can further expand a cluster name node to see the resources (for example, storage accounts) associated with the cluster.

    Rozšíření názvu clusteru pro zobrazení prostředků

Běžný cluster můžete propojit pomocí spravovaného uživatelského jména Ambari.You can link a normal cluster by using the Ambari managed username. Podobně v případě clusteru HDInsight připojeného k doméně můžete propojit s doménou a uživatelským jménem, jako user1@contoso.comje například.Similarly, for a domain-joined HDInsight cluster, you can link by using the domain and username, such as user1@contoso.com.

  1. Vyberte propojit cluster z Azure Exploreru.Select Link a cluster from Azure Explorer.

    Nabídka cluster odkazů Azure Explorer

  2. Zadejte název clusteru, uživatelské jméno a hesloa potom klikněte na tlačítko OK pro propojení clusteru.Enter Cluster Name, User Name and Password, then click OK button to link cluster. Volitelně můžete zadat účet úložiště, klíč úložiště a pak vybrat kontejner úložiště pro Průzkumníka služby Storage, aby fungoval v levém stromovém zobrazení.Optionally, enter Storage Account, Storage Key and then select Storage Container for storage explorer to work in the left tree view

    Dialog připojit nový cluster HDInsight

    Poznámka

    V případě, že se ke clusteru přihlásilo v předplatném Azure i v souvislosti s clusterem, používáme klíč propojeného úložiště, uživatelské jméno a hesloWe use the linked storage key, username and password if the cluster both logged in Azure subscription and Linked a cluster. Účty úložiště Azure ExplorerAzure Explorer storage accounts

  3. Odkazovaný cluster můžete zobrazit v uzlu HDInsight po kliknutí na tlačítko OK, pokud jsou zadané informace správné.You can see a Linked cluster in HDInsight node after clicking OK button, if the input information are right. Nyní můžete odeslat aplikaci do tohoto odkazovaného clusteru.Now you can submit an application to this linked cluster.

    Propojený cluster Azure Explorer HDI

  4. Cluster taky můžete odpojit od Azure Exploreru.You also can unlink a cluster from Azure Explorer.

    Cluster s nepropojeným průzkumníkem Azure Explorer

Nastavení projektu Spark Scala pro cluster HDInsight SparkSet up a Spark Scala project for an HDInsight Spark cluster

  1. V pracovním prostoru prostředí IDE pro zatmění vyberte soubor, vyberte Novýa pak vyberte projekt.In the Eclipse IDE workspace, select File, select New, and then select Project.

  2. V Průvodci vytvořením nového projektu rozbalte HDInsight, vyberte Spark v HDInsight (Scala) a pak vyberte Další.In the New Project wizard, expand HDInsight, select Spark on HDInsight (Scala), and then select Next.

    Výběr projektu Spark na HDInsight (Scala)

  3. Průvodce vytvořením projektu Scala automaticky zjistí, zda jste nainstalovali modul plug-in Scala.The Scala project creation wizard automatically detects whether you installed the Scala plug-in. Výběrem OK pokračujte v stahování modulu plug-in Scala a pak postupujte podle pokynů k restartování zatmění.Select OK to continue downloading the Scala plug-in, and then follow the instructions to restart Eclipse.

    Nainstalovat chybějící modul plug-in Scala

  4. V dialogovém okně Nový projekt HDInsight Scala zadejte následující hodnoty a potom vyberte Další:In the New HDInsight Scala Project dialog box, provide the following values, and then select Next:

    • Zadejte název projektu.Enter a name for the project.
    • V oblasti JRE se ujistěte, že použití spouštěcího prostředí JRE je nastavené na Java-1,7 nebo novější.In the JRE area, make sure that Use an execution environment JRE is set to JavaSE-1.7 or later.
    • V oblasti knihovny Spark můžete zvolit možnost použít Maven ke konfiguraci sady Spark SDK .In the Spark Library area, you can choose Use Maven to configure Spark SDK option. Náš nástroj integruje správnou verzi pro sadu Spark SDK a sadu Scala SDK.Our tool integrates the proper version for Spark SDK and Scala SDK. Můžete také zvolit možnost Přidat sadu Spark SDK ručně , stáhnout a přidat sadu Spark SDK ručně.You can also choose Add Spark SDK manually option, download and add Spark SDK by manually.

    Nový projekt HDInsight Scala – dialogové okno

  5. V dalším dialogovém okně vyberte Dokončit.In the next dialog box, select Finish.

Vytvoření aplikace v Scala pro cluster HDInsight SparkCreate a Scala application for an HDInsight Spark cluster

  1. V integrovaném vývojovém prostředí (IDE) rozbalte v Průzkumníkovi balíčku projekt, který jste vytvořili dříve, klikněte pravým tlačítkem na Src, přejděte na Novýa pak vyberte Další.In the Eclipse IDE, from Package Explorer, expand the project that you created earlier, right-click src, point to New, and then select Other.

  2. V dialogovém okně Vybrat Průvodce rozbalte Scala průvodci, vyberte objekt Scalaa pak vyberte Další.In the Select a wizard dialog box, expand Scala Wizards, select Scala Object, and then select Next.

    Výběr Průvodce vytvořením objektu Scala

  3. V dialogovém okně vytvořit nový soubor zadejte název objektu a pak vyberte Dokončit.In the Create New File dialog box, enter a name for the object, and then select Finish.

    Průvodce novým souborem – vytvořit nový soubor

  4. Vložte následující kód do textového editoru:Paste the following code in the text editor:

    import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    
    object MyClusterApp{
        def main (arg: Array[String]): Unit = {
        val conf = new SparkConf().setAppName("MyClusterApp")
        val sc = new SparkContext(conf)
    
        val rdd = sc.textFile("wasb:///HdiSamples/HdiSamples/SensorSampleData/hvac/HVAC.csv")
    
        //find the rows that have only one digit in the seventh column in the CSV
        val rdd1 =  rdd.filter(s => s.split(",")(6).length() == 1)
    
        rdd1.saveAsTextFile("wasb:///HVACOut")
        }        
    }
    
  5. Spusťte aplikaci v clusteru HDInsight Spark:Run the application on an HDInsight Spark cluster:

    a.a. V Průzkumníku balíčků klikněte pravým tlačítkem myši na název projektu a pak vyberte Odeslat aplikaci Spark do HDInsight.From Package Explorer, right-click the project name, and then select Submit Spark Application to HDInsight.

    b.b. V dialogovém okně pro odeslání Sparku zadejte následující hodnoty a pak vyberte Odeslat:In the Spark Submission dialog box, provide the following values, and then select Submit:

    • V poli název clusteruvyberte cluster HDInsight Spark, na kterém chcete aplikaci spustit.For Cluster Name, select the HDInsight Spark cluster on which you want to run your application.

    • Vyberte artefakt z projektu zatmění nebo ho vyberte z pevného disku.Select an artifact from the Eclipse project, or select one from a hard drive. Výchozí hodnota závisí na položce, kterou kliknete pravým tlačítkem z Průzkumníka balíčků.The default value depends on the item that you right-click from Package Explorer.

    • V rozevíracím seznamu název hlavní třídy se v Průvodci odesláním zobrazí všechny názvy objektů z vašeho projektu.In the Main class name drop-down list, the submission wizard displays all object names from your project. Vyberte nebo zadejte jednu z nich, kterou chcete spustit.Select or enter one that you want to run. Pokud jste vybrali artefakt z pevného disku, je nutné zadat název hlavní třídy ručně.If you selected an artifact from a hard drive, you must enter the main class name manually.

    • Vzhledem k tomu, že kód aplikace v tomto příkladu nevyžaduje žádné argumenty příkazového řádku nebo referenční jar nebo soubory, můžete zbývající textová pole nechat prázdná.Because the application code in this example does not require any command-line arguments or reference JARs or files, you can leave the remaining text boxes empty.

      Dialogové okno pro odeslání Apache Spark

  6. Na kartě pro odeslání Spark by se mělo začít zobrazovat průběh.The Spark Submission tab should start displaying the progress. Aplikaci můžete zastavit tak, že v okně pro odeslání Sparku vyberete červené tlačítko.You can stop the application by selecting the red button in the Spark Submission window. Můžete také zobrazit protokoly pro tuto konkrétní aplikaci, a to tak, že vyberete ikonu zeměkoule (označeno modrým polem v obrázku).You can also view the logs for this specific application run by selecting the globe icon (denoted by the blue box in the image).

    Okno pro odeslání Apache Spark

Přístup k clusterům HDInsight Spark a jejich správa pomocí nástrojů HDInsight v Azure Toolkit for EclipseAccess and manage HDInsight Spark clusters by using HDInsight Tools in Azure Toolkit for Eclipse

Pomocí nástrojů HDInsight můžete provádět různé operace, včetně přístupu k výstupu úlohy.You can perform various operations by using HDInsight Tools, including accessing the job output.

Přístup k zobrazení úlohyAccess the job view

  1. V Azure Exploreru rozbalte HDInsight, rozbalte název clusteru Spark a pak vyberte úlohy.In Azure Explorer, expand HDInsight, expand the Spark cluster name, and then select Jobs.

    Uzel zobrazení úlohy zatmění v Průzkumníkovi Azure

  2. Vyberte uzel úlohy .Select the Jobs node. Pokud je verze Java nižší než 1,8, nástroje HDInsight automaticky připomenutí vám umožní nainstalovat modul plug-in pro kliparty E (FX) .If Java version is lower than 1.8, HDInsight Tools automatically reminder you install the E(fx)clipse plug-in. Pokračujte výběrem OK a pak postupujte podle pokynů průvodce a nainstalujte ho z webu zatmění a restartujte.Select OK to continue, and then follow the wizard to install it from the Eclipse Marketplace and restart Eclipse.

    Nainstalovat výstřižek chybějícího modulu plug-in E (FX)

  3. Otevřete zobrazení úlohy z uzlu úlohy .Open the Job View from the Jobs node. V pravém podokně karta zobrazení úlohy Spark zobrazí všechny aplikace, které byly spuštěny v clusteru.In the right pane, the Spark Job View tab displays all the applications that were run on the cluster. Vyberte název aplikace, pro kterou chcete zobrazit další podrobnosti.Select the name of the application for which you want to see more details.

    Podrobnosti o protokolech úloh zobrazení prozatmění v Apache

    Pak můžete provést kteroukoli z těchto akcí:You can then take any of these actions:

    • Najeďte myší na graf úlohy.Hover on the job graph. Zobrazuje základní informace o spuštěné úloze.It displays basic info about the running job. Vyberte graf úlohy a můžete zobrazit fáze a informace, které Každá úloha generuje.Select the job graph, and you can see the stages and info that every job generates.

      Informace o fázi grafu Apache Spark úlohy

    • Vyberte kartu protokol pro zobrazení často používaných protokolů, včetně protokolu stderr, ovladače stdouta informací o adresáři.Select the Log tab to view frequently used logs, including Driver Stderr, Driver Stdout, and Directory Info.

      Informace o protokolu úlohy Apache Spark zatmění

    • Kliknutím na hypertextový odkaz v horní části okna otevřete ovládací panel Historie Sparku a uživatelské rozhraní Apache Hadoop nitě (na úrovni aplikace).Open the Spark history UI and the Apache Hadoop YARN UI (at the application level) by selecting the hyperlinks at the top of the window.

Přístup k kontejneru úložiště pro clusterAccess the storage container for the cluster

  1. V Azure Exploreru rozbalte kořenový uzel HDInsight a zobrazte seznam dostupných clusterů HDInsight Spark.In Azure Explorer, expand the HDInsight root node to see a list of HDInsight Spark clusters that are available.

  2. Rozbalte název clusteru, abyste viděli účet úložiště a výchozí kontejner úložiště pro cluster.Expand the cluster name to see the storage account and the default storage container for the cluster.

    Účet úložiště a výchozí kontejner úložiště

  3. Vyberte název kontejneru úložiště, který je přidružený ke clusteru.Select the storage container name associated with the cluster. V pravém podokně klikněte dvakrát na složku pro TVK .In the right pane, double-click the HVACOut folder. Otevřete jeden z částí souborů, abyste viděli výstup aplikace.Open one of the part- files to see the output of the application.

Přístup k serveru historie SparkuAccess the Spark history server

  1. V Průzkumníku Azure klikněte pravým tlačítkem na název clusteru Spark a pak vyberte otevřít historii Spark – uživatelské rozhraní.In Azure Explorer, right-click your Spark cluster name, and then select Open Spark History UI. Po zobrazení výzvy zadejte přihlašovací údaje Správce clusteru.When you're prompted, enter the admin credentials for the cluster. Při zřizování clusteru jste tyto služby zadali.You specified these while provisioning the cluster.

  2. Na řídicím panelu serveru historie Sparku použijte název aplikace a vyhledejte aplikaci, kterou jste právě dokončili.In the Spark history server dashboard, you use the application name to look for the application that you just finished running. V předchozím kódu nastavíte název aplikace pomocí val conf = new SparkConf().setAppName("MyClusterApp").In the preceding code, you set the application name by using val conf = new SparkConf().setAppName("MyClusterApp"). Takže název vaší aplikace Spark byl MyClusterApp.So, your Spark application name was MyClusterApp.

Spustit portál Apache AmbariStart the Apache Ambari portal

  1. V Průzkumníku Azure klikněte pravým tlačítkem na název clusteru Spark a pak vyberte otevřít cluster portál pro správu (Ambari) .In Azure Explorer, right-click your Spark cluster name, and then select Open Cluster Management Portal (Ambari).

  2. Po zobrazení výzvy zadejte přihlašovací údaje Správce clusteru.When you're prompted, enter the admin credentials for the cluster. Při zřizování clusteru jste tyto služby zadali.You specified these while provisioning the cluster.

Spravovat předplatná AzureManage Azure subscriptions

Ve výchozím nastavení nástroj HDInsight v Azure Toolkit for Eclipse uvádí Clustery Spark ze všech vašich předplatných Azure.By default, HDInsight Tool in Azure Toolkit for Eclipse lists the Spark clusters from all your Azure subscriptions. V případě potřeby můžete zadat odběry, pro které chcete získat přístup ke clusteru.If necessary, you can specify the subscriptions for which you want to access the cluster.

  1. V Průzkumníku Azure klikněte pravým tlačítkem na kořenový uzel Azure a pak vyberte spravovat předplatná.In Azure Explorer, right-click the Azure root node, and then select Manage Subscriptions.

  2. V dialogovém okně zrušte zaškrtnutí políček u předplatného, ke kterému nechcete získat přístup, a pak vyberte Zavřít.In the dialog box, clear the check boxes for the subscription that you don't want to access, and then select Close. Můžete také vybrat možnost Odhlásit se, pokud se chcete odhlásit z předplatného Azure.You can also select Sign Out if you want to sign out of your Azure subscription.

Místní spuštění aplikace Spark ScalaRun a Spark Scala application locally

Pomocí nástrojů služby HDInsight v Azure Toolkit for Eclipse můžete spouštět aplikace Spark Scala místně na pracovní stanici.You can use HDInsight Tools in Azure Toolkit for Eclipse to run Spark Scala applications locally on your workstation. Obvykle tyto aplikace nepotřebují přístup k prostředkům clusteru, jako je například kontejner úložiště, a můžete je spustit a otestovat místně.Typically, these applications don't need access to cluster resources such as a storage container, and you can run and test them locally.

PožadavekPrerequisite

Když spouštíte místní aplikaci Spark Scala na počítači se systémem Windows, může se vám zobrazit výjimka, jak je vysvětleno v Spark-2356.While you're running the local Spark Scala application on a Windows computer, you might get an exception as explained in SPARK-2356. K této výjimce dochází, protože ve Windows chybí WinUtils. exe .This exception occurs because WinUtils.exe is missing in Windows.

Chcete-li tuto chybu vyřešit, je nutné stáhnout spustitelný soubor do umístění, jako je C:\WinUtils\bin, a pak přidat proměnnou prostředí HADOOP_HOME a nastavit hodnotu proměnné na C\WinUtils.To resolve this error, you need download the executable to a location like C:\WinUtils\bin, and then add the environment variable HADOOP_HOME and set the value of the variable to C\WinUtils.

Spuštění místní aplikace Spark ScalaRun a local Spark Scala application

  1. Spusťte zatmění a vytvořte projekt.Start Eclipse and create a project. V dialogovém okně Nový projekt proveďte následující volby a pak vyberte Další.In the New Project dialog box, make the following choices, and then select Next.

    • V levém podokně vyberte HDInsight.In the left pane, select HDInsight.
    • V pravém podokně vyberte možnost Spark v HDInsight Local Run Sample (Scala) .In the right pane, select Spark on HDInsight Local Run Sample (Scala).

    Nový projekt – výběr dialogového okna Průvodce

  2. Chcete-li poskytnout podrobné informace o projektu, postupujte podle kroků 3 až 6 v předchozí části nastavení projektu Spark Scala pro cluster HDInsight Spark.To provide the project details, follow steps 3 through 6 from the earlier section Setup a Spark Scala project for an HDInsight Spark cluster.

  3. Šablona přidá vzorový kód (LogQuery) do složky Src , kterou můžete spustit místně na vašem počítači.The template adds a sample code (LogQuery) under the src folder that you can run locally on your computer.

    Umístění místní aplikace Scala pro LogQuery

  4. Klikněte pravým tlačítkem myši na aplikaci LogQuery , přejděte na příkaz Spustit jakoa potom vyberte možnost 1 Scala aplikace.Right-click the LogQuery application, point to Run As, and then select 1 Scala Application. Výstup podobný tomuto se zobrazí na kartě Konzola :Output like this appears on the Console tab:

    Výsledek místního spuštění aplikace Spark

Role jen pro čteníReader-only role

Když uživatelé odešlou úlohu do clusteru s oprávněním role jen pro čtení, vyžadují se přihlašovací údaje Ambari.When users submit job to a cluster with reader-only role permission, Ambari credentials is required.

  1. Přihlaste se pomocí účtu role jen pro čtení.Sign in with reader-only role account.

  2. V Azure Explorerurozbalte HDInsight pro zobrazení clusterů HDInsight, které jsou ve vašem předplatném.From Azure Explorer, expand HDInsight to view HDInsight clusters that are in your subscription. Clustery označené jako role: čtenář mají pouze oprávnění role jen pro čtení.The clusters marked "Role:Reader" only have reader-only role permission.

    Clustery HDInsight Spark v čtečce rolí Azure Explorer

  3. Klikněte pravým tlačítkem na cluster s oprávněním role jen pro čtení.Right click the cluster with reader-only role permission. Pokud chcete propojit cluster, vyberte propojit tento cluster z kontextové nabídky.Select Link this cluster from context menu to link cluster. Zadejte uživatelské jméno a heslo pro Ambari.Enter the Ambari username and password.

    Odkazy na clustery HDInsight Spark v Azure Explorer

  4. Pokud je cluster úspěšně propojený, služba HDInsight se aktualizuje.If the cluster is linked successfully, HDInsight will be refreshed. Fáze clusteru se stane propojená.The stage of the cluster will become linked.

    Clustery HDInsight Spark v aplikaci Azure Explorer propojeny

  1. Klikněte na uzel úlohy , okno přístup k úloze clusteru odepřeno .Click Jobs node, Cluster Job Access Denied window pops up.

  2. Kliknutím na propojit tento cluster propojíte cluster.Click Link this cluster to link cluster.

    Clustery HDInsight Spark v Azure Explorer9

  1. Vytvořte projekt HDInsight.Create an HDInsight Project.

  2. Klikněte pravým tlačítkem na balíček.Right click the package. Pak vyberte Odeslat aplikaci Spark do HDInsight.Then select Submit Spark Application to HDInsight.

    Odeslání clusterů HDInsight Spark v Azure Exploreru

  3. Vyberte cluster, který má oprávnění role jen pro čtení pro název clusteru.Select a cluster which has reader-only role permission for Cluster Name. Zpráva upozornění se zobrazí. Kliknutím na propojit tento cluster můžete propojit cluster.Warning message shows out. You can click Link this cluster to link cluster.

    Propojování clusterů HDInsight Spark v Azure Exploreru

Zobrazit účty úložištěView Storage Accounts

  • U clusterů s oprávněním role jen pro čtení klikněte na uzel účty úložiště , na okno přístup k úložišti se zobrazí stavová zařízení.For clusters with reader-only role permission, click Storage Accounts node, Storage Access Denied window pops up.

    Clustery HDInsight Spark v Azure Exploreru Storage

    Clustery HDInsight Spark v Azure Exploreru se zamítly.

  • U propojených clusterů klikněte na uzel účty úložiště , na okno přístup k úložišti se zobrazí stavová aplikace.For linked clusters, click Storage Accounts node, Storage Access Denied window pops up.

    Clustery HDInsight Spark v Azure Exploreru denied2

Známé problémyKnown problems

Když propojíte cluster, doporučujeme vám poskytnout přihlašovací údaje úložiště.When link a cluster, I would suggest you to provide credential of storage.

propojit cluster s přihlašovacími údaji pro úložiště – zatmění

Existují dva režimy, jak odeslat úlohy.There are two modes to submit the jobs. Pokud je zadané přihlašovací údaje úložiště, použije se k odeslání úlohy dávkový režim.If storage credential is provided, batch mode will be used to submit the job. V opačném případě bude použit interaktivní režim.Otherwise, interactive mode will be used. Pokud je cluster zaneprázdněný, může se zobrazit chyba níže.If the cluster is busy, you might get the error below.

Při ![zaneprázdněném clusteru se zobrazí chyba funkce zatmění] Při (./media/apache-spark-eclipse-tool-plugin/eclipse-interactive-cluster-busy-upload.png "zaneprázdněném clusteru se zobrazí chyba funkce zatmění")eclipse get error when cluster busy

Při ![zaneprázdněném přízi clusteru se zobrazí chyba funkce zatmění] Při (./media/apache-spark-eclipse-tool-plugin/eclipse-interactive-cluster-busy-submit.png "zaneprázdněném přízi clusteru se zobrazí chyba funkce zatmění")eclipse get error when cluster busy yarn

Viz takéSee also

ScénářeScenarios

Vytváření a spouštění aplikacíCreating and running applications

Nástroje a rozšířeníTools and extensions

Správa prostředkůManaging resources