Apache Hadoop-clusters in HDInsight beheren met behulp van de Azure Portal
Met behulp Azure Portalkunt u Apache Hadoop-clusters beheren in Azure HDInsight. Gebruik de tab-selector hierboven voor informatie over het beheren van Hadoop-clusters in HDInsight met andere hulpprogramma's.
Vereisten
Een bestaand Apache Hadoop-cluster in HDInsight. Zie Op Linux gebaseerde clusters maken in HDInsight met behulp van de Azure Portal.
Aan de slag
Meld u aan bij https://portal.azure.com.
Clusters in een lijst en in een lijst tonen
Op de pagina HDInsight-clusters worden uw bestaande clusters weergegeven. Vanuit de portal:
- Selecteer Alle services in het menu links.
- Selecteer HDInsight-clusters onder ANALYTICS.
Startpagina cluster
Selecteer de naam van uw cluster op de pagina HDInsight-clusters. Hiermee opent u de weergave Overzicht, die lijkt op de volgende afbeelding:
Bovenste menu:
| Item | Beschrijving |
|---|---|
| Verplaatsen | Hiermee wordt het cluster verplaatst naar een andere resourcegroep of naar een ander abonnement. |
| Verwijderen | Hiermee verwijdert u het cluster. |
| Vernieuwen | Vernieuwt de weergave. |
Menu links:
Menu linksboven
Item Beschrijving Overzicht Bevat algemene informatie voor uw cluster. Activiteitenlogboek Activiteitenlogboeken tonen en er query's op uitvoeren. Toegangsbeheer (IAM) Gebruik roltoewijzingen. Zie Azure-rollen toewijzen om toegang tot de resources van uw Azure-abonnement te beheren. Tags Hiermee kunt u sleutel-waardeparen instellen om een aangepaste taxonomie van uw cloudservices te definiëren. U kunt bijvoorbeeld een sleutel met de naam project maken en vervolgens een gemeenschappelijke waarde gebruiken voor alle services die zijn gekoppeld aan een specifiek project. Problemen vaststellen en oplossen Informatie over probleemoplossing weergeven. Snelstart Geeft informatie weer waarmee u aan de slag kunt met HDInsight. Hulpprogramma's Help-informatie voor aan HDInsight gerelateerde hulpprogramma's. Menu Instellingen
Item Beschrijving Grootte van cluster Controleer, verhoog en verklein het aantal clusterwerkknooppunten. Zie Clusters schalen. Quotumlimieten Geef de gebruikte en beschikbare kernen voor uw abonnement weer. SSH + Cluster-aanmelding Hier ziet u de instructies voor het maken van verbinding met het cluster via een SSH-verbinding (Secure Shell). Zie SSH gebruiken met HDInsight voor meer informatie. Data Lake Storage Gen1 Toegang tot Data Lake Storage Gen1 configureren. Zie Snelstart: Clusters instellen in HDInsight. Opslagaccounts Bekijk de opslagaccounts en de sleutels. De opslagaccounts worden geconfigureerd tijdens het maken van het cluster. Toepassingen HDInsight-toepassingen toevoegen/verwijderen. Zie Aangepaste HDInsight-toepassingen installeren. Scriptacties Voer Bash-scripts uit op het cluster. Zie Op Linux gebaseerde HDInsight-clusters aanpassen met scriptactie. Externe metastores Bekijk de metastores Apache Hive en Apache Oozie. De metastores kunnen alleen worden geconfigureerd tijdens het maken van het cluster. HDInsight-partner Voeg de huidige HDInsight-partner toe of verwijder deze. Eigenschappen Bekijk de clustereigenschappen. Vergrendelingen Voeg een vergrendeling toe om te voorkomen dat het cluster wordt gewijzigd of verwijderd. Sjabloon exporteren De sjabloon Azure Resource Manager cluster weergeven en exporteren. Op dit moment kunt u alleen het afhankelijke Azure-opslagaccount exporteren. Zie Op Linux gebaseerde Apache Hadoop-clusters maken in HDInsight met behulp Azure Resource Manager sjablonen. Menu Bewaking
Item Beschrijving Waarschuwingen De waarschuwingen en acties beheren. Metrische gegevens Controleer de metrische clustergegevens in Azure Monitor logboeken. Diagnose-instellingen Instellingen over waar de metrische diagnosegegevens moeten worden opgeslagen. Azure Monitor Controleer uw cluster in Azure Monitor. Menu Ondersteuning en probleemoplossing
Item Beschrijving Status van resources Zie Overzicht van Azure Resource Health. Nieuwe ondersteuningsaanvraag Hiermee kunt u een ondersteuningsticket maken met Microsoft Ondersteuning.
Clustereigenschappen
Selecteer op de startpagina vanhet cluster Instellingen eigenschappen.
| Item | Beschrijving |
|---|---|
| HOSTNAME | Clusternaam. |
| CLUSTER-URL | De URL voor de Ambari-webinterface. |
| Privé-eindpunt | Het privé-eindpunt voor het cluster. |
| Secure Shell (SSH) | De gebruikersnaam en hostnaam die moeten worden gebruikt voor toegang tot het cluster via SSH. |
| STATUS | Een van de volgende: Afgebroken, Geaccepteerd, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleting, Deleted, Timedout, DeleteQueued, DeleteTimedout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued of ClusterCustomization. |
| REGIO | Azure-locatie. Zie de vervolgkeuzelijst Regio in HDInsight-prijzen voor een lijst met ondersteunde Azure-locaties. |
| DATUM GEMAAKT | De datum waarop het cluster is geïmplementeerd. |
| BESTURINGSSYSTEEM | Of Windows of Linux. |
| TYPE | Hadoop, HBase, Storm, Spark. |
| Versie | Zie HDInsight-versies. |
| Minimale TLS-versie | De TLS-versie. |
| ABONNEMENT | Abonnementsnaam. |
| STANDAARDGEGEVENSBRON | Het standaardclusterbestandssysteem. |
| Grootte van werkknooppunten | De geselecteerde VM-grootte van de werkknooppunten. |
| Hoofdknooppuntgrootte | De geselecteerde VM-grootte van de hoofdknooppunten. |
| Virtueel netwerk | De naam van de Virtual Network, die het cluster wordt geïmplementeerd, als er een is geselecteerd tijdens de implementatie. |
Clusters verplaatsen
U kunt een HDInsight-cluster verplaatsen naar een andere Azure-resourcegroep of een ander abonnement.
Op de startpagina van het cluster:
- Selecteer Verplaatsen in het bovenste menu.
- Selecteer Verplaatsen naar een andere resourcegroep of Verplaatsen naar een ander abonnement.
- Volg de instructies op de nieuwe pagina.
Clusters verwijderen
Als u een cluster verwijdert, worden het standaardopslagaccount en de gekoppelde opslagaccounts niet verwijderd. U kunt het cluster opnieuw maken met dezelfde opslagaccounts en dezelfde metastores. U wordt aangeraden een nieuwe standaard blobcontainer te gebruiken wanneer u het cluster opnieuw maakt.
Op de startpagina van het cluster:
- Selecteer Verwijderen in het bovenste menu.
- Volg de instructies op de nieuwe pagina.
Zie ook Clusters onderbreken/afsluiten.
Extra opslagaccounts toevoegen
U kunt extra Azure Storage-accounts en Azure Data Lake Storage accounts toevoegen nadat een cluster is gemaakt. Zie Extra opslagaccounts toevoegen aan HDInsight voor meer informatie.
Clusters schalen
Met de functie voor het schalen van clusters kunt u het aantal werkknooppunten wijzigen dat wordt gebruikt door een Azure HDInsight-cluster, zonder dat u het cluster opnieuw moet maken.
Zie HDInsight-clusters schalen voor volledige informatie.
Clusters onderbreken/afsluiten
De meeste Hadoop-taken zijn batchtaken die slechts af en toe worden uitgevoerd. Voor de meeste Hadoop-clusters zijn er lange perioden waarin het cluster niet wordt gebruikt voor verwerking. Met HDInsight worden uw gegevens opgeslagen in Azure Storage zodat u een cluster veilig kunt verwijderen wanneer deze niet wordt gebruikt. Voor een HDInsight-cluster worden ook kosten in rekening gebracht, zelfs wanneer het niet wordt gebruikt. Aangezien de kosten voor het cluster vaak zoveel hoger zijn dan de kosten voor opslag, is het financieel gezien logischer clusters te verwijderen wanneer ze niet worden gebruikt.
Er zijn veel manieren waarop u het proces kunt programmeren:
- Gebruikers Azure Data Factory. Zie Apache Hadoop-clusters op basis van Linux op aanvraag maken in HDInsight met behulp van Azure Data Factory voor het maken van gekoppelde HDInsight-services op aanvraag.
- Gebruik Azure PowerShell. Zie Gegevens over vluchtvertraging analyseren.
- Gebruik Azure CLI. Zie Clusters Azure HDInsight beheren met behulp van Azure CLI.
- Gebruik HDInsight .NET SDK. Zie Apache Hadoop-taken verzenden.
Zie HDInsight-prijzenvoor informatie over de prijzen. Zie Clusters verwijderen als u een cluster uit de portal wilt verwijderen
Clusters upgraden
Zie HDInsight-cluster upgraden naar een nieuwere versie.
De Apache Ambari-webinterface openen
Ambari biedt een intuïtieve, gebruikersinterface voor Hadoop-beheerweb met ondersteuning van de RESTful API's. Met Ambari kunnen systeembeheerders Hadoop-clusters beheren en bewaken.
Op de startpagina van het cluster:
Selecteer Clusterdashboards.
Selecteer Ambari-startpagina op de nieuwe pagina.
Voer de gebruikersnaam en het wachtwoord van het cluster in. De standaardnaam van het cluster is admin.
Zie HDInsight-clusters beheren met behulp van de Apache Ambari-webinterfacevoor meer informatie.
Wachtwoorden wijzigen
Een HDInsight-cluster kan twee gebruikersaccounts hebben. Het HDInsight-clustergebruikersaccount (HTTP-gebruikersaccount) en het SSH-gebruikersaccount worden gemaakt tijdens het maken. U kunt de portal gebruiken om het wachtwoord van het clustergebruikersaccount te wijzigen en scriptacties om het SSH-gebruikersaccount te wijzigen.
Het wachtwoord van de clustergebruiker wijzigen
Notitie
Het wijzigen van het wachtwoord van de clustergebruiker (beheerder) kan ertoe leiden dat scriptacties die worden uitgevoerd op dit cluster mislukken. Als u persistente scriptacties hebt die zijn gericht op werkknooppunten, kunnen deze scripts mislukken wanneer u knooppunten aan het cluster toevoegt via bewerkingen voor het ize-aantal. Zie HDInsight-clustersaanpassen met scriptacties voor meer informatie over scriptacties.
Op de startpagina van het cluster:
- Selecteer SSH + Cluster login onder Instellingen.
- Selecteer Referentie opnieuw instellen.
- Voer in de tekstvakken het nieuwe wachtwoord in en bevestig dit.
- Selecteer OK.
Het wachtwoord wordt gewijzigd op alle knooppunten in het cluster.
Het SSH-gebruikerswachtwoord of de openbare sleutel wijzigen
Sla met behulp van een teksteditor de volgende tekst op als een bestand met de changecredentials.sh.
Belangrijk
U moet een editor gebruiken die LF als eindregel gebruikt. Als de editor CRLF gebruikt, werkt het script niet.
#! /bin/bash USER=$1 PASS=$2 usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USERUpload bestand naar een opslaglocatie die toegankelijk is vanuit HDInsight met behulp van een HTTP- of HTTPS-adres. Bijvoorbeeld een openbaar bestandsopslag, zoals OneDrive of Azure Blob Storage. Sla de URI (HTTP of HTTPS-adres) op in het bestand, omdat deze URI nodig is in de volgende stap.
Selecteer op de startpagina van het cluster Scriptacties onder Instellingen.
Selecteer op de pagina Scriptacties de optie Nieuwe verzenden.
Voer op de pagina Scriptactie verzenden de volgende gegevens in:
Notitie
SSH-wachtwoorden mogen niet de volgende tekens bevatten:
" ' ` / \ < % ~ | $ & !
| Veld | Waarde |
|---|---|
| Scripttype | Selecteer - Aangepast in de vervolgkeuzelijst. |
| Name | 'SSH-referenties wijzigen' |
| Bash-script-URI | De URI naar het changecredentials.sh bestand |
| Knooppunttype(en): (Head, Worker, Nimbus, Supervisor of Zookeeper.) | √ voor alle vermelde knooppunttypen |
| Parameters | Voer de SSH-gebruikersnaam en vervolgens het nieuwe wachtwoord in. Er moet één spatie zijn tussen de gebruikersnaam en het wachtwoord. |
| Deze scriptactie persistent maken... | Laat dit veld uitgeschakeld. |
- Selecteer Maken om het script toe te passen. Zodra het script is gemaakt, kunt u met de nieuwe referenties verbinding maken met het cluster met behulp van SSH.
De abonnements-id zoeken
Elk cluster is gekoppeld aan een Azure-abonnement. De id van het Azure-abonnement is zichtbaar op de startpagina van het cluster.
De resourcegroep zoeken
In de Azure Resource Manager modus wordt elk HDInsight-cluster gemaakt met een Azure Resource Manager groep. De Resource Manager is zichtbaar op de startpagina van het cluster.
De opslagaccounts zoeken
HDInsight-clusters gebruiken een Azure Storage-account of Azure Data Lake Storage om gegevens op te slaan. Elk HDInsight-cluster kan één standaardopslagaccount en een aantal gekoppelde opslagaccounts hebben. Als u de opslagaccounts wilt bekijken, selecteert u op de startpagina van het cluster onder Instellingen de Storage accounts.
Taken controleren
Zie HDInsight-clusters beheren met behulp van de Apache Ambari-webinterface.
Grootte van cluster
Op de tegel Clustergrootte van de startpagina van het cluster wordt het aantal kernen weergegeven dat aan dit cluster is toegewezen en hoe deze worden toegewezen voor de knooppunten in dit cluster.
Belangrijk
Als u de services van het HDInsight-cluster wilt bewaken, moet u Ambari Web of de Ambari-REST API. Zie HDInsight-clusters beheren met Apache Ambari voor meer informatie over het gebruik van Ambari
Verbinding maken met een cluster
Volgende stappen
In dit artikel hebt u enkele eenvoudige beheerfuncties geleerd. Lees de volgende artikelen voor meer informatie:
- HDInsight beheren met Azure PowerShell
- HDInsight beheren met Behulp van Azure CLI
- HDInsight-clusters maken
- Details over het gebruik van de Apache Ambari-REST API
- Gebruik Apache Hive in HDInsight
- Apache Sqoop gebruiken in HDInsight
- Door de gebruiker gedefinieerde functies (UDF) van Python gebruiken met Apache Hive en Apache Pig in HDInsight
- Welke versie van Apache Hadoop is in Azure HDInsight?