Erstellen von Linux-basierten Clustern in HDInsight mit dem Azure-Portal

Das Azure-Portal ist ein webbasiertes Verwaltungstool für Dienste und Ressourcen, die in der Microsoft Azure-Cloud gehostet werden. In diesem Artikel wird beschrieben, wie Sie mit dem Portal Linux-basierte Azure HDInsight-Cluster erstellen. Weitere Informationen finden Sie unter Einrichten von Clustern in HDInsight mit Apache Hadoop, Apache Spark, Apache Kafka usw.

Warnung

Die Abrechnung für die HDInsight-Cluster erfolgt anteilsmäßig auf Minutenbasis und ist unabhängig von der Verwendung. Daher sollten Sie Ihren Cluster nach der Verwendung unbedingt wieder löschen. Sehen Sie sich die Informationen zum Löschen eines HDInsight-Clusters an.

Das Azure-Portal macht die meisten Clustereigenschaften verfügbar. Mithilfe von Azure Resource Manager-Vorlagen können Sie viele Details ausblenden. Weitere Informationen finden Sie unter Erstellen von Apache Hadoop-Clustern in HDInsight mit Resource Manager-Vorlagen.

Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.

Erstellen von Clustern

Hinweis

Das Feature, das eine sichere Übertragung vorschreibt, erzwingt eine sichere Verbindung für alle Anforderungen, die an Ihr Konto gerichtet werden. Dieses Feature wird erst ab HDInsight-Clusterversion 3.6 unterstützt. Weitere Informationen finden Sie unter Erstellen von Apache Hadoop-Clustern mit Speicherkonten mit sicherer Übertragung in Azure HDInsight.

  1. Melden Sie sich beim Azure-Portal an.

  2. Klicken Sie im oberen Menü auf + Ressource erstellen.

    Create a new cluster in the Azure portal

  3. Wählen Sie Analytics>Azure HDInsight aus, um die Seite HDInsight-Cluster erstellen zu öffnen.

Grundlagen

HDInsight create cluster basics

Geben Sie auf der Registerkarte Grundlagen die folgenden Informationen an:

Eigenschaft BESCHREIBUNG
Subscription Wählen Sie in der Dropdownliste das Azure-Abonnement aus, das für den Cluster verwendet wird.
Resource group Wählen Sie in der Dropdownliste Ihre vorhandene Ressourcengruppe oder die Option Neu erstellen aus.
Clustername Geben Sie einen global eindeutigen Namen ein.
Region Wählen Sie in der Dropdownliste eine Region für die Erstellung des Clusters aus.
Clustertyp Klicken Sie auf Clustertyp auswählen, um eine Liste zu öffnen. Wählen Sie in der Liste den gewünschten Clustertyp aus. Es gibt unterschiedliche Typen von HDInsight-Clustern. Diese entsprechen der Workload oder Technologie, für die der Cluster optimiert wurde. Es gibt keine unterstützte Methode zum Erstellen eines Clusters, in dem mehrere Typen kombiniert sind.
Version Wählen Sie in der Dropdownliste eine Version aus. Verwenden Sie die Standardversion, wenn Sie nicht wissen, was Sie auswählen sollen. Weitere Informationen finden Sie unter HDInsight-Clusterversionen.
Benutzername für Clusteranmeldung Geben Sie den Benutzernamen an, der Standardwert ist admin.
Kennwort für Clusteranmeldung Geben Sie das Kennwort an.
Bestätigen Sie das Clusteranmeldekennwort. Geben Sie das Kennwort erneut ein.
SSH-Benutzername (Secure Shell) Geben Sie den Benutzernamen an, der Standardwert ist sshuser.
Verwenden Sie ein Clusteranmeldekennwort für SSH Aktivieren Sie das Kontrollkästchen Clusteranmeldekennwort für SSH verwenden, wenn Sie möchten, dass das SSH-Kennwort mit dem zuvor angegebenen Administratorkennwort identisch ist. Falls nicht, müssen Sie entweder ein KENNWORT oder einen ÖFFENTLICHEN SCHLÜSSEL zum Authentifizieren des SSH-Benutzers eingeben. Ein öffentlicher Schlüssel ist der von uns empfohlene Ansatz. Wählen Sie unten die Option Auswählen, um die Konfiguration der Anmeldeinformationen zu speichern. Weitere Informationen finden Sie unter Herstellen einer Verbindung mit HDInsight (Hadoop) per SSH.

Wählen Sie Weiter: Speicher>> aus, um zur nächsten Registerkarte zu gelangen.

Storage

Warnung

Ab dem 15. Juni 2020 können Kunden keinen neuen Dienstprinzipal mit HDInsight mehr erstellen. Informationen zur Verwendung von Azure Active Directory finden Sie unter Erstellen von Dienstprinzipalen und Zertifikaten.

HDInsight create cluster storage

Primärer Speicher

Wählen Sie in der Dropdownliste für Primärer Speichertyp Ihren Standardspeichertyp aus. Die später auszufüllenden Felder fallen je nach Ihrer Auswahl unterschiedlich aus. Für Azure Storage:

  1. Wählen Sie für Auswahlmethode entweder Aus Liste auswählen oder Zugriffsschlüssel verwenden aus.

    • Wählen Sie Aus Liste auswählen und dann Ihr Primäres Speicherkonto in der Dropdownliste aus, oder wählen Sie Neu erstellen aus.
    • Geben Sie für Zugriffsschlüssel verwenden Ihren Speicherkontonamen ein. Geben Sie dann den Zugriffsschlüssel an.
  2. Übernehmen Sie für Container den Standardwert, oder geben Sie einen neuen ein.

Zusätzliche Azure Storage-Instanzen

Optional: Wählen Sie Azure Storage hinzufügen für zusätzlichen Clusterspeicher aus. Die Verwendung eines zusätzlichen Speicherkontos in einer anderen Region als im HDInsight-Cluster wird nicht unterstützt.

Metastore-Einstellungen

Optional: Geben Sie eine vorhandene SQL-Datenbank-Instanz an, um Apache Hive-, Apache Oozie- oder Apache Ambari-Metadaten außerhalb des Clusters zu speichern. Die für den Metastore verwendete Azure SQL-Datenbank muss für die Konnektivität mit anderen Azure-Diensten, z. B. Azure HDInsight, konfiguriert sein. Verwenden Sie beim Erstellen eines Metastore für die Namen einer Datenbank keine Binde- oder Gedankenstriche. Diese Zeichen können dazu führen, dass der Prozess der Clustererstellung fehlschlägt.

Wichtig

Der Standardmetastore stellt für Clusterformen, die Metastores unterstützen, eine Azure SQL-Datenbank-Instanz mit einem Basic-Tarif mit einer Begrenzung auf fünf DTUs (nicht aktualisierbar) bereit. Er eignet sich für grundlegende Testzwecke. Bei großen Workloads bzw. Produktionsworkloads empfiehlt sich die Migration zu einem externen Metastore.

Wählen Sie Weiter: Sicherheit + Netzwerkbetrieb>> aus, um zur nächsten Registerkarte zu gelangen.

Sicherheit + Netzwerkbetrieb

HDInsight create cluster security networking

Geben Sie auf der Registerkarte Sicherheit + Netzwerkbetrieb die folgenden Informationen an:

Eigenschaft BESCHREIBUNG
Sicherheitspaket für Unternehmen Optional: Aktivieren Sie das Kontrollkästchen, um das Enterprise-Sicherheitspaket zu verwenden. Weitere Informationen finden Sie unter Konfigurieren eines HDInsight-Clusters mit Enterprise-Sicherheitspaket (Enterprise Security Package, ESP) mithilfe von Azure Active Directory Domain Services.
TLS Optional: Wählen Sie in der Dropdownliste eine TLS-Version aus. Weitere Informationen finden Sie unter Transport Layer Security.
Virtuelles Netzwerk Optional: Wählen Sie in der Dropdownliste ein vorhandenes virtuelles Netzwerk und Subnetz aus. Weitere Informationen finden Sie unter Planen eines virtuellen Netzwerks für Azure HDInsight. Der Artikel enthält die spezifischen Konfigurationsanforderungen für das virtuelle Netzwerk.
Datenträgerverschlüsselungseinstellungen Optional: Aktivieren Sie das Kontrollkästchen, um die Verschlüsselung zu verwenden. Weitere Informationen finden Sie unter Datenträgerverschlüsselung mit kundenseitig verwalteten Schlüsseln.
Kafka-REST-Proxy Diese Einstellung ist nur für den Clustertyp Kafka verfügbar. Weitere Informationen finden Sie unter Interagieren mit Apache Kafka-Clustern in Azure HDInsight mithilfe eines REST-Proxys.
Identity Optional: Wählen Sie in der Dropdownliste eine vorhandene, vom Benutzer zugewiesene Dienstidentität aus. Weitere Informationen finden Sie unter Verwaltete Identitäten in Azure HDInsight.

Wählen Sie Konfiguration + Preise>> aus, um zur nächsten Registerkarte zu gelangen.

Konfiguration + Preise

HDInsight create cluster configuration

Geben Sie auf der Registerkarte Konfiguration + Preise die folgenden Informationen an:

Eigenschaft BESCHREIBUNG
+ Anwendung hinzufügen Optional: Wählen Sie beliebige Anwendungen aus. Diese Anwendungen können von Microsoft, unabhängigen Softwareherstellern (Independent Software Vendors, ISVs) oder Ihnen selbst entwickelt werden. Weitere Informationen finden Sie unter Installieren von Anwendungen während der Clustererstellung.
Knotengröße Optional: Wählen Sie einen Knoten anderer Größe aus.
Anzahl von Knoten Optional: Geben Sie die Anzahl der Knoten für den angegebenen Knotentyp ein. Wenn Sie mehr als 32 Workerknoten planen, sollten Sie eine Hauptknotengröße mit mindestens 8 Kernen und 14 GB Arbeitsspeicher (RAM) auswählen. Planen Sie die Knoten entweder während der Clustererstellung oder durch das Skalieren des Clusters nach der Erstellung.
Aktivieren der automatischen Skalierung Optional: Aktivieren Sie das Kontrollkästchen des Features. Weitere Informationen finden Sie unter Automatische Skalierung von Azure HDInsight-Clustern.
+ Skriptaktion hinzufügen Optional: Diese Option ist geeignet, wenn Sie einen Cluster bei seiner Erstellung mit einem benutzerdefinierten Skript anpassen möchten. Weitere Informationen zu Skriptaktionen finden Sie unter Anpassen Linux-basierter HDInsight-Cluster mithilfe von Skriptaktionen.

Wählen Sie Bewerten + erstellen>> aus, um die Clusterkonfiguration zu überprüfen und zur letzten Registerkarte zu wechseln.

Überprüfen + erstellen

HDInsight create cluster summary

Überprüfen Sie die Einstellungen. Wählen Sie Erstellen, um den Cluster zu erstellen.

Die Erstellung des Clusters dauert in der Regel ca. 20 Minuten. Unter Benachrichtigungen können Sie den Bereitstellungsprozess überprüfen.

Nach der Erstellung

Wählen Sie nach Abschluss des Erstellungsprozesses in der Benachrichtigung Bereitstellung erfolgreich die Option Zu Ressource wechseln. Im Clusterfenster werden die folgenden Informationen angezeigt.

HDI Azure portal cluster overview

Einige der Symbole im Fenster stehen für Folgendes:

Eigenschaft BESCHREIBUNG
Übersicht Enthält alle grundlegenden Informationen zum Cluster. Beispiele hierfür sind der Name, die zugehörige Ressourcengruppe, der Standort, das Betriebssystem und die URL für das Cluster-Dashboard.
Cluster-Dashboards Führt Sie zu dem mit dem Cluster verbundenen Ambari-Portal.
SSH + Clusteranmeldung Enthält die Informationen zum Zugreifen auf den Cluster per SSH.
Löschen Löscht den HDInsight-Cluster.

Löschen des Clusters

Weitere Informationen finden Sie unter Löschen eines HDInsight-Clusters mithilfe von Browser, PowerShell oder Azure-Befehlszeilenschnittstelle.

Problembehandlung

Falls beim Erstellen von HDInsight-Clustern Probleme auftreten, sehen Sie sich die Voraussetzungen für die Zugriffssteuerung an.

Nächste Schritte

Sie haben die Erstellung eines HDInsight-Clusters erfolgreich abgeschlossen. Als Nächstes wird beschrieben, wie Sie mit Ihrem Cluster arbeiten.