Partager via


Ports utilisés par les services Apache Hadoop sur HDInsight

Ce document fournit la liste des ports utilisés par les services Apache Hadoop exécutés sur des clusters HDInsight. Il fournit également des informations sur les ports utilisés pour se connecter au cluster à l’aide de SSH.

Ports publics et ports non publics

Les clusters HDInsight sous Linux exposent uniquement trois ports publiquement sur Internet : 22, 23 et 443. Ces ports sécurisent l’accès au cluster à l’aide de SSH et les services exposés sur le protocole HTTPS sécurisé.

HDInsight est implémenté par plusieurs Machines virtuelles Microsoft Azure (nœuds de cluster) exécutées sur Réseau virtuel Microsoft Azure. Depuis le réseau virtuel, vous pouvez accéder aux ports non exposés sur Internet. Si vous vous connectez via SSH au nœud principal, vous pouvez accéder directement aux services qui s’exécutent sur les nœuds de cluster.

Important

Si vous ne spécifiez pas de réseau virtuel Azure comme une option de configuration pour HDInsight, un réseau virtuel Azure sera créé automatiquement. Toutefois, vous ne pouvez pas associer d’autres ordinateurs (comme les autres machines virtuelles Azure ou votre ordinateur de développement client) à ce réseau virtuel.

Pour joindre des ordinateurs supplémentaires au réseau virtuel, vous devez d’abord créer le réseau virtuel, puis le spécifier lors de la création de votre cluster HDInsight. Pour plus d’informations, consultez Planifier un réseau virtuel pour HDInsight.

Ports publics

Tous les nœuds d’un cluster HDInsight se trouvent dans une instance Réseau virtuel Microsoft Azure. Ils ne sont pas directement accessibles à partir d’Internet. Une passerelle publique fournit l’accès à Internet pour les ports suivants, qui sont communs à tous les types de cluster HDInsight.

Service Port Protocol Description
sshd 22 SSH Connecte les clients à sshd sur le nœud principal primaire. Pour en savoir plus, voir Utilisation de SSH avec Hadoop Linux sur HDInsight depuis Linux, Unix ou OS X.
sshd 22 SSH Connecte les clients à sshd sur le nœud de périmètre. Pour en savoir plus, voir Utilisation de SSH avec Hadoop Linux sur HDInsight depuis Linux, Unix ou OS X.
sshd 23 SSH Connecte les clients à sshd sur le nœud principal secondaire. Pour en savoir plus, voir Utilisation de SSH avec Hadoop Linux sur HDInsight depuis Linux, Unix ou OS X.
Ambari 443 HTTPS Interface utilisateur web d’Ambari. Consultez Gérer des clusters HDInsight à l’aide de l’interface utilisateur web Apache Ambari
Ambari 443 HTTPS API Ambari REST. Consultez Gérer des clusters HDInsight à l’aide de l’interface utilisateur Apache Ambari REST
WebHCat, 443 HTTPS API REST HCatalog. Voir Utiliser MapReduce avec Curl
HiveServer2 443 ODBC Se connecte à Hive à l’aide de ODBC. Consultez la page Connexion d’Excel à HDInsight à l’aide du pilote ODBC Microsoft.
HiveServer2 443 JDBC Se connecte à Apache Hive à l’aide de JDBC. Consultez la page Se connecter à Apache Hive sur HDInsight à l’aide du pilote JDBC Hive

Les éléments suivants sont disponibles pour les types de clusters spécifiques :

Service Port Protocol Type de cluster Description
Stargate 443 HTTPS hbase API REST HBase. Voir Bien démarrer avec Apache HBase
Livy 443 HTTPS Spark API REST Spark. Voir Envoi de tâches Apache Spark à distance avec Apache Livy
Serveur Spark Thrift 443 HTTPS Spark Le serveur Spark Thrift utilisé pour envoyer des requêtes Hive. Voir Utiliser Beeline avec Apache Hive sur HDInsight
Proxy REST Kafka 443 HTTPS Kafka API REST Kafka. Voir Interagir avec des clusters Apache Kafka dans Azure HDInsight à l’aide d’un proxy REST.

Authentification

Tous les services exposés publiquement sur Internet doivent être authentifiés :

Port Informations d'identification
22 ou 23 Les informations d’identification utilisateur SSH spécifiées lors de la création du cluster
443 Le nom de connexion (par défaut : admin) et le mot de passe qui ont été définis lors de la création du cluster

Ports non publics

Notes

Certains services sont disponibles uniquement sur certains types de clusters. Par exemple, HBase est disponible uniquement sur les clusters de type HBase.

Important

Certains services s’exécutent uniquement sur un nœud principal à la fois. Si vous tentez de vous connecter au service sur le nœud principal et que vous rencontrez une erreur, recommencez à l’aide du nœud secondaire.

Ambari

Service Nœuds Port Chemin d'accès de l'URL Protocol
Interface utilisateur Web d'Ambari Nœuds principaux 8080 / HTTP
API Ambari REST Nœuds principaux 8080 /api/v1 HTTP

Exemples :

  • API Ambari REST : curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Ports HDFS

Service Nœuds Port Protocol Description
Interface utilisateur web de NameNode Nœuds principaux 30070 HTTPS Interface utilisateur web pour afficher l’état
Service de métadonnées NameNode Nœuds principaux 8020 IPC Métadonnées du système de fichiers
DataNode Tous les nœuds de travail 30075 HTTPS Interface utilisateur web pour afficher l’état, les journaux, etc.
DataNode Tous les nœuds de travail 30010   Transfert de données
DataNode Tous les nœuds de travail 30020 IPC Opérations sur les métadonnées
NameNode secondaire Nœuds principaux 50090 HTTP Point de contrôle pour les métadonnées NameNode

Ports YARN

Service Nœuds Port Protocol Description
Interface utilisateur web de Resource Manager Nœuds principaux 8088 HTTP Interface utilisateur web pour Resource Manager
Interface utilisateur web de Resource Manager Nœuds principaux 8090 HTTPS Interface utilisateur web pour Resource Manager
Interface d’administration de Resource Manager Nœuds principaux 8141 IPC Pour les envois d’application (Hive, serveur Hive, Pig, etc.)
Scheduler Resource Manager Nœuds principaux 8030 HTTP Interface d’administration
Interface d’application Resource Manager Nœuds principaux 8050 HTTP Adresse de l’interface du gestionnaire d’applications
NodeManager Tous les nœuds de travail 30050   L’adresse du gestionnaire de conteneurs
Interface utilisateur web de NodeManager Tous les nœuds de travail 30060 HTTP Interface de Resource Manager
Adresse de Timeline Nœuds principaux 10200 RPC Le service RPC du service de Timeline.
Interface utilisateur web de Timeline Nœuds principaux 8188 HTTP L’interface utilisateur web du service Timeline

Ports Hive

Service Nœuds Port Protocol Description
HiveServer2 Nœuds principaux 10001 Thrift Service pour se connecter à Hive (Thrift/JDBC)
Metastore Hive Nœuds principaux 9083 Thrift Service pour se connecter aux métadonnées Hive (Thrift/JDBC)

Ports WebHCat

Service Nœuds Port Protocol Description
Serveur WebHCat Nœuds principaux 30111 HTTP API web sur HCatalog et d’autres services Hadoop

Ports MapReduce

Service Nœuds Port Protocol Description
JobHistory Nœuds principaux 19888 HTTP Interface utilisateur web de MapReduce JobHistory
JobHistory Nœuds principaux 10020   Serveur MapReduce JobHistory
ShuffleHandler   13562   Transfère les sorties Map intermédiaires aux raccords de réduction qui le demandent

Oozie

Service Nœuds Port Protocol Description
Serveur Oozie Nœuds principaux 11000 HTTP URL du service Oozie
Serveur Oozie Nœuds principaux 11001 HTTP Port pour l’administration Oozie

Mesures d’Ambari

Service Nœuds Port Protocol Description
TimeLine (historique d’application) Nœuds principaux 6188 HTTP L’interface utilisateur web du service Timeline
TimeLine (historique d’application) Nœuds principaux 30200 RPC L’interface utilisateur web du service Timeline

Ports HBase

Service Nœuds Port Protocol Description
HMaster Nœuds principaux 16000    
Interface utilisateur web d’informations sur HMaster Nœuds principaux 16010 HTTP Le port de l’interface utilisateur web principale de HBase Master
Serveur de la région Tous les nœuds de travail 16020  
Interface utilisateur web des informations sur le serveur de région  Tous les nœuds de travail 16030 HTTP Port de l’interface utilisateur web du serveur de région HBase
2181 Le port que les clients utilisent pour se connecter à ZooKeeper

Ports Kafka

Service Nœuds Port Protocol Description
Service Broker Nœuds de travail 9092 Protocole de transmission Kafka Utilisé pour la communication client
  Nœuds Zookeeper 2181   Le port que les clients utilisent pour se connecter à ZooKeeper
Proxy REST Nœuds de gestion Kafka 9400 HTTPS Spécification REST Kafka

Ports Spark

Service Nœuds Port Protocol Chemin d'accès de l'URL Description
Serveurs Thrift Spark Nœuds principaux 10002 Thrift   Service de connexion à Spark SQL (Thrift/JDBC)
Serveur Livy Nœuds principaux 8998 HTTP   Service d’exécution des instructions, des travaux et des applications
Jupyter Notebook Nœuds principaux 8001 HTTP   Site web Jupyter Notebook

Exemples :

  • Livy : curl -u admin -G "http://10.0.0.11:8998/". Dans cet exemple, 10.0.0.11 est l’adresse IP du nœud principal qui héberge le service Livy.