Netwerkverkeer beheren in Azure HDInsight

  • Artikel

Netwerkverkeer in een virtuele Azure-netwerken kan worden beheerd met behulp van de volgende methoden:

Als beheerde service vereist HDInsight onbeperkte toegang tot de HDInsight-status- en beheerservices voor inkomend en uitgaand verkeer van het VNET. Wanneer u NSG's gebruikt, moet u ervoor zorgen dat deze services nog steeds kunnen communiceren met het HDInsight-cluster.

Diagram of HDInsight entities created in Azure custom VNET.

HDInsight met netwerkbeveiligingsgroepen

Als u van plan bent netwerkbeveiligingsgroepen te gebruiken om netwerkverkeer te beheren, moet u de volgende acties uitvoeren voordat u HDInsight installeert:

  1. Identificeer de Azure-regio die u wilt gebruiken voor HDInsight.

  2. Identificeer de servicetags die zijn vereist voor HDInsight voor uw regio. Er zijn meerdere manieren om deze servicetags te verkrijgen:

    1. Raadpleeg de lijst met gepubliceerde servicetags in NSG-servicetags (Network Security Group) voor Azure HDInsight.
    2. Als uw regio niet in de lijst staat, gebruikt u de Service Tag Discovery-API om een servicetag voor uw regio te vinden.
    3. Als u de API niet kunt gebruiken, downloadt u het JSON-bestand met de servicetag en zoekt u naar de gewenste regio.

  3. Maak of wijzig de netwerkbeveiligingsgroepen voor het subnet waarnaar u HDInsight wilt installeren.

    • Netwerkbeveiligingsgroepen: inkomend verkeer toestaan op poort 443 vanaf de IP-adressen. Dit zorgt ervoor dat HDInsight-beheerservices het cluster van buiten het virtuele netwerk kunnen bereiken. Sta ook inkomend verkeer op poort 9400 toe voor clusters waarvoor Kafka REST-proxy is ingeschakeld. Dit zorgt ervoor dat de Kafka REST-proxyserver bereikbaar is.

Zie het overzicht van netwerkbeveiligingsgroepen voor meer informatie over netwerkbeveiligingsgroepen.

Uitgaand verkeer van HDInsight-clusters beheren

Zie Beperkingen voor uitgaand netwerkverkeer configureren voor Azure HDInsight-clusters voor meer informatie over het beheren van uitgaand verkeer van HDInsight-clusters.

Geforceerde tunneling naar on-premises

Geforceerde tunneling is een door de gebruiker gedefinieerde routeringsconfiguratie waarbij al het verkeer van een subnet wordt gedwongen naar een specifiek netwerk of een specifieke locatie, zoals uw on-premises netwerk of firewall. Geforceerde tunneling van alle gegevensoverdracht naar on-premises wordt niet aanbevolen vanwege grote hoeveelheden gegevensoverdracht en mogelijke invloed op de prestaties.

Klanten die geforceerde tunneling willen instellen, moeten aangepaste metastores gebruiken en de juiste connectiviteit van het clustersubnet of on-premises netwerk instellen voor deze aangepaste metastores.

Zie De beperking voor uitgaand netwerkverkeer configureren voor Azure HDInsight-clusters voor een voorbeeld van de UDR-installatie met Azure Firewall.

Vereiste poorten

Als u van plan bent een firewall te gebruiken en toegang te krijgen tot het cluster van buiten op bepaalde poorten, moet u mogelijk verkeer toestaan op die poorten die nodig zijn voor uw scenario. Standaard is er geen speciale filtering van poorten nodig zolang het Azure-beheerverkeer dat in de vorige sectie wordt uitgelegd, cluster mag bereiken op poort 443.

Zie de poorten die worden gebruikt door Apache Hadoop-services in HDInsight voor een lijst met poorten voor specifieke services.

Zie het scenariodocument voor virtuele apparaten voor meer informatie over firewallregels voor virtuele apparaten.

Volgende stappen