Uitgaand netwerkverkeer configureren voor Azure HDInsight-clusters met Firewall

  • Artikel

Dit artikel bevat de stappen voor het beveiligen van uitgaand verkeer van uw HDInsight-cluster met behulp van Azure Firewall. In de onderstaande stappen wordt ervan uitgegaan dat u een Azure Firewall configureert voor een bestaand cluster. Als u een nieuw cluster achter een firewall implementeert, maakt u eerst uw HDInsight-cluster en -subnet. Volg vervolgens de stappen in deze handleiding.

Achtergrond

HDInsight-clusters worden normaal gesproken geïmplementeerd in een virtueel netwerk. Het cluster heeft afhankelijkheden van services buiten dat virtuele netwerk.

Het inkomend beheerverkeer kan niet worden verzonden via een firewall. U kunt NSG-servicetags gebruiken voor het inkomende verkeer, zoals hier wordt beschreven.

De afhankelijkheden van uitgaand verkeer in HDInsight zijn bijna volledig gedefinieerd met FQDN's. Die geen statische IP-adressen achter zich hebben. Het ontbreken van statische adressen betekent dat netwerkbeveiligingsgroepen (NSG's) uitgaand verkeer van een cluster niet kan vergrendelen. De IP-adressen veranderen vaak genoeg en kunnen geen regels instellen op basis van de huidige naamomzetting en het gebruik.

Beveilig uitgaande adressen met een firewall die uitgaand verkeer kan beheren op basis van FQDN's. Azure Firewall beperkt uitgaand verkeer op basis van de FQDN-naam van de doel- of FQDN-tags.

Azure Firewall configureren met HDInsight

Een samenvatting van de stappen voor het vergrendelen van uitgaand verkeer van uw bestaande HDInsight met Azure Firewall zijn:

  1. Maak een subnet.
  2. Maak een firewall.
  3. Voeg toepassingsregels toe aan de firewall.
  4. Voeg netwerkregels toe aan de firewall.
  5. Maak een routeringstabel.

Nieuw subnet maken

Maak een subnet met de naam AzureFirewallSubnet in het virtuele netwerk waar uw cluster zich bevindt.

Een nieuwe firewall voor uw cluster maken

Maak een firewall met de naam Test-FW01 met behulp van de stappen in De firewall implementeren vanuit de zelfstudie: Azure Firewall implementeren en configureren met behulp van Azure Portal.

De firewall configureren met toepassingsregels

Maak een verzameling toepassingsregels waarmee het cluster belangrijke communicatie kan verzenden en ontvangen.

  1. Selecteer de nieuwe firewalltest-FW01 in Azure Portal.

  2. Navigeer naar Instellingen> Regelverzameling> toepassingsregel>toevoegen+ Verzameling toepassingsregels toevoegen.

    Title: Add application rule collection.

  3. Geef in het scherm Toepassingsregelverzameling toevoegen de volgende informatie op:

    Bovenste sectie

    Eigenschappen Waarde
    Naam FwAppRule
    Prioriteit 200
    Actie Toestaan

    Sectie FQDN-tags

    Naam Bronadres FQDN-tag Opmerkingen
    Rule_1 * WindowsUpdate en HDInsight Vereist voor HDI-services

    Sectie Doel-FQDN's

    Naam Bronadressen Protocol:Poort Doel-FQDNS Opmerkingen
    Rule_2 * https:443 login.windows.net Windows-aanmeldingsactiviteit toestaan
    Rule_3 * https:443 login.microsoftonline.com Windows-aanmeldingsactiviteit toestaan
    Rule_4 * https:443 storage_account_name.blob.core.windows.net Vervang door storage_account_name de werkelijke naam van uw opslagaccount. Zorg ervoor dat beveiligde overdracht vereist is ingeschakeld voor het opslagaccount. Als u een privé-eindpunt gebruikt voor toegang tot opslagaccounts, is deze stap niet nodig en wordt het opslagverkeer niet doorgestuurd naar de firewall.
    Rule_5 * http:80 azure.archive.ubuntu.com Hiermee staat u toe dat Ubuntu-beveiligingsupdates op het cluster worden geïnstalleerd

    Title: Enter application rule collection details.

  4. Selecteer Toevoegen.

De firewall configureren met netwerkregels

Maak de netwerkregels om uw HDInsight-cluster correct te configureren.

  1. Ga vanuit de vorige stap naar de verzameling Netwerkregels+ Netwerkregelverzameling> toevoegen.

  2. Geef op het scherm Netwerkregelverzameling toevoegen de volgende informatie op:

    Bovenste sectie

    Eigenschappen Waarde
    Naam FwNetRule
    Prioriteit 200
    Actie Toestaan

    Sectie Servicetags

    Naam Protocol Bronadressen Servicetags Doelpoorten Opmerkingen
    Rule_6 TCP * SQL 1433 , 11000-11999 Als u de standaard-SQL-servers van HDInsight gebruikt, configureert u een netwerkregel in de sectie Servicetags voor SQL waarmee u SQL-verkeer kunt registreren en controleren. Tenzij u service-eindpunten voor SQL Server hebt geconfigureerd in het HDInsight-subnet, waardoor de firewall wordt overgeslagen. Als u een aangepaste SQL-server gebruikt voor Ambari-, Oozie-, Ranger- en Hive-metastores, hoeft u alleen het verkeer naar uw eigen aangepaste SQL-servers toe te staan. Raadpleeg de connectiviteitsarchitectuur van Azure SQL Database en Azure Synapse Analytics om te zien waarom het poortbereik 11000-11999 ook nodig is naast 1433.
    Rule_7 TCP * Azure Monitor * (optioneel) Klanten die de functie voor automatisch schalen willen gebruiken, moeten deze regel toevoegen.

    Title: Enter application rule collection.

  3. Selecteer Toevoegen.

Een routetabel maken en configureren

Maak een routetabel met de volgende vermeldingen:

  • Alle IP-adressen van health- en beheerservices met een volgend hoptype internet. Het moet 4 IP-adressen van de algemene regio's en 2 IP-adressen voor uw specifieke regio bevatten. Deze regel is alleen nodig als de ResourceProvider Verbinding maken ion is ingesteld op Inkomend. Als de ResourceProvider Verbinding maken ion is ingesteld op Uitgaand, zijn deze IP-adressen niet nodig in de UDR.

  • Eén route voor virtueel apparaat voor IP-adres 0.0.0.0/0, waarbij de volgende hop uw privé-IP-adres van Azure Firewall is.

Als u bijvoorbeeld de routetabel wilt configureren voor een cluster dat is gemaakt in de regio VS - oost, gebruikt u de volgende stappen:

  1. Selecteer uw Azure Firewall Test-FW01. Kopieer het privé-IP-adres dat wordt vermeld op de pagina Overzicht . In dit voorbeeld gebruiken we een voorbeeldadres van 10.0.2.4.

  2. Navigeer vervolgens naar alle netwerkroutetabellen>> en maak routetabellen.

  3. Navigeer vanuit uw nieuwe route naar Instellingen> Routes>+ Toevoegen. Voeg de volgende routes toe:

Routenaam Adresvoorvoegsel Volgend hoptype Adres van de volgende hop
168.61.49.99 168.61.49.99/32 Internet N.v.t.
23.99.5.239 23.99.5.239/32 Internet N.v.t.
168.61.48.131 168.61.48.131/32 Internet N.v.t.
138.91.141.162 138.91.141.162/32 Internet N.v.t.
13.82.225.233 13.82.225.233/32 Internet N.v.t.
40.71.175.99 40.71.175.99/32 Internet N.v.t.
0.0.0.0 0.0.0.0/0 Virtueel apparaat 10.0.2.4

Voltooi de configuratie van de routetabel:

  1. Wijs de routetabel toe die u hebt gemaakt aan uw HDInsight-subnet door subnetten te selecteren onder Instellingen.

  2. Selecteer + Koppelen.

  3. Selecteer in het scherm Subnet koppelen het virtuele netwerk waarnaar uw cluster is gemaakt. En het subnet dat u hebt gebruikt voor uw HDInsight-cluster.

  4. Selecteer OK.

Edge-knooppunt of aangepast toepassingsverkeer

Met de bovenstaande stappen kan het cluster zonder problemen werken. U moet nog steeds afhankelijkheden configureren voor uw aangepaste toepassingen die worden uitgevoerd op de edge-knooppunten, indien van toepassing.

Toepassingsafhankelijkheden moeten worden geïdentificeerd en toegevoegd aan de Azure Firewall of de routetabel.

Routes moeten worden gemaakt voor het toepassingsverkeer om asymmetrische routeringsproblemen te voorkomen.

Als uw toepassingen andere afhankelijkheden hebben, moeten ze worden toegevoegd aan uw Azure Firewall. Maak toepassingsregels om HTTP/HTTPS-verkeer en netwerkregels toe te staan voor al het andere.

Logboekregistratie en schaal

Azure Firewall kan logboeken verzenden naar een aantal verschillende opslagsystemen. Volg de stappen in de zelfstudie voor het configureren van logboekregistratie voor uw firewall: Logboeken en metrische gegevens van Azure Firewall bewaken.

Zodra u de installatie van logboekregistratie hebt voltooid, kunt u, als u Log Analytics gebruikt, geblokkeerd verkeer weergeven met een query zoals:

AzureDiagnostics | where msg_s contains "Deny" | where TimeGenerated >= ago(1h)

De integratie van Azure Firewall met Azure Monitor-logboeken is handig wanneer u voor het eerst een toepassing krijgt. Vooral wanneer u niet op de hoogte bent van alle toepassingsafhankelijkheden. Meer informatie over Azure Monitor-logboeken vindt u in Logboekgegevens analyseren in Azure Monitor

Zie dit document of raadpleeg de veelgestelde vragen voor meer informatie over de schaallimieten van Azure Firewall en aanvragen.

Toegang tot het cluster

Nadat de firewall is ingesteld, kunt u het interne eindpunt (https://CLUSTERNAME-int.azurehdinsight.net) gebruiken voor toegang tot ambari vanuit het virtuele netwerk.

Als u het openbare eindpunt () of ssh-eindpunt (https://CLUSTERNAME.azurehdinsight.netCLUSTERNAME-ssh.azurehdinsight.net) wilt gebruiken, moet u ervoor zorgen dat u de juiste routes in de routetabel en NSG-regels hebt om het asymmetrische routeringsprobleem te voorkomen dat hier wordt uitgelegd. In dit geval moet u het IP-adres van de client toestaan in de inkomende NSG-regels en deze ook toevoegen aan de door de gebruiker gedefinieerde routetabel met de volgende hopset als internet. Als de routering niet juist is ingesteld, ziet u een time-outfout.

Volgende stappen