Kontrollera nätverkstrafik i Azure HDInsight

  • Artikel

Nätverkstrafik i ett virtuellt Azure-nätverk kan styras med hjälp av följande metoder:

Som en hanterad tjänst kräver HDInsight obegränsad åtkomst till HDInsights hälso- och hanteringstjänster både för inkommande och utgående trafik från det virtuella nätverket. När du använder NSG:er måste du se till att dessa tjänster fortfarande kan kommunicera med HDInsight-klustret.

Diagram of HDInsight entities created in Azure custom VNET.

HDInsight med nätverkssäkerhetsgrupper

Om du planerar att använda nätverkssäkerhetsgrupper för att styra nätverkstrafiken utför du följande åtgärder innan du installerar HDInsight:

  1. Identifiera den Azure-region som du planerar att använda för HDInsight.

  2. Identifiera de tjänsttaggar som krävs av HDInsight för din region. Det finns flera sätt att hämta dessa tjänsttaggar:

    1. Läs listan över publicerade tjänsttaggar i NSG-tjänsttaggar (Network Security Group) för Azure HDInsight.
    2. Om din region inte finns i listan använder du API:et för identifiering av tjänsttaggar för att hitta en tjänsttagg för din region.
    3. Om du inte kan använda API:et laddar du ned JSON-filen för tjänsttaggen och söker efter önskad region.

  3. Skapa eller ändra nätverkssäkerhetsgrupperna för det undernät som du planerar att installera HDInsight i.

    • Nätverkssäkerhetsgrupper: Tillåt inkommande trafik på port 443 från IP-adresserna. Detta säkerställer att HDInsight-hanteringstjänster kan nå klustret utanför det virtuella nätverket. För Kafka REST-proxyaktiverade kluster tillåter du även inkommande trafik på port 9400 . Detta säkerställer att Kafka REST-proxyservern kan nås.

Mer information om nätverkssäkerhetsgrupper finns i översikten över nätverkssäkerhetsgrupper.

Styra utgående trafik från HDInsight-kluster

Mer information om hur du styr utgående trafik från HDInsight-kluster finns i Konfigurera begränsning av utgående nätverkstrafik för Azure HDInsight-kluster.

Tvingad tunneltrafik till lokal plats

Tvingad tunneltrafik är en användardefinierad routningskonfiguration där all trafik från ett undernät tvingas till ett specifikt nätverk eller en specifik plats, till exempel ditt lokala nätverk eller brandvägg. Tvingad tunneltrafik av all dataöverföring tillbaka till den lokala miljön rekommenderas inte på grund av stora mängder dataöverföring och potentiell prestandapåverkan.

Kunder som är intresserade av att konfigurera tvingad tunneltrafik bör använda anpassade metaarkiv och konfigurera lämplig anslutning från klustrets undernät eller lokala nätverk till dessa anpassade metaarkiv.

Ett exempel på UDR-konfigurationen med Azure Firewall finns i Konfigurera begränsning av utgående nätverkstrafik för Azure HDInsight-kluster.

Portar som krävs

Om du planerar att använda en brandvägg och komma åt klustret utifrån på vissa portar kan du behöva tillåta trafik på de portar som behövs för ditt scenario. Som standard behövs ingen särskild filtrering av portar så länge azure-hanteringstrafiken som beskrivs i föregående avsnitt tillåts nå klustret på port 443.

En lista över portar för specifika tjänster finns i dokumentet Portar som används av Apache Hadoop-tjänster i HDInsight .

Mer information om brandväggsregler för virtuella installationer finns i scenariodokumentet för den virtuella installationen.

Nästa steg