Azure HDInsight virtuális hálózati architektúra
Ez a cikk ismerteti azokat az erőforrásokat, amelyek a HDInsight-fürtök egyéni Azure-beli virtuális hálózaton való üzembe helyezésekor találhatók. Ezek az információk segítenek a helyszíni erőforrások azure-beli HDInsight-fürthöz való csatlakoztatásában. Az Azure-beli virtuális hálózatokkal kapcsolatos további információkért lásd: Mi az Az Azure Virtual Network?
Erőforrástípusok az Azure HDInsight-fürtökben
Az Azure HDInsight-fürtök különböző típusú virtuális gépekkel vagy csomópontokkal rendelkeznek. Minden csomóponttípus szerepet játszik a rendszer működésében. Az alábbi táblázat összefoglalja ezeket a csomóponttípusokat és azok fürtbeli szerepköreit.
| Típus | Leírás |
|---|---|
| ZooKeeper-csomópont | A Zookeeper koordinálja az adatfeldolgozást végző csomópontok közötti feladatokat. Emellett a fő csomópontot is kijelöli, és nyomon követi, hogy melyik fő csomópont futtat egy adott főszolgáltatást. A ZooKeeper-csomópontok száma háromkor van rögzítve. |
| Munkavégző csomópont | Az adatfeldolgozási funkciókat támogató csomópontokat jelöli. A feldolgozó csomópontok hozzáadhatók vagy eltávolíthatók a fürtből a számítási kapacitás skálázása és a költségek kezelése érdekében. |
| Régiócsomópont | A HBase-fürttípus esetében a régiócsomópont (más néven adatcsomópont) futtatja a régiókiszolgálót. A régiókiszolgálók a HBase által kezelt adatok egy részét szolgálják ki és kezelik. A régiócsomópontok hozzáadhatók vagy eltávolíthatók a fürtből a számítási kapacitás skálázása és a költségek kezelése érdekében. |
Erőforrás-elnevezési konvenciók
Használjon teljes tartományneveket (FQDN-eket) a fürt csomópontjainak kezelésekor. Az Ambari API használatával lekérheti a fürt különböző csomóponttípusainak teljes tartományneveit.
Ezek a teljes tartománynevek lesznek az űrlapon <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net.
Ez <node-type-prefix> lesz hn a fejcsomópontok, wn a feldolgozó csomópontok és zn a zookeeper csomópontok esetében.
Ha csak a gazdagép nevére van szüksége, használja csak az FQDN első részét: <node-type-prefix><instance-number>-<abbreviated-clustername>
Alapszintű virtuális hálózati erőforrások
Az alábbi ábra a HDInsight-csomópontok és a hálózati erőforrások Azure-ban való elhelyezését mutatja be.
Az Azure Virtual Network alapértelmezett erőforrásai közé tartoznak az előző táblázatban említett fürtcsomópontok. A virtuális hálózat és a külső hálózatok közötti kommunikációt támogató hálózati eszközök.
Az alábbi táblázat a HDInsight egyéni Azure-beli virtuális hálózatban való üzembe helyezésekor létrehozott kilenc fürtcsomópontot foglalja össze.
| Erőforrás típusa | Jelen lévő szám | Részletek |
|---|---|---|
| Átjárócsomópont | kettő | |
| Zookeeper-csomópont | három | |
| Munkavégző csomópont | kettő | Ez a szám a fürtkonfigurációtól és a skálázástól függően változhat. Az Apache Kafkához legalább három munkavégző csomópont szükséges. |
| Átjárócsomópont | kettő | Az átjárócsomópontok olyan Azure-beli virtuális gépek, amelyek az Azure-ban jönnek létre, de nem láthatók az előfizetésben. Ha újra kell indítania ezeket a csomópontokat, forduljon az ügyfélszolgálathoz. |
A hdinsighttal használt virtuális hálózaton belül automatikusan létrejönnek a következő hálózati erőforrások:
| Hálózati erőforrás | Jelen lévő szám | Részletek |
|---|---|---|
| Terheléselosztóval | három | |
| Hálózati illesztők | Kilenc | Ez az érték egy normál fürtön alapul, ahol minden csomópont saját hálózati adapterrel rendelkezik. A kilenc interfész a következő: két fő csomópont, három zookeeper csomópont, két feldolgozó csomópont és két átjárócsomópont, amelyeket az előző táblázatban említettünk. |
| Nyilvános IP-címek | kettő |
Végpontok a HDInsighthoz való csatlakozáshoz
A HDInsight-fürt három módon érhető el:
- A virtuális hálózaton kívüli HTTPS-végpont a következő helyen
CLUSTERNAME.azurehdinsight.net: . - SSH-végpont, amely közvetlenül csatlakozik a fejcsomóponthoz a következő helyen
CLUSTERNAME-ssh.azurehdinsight.net: . - HTTPS-végpont a virtuális hálózaton
CLUSTERNAME-int.azurehdinsight.netbelül. Figyelje meg a "-int" kifejezést ebben az URL-címen. Ez a végpont egy privát IP-címre oldódik fel a virtuális hálózatban, és nem érhető el a nyilvános internetről.
Ez a három végpont terheléselosztóhoz van rendelve.
A rendszer nyilvános IP-címeket is biztosít a két végpontnak, amelyek engedélyezik a kapcsolatot a virtuális hálózaton kívülről.
- Egy nyilvános IP-cím van hozzárendelve a terheléselosztóhoz a teljes tartománynév (FQDN) számára, amelyet a fürthöz való internetes
CLUSTERNAME.azurehdinsight.netcsatlakozáskor használhat. - A második nyilvános IP-címet csak az SSH-tartománynévhez
CLUSTERNAME-ssh.azurehdinsight.nethasználja a rendszer.