Apache Spark készletkonfigurációk konfigurálása a Azure Synapse Analytics

A Spark-készlet metaadatok halmaza, amely meghatározza a számítási erőforrásokra vonatkozó követelményeket és a kapcsolódó viselkedési jellemzőket a Spark-példány példányának példányakor. Ezek a jellemzők többek között a következők: név, csomópontok száma, csomópontméret, skálázás viselkedése és az idő. A Spark-készlet önmagában nem használ fel erőforrásokat. A Spark-készletek létrehozása nem jár költségekkel. A díjak csak akkor merülnek fel, ha egy Spark-feladat végre van hajtva a cél Spark-készleten, és a Spark-példány példánya igény szerint példányosul.

A Spark-készletek létrehozásáról és tulajdonságaikról itt olvashat: Spark-készletek első lépések a Synapse Analytics

Izolált számítás

Az Izolált számítás lehetőség további biztonságot nyújt a Spark számítási erőforrásainak a nem megbízható szolgáltatások számára azáltal, hogy a fizikai számítási erőforrást egyetlen ügyfélnek dedikálja. izolált számítás megoldás olyan számítási feladatokhoz a legalkalmasabb, amelyek nagyfokú elkülönítést igényelnek más ügyfelek számítási feladataitól olyan okokból, amelyek többek között megfelelnek a megfelelőségi és szabályozási követelményeknek.
A Számítás elkülönítése lehetőség csak a XXXLarge (80 vCPU / 504 GB) csomópontmérettel érhető el, és csak a következő régiókban érhető el. Az elkülönített számítási lehetőség engedélyezhető vagy letiltható a készlet létrehozása után, bár előfordulhat, hogy a példányt újra kell indítani. Ha a jövőben engedélyezni szeretné ezt a funkciót, győződjön meg arról, hogy a Synapse-munkaterület elkülönített számítási támogatott régióban van létrehozva.

  • USA keleti régiója
  • USA 2. nyugati régiója
  • USA déli középső régiója
  • USA-beli államigazgatás – Arizona
  • USA-beli államigazgatás – Virginia

Csomópontok

Apache Spark készletpéldány egy fejcsomópontból és két vagy több munkavégző csomópontból áll, amelyek legalább három csomóponttal rendelkezik egy Spark-példányban. Az fő csomópont további felügyeleti szolgáltatásokat futtat, például a Livyt, a Yarn Resource Manager, a Zookeepert és a Spark-illesztőt. Minden csomópont olyan szolgáltatásokat futtat, mint a Node Agent és a Yarn Node Manager. Minden feldolgozó csomópont futtatja a Spark Végrehajtó szolgáltatást.

Csomópontméretek

A Spark-készlet olyan csomópontméretekkel határozható meg, amelyek egy 8 virtuális maggal és 64 GB memóriával rendelkező kisméretű számítási csomóponttól a 64 virtuális maggal és csomópontonként 432 GB memóriával rendelkező XXLarge számítási csomópontig vannak meghatározva. A csomópontok mérete a készlet létrehozása után módosítható, bár előfordulhat, hogy a példányt újra kell indítani.

Méret virtuális mag Memória
Kicsi 4 32 GB
Közepes 8 64 GB
Nagy 16 128 GB
Xlarge 32 256 GB
XXLarge 64 432 GB
XXX Large (izolált számítás) 80 504 GB

Automatikus méretezés

Apache Spark készletekkel a számítási erőforrások a tevékenység mennyisége alapján automatikusan fel- és leskálzhatóak. Ha az automatikus skálázási funkció engedélyezve van, beállíthatja a skálázni szükséges csomópontok minimális és maximális számát. Ha az automatikus skálázási funkció le van tiltva, a beállított csomópontok száma rögzített marad. Ez a beállítás a készlet létrehozása után módosítható, bár előfordulhat, hogy a példányt újra kell indítani.

Automatikus szüneteltetés

Az automatikus szüneteltetés funkció egy adott tétlen időszak után felszabadítja az erőforrásokat, csökkentve a készlet Apache Spark költségeit. A funkció engedélyezése után beállítható, hogy hány perc üresjárati idő legyen. Az automatikus szüneteltetés funkció független az automatikus skálázási funkciótól. Az erőforrások szünetelnek, függetlenül attól, hogy az automatikus skálázás engedélyezve van vagy le van tiltva. Ez a beállítás a készlet létrehozása után módosítható, bár előfordulhat, hogy a példányt újra kell indítani.

Következő lépések