Konfigurationer för Apache Spark pool i Azure Synapse AnalyticsApache Spark pool configurations in Azure Synapse Analytics

En spark-pool är en uppsättning metadata som definierar beräknings resurs kraven och associerade beteende egenskaper när en spark-instans instansieras.A Spark pool is a set of metadata that defines the compute resource requirements and associated behavior characteristics when a Spark instance is instantiated. Dessa egenskaper inkluderar, men är inte begränsade till namn, antal noder, Node-storlek, skalnings beteende och tid till Live.These characteristics include but aren't limited to name, number of nodes, node size, scaling behavior, and time to live. En spark-pool i sig använder inte några resurser.A Spark pool in itself does not consume any resources. Det kostar inget att skapa Spark-pooler.There are no costs incurred with creating Spark pools. Avgifter uppkommer bara när ett Spark-jobb körs på mål Spark-poolen och Spark-instansen instansieras på begäran.Charges are only incurred once a Spark job is executed on the target Spark pool and the Spark instance is instantiated on demand.

Du kan läsa hur du skapar en spark-pool och ser alla deras egenskaper här komma igång med Spark-pooler i Synapse AnalyticsYou can read how to create a Spark pool and see all their properties here Get started with Spark pools in Synapse Analytics

NoderNodes

Apache Spark pool-instansen består av en head-nod och två eller flera arbetsnoder med minst tre noder i en spark-instans.Apache Spark pool instance consists of one head node and two or more worker nodes with a minimum of three nodes in a Spark instance. Head-noden kör ytterligare hanterings tjänster som livy, garn Resource Manager, Zookeeper och Spark-drivrutinen.The head node runs additional management services such as Livy, Yarn Resource Manager, Zookeeper, and the Spark driver. Alla noder kör tjänster som Node agent och garn Node Manager.All nodes run services such as Node Agent and Yarn Node Manager. Alla Worker-noder kör Spark utförar-tjänsten.All worker nodes run the Spark Executor service.

Node-storlekarNode Sizes

En spark-pool kan definieras med Node-storlekar som sträcker sig från en liten Compute-nod med 8 vCore och 64 GB minne upp till en XXLarge-datornod med 64 vCore och 432 GB minne per nod.A Spark pool can be defined with node sizes that range from a Small compute node with 8 vCore and 64 GB of memory up to a XXLarge compute node with 64 vCore and 432 GB of memory per node. Node-storlekar kan ändras efter att poolen har skapats, trots att instansen kanske måste startas om.Node sizes can be altered after pool creation although the instance may need to be restarted.

StorlekSize V-kärnavCore MinneMemory
LitenSmall 44 32 GB32 GB
MedelMedium 88 64 GB64 GB
StorLarge 1616 128 GB128 GB
XLargeXLarge 3232 256 GB256 GB
XXLargeXXLarge 6464 432 GB432 GB

Automatisk skalningAutoscale

Apache Spark pooler ger möjlighet att automatiskt skala upp och ned beräknings resurser baserat på mängden aktivitet.Apache Spark pools provide the ability to automatically scale up and down compute resources based on the amount of activity. När funktionen för autoskalning är aktive rad kan du ange det lägsta och högsta antalet noder som ska skalas.When the autoscale feature is enabled, you can set the minimum and maximum number of nodes to scale. När funktionen för autoskalning är inaktive rad förblir antalet noder fasta.When the autoscale feature is disabled, the number of nodes set will remain fixed. Den här inställningen kan ändras efter att poolen har skapats, trots att instansen kanske måste startas om.This setting can be altered after pool creation although the instance may need to be restarted.

Automatisk pausAutomatic pause

Funktionen för automatisk paus frigör resurser efter en inaktiv period som minskar den totala kostnaden för en Apache Spark pool.The automatic pause feature releases resources after a set idle period reducing the overall cost of an Apache Spark pool. Antalet minuters inaktiv tid kan anges när den här funktionen är aktive rad.The number of minutes of idle time can be set once this feature is enabled. Funktionen för automatisk paus är oberoende av funktionen för automatisk skalning.The automatic pause feature is independent of the autoscale feature. Resurser kan pausas om autoskalning är aktiverat eller inaktiverat.Resources can be paused whether the autoscale is enabled or disabled. Den här inställningen kan ändras efter att poolen har skapats, trots att instansen kanske måste startas om.This setting can be altered after pool creation although the instance may need to be restarted.

Nästa stegNext steps