Optimera Apache Spark jobb i HDInsight
Den här artikeln innehåller en översikt över strategier för att optimera Apache Spark jobb på Azure HDInsight.
Översikt
Prestanda för dina Apache Spark jobb beror på flera faktorer. Dessa prestanda faktorer är: hur dina data lagras, hur klustret konfigureras och vilka åtgärder som används vid bearbetning av data.
Vanliga utmaningar som du kan tänka på är: minnes begränsningar på grund av felaktigt storleksändrade körningar, långvariga åtgärder och uppgifter som resulterar i kartesiska-åtgärder.
Det finns också många optimeringar som kan hjälpa dig att lösa dessa utmaningar, till exempel cachelagring, och att data skevas.
I var och en av följande artiklar finns information om olika aspekter av Spark-optimering.
- Optimera data lagring för Apache Spark
- Optimera data bearbetning för Apache Spark
- Optimera minnes användning för Apache Spark
- Optimera konfiguration av HDInsight-kluster för Apache Spark