Стратегии оптимизации затрат для кластеров HDInsight
Первым шагом оптимизации затрат на HDInsight является выбор правильного типа кластера для обслуживаемой рабочей нагрузки. Выбор неправильного типа кластера может привести к более длительной обработке и использованию лишней вычислительной мощности. Это связано со слишком большими затратами для выполняемого действия.
Раньше важно было выбрать правильный размер кластера, чтобы обеспечить быстрое обслуживание рабочих нагрузок при пиковом спросе. Однако размер кластера был фиксированным. Его нельзя было изменить без остановки кластера и его повторной подготовки вручную с новым размером. Эти действия были неудобными и задерживали обработку данных.
Недавно в HDInsight появилась функция автомасштабирования, которая масштабирует вычислительные ресурсы кластера в соответствии со спросом. Функция автомасштабирования позволяет масштабировать кластер HDInsight во время пикового спроса и уменьшать масштаб в случае, когда выполняется меньше операций. Эта функция гарантирует, что вы сможете сократить расходы в соответствии со спросом в вашей системе HDInsight.
Следует удалить неиспользуемые кластеры. Вы можете отслеживать кластер HDInsight с помощью Apache Ambari или Azure Monitor для поиска неиспользуемых кластеров.