Strategi pengoptimalan biaya untuk kluster HDInsight
Langkah pertama dalam pengoptimalan biaya HDInsight adalah memilih jenis kluster yang benar untuk beban kerja yang dilayani. Memilih jenis kluster yang salah dapat menyebabkan waktu pemrosesan lebih lama, dengan lebih banyak komputasi yang digunakan daripada yang dibutuhkan. Hal ini mengakibatkan biaya yang mungkin tidak sesuai dengan aktivitas yang dilakukan dan mungkin berlebihan untuk operasi tersebut.
Sebelumnya, memilih ukuran kluster yang benar juga sama pentingnya untuk memastikan bahwa beban kerja Anda dapat dilayani dengan cepat pada permintaan yang tinggi. Tetapi, memilih ukuran kluster telah diperbaiki. Ukuran kluster tidak dapat diubah tanpa menghentikan kluster dan menyediakannya kembali secara manual dengan ukuran baru. Langkah-langkah ini tidak nyaman dan akan menunda pemrosesan data.
Baru-baru ini, HDInsight telah memperkenalkan fitur penskalaan otomatis yang menskalakan komputasi kluster untuk memenuhi kebutuhan pemrosesan permintaan. Fitur penskalaan otomatis memungkinkan Anda menskalakan kluster HDInsight selama permintaan yang tinggi dan menurunkan skala ketika operasi relatif tenang. Fitur ini memastikan bahwa Anda dapat meminimalkan pengeluaran sesuai dengan permintaan yang dilayani oleh pengaturan HDInsight Anda.
Anda harus menghapus kluster yang tidak digunakan. Anda dapat memantau Kluster HDInsight menggunakan Apache Ambari atau Azure Monitor untuk mengidentifikasi kluster yang tidak digunakan.