Bagikan melalui

Inferensi dan evaluasi model prakiraan (pratinjau)

  • Artikel

Penting

Fitur ini sedang dalam pratinjau umum. Versi pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan tidak disarankan untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan yang dibatasi.

Untuk informasi lebih lanjut, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.

Artikel ini memperkenalkan konsep yang terkait dengan inferensi model dan evaluasi dalam tugas prakiraan. Instruksi dan contoh untuk model prakiraan pelatihan di AutoML dapat ditemukan di artikel prakiraan AutoML untuk rangkaian waktu kami.

Setelah Anda menggunakan AutoML untuk melatih dan memilih model terbaik, langkah selanjutnya adalah menghasilkan prakiraan dan kemudian, jika memungkinkan, untuk mengevaluasi akurasinya pada set pengujian yang diadakan dari data pelatihan. Untuk melihat cara menyiapkan dan menjalankan evaluasi model prakiraan dalam pembelajaran mesin otomatis, lihat panduan kami tentang komponen inferensi dan evaluasi.

Skenario inferensi

Dalam pembelajaran mesin, inferensi adalah proses menghasilkan prediksi model untuk data baru yang tidak digunakan dalam pelatihan. Ada beberapa cara untuk menghasilkan prediksi dalam prakiraan karena ketergantungan waktu data. Skenario paling sederhana adalah ketika periode inferensi segera mengikuti periode pelatihan dan kami menghasilkan prediksi ke cakrawala prakiraan. Skenario ini diilustrasikan dalam diagram berikut:

Diagram yang menunjukkan prakiraan segera setelah periode pelatihan.

Diagram menunjukkan dua parameter inferensi penting:

  • Panjang konteks, atau jumlah riwayat yang diperlukan model untuk membuat prakiraan,
  • Cakrawala prakiraan, yang seberapa jauh ke depan pada waktu prakiraan dilatih untuk memprediksi.

Model prakiraan biasanya menggunakan beberapa informasi historis, konteksnya, untuk membuat prediksi sebelumnya hingga cakrawala prakiraan. Ketika konteks adalah bagian dari data pelatihan, AutoML menyimpan apa yang diperlukan untuk membuat prakiraan, sehingga tidak perlu memberikannya secara eksplisit.

Ada dua skenario inferensi lain yang lebih rumit:

  • Menghasilkan prediksi lebih jauh ke masa depan daripada cakrawala prakiraan,
  • Mendapatkan prediksi ketika ada kesenjangan antara periode pelatihan dan inferensi.

Kami meninjau kasus-kasus ini di sub-bagian berikut.

Prediksi melewati cakrawala prakiraan: prakiraan rekursif

Ketika Anda membutuhkan prakiraan melewati cakrawala, AutoML menerapkan model secara rekursif selama periode inferensi. Ini berarti bahwa prediksi dari model disalurkan kembali sebagai input untuk menghasilkan prediksi untuk jendela prakiraan berikutnya. Diagram berikut menunjukkan contoh sederhana:

Diagram yang menunjukkan prakiraan rekursif pada set pengujian.

Di sini, kami menghasilkan prakiraan pada periode tiga kali panjang cakrawala dengan menggunakan prediksi dari satu jendela sebagai konteks untuk jendela berikutnya.

Peringatan

Kesalahan pemodelan senyawa prakiraan rekursif, sehingga prediksi menjadi kurang akurat semakin jauh dari cakrawala prakiraan asli. Anda mungkin menemukan model yang lebih akurat dengan berlatih kembali dengan cakrawala yang lebih panjang dalam hal ini.

Prediksi dengan kesenjangan antara periode pelatihan dan inferensi

Misalkan Anda telah melatih model di masa lalu dan Anda ingin menggunakannya untuk membuat prediksi dari pengamatan baru yang belum tersedia selama pelatihan. Dalam hal ini, ada kesenjangan waktu antara periode pelatihan dan inferensi:

Diagram yang menunjukkan prakiraan dengan kesenjangan antara periode pelatihan dan inferensi.

AutoML mendukung skenario inferensi ini, tetapi Anda perlu memberikan data konteks dalam periode kesenjangan, seperti yang ditunjukkan dalam diagram. Data prediksi yang diteruskan ke komponen inferensi membutuhkan nilai untuk fitur dan nilai target yang diamati dalam nilai celah dan hilang atau nilai "NaN" untuk target dalam periode inferensi. Tabel berikut ini memperlihatkan contoh pola ini:

Tabel memperlihatkan contoh data prediksi saat ada kesenjangan antara periode pelatihan dan inferensi.

Di sini, nilai target dan fitur yang diketahui disediakan untuk 2023-05-01 hingga 2023-05-03. Nilai target yang hilang mulai dari 2023-05-04 menunjukkan bahwa periode inferensi dimulai pada tanggal tersebut.

AutoML menggunakan data konteks baru untuk memperbarui lag dan fitur lookback lainnya, dan juga untuk memperbarui model seperti ARIMA yang menjaga status internal. Operasi ini tidak memperbarui atau menyesuaikan kembali parameter model.

Evaluasi model

Evaluasi adalah proses menghasilkan prediksi pada set pengujian yang diadakan dari data pelatihan dan metrik komputasi dari prediksi ini yang memandu keputusan penyebaran model. Dengan demikian, ada mode inferensi yang secara khusus cocok untuk evaluasi model - prakiraan bergulir. Kami meninjaunya di sub-bagian berikut.

Prakiraan bergulir

Prosedur praktik terbaik untuk mengevaluasi model prakiraan adalah menggulung prakiraan terlatih ke depan tepat waktu selama set pengujian, rata-rata metrik kesalahan di beberapa jendela prediksi. Prosedur ini terkadang disebut backtest, tergantung pada konteksnya. Idealnya, set pengujian untuk evaluasi relatif panjang terhadap cakrawala prakiraan model. Perkiraan kesalahan prakiraan mungkin berisik secara statistik dan, oleh karena itu, kurang dapat diandalkan.

Diagram berikut menunjukkan contoh sederhana dengan tiga jendela prakiraan:

Diagram yang menunjukkan prakiraan bergulir pada set pengujian.

Diagram ini menggambarkan tiga parameter evaluasi bergulir:

  • Panjang konteks, atau jumlah riwayat yang diperlukan model untuk membuat prakiraan,
  • Cakrawala prakiraan, yang seberapa jauh ke depan pada waktu prakiraan dilatih untuk memprediksi,
  • Ukuran langkah, yaitu seberapa jauh ke depan pada waktu jendela bergulir maju pada setiap iterasi pada set pengujian.

Yang penting, konteks maju bersama dengan jendela prakiraan. Ini berarti bahwa nilai aktual dari set pengujian digunakan untuk membuat prakiraan ketika berada dalam jendela konteks saat ini. Tanggal terbaru nilai aktual yang digunakan untuk jendela prakiraan tertentu disebut waktu asal jendela. Tabel berikut menunjukkan contoh output dari prakiraan bergulir tiga jendela dengan cakrawala tiga hari dan ukuran langkah satu hari:

Contoh tabel output dari prakiraan bergulir.

Dengan tabel seperti ini, kita dapat memvisualisasikan prakiraan vs. metrik evaluasi aktual dan komputasi yang diinginkan. Alur AutoML dapat menghasilkan prakiraan bergulir pada set pengujian dengan komponen inferensi.

Catatan

Ketika periode pengujian memiliki panjang yang sama dengan cakrawala prakiraan, prakiraan bergulir memberikan satu jendela prakiraan hingga cakrawala.

Metrik evaluasi

Pilihan ringkasan atau metrik evaluasi biasanya didorong oleh skenario bisnis tertentu. Beberapa pilihan umum meliputi yang berikut ini:

  • Plot nilai target yang diamati vs. prakiraan nilai untuk memeriksa apakah dinamika data tertentu ditangkap oleh model,
  • MAPE (rata-rata kesalahan persentase absolut) antara nilai aktual dan prakiraan,
  • RMSE (kesalahan kuadrat rata-rata akar), mungkin dengan normalisasi, antara nilai aktual dan prakiraan,
  • MAE (kesalahan absolut rata-rata), mungkin dengan normalisasi, antara nilai aktual dan prakiraan.

Ada banyak kemungkinan lain, tergantung pada skenario bisnis. Anda mungkin perlu membuat utilitas pasca-pemrosesan Anda sendiri untuk menghitung metrik evaluasi dari hasil inferensi atau prakiraan bergulir. Untuk informasi selengkapnya tentang metrik, lihat bagian artikel metrik regresi dan prakiraan kami.

Langkah berikutnya