Giriş
Sınıflandırma modellerimizi hatalı negatifler ve hatalı pozitifler gibi yaptıkları hata türleri açısından değerlendirebiliriz. Bu, bir modelin yaptığı hata türleri hakkında içgörü sağlayabilir, ancak karar verme ölçütlerinde küçük ayarlamalar yapıldığında modelin nasıl performans gösterebileceği hakkında ayrıntılı bilgi sağlamaz. Burada, karışıklık matrisi fikri üzerine inşa edilen ancak modellerimizi daha iyi geliştirmemize olanak tanıyan daha derin bilgiler sağlayan alıcı operatör özelliği (ROC) eğrilerini ele alacağız.
Senaryo:
Bu modül boyunca, ROC eğrileriyle çalışmayı açıklamak ve alıştırma yapmak için aşağıdaki örnek senaryoyu kullanacağız.
Avalanche-rescue hayır kurumunuz, hafif algılayıcılar tarafından algılanan bir nesnenin yürüyüşçü mü yoksa ağaç veya kaya gibi doğal bir nesne mi olduğunu tahmin eden bir makine öğrenmesi modelini başarıyla oluşturmşu. Bu, dağda kaç kişinin olduğunu takip etmenizi sağlar, böylece bir avalank saldırısı olduğunda bir kurtarma ekibine gerek olup olmadığını bilirsiniz. Model makul ölçüde iyi çalışıyor, ancak iyileştirme için yer olup olmadığını merak ediyorsanız. Dahili olarak, modelin bir nesnenin yürüyüşçü olup olmadığı konusunda ikili bir karar vermesi gerekir, ancak bu olasılıklara bağlıdır. Bu karar alma işlemi performansını artırmak için ayarlanabilir mi?
Önkoşullar
- Makine öğrenmesi modelleri hakkında bilgi
Öğrenme hedefleri
Bu modülde şunları yapacaksınız:
- ROC eğrilerinin nasıl oluşturulacağını anlama.
- Bu eğrileri kullanarak modelleri değerlendirmeyi ve karşılaştırmayı keşfedin.
- ROC eğrilerinde çizilen özellikleri kullanarak modelde ince ayar yapma alıştırması yapın.