Machine Learning - Değerlendirme

  • Makale

Önemli

Machine Learning Stüdyosu (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.

1 Aralık 2021'den başlayarak artık yeni Machine Learning Stüdyosu (klasik) kaynakları oluşturamayacaksınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Stüdyosu (klasik) kaynaklarını kullanmaya devam edebilirsiniz.

ML Stüdyosu (klasik) belgeleri kullanımdan kaldırılacak ve gelecekte güncelleştirilmeyecektir.

Bu makalede, makine öğrenmesi modelini değerlendirmek için kullanabileceğiniz Machine Learning Studio (klasik) modülleri açıklanmaktadır. Model değerlendirmesi , tahminlerin doğruluğunu ölçmek ve modele uygun olup olmadığını değerlendirmek için eğitim tamamlandıktan sonra gerçekleştirilir.

Not

Şunlar için geçerlidir: yalnızca Machine Learning Studio (klasik)

Benzer sürükle ve bırak modülleri de Azure Machine Learning tasarımcısında kullanılabilir.

Bu makalede model oluşturma, eğitim, değerlendirme ve puanlama için Machine Learning Studio'daki (klasik) genel süreç de açıklanır.

Machine Learning Studio'da makine öğrenmesi modelleri oluşturma ve kullanma (klasik)

Makine öğrenmesi için tipik iş akışı şu aşamaları içerir:

  1. Uygun bir algoritma seçin ve başlangıç seçeneklerini ayarlayın.
  2. Uyumlu verileri kullanarak modeli eğitin.
  3. Modeldeki desenleri temel alan yeni verileri kullanarak tahminler oluşturun.
  4. Tahminlerin doğru olup olmadığını, hata miktarını ve fazla uygunluk olup olmadığını belirlemek için modeli değerlendirin.

Machine Learning Studio (klasik), makine öğrenmesi için esnek, özelleştirilebilir bir çerçeveyi destekler. Bu işlemdeki her görev belirli bir modül türü tarafından gerçekleştirilir. Modül denemenizin geri kalanını bozmadan değiştirilebilir, eklenebilir veya kaldırılabilir.

Mevcut bir modeli değerlendirmek için bu kategorideki modülleri kullanın. Model değerlendirmesi genellikle bir tür sonuç veri kümesi gerektirir. Değerlendirme veri kümeniz yoksa puanlama yaparak sonuçlar oluşturabilirsiniz. Ayrıca bir test veri kümesi veya "temel gerçek" veya bilinen beklenen sonuçları içeren başka bir veri kümesi de kullanabilirsiniz.

Model değerlendirmesi hakkında daha fazla bilgi

Genel olarak, bir modeli değerlendirirken seçenekleriniz değerlendirdiğiniz modelin türüne ve kullanmak istediğiniz ölçüme bağlıdır. Bu konular en sık kullanılan ölçümlerden bazılarını listeler:

Machine Learning Studio (klasik), kullandığınız modelin türüne ve modelinizin tahminde bulunduğu sınıf sayısına bağlı olarak çeşitli görselleştirmeler de sağlar. Bu görselleştirmeleri bulma konusunda yardım için bkz. Değerlendirme ölçümlerini görüntüleme.

Bu istatistiklerin yorumlanması genellikle modelin eğitildiği algoritmanın daha iyi anlaşılmasını gerektirir. Modelin nasıl değerlendirildiğinin ve her ölçü için döndürülen değerlerin nasıl yorumlandığının iyi bir açıklaması için bkz. Machine Learning model performansını değerlendirme.

Modüllerin listesi

Machine Learning - Değerlendirme kategorisi aşağıdaki modülleri içerir:

  • Modeli Çapraz Doğrulama: Verileri bölümleyerek sınıflandırma veya regresyon modelleri için parametre tahminlerini çapraz doğrular.

    Eğitim kümenizin ve modelin geçerliliğini test etmek istiyorsanız Modeli Çapraz Doğrulama modülünü kullanın. Çapraz doğrulama, verileri katlamalara böler ve ardından katlama kombinasyonları üzerinde birden çok modeli test eder.

  • Modeli Değerlendirme: Standart ölçümleri kullanarak puanlanmış sınıflandırma veya regresyon modelini değerlendirir.

    Çoğu durumda genel Modeli Değerlendirme modülünü kullanırsınız. Modeliniz desteklenen sınıflandırma veya regresyon algoritmalarından birini temel alıyorsa bu durum özellikle geçerlidir.

  • Önereni Değerlendir: Önerilen model tahminlerinin doğruluğunu değerlendirir.

    Öneri modelleri için Önerileni Değerlendir modülünü kullanın.

  • Kümeleme modelleri için Kümelere Veri Atama modülünü kullanın. Ardından değerlendirme sonuçlarını görmek için bu modüldeki görselleştirmeleri kullanın.
  • Özel değerlendirme ölçümleri oluşturabilirsiniz. Özel değerlendirme ölçümleri oluşturmak için R Betiği Yürütme modülünde R kodu veya Python Betiği Yürütme modülünde Python kodu sağlayın. Açık kaynak kitaplıklarının bir parçası olarak yayımlanan ölçümleri kullanmak istiyorsanız veya model doğruluğunu ölçmek için kendi ölçümünüzü tasarlamak istiyorsanız bu seçenek kullanışlıdır.

Örnekler

Makine öğrenmesi modeli değerlendirmesinin sonuçlarını yorumlamak bir sanattır. Verilere ve iş sorunlarına ek olarak matematiksel sonuçların anlaşılmasını gerektirir. Sonuçların farklı senaryolarda nasıl yorumlandığının açıklaması için bu makaleleri gözden geçirmenizi öneririz:

Teknik notlar

Bu bölüm uygulama ayrıntılarını, ipuçlarını ve sık sorulan soruların yanıtlarını içerir.

Değerlendirme ölçümlerini görüntüleme

Her model türünün ölçüm grafiklerini bulmak için Machine Learning Studio'da (klasik) nereye bakacağınızı öğrenin.

İki sınıflı sınıflandırma modelleri

İkili sınıflandırma modelleri için varsayılan görünüm, etkileşimli bir ROC grafiği ve asıl ölçümler için bir değer tablosu içerir.

An interactive ROC chart and a table of values for the principal metrics in binary classification models

İkili sınıflandırma modellerini görüntülemek için iki seçeneğiniz vardır:

  • Modül çıkışına sağ tıklayın ve ardından Görselleştir'i seçin.
  • Modüle sağ tıklayın, Değerlendirme sonuçları'nı ve ardından Görselleştir'i seçin.

Olasılık Eşiği değerini değiştirmek için kaydırıcıyı da kullanabilirsiniz. Eşik, bir sonucun doğru olarak kabul edilip edilmeyeceğini belirler. Ardından bu değerlerin nasıl değiştiğini görebilirsiniz.

Çok sınıflı sınıflandırma modelleri

Çok sınıflı sınıflandırma modelleri için varsayılan ölçümler görünümü, tüm sınıflar için bir karışıklık matrisi ve modelin tamamı için bir ölçüm kümesi içerir.

Çok sınıflı sınıflandırma modellerini görüntülemek için iki seçeneğiniz vardır:

  • Modül çıkışına sağ tıklayın ve ardından Görselleştir'i seçin.
  • Modüle sağ tıklayın, Değerlendirme sonuçları'nı ve ardından Görselleştir'i seçin.

Kolaylık olması için, yan yana gösterilen iki sonuç şunlardır:

Metrics table and Confusion Matrix for multiclass classification models

Regresyon modelleri

Regresyon modellerinin ölçüm görünümü, oluşturduğunuz modelin türüne bağlı olarak değişir. Ölçümler görünümü, temel alınan algoritma arabirimlerini ve model ölçümleri için en uygun olanını temel alır.

Regresyon modellerini görüntülemek için iki seçeneğiniz vardır:

  • Bir tablodaki doğruluk ölçümlerini görüntülemek için Modeli Değerlendir modülünün çıkışına sağ tıklayıp Görselleştir'i seçin.
  • Değerleri içeren bir hata histogramını görüntülemek için modüle sağ tıklayın, Değerlendirme sonuçları'nı ve ardından Görselleştir'i seçin.

Error Histogram and Metrics table for linear regression models

Hata Histogramı görünümü, hatanın nasıl dağıtıldığını anlamanıza yardımcı olabilir. Aşağıdaki model türleri için sağlanır ve kök ortalama hata karesi (RMSE) gibi varsayılan ölçümlerden oluşan bir tablo içerir.

Aşağıdaki regresyon modelleri, bazı özel ölçümlerin yanı sıra varsayılan ölçümleri içeren bir tablo oluşturur:

Verilerle çalışmak için İpuçları

Machine Learning Studio (klasik) kullanıcı arabiriminden kopyalayıp yapıştırmadan sayıları ayıklamak için Machine Learning için yeni PowerShell kitaplığını kullanabilirsiniz. Denemenin tamamı için veya tek tek modüllerden meta verileri ve diğer bilgileri alabilirsiniz.

Modeli Değerlendirme modülünden değerleri ayıklamak için, daha kolay tanımlanması için modüle benzersiz bir açıklama eklemeniz gerekir. Ardından, JSON biçiminde görselleştirmeden ölçümleri ve değerlerini almak için Download-AmlExperimentNodeOutput cmdlet'ini kullanın.

Daha fazla bilgi için bkz. PowerShell kullanarak makine öğrenmesi modelleri oluşturma.

Ayrıca bkz.