Machine Learning Studio'da model sonuçlarını yorumlama (klasik)

ŞUNUN IÇIN GEÇERLIDIR: Machine Learning Studio (klasik) Azure Machine Learning

Önemli

Machine Learning Stüdyosu (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.

1 Aralık 2021'den başlayarak artık yeni Machine Learning Stüdyosu (klasik) kaynakları oluşturamayacaksınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Stüdyosu (klasik) kaynaklarını kullanmaya devam edebilirsiniz.

• Makine öğrenmesi projelerini ML Studio'dan (klasik) Azure Machine Learning'e taşıma hakkındaki bilgilere bakın.
• Azure Machine Learning hakkında daha fazla bilgi edinin

ML Stüdyosu (klasik) belgeleri kullanımdan kaldırılacak ve gelecekte güncelleştirilmeyecektir.

Bu konuda, Machine Learning Studio'da (klasik) tahmin sonuçlarını görselleştirme ve yorumlama açıklanmaktadır. Bir modeli eğitip üzerine tahminler yaptıktan ("modeli puanladıktan") sonra, tahmin sonucunu anlamanız ve yorumlamanız gerekir.

Machine Learning Studio'da (klasik) dört büyük makine öğrenmesi modeli türü vardır:

• Sınıflandırma
• Kümeleme
• Regresyon
• Önerilen sistemler

Bu modellerin üzerinde tahmin için kullanılan modüller şunlardır:

• Sınıflandırma ve regresyon için PuanLama Modeli modülü
• Kümeleme için Kümeler modülüne atama
• Öneri sistemleri için Score Matchbox Recommender

ML Studio'da (klasik) algoritmalarınızı iyileştirmek için parametreleri seçmeyi öğrenin.

Modellerinizi değerlendirmeyi öğrenmek için bkz. Model performansını değerlendirme.

ML Studio'yu (klasik) yeni kullanıyorsanız basit bir deneme oluşturmayı öğrenin.

Sınıflandırma

Sınıflandırma sorunlarının iki alt kategorisi vardır:

• Yalnızca iki sınıfla ilgili sorunlar (iki sınıflı veya ikili sınıflandırma)
• İkiden fazla sınıfla ilgili sorunlar (çok sınıflı sınıflandırma)

Machine Learning Studio 'nun (klasik) bu sınıflandırma türlerinin her biriyle başa çıkmak için farklı modülleri vardır, ancak tahmin sonuçlarını yorumlama yöntemleri benzerdir.

İki sınıflı sınıflandırma

Örnek deneme

İki sınıflı sınıflandırma probleminin bir örneği, iris çiçeklerinin sınıflandırılmasıdır. Görev, iris çiçeklerini özelliklerine göre sınıflandırmaktır. Machine Learning Studio'da (klasik) sağlanan Iris veri kümesi, yalnızca iki çiçek türünün (sınıf 0 ve 1) örneklerini içeren popüler Iris veri kümesinin bir alt kümesidir. Her çiçek için dört özellik vardır (sepal uzunluğu, sepal genişliği, taçyaprağı uzunluğu ve taçyaprağı genişliği).

Şekil 1. Iris iki sınıflı sınıflandırma sorunu denemesi

Şekil 1'de gösterildiği gibi bu sorunu çözmek için bir deneme gerçekleştirildi. İki sınıflık bir artırılmış karar ağacı modeli eğitildi ve puanlandı. Şimdi Modeli Puanlama modülünün çıkış bağlantı noktasına ve ardından Görselleştir'e tıklayarak modeli puanlama modülünden tahmin sonuçlarını görselleştirebilirsiniz.

Bu, Şekil 2'de gösterildiği gibi puanlama sonuçlarını getirir.

Şekil 2. İki sınıflı sınıflandırmada puan modeli sonucunu görselleştirme

Sonuç yorumlama

Sonuçlar tablosunda altı sütun vardır. Soldaki dört sütun dört özellik içerir. Doğru iki sütun olan Puanlanmış Etiketler ve Puanlanmış Olasılıklar, tahmin sonuçlarıdır. Puanlanmış Olasılıklar sütunu, bir çiçeğin pozitif sınıfa ait olma olasılığını gösterir (Sınıf 1). Örneğin, sütundaki ilk sayı (0,028571), ilk çiçeğin Sınıf 1'e ait olma olasılığının 0,028571 olduğu anlamına gelir. Puanlanan Etiketler sütunu her çiçek için tahmin edilen sınıfı gösterir. Bu, Puanlanan Olasılıklar sütununu temel alır. Bir çiçeğin puanlanmış olasılığı 0,5'ten büyükse, Sınıf 1 olarak tahmin edilir. Aksi takdirde, Sınıf 0 olarak tahmin edilir.

Web hizmeti yayını

Tahmin sonuçları anlaşılıp değerlendirildikten sonra deneme bir web hizmeti olarak yayımlanabilir, böylece bunu çeşitli uygulamalarda dağıtabilir ve herhangi bir yeni iris çiçeğinde sınıf tahminleri elde etmek için çağırabilirsiniz. Eğitim denemesini puanlama denemesine dönüştürmeyi ve web hizmeti olarak yayımlamayı öğrenmek için bkz . Öğretici 3: Kredi riski modelini dağıtma. Bu yordam, Şekil 3'te gösterildiği gibi bir puanlama denemesi sağlar.

Şekil 3. İki sınıflı iris sınıflandırma sorunu denemesini puanlama

Şimdi web hizmeti için giriş ve çıkışı ayarlamanız gerekir. Giriş, Iris çiçek özellikleri girişi olan Modeli Puanla'nın doğru giriş bağlantı noktasıdır. Çıkışın seçimi, tahmin edilen sınıfla (puanlanan etiket), puanlanmış olasılıkla mı yoksa her ikisiyle mi ilgilendiğinize bağlıdır. Bu örnekte, her ikisini de ilgilendiğiniz varsayılır. İstediğiniz çıkış sütunlarını seçmek için Veri kümesindeki Sütunları Seçme modülünü kullanın. Veri kümesinde Sütunları Seç'e tıklayın, Sütun seçiciyi başlat'a tıklayın ve Puanlanmış Etiketler ve Puanlanmış Olasılıklar'ı seçin. Veri kümesindeki Sütunları Seç'in çıkış bağlantı noktasını ayarladıktan ve yeniden çalıştırdıktan sonra, WEB HİzMETİ YAYIMLA'ya tıklayarak puanlama denemesini web hizmeti olarak yayımlamaya hazır olmanız gerekir. Son deneme Şekil 4'e benzer.

Şekil 4. İki sınıflı bir iris sınıflandırma sorununun son puanlama denemesi

Web hizmetini çalıştırdıktan ve bir test örneğinin bazı özellik değerlerini girdikten sonra sonuç iki sayı döndürür. İlk sayı puanlanan etiket, ikinci sayı ise puanlanmış olasılıktır. Bu çiçek, 0,9655 olasılığıyla Sınıf 1 olarak tahmin edilir.

Şekil 5. iris iki sınıflı sınıflandırmanın web hizmeti sonucu

Çok sınıflı sınıflandırma

Örnek deneme

Bu denemede, çok sınıflı sınıflandırma örneği olarak bir harf tanıma görevi gerçekleştirirsiniz. Sınıflandırıcı, el ile yazılan görüntülerden ayıklanan bazı el yazısı öznitelik değerlerini temel alarak belirli bir %28class%29 harfini tahmin etmeye çalışır.

Eğitim verilerinde elle yazılmış mektup görüntülerinden ayıklanan 16 özellik vardır. 26 harf 26 sınıfımızı oluşturuyor. Şekil 6'da harf tanıma için çok sınıflı sınıflandırma modelini eğitecek ve test veri kümesinde aynı özellik kümesi üzerinde tahminde bulunan bir deneme gösterilmektedir.

Şekil 6. Harf tanıma çok sınıflı sınıflandırma sorunu denemesi

Modeli Puanlama modülünün çıkış bağlantı noktasına ve ardından Görselleştir'e tıklayarak Modeli Puanlama modülündeki sonuçları görselleştirdiğinizde, şekil 7'de gösterildiği gibi içeriği görmeniz gerekir.

Şekil 7. Puan modelinin sonuçlarını çok sınıflı sınıflandırmayla görselleştirme

Sonuç yorumlama

Soldaki 16 sütun, test kümesinin özellik değerlerini temsil eder. "XX" Sınıfı için Puanlanmış Olasılıklar gibi adlara sahip sütunlar, iki sınıflı örnekteki Puanlanmış Olasılıklar sütununa benzer. Karşılık gelen girişin belirli bir sınıfa denk gelme olasılığını gösterir. Örneğin, ilk giriş için 0,003571 "A", 0,000451 "B" olma olasılığı vb. vardır. Son sütun (Puanlanan Etiketler), iki sınıflı büyük/küçük harfteki Puanlanmış Etiketler ile aynıdır. İlgili girişin tahmin edilen sınıfı olarak en büyük puanlanmış olasılığı olan sınıfı seçer. Örneğin, ilk giriş için puanlanan etiket "F" olur çünkü en büyük olasılıkla "F" (0,916995).

Web hizmeti yayını

Ayrıca her giriş için puanlanan etiketi ve puanlanan etiketin olasılığını da alabilirsiniz. Temel mantık, puanlanan tüm olasılıklar arasında en büyük olasılığı bulmaktır. Bunu yapmak için R Betiği Yürütme modülünü kullanmanız gerekir. R kodu Şekil 8'de, denemenin sonucu da Şekil 9'da gösterilir.

Şekil 8. Puanlanan Etiketleri ayıklamak için R kodu ve etiketlerin ilişkili olasılıkları

Şekil 9. Harf tanıma çok sınıflı sınıflandırma sorununun son puanlama denemesi

Web hizmetini yayımlayıp çalıştırdıktan ve bazı giriş özelliği değerlerini girdikten sonra döndürülen sonuç Şekil 10'a benzer. Ayıklanan 16 özelliğe sahip bu el yazısı harfinin 0,9715 olasılıklı bir "T" olduğu tahmin edilir.

Şekil 10. Çok sınıflı sınıflandırmanın web hizmeti sonucu

Regresyon

Regresyon sorunları sınıflandırma sorunlarından farklıdır. Sınıflandırma sorununda iris çiçeğinin ait olduğu sınıf gibi ayrık sınıfları tahmin etmeye çalışıyorsunuz. Ancak aşağıdaki regresyon sorunu örneğinde görebileceğiniz gibi, bir arabanın fiyatı gibi sürekli bir değişken tahmin etmeye çalışıyorsunuz.

Örnek deneme

Regresyon örneği olarak otomobil fiyat tahminini kullanın. Bir arabanın fiyatını, yapma, yakıt türü, gövde türü ve sürüş tekerleği gibi özelliklerine göre tahmin etmeye çalışıyorsunuz. Deneme Şekil 11'de gösterilmiştir.

Şekil 11. Otomobil fiyat regresyonu sorunu denemesi

Modeli Puanla modülünü görselleştirerek sonuç Şekil 12'ye benzer.

Şekil 12. Otomobil fiyat tahmini sorunu için puanlama sonucu

Sonuç yorumlama

Puanlanan Etiketler, bu puanlama sonucundaki sonuç sütunudur. Sayılar her araba için tahmin edilen fiyattır.

Web hizmeti yayını

Regresyon denemesini bir web hizmetinde yayımlayabilir ve iki sınıflı sınıflandırma kullanım örneğindeki gibi otomobil fiyat tahmini için çağırabilirsiniz.

Şekil 13. Otomobil fiyat regresyonu sorununun puanlama denemesi

Web hizmeti çalıştırılırken döndürülen sonuç Şekil 14'e benzer. Bu araba için tahmin edilen fiyat 15.085,52 ABD dolarıdır.

Şekil 14. Otomobil fiyat regresyonu sorununun web hizmeti sonucu

Kümeleme

Örnek deneme

Şimdi kümeleme denemesi oluşturmak için Iris veri kümesini yeniden kullanalım. Burada veri kümesindeki sınıf etiketlerini yalnızca özelliklere sahip olacak ve kümeleme için kullanılabilecek şekilde filtreleyebilirsiniz. Bu iris kullanım örneğinde, eğitim işlemi sırasında iki olacak küme sayısını belirtin; bu da çiçekleri iki sınıfa kümeleyebileceğiniz anlamına gelir. Deneme Şekil 15'te gösterilmiştir.

Şekil 15. Iris kümeleme sorunu denemesi

Kümeleme, eğitim veri kümesinin tek başına ground-truth etiketlerine sahip olmaması bakımından sınıflandırmadan farklıdır. Kümeleme, eğitim veri kümesi örneklerini ayrı kümeler halinde gruplandırıyor. Eğitim sürecinde model, özellikleri arasındaki farkları öğrenerek girişleri etiketler. Bundan sonra, eğitilen model gelecekteki girişleri daha fazla sınıflandırmak için kullanılabilir. Kümeleme sorununda ilgilendiğimiz sonucun iki bölümü vardır. birinci bölüm eğitim veri kümesini etiketlemek, ikincisi ise eğitilen modelle yeni bir veri kümesini sınıflandırmaktır.

Sonucun ilk bölümü , Kümeleme Modelini Eğit'in sol çıkış bağlantı noktasına ve ardından Görselleştir'e tıklayarak görselleştirilebilir. Görselleştirme Şekil 16'da gösterilir.

Şekil 16. Eğitim veri kümesi için kümeleme sonucunu görselleştirme

Yeni girdileri eğitilen kümeleme modeliyle kümeleme olan ikinci bölümün sonucu Şekil 17'de gösterilmiştir.

Şekil 17. Kümeleme sonucunu yeni bir veri kümesinde görselleştirme

Sonuç yorumlama

İki parçanın sonuçları farklı deneme aşamalarından kaynaklanıyor olsa da, aynı görünür ve aynı şekilde yorumlanır. İlk dört sütun özelliklerdir. Son sütun olan Atamalar, tahmin sonucudur. Aynı sayıya atanan girişlerin aynı kümede olduğu tahmin edilir, yani benzerlikleri bir şekilde paylaşırlar (bu denemede varsayılan Öklid mesafe ölçümü kullanılır). Küme sayısını 2 olarak belirttiğiniz için Atamalar'daki girdiler 0 veya 1 olarak etiketlenir.

Web hizmeti yayını

Kümeleme denemesini bir web hizmetinde yayımlayabilir ve iki sınıflı sınıflandırma kullanım örneğindeki gibi kümeleme tahminleri için çağırabilirsiniz.

Şekil 18. Bir iris kümeleme sorununun puanlama denemesi

Web hizmetini çalıştırdıktan sonra döndürülen sonuç Şekil 19'a benzer. Bu çiçeğin küme 0'da olduğu tahmin edilir.

Şekil 19. İki sınıflı iris sınıflandırmasının web hizmeti sonucu

Öneren sistem

Örnek deneme

Önerilen sistemler için restoran öneri sorununu örnek olarak kullanabilirsiniz: Müşterilere derecelendirme geçmişine göre restoran önerebilirsiniz. Giriş verileri üç bölümden oluşur:

• Müşterilerden restoran derecelendirmeleri
• Müşteri özellik verileri
• Restoran özellik verileri

Machine Learning Studio'daki (klasik) Matchbox Önerisini Eğit modülüyle yapabileceğimiz birkaç şey vardır:

• Belirli bir kullanıcı ve öğe için derecelendirmeleri tahmin et
• Belirli bir kullanıcıya öğe önerme
• Belirli bir kullanıcıyla ilgili kullanıcıları bulma
• Belirli bir öğeyle ilgili öğeleri bulma

Önerilen tahmin türü menüsündeki dört seçenekten birini belirleyerek ne yapmak istediğinizi seçebilirsiniz. Burada dört senaryoya da göz gezdirebilirsiniz.

Önerilen bir sistem için tipik bir Machine Learning Studio (klasik) denemesi Şekil 20'ye benzer. Bu önerilen sistem modüllerini kullanma hakkında bilgi için bkz. Eşleştirme kutusu önerisini eğit veEşleştirme kutusu önerisini puanla.

Şekil 20. Önerilen sistem denemesi

Sonuç yorumlama

Belirli bir kullanıcı ve öğe için derecelendirmeleri tahmin et

Önerilen tahmin türü altında Derecelendirme Tahmini'ni seçerek, önerilen sistemden belirli bir kullanıcı ve öğe için derecelendirmeyi tahmin etmelerini istiyorsunuz. Puan Eşleştirme Kutusu Önericisi çıkışının görselleştirmesi Şekil 21'e benzer.

Şekil 21. Önerilen sistemin puan sonucunu görselleştirme--derecelendirme tahmini

İlk iki sütun, giriş verileri tarafından sağlanan kullanıcı öğesi çiftleridir. Üçüncü sütun, bir kullanıcının belirli bir öğe için tahmin edilen derecelendirmesidir. Örneğin, ilk satırda müşteri U1048'in restoran 135026 2 olarak derecelendireceği tahmin edilir.

Belirli bir kullanıcıya öğe önerme

Önerilen tahmin türü altında Öğe Önerisi'ni seçerek, önerilen sistemden belirli bir kullanıcıya öğe önermesini istiyorsunuz. Bu senaryoda seçebileceğiniz son parametre Önerilen öğe seçimidir. Derecelendirilmiş Öğelerden seçeneği (model değerlendirmesi için) öncelikle eğitim sürecinde model değerlendirmesi içindir. Bu tahmin aşaması için Tüm Öğelerden'i seçiyoruz. Score Matchbox Recommender çıkışının görselleştirmesi Şekil 22'ye benzer.

Şekil 22. Önerilen sistemin puan sonucunu görselleştirme--öğe önerisi

Altı sütundan ilki, giriş verileri tarafından sağlanan öğeleri önermek için verilen kullanıcı kimliklerini temsil eder. Diğer beş sütun, kullanıcıya önerilen öğeleri azalan ilgi sırasına göre temsil ediyor. Örneğin, ilk satırda U1048 müşterisi için en çok önerilen restoran 134986 ve ardından 135018, 134975, 135021 ve 132862.

Belirli bir kullanıcıyla ilgili kullanıcıları bulma

Önerilen tahmin türü altında İlgili Kullanıcılar'ı seçerek, önerilen sistemden belirli bir kullanıcıyla ilgili kullanıcıları bulmasını istiyorsunuz. İlgili kullanıcılar, benzer tercihlere sahip olan kullanıcılardır. Bu senaryoda seçebileceğiniz son parametre İlgili kullanıcı seçimidir. Öğeleri Derecelendiren Kullanıcılardan seçeneği (model değerlendirmesi için) öncelikle eğitim sürecinde model değerlendirmesi içindir. Bu tahmin aşaması için Tüm Kullanıcılardan'ı seçin. Puan Eşleştirme Kutusu Önericisi çıkışının görselleştirmesi Şekil 23'e benzer.

Şekil 23. Önerilen sistemin puan sonuçlarını görselleştirme--ilgili kullanıcılar

Altı sütunun ilki, giriş verileri tarafından sağlanan ilgili kullanıcıları bulmak için gereken belirli kullanıcı kimliklerini gösterir. Diğer beş sütun, kullanıcının tahmin edilen ilgili kullanıcılarını azalan ilgi sırasına göre depolar. Örneğin, ilk satırda U1048 müşterisi için en uygun müşteri U1051'dir ve bunu U1066, U1044, U1017 ve U1072 izler.

Belirli bir öğeyle ilgili öğeleri bulma

Önerilen tahmin türü altında İlgili Öğeler'i seçerek, önerilen sistemden belirli bir öğeyle ilgili öğeleri bulmasını istiyorsunuz. İlgili öğeler, büyük olasılıkla aynı kullanıcı tarafından beğenilecek öğelerdir. Bu senaryoda seçebileceğiniz son parametre İlgili öğe seçimidir. Derecelendirilmiş Öğelerden seçeneği (model değerlendirmesi için) öncelikle eğitim sürecinde model değerlendirmesi içindir. Bu tahmin aşaması için Tüm Öğelerden'i seçiyoruz. Puan Eşleştirme Kutusu Önericisi çıkışının görselleştirmesi Şekil 24'e benzer.

Şekil 24. Önerilen sistemin puan sonuçlarını görselleştirme--ilgili öğeler

Altı sütunun ilki, giriş verileri tarafından sağlanan ilgili öğeleri bulmak için gereken belirli öğe kimliklerini temsil eder. Diğer beş sütunda öğenin tahmini ilgili öğeleri ilgi açısından azalan sırada depolanır. Örneğin, ilk satırda, öğe 135026 için en uygun öğe 135074 ve ardından 135035, 132875, 135055 ve 134992.

Web hizmeti yayını

Tahminleri almak için bu denemeleri web hizmetleri olarak yayımlama işlemi, dört senaryonun her birinde benzerdir. Burada örnek olarak ikinci senaryoyu (belirli bir kullanıcıya öğe önerme) ele alacağız. Diğer üçüyle aynı yordamı izleyebilirsiniz.

Eğitilen önerilen sistemi eğitilmiş bir model olarak kaydedip giriş verilerini istenen şekilde tek bir kullanıcı kimliği sütununa filtreleyerek, denemeyi Şekil 25'te olduğu gibi bağlayabilir ve bir web hizmeti olarak yayımlayabilirsiniz.

Şekil 25. Restoran öneri sorununun puanlama deneyi

Web hizmeti çalıştırılırken döndürülen sonuç Şekil 26'ya benzer. U1048 kullanıcısı için önerilen beş restoran 134986, 135018, 134975, 135021 ve 132862.

Şekil 26. Restoran öneri sorununun web hizmeti sonucu