Vowpal Wabbit sürüm 8 modelini eğitme

  • Makale

Önemli

Machine Learning Stüdyosu (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.

1 Aralık 2021'den başlayarak artık yeni Machine Learning Stüdyosu (klasik) kaynakları oluşturamayacaksınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Stüdyosu (klasik) kaynaklarını kullanmaya devam edebilirsiniz.

ML Stüdyosu (klasik) belgeleri kullanımdan kaldırılacak ve gelecekte güncelleştirilmeyecektir.

Vowpal Wabbit makine öğrenimi sisteminin 8 sürümünü kullanarak bir modeli Oylar

kategori: Metin Analizi

Not

uygulama hedefi: yalnızca Machine Learning Studio (klasik)

benzer sürükle ve bırak modülleri Azure Machine Learning tasarımcısındakullanılabilir.

Modüle genel bakış

bu makalede, vowpal wabbit (sürüm 8) kullanarak bir makine öğrenimi modeli oluşturmak için Machine Learning Studio 'da (klasik) vowpal wabbit sürüm 8 modülünün nasıl kullanılacağı açıklanır.

Machine Learning için Vowpal Wabbit kullanmak için, girişinizi Vowpal Wabbit gereksinimlerine göre biçimlendirin ve verileri bir Azure Blob 'una kaydedin. Vowpal Wabbit komut satırı bağımsız değişkenlerini belirtmek için bu modülü kullanın.

Deneme çalıştırıldığında, bir Vowpal Wabbit örneği, belirtilen verilerle birlikte deneme çalışma zamanına yüklenir. Eğitim tamamlandığında, model çalışma alanına yeniden serileştirilir. Modeli veri puanlandırmaya hemen kullanabilirsiniz. Eğitilen model Ayrıca, daha sonra eğitim verilerini işlemek zorunda kalmadan kullanabilmeniz için Azure Storage 'da kalıcı hale getirilir.

Mevcut bir modeli yeni verilerde artımlı olarak eğitme, kaydedilmiş bir modeli önceden eğitilen model girişine bağlayın ve yeni verileri diğer girişe ekleyin.

Not

Machine Learning Studio (klasik), vowpal wabbit çerçevesinin birden çok sürümünü barındırır. Bu modül, sürüm 8 olan Vowpal Wabbit çerçevesinin en son sürümünü kullanır. Yeni giriş verilerini öğrenmek için, Vowpal Wabbit sürüm 8 modelinikullanmanız gerekir.

Vowpal Wabbit sürümleri 7-4 veya 7-6: Vowpal wabbit 7-4 modelini eğitme ve vowpal Wabbit 7-4 model Puanlama.

Vowpal Wabbit sürüm 7-10: Vowpal wabbit 7-10 modelini eğitme ve vowpal Wabbit 7-10 modelini Puanlama.

Vowpal Wabbit nedir?

Vowpal Wabbit (VW), Yahoo! tarafından dağıtılmış bilgi işlem için geliştirilen hızlı, paralel bir makine öğrenimi çerçevesidir Araştır. daha sonra, paralel mimarilerde bilimsel bilgi işlem için John langford (Microsoft Research) tarafından Windows ve uyarlanmıştır.

Machine Learning için önemli olan Vowpal Wabbit özellikleri, sürekli öğrenme (çevrimiçi öğrenme), boyutlılık azaltma ve etkileşimli öğrenimi içerir. Vowpal Wabbit, model verilerini belleğe sığdırmadığında bir sorun için de çözümdür.

Vowpal Wabbit 'in birincil kullanıcıları, daha önce çerçevesini sınıflandırma, regresyon, konu modelleme veya matris oluşturma gibi makine öğrenimi görevleri için kullanmış olan veri Bilimleridir. Vowpal Wabbit için Azure sarmalayıcı, şirket içi sürüme çok benzer performans özelliklerine sahiptir, bu nedenle Vowpal Wabbit ' in güçlü özelliklerini ve yerel performansını kullanabilir ve eğitilen modeli bir çalışan hizmet olarak kolayca yayımlayabilirsiniz.

Özellik karma modülü, Vowpal Wabbit tarafından sunulan işlevleri de içerir. Bu, metin veri kümelerini karma algoritma kullanarak ikili özelliklere dönüştürmenizi sağlar.

Vowpal Wabbit sürüm 8 modelini yapılandırma

Bu bölümde, yeni bir modelin nasıl eğiteyapılacağı ve var olan bir modele yeni verilerin nasıl ekleneceği açıklanmaktadır.

Studio 'daki diğer modüllerin aksine (klasik), bu modül her ikisi de modül parametrelerini belirtir ve modeli tradük. Mevcut bir modeliniz varsa, modeli artımlı olarak eğitebilmeniz için isteğe bağlı bir giriş olarak ekleyebilirsiniz.

Bu modülün kullanılması için bir Azure depolama hesabına yönelik kimlik doğrulaması gerekir.

Girdi verilerini hazırlama

Bu modülü kullanarak bir modeli eğitebilmeniz için, giriş veri kümesinin desteklenen iki biçimden birindeki tek bir metin sütunundan oluşması gerekir: Libsvm veya VW. Bu, Vowpal Wabbit yalnızca metin verilerini analiz etmenin, yalnızca özellik ve değerlerin gerekli metin dosyası biçiminde hazırlanmalıdır.

Veriler Azure Storage 'dan okunmalıdır. Biçimlendirme bazı ek değişiklikler gerektirdiğinden, giriş dosyasını Vowpal Wabbit ile kullanılmak üzere Azure 'a doğrudan kaydetmek için verileri dışarı aktarma kullanılması mümkün değildir. Verilerin doğru biçimde olduğundan emin olmanız ve verileri Azure Blob depolama alanına yüklemeniz gerekir.

Ancak, bir kısayol olarak bir SVMLight biçim dosyası oluşturmak için svmlight modülünü Dönüştür ' i kullanabilirsiniz. Daha sonra, SVMLight biçim dosyasını Azure Blob depolama alanına yükleyebilir ve giriş olarak kullanabilir ya da Vowpal Wabbit giriş dosyası gereksinimlerine uymak için dosyayı biraz daha değiştirebilirsiniz.

Vowpal Wabbit veri biçimi, seyrek verilerle ilgilenirken boş alan kaydeden bir sütunlu biçim gerektirmeyen avantajın avantajlarından yararlanır. Bu biçim hakkında daha fazla bilgi için bkz. Vowpal Wabbit wiki sayfası.

Vowpal Wabbit modeli oluşturma ve eğitme

  1. Denemeniz için Vowpal Wabbit sürüm 8 modülünü ekleyin.

  2. Eğitim verilerinin depolandığı hesabı belirtin. Eğitilen model ve karma dosya aynı konumda depolanır.

    • Azure depolama hesabı adıiçin Azure depolama hesabının adını yazın.

    • Azure depolama anahtarıiçin, depolama hesabına erişim için belirtilen anahtarı kopyalayıp yapıştırın.

    Anahtarınız yoksa bkz. depolama erişim anahtarlarını yeniden oluşturma

  3. Azure kapsayıcı adıiçin, model eğitim verilerinin depolandığı belirtilen Azure depolama hesabındaki tek bir kapsayıcının adını yazın. Hesap adı veya herhangi bir protokol ön eki yazmayın.

    Örneğin, tam kapsayıcı yolu ve adı ise https://myaccount.blob.core.windows.net/vwmodels , yalnızca vwmodels yazmalısınız. Kapsayıcı adları hakkında daha fazla bilgi için bkz. kapsayıcıları, Blobları ve meta verileri adlandırma ve başvuru.

  4. VW bağımsız değişkenleri metin kutusunda Vowpal Wabbit yürütülebilir dosyası için komut satırı bağımsız değişkenlerini yazın.

    Örneğin, öğrenme hızını belirtmek için veya -b karma bitlerin sayısını belirtmek için ekleyebilirsiniz –l .

    Daha fazla bilgi için bkz. Vowpal Wabbit parametreleri bölümü.

  5. GIRIŞ VW dosyasının adı: giriş verilerini içeren dosyanın adını yazın. Dosya, Azure Blob depolama alanında, daha önce belirtilen depolama hesabında ve kapsayıcıda bulunan mevcut bir dosya olmalıdır. Dosya desteklenen biçimlerden biri kullanılarak hazırlanmalıdır.

  6. Çıkış okunabilir modelinin adı (--readable_model) dosyası: eğitilen modelin kaydedileceği dosyanın adını yazın. Dosya, giriş dosyası ile aynı depolama hesabı ve kapsayıcı içinde kaydedilmelidir.

    Bu bağımsız değişken, VW komut satırındaki parametresine karşılık gelir --readable_model .

  7. Ters çevrilen karma karma Işlevinin adı (--invert_hash) dosyası: ters karma işlevin kaydedileceği dosyanın adını yazın. Dosya, giriş dosyası ile aynı depolama hesabı ve kapsayıcı içinde kaydedilmelidir.

    Bu bağımsız değişken, VW komut satırındaki parametresine karşılık gelir --invert_hash .

  8. Lütfen dosya türünü belirtin: eğitim verilerinizin hangi biçimde kullanacağını belirtin. Vowpal Wabbit, bu iki giriş dosyası biçimini destekler:

    • VW , Vowpal Wabbit tarafından kullanılan iç biçimi temsil eder. Ayrıntılar için bkz. Vowpal Wabbit wiki sayfası .

    • Svmlight , bazı diğer makine öğrenimi araçları tarafından kullanılan bir biçimdir.

  9. Denemeyi her yeniden yeniden başlattığınızda verileri depolamadan yüklemek istemiyorsanız, önbelleğe alınmış sonuçları kullanınseçeneğini belirleyin. Başka hiçbir parametrenin değişmediğinden ve geçerli bir önbelleğin bulunamadığı varsayılarak, Studio (klasik) verilerin önbelleğe alınmış bir sürümünü kullanır.

    Bu seçenek işaretli değilse, modül verileri her zaman depolamadan okur.

  10. Denemeyi çalıştırın.

  11. Eğitim tamamlandığında, çıktıyı sağ tıklatın ve modeli Studio (klasik) çalışma alanınıza kaydetmek için eğitilen model olarak kaydet ' i seçin.

Mevcut bir Vowpal Wabbit modelini yeniden eğitme

Vowpal Wabbit, mevcut bir modele yeni veri ekleyerek artımlı eğitimi destekler. Yeniden eğitim için mevcut bir modeli almanın iki yolu vardır:

  • Aynı deneyde başka bir tren Vowpal Wabbit sürüm 8 modülünün çıkışını kullanın.

  • Bir kaydedilmiş modeli, Studio 'nun eğitilen modeller grubunun (klasik) sol gezinti bölmesinde bulun ve denemenize sürükleyin.

  1. Denemeniz için Vowpal Wabbit sürüm 8 modülünü ekleyin.

  2. daha önce eğitilen modeli vowpal wabbit sürüm 8' in eğitim giriş bağlantı noktasına Bağlan.

  3. Vowpal Wabbit sürüm 8 ' i eğitmeÖzellikler bölmesinde yeni eğitim verilerinin konumunu ve biçimini belirtin.

  4. İnsan tarafından okunabilen model çıkış dosyası için bir ad ve güncelleştirilmiş modelle ilişkili karma dosya için başka bir ad belirtin.

    Not

    Belirtilen konumda mevcut bir Vowpal Wabbit modeli veya karma dosyası varsa, yeni eğitilen model tarafından dosyaların üzerine sessizce yazılır. Yeniden eğitilen ara modelleri korumak için depolama konumunu değiştirmeli veya model dosyalarının yerel bir kopyasını ala çalışmanız gerekir.

  5. Denemeyi çalıştırın.

  6. Güncelleştirilmiş modeli çalışma alanınıza kaydetmek için modüle sağ tıklayın ve Eğitilmiş Model Olarak Kaydet'Machine Learning seçin. Yeni bir ad belirtmezseniz, güncelleştirilmiş model mevcut kayıtlı modelin üzerine yazacak.

Örnekler

Vowpal Wabbit'in makine öğrenmesinde nasıl kullanılabuzla ilgili örnekler için bkz . Azure Yapay Zeka Galerisi:

  • Vowpal Wabbit örneği

    Bu denemede bir VW modelinin veri hazırlama, eğitim ve operasyonel hale nasıl hazır hale geldi?

Ayrıca şu kaynaklara bakın:

Teknik notlar

Bu bölümde uygulama ayrıntıları, ipuçları ve sık sorulan soruların yanıtları yer almaktadır.

Vowpal Wabbit'in avantajları

Vowpal Wabbit, n-gram gibi doğrusal olmayan özellikler üzerinde son derece hızlı öğrenme sağlar.

Vowpal Wabbit, modele aynı anda tek bir kayıt sığdırmak için stokastik gradyan indüz (SGD) gibi çevrimiçi öğrenme tekniklerini kullanır. Bu nedenle ham veriler üzerinde çok hızlı bir şekilde tekrarlar ve çoğu modele göre daha hızlı iyi bir tahmin geliştirebilir. Bu yaklaşım, tüm eğitim verilerini belleğe okumaktan da kaçınıyor.

Vowpal Wabbit, tüm verileri yalnızca metin verilerine değil, diğer kategorik değişkenlere de dönüştürür. Karmaların kullanımı regresyon ağırlıklarının aramasını daha verimli hale getirir ve bu da etkin stokastik gradyan gerileme için kritik öneme sahip olur.

Eğitim sırasında modül, Azure için geliştirilen bir Vowpal Wabbit sarmalayıcıya çağrı yapar. Eğitim verileri, hesaplamaları yürüten çalışan rolleri ile depo arasındaki yüksek bant genişliği kullanılarak Azure'dan bloklar olarak indirilir ve VW öğrenicilerine akışı ilir. Sonuçta elde edilen model, VW tarafından yapılan iç sıkıştırma nedeniyle genellikle çok küçük olur. Model, deneme çalışma alanına geri kopyalanır ve bu çalışma alanında diğer modeller gibi Machine Learning.

Desteklenen ve desteklenmeyen parametreler

Bu bölümde, Machine Learning Studio'da (klasik) Vowpal Wabbit komut satırı parametreleri desteği açıklanır.

Genel olarak, sınırlı sayıda bağımsız değişkenden başka her şey de desteklene. Bağımsız değişkenlerin tam listesi için Vowpal Wabbit wiki sayfasını kullanın.

Aşağıdaki parametreler için gerekli değildir:

  • içinde belirtilen giriş/çıkış seçenekleri https://github.com/JohnLangford/vowpal_wabbit/wiki/Command-line-arguments

    Bu özellikler modül tarafından otomatik olarak zaten yapılandırılmıştır.

  • Ayrıca, birden çok çıkış oluşturan veya birden çok giriş alan tüm seçeneklere izin verilmiyor. Bunlar , --cbtve --lda'dır --wap.

  • Yalnızca denetimli öğrenme algoritmaları de destekler. Bu nedenle, bu seçenekler desteklenmiyor: –active, --rank, --search vb. ### Kısıtlamaları

Kısıtlamalar

Hizmetin amacı Vowpal Wabbit'in deneyimli kullanıcılarını desteklemek olduğundan, giriş verileri diğer modüller tarafından kullanılan veri kümesi biçimi yerine Vowpal Wabbit yerel metin biçimi kullanılarak önceden hazırlanır.

Eğitim verileri Azure ML çalışma alanında kullanmak yerine, en yüksek performans ve minimum ayrıştırma yükü için doğrudan Azure'dan akışa alır. Bu nedenle VW modülleriyle Azure'daki diğer modüller arasında yalnızca sınırlı birlikte çalışabilirlik ML.

Modül parametreleri

Name Aralık Tür İsteğe Bağlı Varsayılan Description
Dosya türünü belirtin VW

SVMLight		 DataType Gerekli VW Dosya türünün SVMLight mı yoksa Vowpal Wabbit mi olduğunu belirtir.
Azure depolama hesabı adı herhangi biri Dize Gerekli Azure depolama hesabı adını yazın
Azure depolama anahtarı herhangi biri Securestring Gerekli Azure depolama anahtarını sağlama
Azure kapsayıcı adı herhangi biri Dize Gerekli Azure kapsayıcı adını yazın
VW bağımsız değişkenleri herhangi biri Dize İsteğe Bağlı Vowpal Wabbit bağımsız değişkenlerini belirtin. -f' dahil değildir.
Giriş VW dosyasının adı herhangi biri Dize Gerekli Vowpal Wabbit biçiminde bir giriş dosyasının adını belirtin
Çıktı okunabilir model (--readable_model) dosyasının adı herhangi biri Dize İsteğe Bağlı Belirtilirse, okunabilir bir modeli Azure kapsayıcıya geri alır.
Çıktı ters karma (--invert_hash) dosyasının adı Dize Dize İsteğe Bağlı Belirtilirse, ters karma işlevini içeren bir dosyayı Azure kapsayıcıya geri verir.

Çıkışlar

Ad Tür Description
Eğitilen model ILearner arabirimi Eğitilen öğrenciler

Özel durumlar

Özel durum Description
Hata 0001 Belirli bir veya daha fazla veri kümesi sütunu bulunamazsa özel durum oluşur.
Hata 0003 Bir veya daha fazla giriş null veya boş olduğunda özel durum oluşur.
Hata 0,0004 Parametre belirli bir değerden küçük veya ona eşitse özel durum oluşur.
Hata 0017 Belirtilen bir veya daha fazla sütunda geçerli modülde desteklenmeyen tür varsa özel durum oluşur.

Studio (klasik) modüllerine özgü hataların listesi için bkz. Machine Learning hata kodları.

apı özel durumlarının listesi için bkz. Machine Learning REST API hata kodları.

Ayrıca bkz.

Metin Analizi
Özellik Karma
Adlandırılmış Varlık Tanıma
Vowpal Wabbit 7-4 modeli puanı
Vowpal Wabbit sürüm 8 modelini puanedin.
Vowpal Wabbit 7-4 modeline eğitme
A-Z modül listesi