Vowpal Wabbit Sürüm 7-4 Modelini Eğitin

Vowpal Wabbit makine öğrenmesi sisteminin 7-4. sürümünü kullanarak model eğitiyor

Kategori: Metin Analizi

Not

Uygulama hedefi: Machine Learning Studio (klasik)

Bu içerik yalnızca Studio (klasik) ile ilgilidir. Benzer sürükle ve bırak modülleri Azure Machine Learning tasarımcısına eklenmiştir. Bu makalede iki sürümü karşılaştırandaha fazla bilgi edinin.

Modüle genel bakış

Bu makalede, Vowpal Wabbit örneği kullanarak bir makine öğrenmesi modeli oluşturmak için Azure Machine Learning Studio'daki (klasik) Vowpal Wabbit Sürüm 7-4'ü Eğitin modülünün nasıl kullanımı açıklanmıştır (sürüm 7-4).

Makine öğrenmesi için Vowpal Wabbit kullanmak üzere girişlerinizi Vowpal Wabbit gereksinimlerine göre biçimlendirin ve verileri bir Azure blob'a kaydedin. Vowpal Wabbit komut satırı bağımsız değişkenlerini belirtmek için bu modülü kullanın.

Deneme çalıştır yüklendiğinde, belirtilen verilerle birlikte deneme çalışma zamanında Bir Vowpal Wabbit örneği yüklenir. Eğitim tamamlandığında model çalışma alanına geri seri hale getirilecek. Verileri puan almak için modeli hemen kullanabilirsiniz. Eğitilen model, daha sonra eğitim verilerini yeniden işlemeye gerek kalmadan kullanabileceğiniz şekilde Azure depolamada da kalıcıdır.

Mevcut bir modeli yeni verilerde artımlı olarak eğitmek için, kaydedilmiş bir modeli Önceden eğitilmiş model girişine bağlama ve yeni verileri diğer girişe ekleme.

Not

Azure Machine Learning Studio (klasik), Vowpal Wabbit çerçevesinin birden çok sürümünü barındırr. Bu modülde Vowpal Wabbit'in 7-4 sürümü kullanılır. Bu modülü kullanarak bir model oluşturmanız gerekirse ilgili puanlama modülünü kullansanız gerekir: Score Vowpal Wabbit 7-4 Model.

En son sürüm için Vowpal Wabbit Sürüm 8Modelini Eğitin ve puanlama modülü olan Score Vowpal Wabbit 8 Model 'i kullanın.

Vowpal Wabbit nedir?

Vowpal Wabbit (VW), Yahoo! tarafından dağıtılmış bilgi işlem için geliştirilmiş hızlı ve paralel bir makine öğrenmesi çerçevesidir! Araştır. Daha sonra Windows 'a ve paralel mimarilerde bilimsel bilgi işlem için John Langford (Microsoft Research) tarafından uyarlanmıştır.

Machine Learning için önemli olan Vowpal Wabbit özellikleri, sürekli öğrenme (çevrimiçi öğrenme), boyutlılık azaltma ve etkileşimli öğrenimi içerir. Vowpal Wabbit, model verilerini belleğe sığdırmadığında bir sorun için de çözümdür.

Azure Machine Learning 'de Vowpal Wabbit 'in birincil kullanıcıları, daha önce çerçevesini sınıflandırma, regresyon, konu modelleme veya matris oluşturma gibi makine öğrenimi görevleri için kullanmış olan veri Bilimleridir. Vowpal Wabbit için Azure sarmalayıcı, şirket içi sürüme çok benzer performans özelliklerine sahiptir, bu da kullanıcıların, eğitilen bir hizmet olarak eğitilen bir hizmet olarak kolayca yayımlayabilme olanağı tanılarken, Vowpal

Özellik karma modülü, Vowpal Wabbit tarafından sunulan işlevleri de içerir. Bu, metin veri kümelerini karma algoritma kullanarak ikili özelliklere dönüştürmenizi sağlar.

Vowpal Wabbit sürüm 8 modelini yapılandırma

Bu bölümde, yeni bir modelin nasıl eğiteyapılacağı ve var olan bir modele yeni verilerin nasıl ekleneceği açıklanmaktadır.

Studio 'daki diğer modüllerin aksine (klasik), bu modül her ikisi de modül parametrelerini belirtir ve modeli tradük. Mevcut bir modeliniz varsa, modeli artımlı olarak eğitebilmeniz için isteğe bağlı bir giriş olarak ekleyebilirsiniz.

Bu modülün kullanılması için bir Azure depolama hesabına yönelik kimlik doğrulaması gerekir.

Giriş verilerini hazırlama

Bu modülü kullanarak bir modeli eğitebilmeniz için, giriş veri kümesinin desteklenen iki biçimden birindeki tek bir metin sütunundan oluşması gerekir: Libsvm veya VW. Bu, Vowpal Wabbit'in yalnızca metin verilerini analiz etme, yalnızca özelliklerin ve değerlerin gerekli metin dosyası biçiminde hazır olması anlamına değildir.

Verilerin Azure depolamadan okunmaları gerekir. Biçim bazı ek değişiklikler gerektirdiği için, Giriş dosyasını Vowpal Wabbit ile kullanmak üzere doğrudan Azure'a kaydetmek için Verileri Dışarı Aktar'ı kullanmak mümkün değildir. Verilerin doğru biçimde olduğundan emin olun ve ardından verileri Azure blob depolamaya yükleyin.

Ancak kısayol olarak Convert to SVMLight modülünü kullanarak bir SVMLight biçim dosyası oluşturabilirsiniz. Daha sonra SVMLight biçim dosyasını Azure blob depolamaya yükleyebilir ve giriş olarak kullanabilir veya dosyayı Vowpal Wabbit giriş dosyası gereksinimlerine uygun şekilde değiştirebilirsiniz.

Vowpal Wabbit veri biçimi, seyrek verilerle uğraşan alandan tasarruf etmek için sütunlu bir biçim gerektirmeyen bir avantaja sahiptir. Bu biçim hakkında daha fazla bilgi için Vowpal Wabbit wiki sayfasına bakın.

Vowpal Wabbit modeli oluşturma ve eğitma

  1. Train Vowpal Wabbit Version 7-4 modülünü denemenize ekleyin.

  2. Eğitim verisi depolandığı hesabı belirtin. Eğitilen model ve karma dosyası aynı konumda depolanır.

    • Azure depolama hesabı adı için Azure depolama hesabının adını yazın.

    • Azure depolama anahtarı için, depolama hesabına erişmek için sağlanan anahtarı kopyalayıp yapıştırın,

    Anahtarınız yoksa bkz. Depolama erişim anahtarlarını yeniden oluşturma

  3. Azure kapsayıcı adı için, model eğitim verisi depolandığı belirtilen Azure depolama hesabına tek bir kapsayıcının adını yazın. Hesap adını veya protokol ön eklerini yazmayın.

    Örneğin, tam kapsayıcı yolu ve adı https://myaccount.blob.core.windows.net/vwmodels ise, yalnızca yazmalı. vwmodels Kapsayıcı adları hakkında daha fazla bilgi için bkz. Kapsayıcıları, Blobları ve MetaVerileri Adlandırma ve Başvuru.

  4. VW bağımsız değişkenleri metin kutusuna Vowpal Wabbit yürütülebilir dosyası için komut satırı bağımsız değişkenlerini yazın.

    Örneğin, –l öğrenme hızını belirtmek için veya karma bitlerin sayısını belirtmek için ekleyebilirsiniz -b .

    Daha fazla bilgi için Parametreler bölümüne bakın.

  5. GIRIŞ VW dosyasının adı: giriş verilerini içeren dosyanın adını yazın. Dosya, Azure Blob depolama alanında, daha önce belirtilen depolama hesabında ve kapsayıcıda bulunan mevcut bir dosya olmalıdır. Dosya desteklenen biçimlerden biri kullanılarak hazırlanmalıdır.

  6. Çıkış okunabilir modelinin adı (--readable_model) dosyası: eğitilen modelin kaydedileceği dosyanın adını yazın. Dosya, giriş dosyası ile aynı depolama hesabı ve kapsayıcı içinde kaydedilmelidir.

    Bu bağımsız değişken, --readable_model VW komut satırındaki parametresine karşılık gelir.

  7. Ters çevrilen karma karma Işlevinin adı (--invert_hash) dosyası: ters karma işlevin kaydedileceği dosyanın adını yazın. Dosya, giriş dosyası ile aynı depolama hesabı ve kapsayıcı içinde kaydedilmelidir.

    Bu bağımsız değişken, --invert_hash VW komut satırındaki parametresine karşılık gelir.

  8. Lütfen dosya türünü belirtin: eğitim verilerinizin hangi biçimde kullanacağını belirtin. Vowpal Wabbit, bu iki giriş dosyası biçimini destekler:

    • VW , Vowpal Wabbit tarafından kullanılan iç biçimi temsil eder.

    • Svmlight , bazı diğer makine öğrenimi araçları tarafından kullanılan bir biçimdir.

  9. Denemeyi her yeniden yeniden başlattığınızda verileri depolamadan yüklemek istemiyorsanız, önbelleğe alınmış sonuçları kullanın seçeneğini belirleyin. Başka hiçbir parametrenin değişmediğinden ve geçerli bir önbelleğin bulunamadığı varsayılarak, Studio (klasik) verilerin önbelleğe alınmış bir sürümünü kullanır.

    Bu seçenek işaretli değilse, modül verileri her zaman depolamadan okur.

  10. Denemeyi çalıştırın.

  11. Model oluşturulduktan sonra, daha sonra modeli yeniden kullanabilmek ve yeniden eğitmeniz için Vowpal Wabbit sürüm 7-4 ' i eğitme çıktısına sağ tıklayın ve eğitilen model olarak kaydet' i seçin.

Mevcut bir Vowpal Wabbit modelini yeniden eğitme

Vowpal Wabbit, mevcut modele yeni veriler ekleyerek artımlı eğitimi destekler. Mevcut bir modeli yeniden eğitim için almak için iki yol vardır:

  • Aynı denemede başka bir Train Vowpal Wabbit Sürüm 7-4 modülünün çıkışını kullanın.

  • Studio'nun (klasik) sol gezinti bölmesindeki Eğitilen Modeller grubunda kayıtlı bir modeli bulun ve denemenize sürükleyin.

  1. Train Vowpal Wabbit Version 7-4 modülünü denemenize ekleyin.

  2. Önceden eğitilmiş modeli Train Vowpal Wabbit Version 7-4 'in giriş bağlantı noktasına bağlama.

  3. Vowpal Wabbit Sürüm 7-4'ü Eğitin'in Özellikler bölmesinde, yeni eğitim verisi konumunu ve biçimini belirtin.

  4. İnsan tarafından okunabilir model çıkış dosyası için bir ad ve güncelleştirilmiş modelle ilişkili karma dosya için başka bir ad belirtin.

    Not

    Belirtilen konumda mevcut bir Vowpal Wabbit modeli veya karma dosyası varsa, yeni eğitilen model tarafından dosyaların üzerine sessizce yazılır. Yeniden eğitilen ara modelleri korumak için depolama konumunu değiştirmeli veya model dosyalarının yerel bir kopyasını ala çalışmanız gerekir.

  5. Denemeyi çalıştırın.

  6. Güncelleştirilmiş modeli çalışma alanınıza kaydetmek için modüle sağ tıklayın ve Eğitilmiş Model Olarak Kaydet'Azure Machine Learning seçin. Yeni bir ad belirtmezseniz, güncelleştirilmiş model mevcut kayıtlı modelin üzerine yazacak.

Örnekler

Vowpal Wabbit'in makine öğrenmesinde nasıl kullanılabuzla ilgili örnekler için bkz. Azure Yapay Zeka Galerisi:

  • Vowpal Wabbit örneği

    Bu denemede bir VW modelinin veri hazırlama, eğitim ve operasyonel hale nasıl hazır hale geldi?

Ayrıca şu kaynaklara bakın:

Teknik notlar

Bu bölümde uygulama ayrıntıları, ipuçları ve sık sorulan soruların yanıtları yer almaktadır.

Vowpal Wabbit avantajları

Vowpal Wabbit, n-gram gibi doğrusal olmayan özellikler üzerinde son derece hızlı öğrenme sağlar.

Vowpal Wabbit, tek seferde bir modele bir kayıt olmak için Stokastik gradyan (SGD) gibi çevrimiçi öğrenme teknikleri kullanır. Böylece ham verileri çok hızlı bir şekilde yineler ve diğer modellerden daha hızlı bir tahmin geliştirebilir. Bu yaklaşım ayrıca tüm eğitim verilerini belleğe okumak zorunda kalmaktan kaçınır.

Vowpal Wabbit, yalnızca metin verileri değil diğer kategorik değişkenler değil, tüm verileri karmaya dönüştürür. Karma kullanımı, regresyon ağırlıklarını, etkin Stokastik gradyan açısından kritik olan bir şekilde daha verimli hale getirir.

Eğitim sırasında modül, Azure için geliştirilmiş bir Vowpal Wabbit sarmalayıcısına çağrı yapar. Eğitim verileri, hesaplamalar ve mağaza yürüten çalışan rolleri arasındaki yüksek bant genişliğinden yararlanarak Azure 'daki bloklara indirilir. Elde edilen model, VW tarafından gerçekleştirilen dahili sıkıştırma nedeniyle genellikle çok daha kısa olur. Model, Azure Machine Learning diğer modeller gibi kullanılabilecek deneme çalışma alanına geri kopyalanır.

Desteklenen ve desteklenmeyen parametreler

Azure Machine Learning Studio (klasik) içinde aşağıdaki komut satırı bağımsız değişkenlerini kullanamazsınız.

  • İçinde belirtilen giriş/çıkış seçenekleri https://github.com/JohnLangford/vowpal_wabbit/wiki/Command-line-arguments

    Bu özellikler modül tarafından zaten otomatik olarak yapılandırılmıştır.

  • Ayrıca, birden çok çıkış üreten veya birden çok giriş alan herhangi bir seçeneğe izin verilmez. Bunlar --cbt , --lda ve içerir --wap .

  • Yalnızca denetimli öğrenme algoritmaları desteklenir. Bu nedenle, bu seçenekler desteklenmez: –active , --rank , --search vb.

Yukarıda açıklananlar dışında tüm bağımsız değişkenlere izin verilir.

Bağımsız değişkenlerin tam listesi için Vowpal Wabbit wiki sayfasını kullanın.

Kısıtlamalar

Hizmetin amacı Vowpal Wabbit'in deneyimli kullanıcılarını desteklemek olduğundan, giriş verileri diğer modüller tarafından kullanılan veri kümesi biçimi yerine Vowpal Wabbit yerel metin biçimi kullanılarak önceden hazırlanır.

En yüksek performans ve minimum ayrıştırma yükü için eğitim verileri Azure ML çalışma alanında kullanmak yerine doğrudan Azure'dan akışa alır. Bu nedenle, Azure ML'de VW modülleri ve diğer modüller arasında yalnızca sınırlı birlikte çalışabilirlik vardır.

Modül parametreleri

Name Aralık Tür Varsayılan Description
Azure depolama hesabı adı herhangi biri Dize yok Azure depolama hesabı adını yazın
Azure depolama anahtarı herhangi biri Securestring yok Azure depolama anahtarını sağlama
Azure kapsayıcı adı herhangi biri Dize yok Azure kapsayıcı adını yazın
VW bağımsız değişkenleri herhangi biri Dize yok Vowpal Wabbit bağımsız değişkenlerini belirtin.

–f bağımsız değişkeni desteklenmiyor.
Giriş VW dosyasının adı herhangi biri Dize yok Vowpal Wabbit biçiminde bir giriş dosyasının adını belirtin
Çıktı okunabilir model (--readable_model) dosyasının adı herhangi biri Dize Belirtilirse, okunabilir bir modeli Azure kapsayıcıya geri alır.

Bu bağımsız değişken isteğe bağlıdır.
Çıktı ters karma (--invert_hash) dosyasının adı herhangi biri Dize Belirtilmişse, ters karma işlevini içeren bir dosyayı Azure Container 'a geri gönderir.

Bu bağımsız değişken isteğe bağlıdır.
Lütfen dosya türünü belirtin VW

SVMLight
DataType VW Dosya türünün SVMLight biçimini mi yoksa Vowpal Wabbit biçimini mi kullanacağını belirtin.

Çıkışlar

Ad Tür Description
Eğitilen model ILearner arabirimi Eğitilen öğrenici

Özel durumlar

Özel durum Description
Hata 0001 Belirli bir veya daha fazla veri kümesi sütunu bulunamazsa özel durum oluşur.
Hata 0003 Bir veya daha fazla giriş null veya boş olduğunda özel durum oluşur.
Hata 0,0004 Parametre belirli bir değerden küçük veya ona eşitse özel durum oluşur.
Hata 0017 Belirtilen bir veya daha fazla sütunda geçerli modülde desteklenmeyen tür varsa özel durum oluşur.

Studio (klasik) modüllerine özgü hataların listesi için bkz. Machine Learning hata kodları.

API özel durumlarının listesi için bkz. Machine Learning REST API hata kodları.

Ayrıca bkz.

Metin Analizi
Özellik Karması
Adlandırılmış Varlık Tanıma
Vowpal Wabbit 7-4 Modelini Puanla
Vowpal Wabbit Train
A-Z Modül Listesi