Otomatik makine öğrenmesi (AutoML) nedir?

Otomatik makine öğrenmesi veya AutoML ML olarak da adlandırılan otomatik makine öğrenmesi, makine öğrenmesi modeli geliştirmenin zaman alan ve yineli görevlerini otomatikleştirme işlemidir. Veri bilimcilerinin, analistlerin ve geliştiricilerin model kalitesini sürdürürken yüksek ölçek, verimlilik ve üretkenlik ML model oluşturmalarını sağlar. Bu ML otomatik Azure Machine Learning, Microsoft Research bölümümzden gelen bir gelişmeye dayalıdır.

Geleneksel makine öğrenmesi modeli geliştirme süreci yoğun kaynak kullanımına neden olur ve onlarca model üretmek ve karşılaştırmak için önemli bir alan bilgisi ve zaman gerekir. Otomatik makine öğrenmesi sayesinde üretime hazır modellere sahip olmak için gereken ML kolay ve verimli bir şekilde hızlandırabilirsiniz.

Azure Machine Learning'de AutoML kullanmanın Azure Machine Learning

Azure Machine Learning, otomatikleştirilmiş verilerle çalışmak için aşağıdaki iki deneyimi ML. Her deneyimde özellik kullanılabilirliğini anlamak için aşağıdaki bölümlere bakın.

• Kodla deneyimli müşteriler için Python SDK Azure Machine Learning ı kullanın. Kullanmaya başlayın öğretici: Taksi ücretlerini tahmin etmek için otomatik makine öğrenmesi kullanın.

• Sınırlı/kod olmayan deneyim müşterileri için, Azure Machine Learning https://ml.azure.com Studio'da. Kullanmaya başlayın öğreticilerle birlikte:

  • Öğretici: Azure Machine Learning'de otomatikleştirilmiş ML sınıflandırma modeli oluşturma.
  • Öğretici: Otomatik makine öğrenmesi ile talebi tahmin edin

Deneme ayarları

Aşağıdaki ayarlar, otomatikleştirilmiş denemenizi yapılandırmanıza ML sağlar.

Model ayarları

Bu ayarlar, otomatikleştirilmiş denemenizin sonucu olarak en iyi modele ML olabilir.

Denetim ayarlarını çalıştırma

Bu ayarlar, deneme çalıştırmalarınızı ve alt çalıştırmalarınızı gözden geçirmenize ve denetlemenize olanak sağlar.

AutoML ne zaman kullanılır? sınıflandırma, regresyon, görüntü & tahmin

Belirttiğiniz hedef ML kullanarak modeli Azure Machine Learning ve ayarlamayı istediğiniz zaman otomatikleştirilmiş veri uygulama. Otomatik ML makine öğrenmesi modeli geliştirme sürecini demokratikleştirerek veri bilimi uzmanlığı ne olursa olsun kullanıcılarını herhangi bir sorun için 4.00.000 makine öğrenmesi işlem hattı belirleme gücü sağlar.

Farklı sektörlerde veri bilimcileri, analistler ve geliştiriciler otomatik veri ML kullanabilir:

• Kapsamlı ML bilgisine sahip olmayan uygulama çözümleri uygulama
• Zaman ve kaynak tasarrufu
• Veri bilimi için en iyi yöntemlerden faydalanma
• Çevik sorun çözme sağlama

Sınıflandırma

Sınıflandırma yaygın bir makine öğrenmesi görevidir. Sınıflandırma, modellerin eğitim verilerini kullanarak öğrenen ve bu öğrenmeleri yeni verilere uygulayan bir denetimli öğrenme t tlamasıdır. Azure Machine Learning, bu görevler için sınıflandırmaya yönelik derin sinir ağı metin özelleştiricileri gibi özel olarak özel olarak özelleştirmeler sunar. Featurization options hakkında daha fazla bilgi.

Sınıflandırma modellerinin temel amacı, yeni verilerin eğitim verilerinden edinilen bilgilere göre hangi kategorilere gir olacağını tahmin etmektir. Yaygın sınıflandırma örnekleri sahtekarlık algılama, el yazısı tanıma ve nesne algılamadır. Daha fazla bilgi edinmek ve otomatikleştirilmiş verilerle sınıflandırma modeli oluşturma ML.

Şu Python not defterleri içinde sınıflandırma ve otomatik makine öğrenmesi örneklerine bakın: SahtekarlıkAlgılama, Pazarlama Tahminive Sınıflandırma Veri Sınıflandırması

Regresyon

Sınıflandırmaya benzer şekilde regresyon görevleri de ortak bir denetimli öğrenme görevidir. Azure Machine Learning, bu görevler için özel olarak özel olarak özelleştirmeler sunar.

Tahmin edilen çıkış değerlerinin kategorik olduğu sınıflandırmadan farklı olarak, regresyon modelleri bağımsız tahminleri temel alarak sayısal çıkış değerlerini tahmin eder. Regresyonda amaç, bir değişkenin diğerlerini nasıl etkileeceğini tahmin ederek bu bağımsız tahmin değişkenleri arasındaki ilişkiyi kurmanıza yardımcı olmaktır. Örneğin, yakıt yakıtı, güvenlik derecelendirmesi gibi özelliklere göre otomobil fiyatı. Daha fazla bilgi edinmek ve otomatik makine öğrenmesi ile bir regresyon örneği görmek.

Şu Python not defterleri içinde tahminler için regresyon ve otomatik makine öğrenmesi örneklerine bakın: CPU Performans Tahmini,

Zaman serisi tahmini

Tahminler, gelir, stok, satış veya müşteri talebi gibi tüm işletmelerin ayrılmaz bir parçasıdır. Teknikleri ve yaklaşımları birleştirmek ML ve önerilen, yüksek kaliteli bir zaman serisi tahmini elde etmek için otomatikleştirilmiş komutlar kullanabilirsiniz. Zaman serisi tahmini için otomatik makine öğrenmesi hakkında daha fazla bilgi edinmek için şu nasıl 2010'a kadar devam etmeyi öğrenin:.

Otomatik zaman serisi denemeleri çok değişkenli bir regresyon sorunu olarak kabul edilir. Geçmiş zaman serisi değerleri, diğer tahminlerle birlikte regresyon için ek boyutlara dönüşen "özetlemektedir". Klasik zaman serisi yöntemlerinin aksine bu yaklaşım, eğitim sırasında birden çok bağlamsal değişkeni ve bunların ilişkilerini doğal olarak ekleme avantajına sahip olur. Otomatik ML veri kümesi ve tahmin ufukları için tek bir ama genellikle dahili olarak dallı model öğrenir. Bu nedenle model parametrelerini tahmin etmek için daha fazla veri kullanılabilir ve serisi olmayan serilerde genelleştirme mümkün olur.

Gelişmiş tahmin yapılandırması şunları içerir:

• tatil algılama ve özelliği
• zaman serisi ve DNN öğrenicileri (Auto-ARIMA, Antep, ForecastTCN)
• birçok model, gruplama aracılığıyla destekler
• rolling-origin çapraz doğrulaması
• yapılandırılabilir gecikmeler
• kayan pencere toplama özellikleri

Şu Python not defterleri içinde tahminler için regresyon ve otomatik makine öğrenmesi örneklerine bakın: Satış Tahmini,Talep Tahmini ve Içecek Üretim Tahmini.

Görüntü görüntü (önizleme)

Görüntüler için ML (önizleme) otomatikleştirilmiş izleme, görüntü sınıflandırma ve nesne algılama gibi senaryolar için görüntü verilerinde eğitilmiş modelleri kolayca oluşturmanizi sağlayan görüntü görme görevleri için destek ekler.

Bu özellik ile şunları yapabilirsiniz:

• Veri etiketleme özelliğini Azure Machine Learning sorunsuz bir şekilde tümleştirin
• Görüntü modelleri oluşturmak için etiketlenmiş verileri kullanma
• Model algoritmasını belirterek ve hiperparametreleri ayarerek model performansını en iyi duruma getirme.
• Elde edilen modeli web hizmeti olarak indirin veya dağıtın Azure Machine Learning.
• MLOps'nin ve Azure Machine Learning yararlanarak büyük ölçekte ML Pipelines olun.

Görüntü işleme görevleri için AutoML modelleri yazma, Azure ML Python SDK'sı aracılığıyla de destek sunar. Sonuçta elde edilen deneme çalıştırmalarına, modellere ve çıkışlara Azure Machine Learning kullanıcı arabiriminden erişilebilir.

Görüntü görüntü modelleri için AutoML eğitimi ayarlamayı öğrenin.

Görüntü: http://cs231n.stanford.edu/slides/2021/lecture_15.pdf

Görüntüler için ML otomatik görüntü oluşturma, aşağıdaki görüntü oluşturma görevlerini destekler:

Otomatikleştirilmiş ML çalışma

Eğitim sırasında Azure Machine Learning farklı algoritmaları ve parametreleri deneyen paralel bir dizi işlem hattı oluşturur. Hizmet, her yinelemenin eğitim ML model ürettiği özellik seçimleriyle eşleştirilmiş farklı algoritmaları yinelemeye devam eder. Puan ne kadar yüksekse, modelin verilerinizi "sığdırmak" için ne kadar iyi olduğu kabul edilir. Denemede tanımlanan çıkış ölçütlerine isabet etti mi durur.

bu Azure Machine Learning kullanarak, aşağıdaki adımları kullanarak otomatikleştirilmiş ML denemelerinizi tasarlar ve çalıştırabilirsiniz:

1. Çözülecek ML sorunu belirleme: sınıflandırma, tahmin, regresyon veya görüntü görme (önizleme).

2. Python SDK'sı mı yoksa studio web deneyimini mi kullanmak istediğinizi seçin: Python SDK ile studio web deneyimi arasındaki eşlik hakkında bilgi edinebilirsiniz.

   • Sınırlı veya hiç kod deneyimi için Azure Machine Learning studio web deneyimini deneyinhttps://ml.azure.com
   • Python geliştiricileri için Python SDK'Azure Machine Learning göz atın

3. Etiketlenmiş eğitim verisi kaynağını ve biçimini belirtin: Numpy dizileri veya Pandas veri çerçevesi

4. İşlem hedefini yerel bilgisayarınız, Azure Machine Learning İşlemler, uzak VM'lerveya Azure Databricks.

5. Farklı modellerde kaç yineleme olduğunu, hiper parametre ayarlarını, gelişmiş ön işleme/özellikleri geliştirmeyi ve en iyi modeli belirlerken hangi ölçümlerin bakacağızlarını belirleyen otomatik makine öğrenmesi parametrelerini yapılandırabilirsiniz.

6. Eğitim çalıştırması gönderin.

7. Sonuçları gözden geçirme

Aşağıdaki diyagramda bu işlem göstermektedir.

Ayrıca, çalıştırma sırasında toplanan ölçümleri içeren günlüğe kaydedilen çalıştırma bilgilerini de inceebilirsiniz. Eğitim çalıştırması, modeli ve veri ön işlemeyi içeren bir Python .pkl serileştirilmiş nesnesi (dosyası) oluşturur.

Model oluşturma işlemi otomatikleştirilmişken, oluşturulan modeller için ne kadar önemli veya ilgili özellikler olduğunu da öğrensiniz.

Yerel ve uzak yönetilen veri işlem ML kılavuzu

Otomatikleştirilmiş sanal makine web ML her zaman bir uzak işlem hedefi kullanır. Ancak Python SDK'sı ile otomatikleştirilmiş eğitim için yerel işlem veya uzak işlem ML seçersiniz.

• Yerel işlem: Eğitim, yerel dizüstü bilgisayarınızın veya VM işlemnizin üzerinde gerçekleşir.
• Uzaktan işlem: Eğitim, Machine Learning kümelerde gerçekleşir.

İşlem hedefi seçme

İşlem hedefinizi seçerken şu faktörleri dikkate anın:

• Yerel işlem seçme: Senaryo, küçük veriler ve kısa eğitimler (örneğin, alt çalıştırma başına saniye veya birkaç dakika) kullanan ilk keşifler veya tanıtımlarla ilgili ise, yerel bilgisayarınızda eğitim daha iyi bir seçenek olabilir. Kurulum zamanı yoktur, altyapı kaynakları (bilgisayarınız veya VM'niz) doğrudan kullanılabilir.
• Uzak ML işlem kümesi seçin: Üretim eğitimi gibi daha büyük veri kümeleriyle eğitiyorsanız, daha uzun eğitimler gereken modeller oluşturuyorsanız, uzaktan işlem kümenin düğümleri arasında eğitilenleri paralelleştirene kadar çok daha iyi bir bitiş süresi performansı AutoML sağlar. Uzak işlemde, iç altyapının başlangıç süresi alt çalıştırma başına yaklaşık 1,5 dakika ve VM'ler henüz çalışmıyorsa küme altyapısı için ek dakika ekler.

Artılar ve dezavantajlar

Yerel ile uzak arasında seçim yapmak için bu artıları ve dezavantajları göz önünde bulundurarak.

Özellik kullanılabilirliği

Aşağıdaki tabloda gösterildiği gibi uzak işlem kullandığınızda daha fazla özellik mevcuttur.

Eğitim, doğrulama ve test verileri

otomatikleştirilmiş ML, ML modellerini eğitebilmeniz için eğitim verileri sağlar ve ne tür model doğrulaması yapılacağını belirtebilirsiniz. otomatikleştirilmiş ML, eğitimin bir parçası olarak model doğrulaması gerçekleştirir. diğer bir deyişle, otomatik ML, eğitim verilerine en uygun kombinasyonu bulmak için uygulanan algoritmayı temel alarak model hiper parametrelerini ayarlamak için doğrulama verilerini kullanır. Ancak, modelin geliştirme ve doğrulama verilerine sığması devam ettiğinden bu yana model değerlendirme sapması tanıtan her ayarlama yinelemesi için aynı doğrulama verileri kullanılır.

bu tür bir sapucunun son önerilen modele uygulanmadığını doğrulamak için otomatik ML test verilerinin kullanımını, otomatikleştirilmiş ML, denemenizin sonunda önerdiği son modeli değerlendirmek için destekler. Test verilerini, oto ml deneme yapılandırmanızın bir parçası olarak sağladığınızda, bu önerilen model, denemenizin (Önizleme) sonunda varsayılan olarak test edilir.

oto ml denemeleri 'yi SDK ile veya Azure Machine Learning studio ile test verileri (önizleme) kullanacak şekilde yapılandırmayı öğrenin.

ayrıca, kendi test verilerinizi sunarak veya eğitim verilerinizin bir bölümünü ayırarak, alt çalıştırmaların modelleri de dahil olmak üzere, mevcut otomatik ML modelini (önizleme) testedebilirsiniz.

Özellik mühendisliği

özellik mühendisliği, ML algoritmaların daha iyi öğrenilmesine yardımcı olan özellikler oluşturmak için verilerin etki alanı bilgisini kullanma işlemidir. Azure Machine Learning, ölçeklendirme ve normalleştirme teknikleri özellik mühendisliğini kolaylaştırmak için uygulanır. Toplu olarak, bu teknikler ve özellik Mühendisliği, korleştirme olarak adlandırılır.

Otomatik makine öğrenimi denemeleri için, korleştirme otomatik olarak uygulanır, ancak verilerinize göre de özelleştirilebilir. Nelerin dahil olduğu hakkında daha fazla bilgi edinin.

Otomatik fealeştirme (Standart)

Her otomatik makine öğrenimi denemenizde, algoritmaların iyi hale getirmek için verileriniz otomatik olarak ölçeklendirilir veya normalleştirilir. Model eğitimi sırasında, her bir modele aşağıdaki ölçeklendirmeden veya normalleştirme tekniklerinden biri uygulanır. Oto ml 'nin modellerinizde fazla sığdırma ve ıdengeli verilerin nasıl engellenmesine yardımcı olduğunu öğrenin.

Özelleştirmeleri özelleştirme

Kodlama ve dönüşümler gibi ek özellik mühendisliği teknikleri de mevcuttur.

Bu ayarı şu şekilde etkinleştirin:

• Azure Machine Learning studio: bu adımlarla ek yapılandırmayı görüntüle bölümünde otomatik özelliği etkinleştirin.

• Python SDK: "feauturization": 'auto' / 'off' / 'FeaturizationConfig' , oto mlconfig nesneniz içinde belirtin. Korleştirme etkinleştirmehakkında daha fazla bilgi edinin.

Ensesıme modelleri

Otomatik makine öğrenimi, varsayılan olarak etkin olan ensebölümlü modellerini destekler. Enseletirme öğrenimi, tek modeller kullanmanın aksine birden çok modeli birleştirerek makine öğrenimi sonuçlarını ve tahmine dayalı performansı geliştirir. Ensebir yineleme, çalıştırmalarınızın son yinelemeleri olarak görünür. Otomatik makine öğrenimi, modelleri birleştirmek için hem oylama hem de yığınlama yöntemini kullanır:

• Oylama: tahmini sınıf olasılıkların (Sınıflandırma görevleri için) veya tahmin edilen gerileme hedeflerinin ağırlıklı ortalaması temelinde tahmin eder (regresyon görevleri için).
• Yığınlama: yığınlama heterojen modellerini birleştirir ve bireysel modellerdeki çıktıyı temel alarak bir meta modeli ister. Geçerli varsayılan meta modeller, Sınıflandırma görevleri için LogisticRegression ve gerileme/tahmin görevleri için Elaknet.

Sıralanmış olarak kullanılacak modellerle birlikte hangi modellerin kullanılacağına karar vermek için sıralanmış ensebölümlü başlatma ile Caruana ensebir seçim algoritması kullanılır. Yüksek düzeyde, bu algoritma en iyi tek puanları içeren en fazla beş modelle ve bu modellerin kötü bir ilk olarak yeniden birleştirmek için en iyi puanın %5 ' inin içinde olduğunu doğrular. Ardından, her bir ensebir yineleme için, mevcut ensede yeni bir model eklenir ve elde edilen puan hesaplanır. Yeni bir model var olan ensebirlikte bulunan puanı iyileştirdiyse, yeni modeli dahil etmek için ensebirlikte bulunan olarak güncelleştirilir.

Otomatik makine öğreniminde varsayılan enseletirme ayarlarını değiştirme için bkz. nasıl yapılır .

Oto ml & ONNX

Azure Machine Learning, otomatik ML kullanarak bir Python modeli oluşturabilir ve onnx biçimine dönüştürülmesini sağlayabilirsiniz. Modeller ONNX biçiminde olduktan sonra çeşitli platformlar ve cihazlarda çalıştırılabilir. onnx ile ML modellerini hızlandırmahakkında daha fazla bilgi edinin.

Bu Jupyter Not defteri örneğinde,bkz. onnx biçimine dönüştürme. ONNX 'de hangi algoritmaların desteklendiğiniöğrenin.

ONNX çalışma zamanı, C# ' yi de destekler, bu nedenle REST uç noktalarının tanıtılmasını gerektiren veya herhangi bir ağ gecikme süresi gerekmeden C# uygulamalarınızda otomatik olarak oluşturulan modeli kullanabilirsiniz. ML .net ile bir .net uygulamasında bir oto ML onnx modeli kullanma hakkında daha fazla bilgi edinin ve onnx çalışma zamanı C# apı 'si ile onnx modellerini ınzonın.

Sonraki adımlar

Her ne kadar fazla kaynak vardır.

Öğreticiler/nasıl yapılır-TOS

Öğreticiler, oto ml senaryolarından uçtan uca tanıtım örnekleridir.

• Kod ilk deneyimi Için öğreticiyi izleyin: bir gerileme modelini oto ml ve Python ile eğitme.

• düşük veya kod içermeyen bir deneyim için bkz. Azure Machine Learning studio 'da kod içermeyen bir sınıflandırma modeli oluşturma.

• Bilgisayar görme modellerini eğitebilmek için, oto ml 'yi kullanmak üzere, bkz. oto ml ve Python ile nesne algılama modeli (Önizleme) eğitme.

nasıl yapılır makaleleri otomatik ML işlevleri için ek ayrıntılar sağlar. Örneğin,

• Otomatik eğitim denemeleri için ayarları yapılandırma

  • Azure Machine Learning studio 'da kod olmadan.
  • Python SDK 'Sı ile.

• Zaman serisi verileriyle tahmin modellerini eğitmehakkında bilgi edinin.

• Python ile bilgisayar görme modellerini eğitmehakkında bilgi edinin.

Jupyter Not defteri örnekleri

otomatik makine öğrenimi örnekleri için GitHub not defteri deposundakiayrıntılı kod örneklerini ve kullanım örneklerini gözden geçirin.

Python SDK başvurusu

SDK Tasarım desenlerinin ve sınıf belirtimlerinizin uzmanlığınızı, oto ml sınıfı başvuru belgeleriylededen çıkarır.