Azure HDInsight'da ML Services nedir?

Önemli

Bu içerik kullanımdan kalkmışsa ve gelecekte güncelleştirilmeyecek. Azure HDInsight 3,6 ML Hizmetleri (Machine Learning Server) küme türü 31 Aralık 2020 itibariyle kullanımdan kaldırıldı.

Microsoft Machine Learning Server, Azure'da HDInsight kümeleri seniz dağıtım seçeneği olarak kullanılabilir. Bu seçeneği sağlayan küme türü ML Services olarak adlandırılan bir kümedir. Bu özellik, HDInsight üzerinde uyarlanabilir, dağıtılmış analiz yöntemlerine isteğe bağlı erişim sağlar.

HDInsight'ta ML Services, neredeyse her boyuttaki veri kümelerine dayalı R tabanlı analiz için en son özellikleri sağlar. Veri kümeleri Azure Blob veya Data Lake storage'a yüklenebilir. R tabanlı uygulamalarınız 8000'den fazla açık kaynak R paketi kullanabilir. Microsoft'un büyük veri analizi paketi ScaleR'daki yordamlar da mevcuttur.

Kenar düğümü, kümeye bağlanmak ve R betiklerinizi çalıştırmak için kullanışlı bir yer sağlar. Kenar düğümü, ScaleR paralel dağıtılmış işlevlerinin sunucunun çekirdekleri arasında çalıştırılmalarını sağlar. Ayrıca, ScaleR'nin Hadoop Map Reduce'ünü kullanarak bunları kümenin düğümleri arasında çalıştırabilirsiniz. İşlem bağlamlarını Apache Spark kullanabilirsiniz.

Analiz sonucunda elde edilen modeller veya tahminler şirket içi kullanım için indirilebilir. Bunlar Azure'ın operationalized başka bir yerinde de olabilir. Özellikle, Azure Machine Learning Studio (klasik) veweb hizmeti aracılığıyla.

HDInsight Kullanmaya başlayın da ML Services ile birlikte

HDInsight'ta ML Services kümesi oluşturmak için ML Services küme türünü seçin. ML Services küme türü, ML Server düğümlerde ve kenar düğümünde yer alan verileri içerir. Kenar düğümü, ML Services tabanlı analizler için giriş bölgesi olarak görev almaktadır. Küme oluşturma hakkında bir kılavuz için bkz. Azure portal kullanarak Apache Hadoop kümeleri oluşturma.

HDInsight'ta ML Services'i neden seçin?

HDInsight'ta ML Services aşağıdaki avantajları sağlar:

Microsoft'tan ve açık kaynaktan gelen AI yenilikleri

ML Services RevoscaleR, revoscalepyve microsoftML gibi yüksek oranda uyarlanabilir, dağıtılmış algoritmalar kümesi içerir. Bu algoritmalar fiziksel belleğin boyutundan daha büyük veri boyutları üzerinde kullanılabilir. Ayrıca dağıtılmış bir şekilde çok çeşitli platformlarda çalışır. Microsoft'un özel R paketlerinin ve ürüne dahil edilen Python paketlerinin koleksiyonu hakkında daha fazla bilgi.

ML Services, açık kaynak topluluğundan (R, Python ve AI araç setleri) gelen bu Microsoft yeniliklerini ve katkılarını köprüler. Hepsi tek bir kurumsal sınıf platformun üzerindedir. Herhangi bir R veya Python açık kaynak makine öğrenmesi paketi, Microsoft'un özel yenilikleriyle yan yana kullanılabilir.

Basit, güvenli ve yüksek ölçekli operasyonelleştirme ve yönetim

Geleneksel paradigmalara ve ortamlara güvenen kuruluşlar, operasyonelleştirmeye yönelik çok fazla zaman ve çabaya yatırımlar. Bu eylem, modellerin çeviri süresi, geçerli ve güncel tutmaları için yinelemeler, yasal onay ve izinleri yönetme dahil olmak üzere şişirilmiş maliyetlere ve gecikmelere neden olur.

ML Services kurumsal sınıf işletimselleştirme sunar. Makine öğrenmesi modeli tamamlandıktan sonra web hizmeti API'leri oluşturmak yalnızca birkaç tıklama sürer. Bu web hizmetleri buluttaki bir sunucu kılavuzunda barındırıldı ve iş hattı uygulamalarıyla tümleştirilebilirsiniz. Elastik kılavuza dağıtım olanağı, hem toplu iş hem de gerçek zamanlı puanlama için işletmenizin ihtiyaçlarıyla sorunsuz bir şekilde ölçeklendirmenize olanak sağlar. Yönergeler için bkz. HDInsight'ta ML Services'ı çalışır duruma yükleme.

Not

HDInsight'ta ML Services küme türü yalnızca HDInsight 3.6'da de kullanılabilir. HDInsight 3.6, 31 Aralık 2020'de kaldırıla kadar zamanlandı.

HDInsight'ta ML Services'in temel özellikleri

HDInsight'ta ML Services'e aşağıdaki özellikler dahildir.

Özellik kategorisi Açıklama
R etkin R'de yazılan çözümler için R paketleri, R'nin açık kaynak dağıtımı ve betik yürütme için çalışma zamanı altyapısı.
Python etkin Python'da yazılan çözümler için Python modülleri, Python'ın açık kaynak dağıtımı ve betik yürütme için çalışma zamanı altyapısı.
Önceden eğitilmiş modeller Görsel analiz ve metin yaklaşım analizi için, sağ istediğiniz verileri puan vermeye hazır olun.
Dağıtma ve tüketme Operationalize sunucunuza dağıtın ve çözümleri bir web hizmeti olarak dağıtın.
Uzaktan yürütme İstemci iş istasyonundan ağ üzerinde ML Services kümesinde uzak oturumlar başlatma.

HDInsight'ta ML Services için veri depolama seçenekleri

HDFS dosya sistemi için varsayılan depolama bir Azure Depolama hesabı veya Azure Data Lake Storage. Analiz sırasında küme depolama alanına yüklenen veriler kalıcı hale geliyor. Küme silindikten sonra bile veriler kullanılabilir. Çeşitli araçlar depolamaya veri aktarımını işebilir. Araçlar, depolama hesabının portal tabanlı karşıya yükleme tesisini ve AzCopy yardımcı programını içerir.

Küme oluşturma sırasında ek Blob ve Data lake depolarına erişimi etkinleştirebilirsiniz. Kullanımda olan birincil depolama seçeneğiyle sınırlı değildir. Birden çok depolama hesabı kullanma hakkında daha fazla bilgi edinmek için HDInsight'ta ML Services için Azure Depolama seçenekleri makalesine bakın.

Kenar düğümünde Azure Dosyalar depolama seçeneği olarak da kullanabilirsiniz. Azure Dosyalar, Azure Depolama'da oluşturulan dosya paylaşımlarını Linux dosya sistemine sağlar. Daha fazla bilgi için bkz. HDInsight'ta ML Services için Azure Depolama seçenekleri.

ML Services kenar düğümüne erişme

Tarayıcı veya SSH/PuTTY ML Server kenar düğümünde Microsoft ML Server'ye bağlanabilirsiniz. R konsolu, küme oluşturma sırasında varsayılan olarak yüklenir.

R betikleri geliştirme ve çalıştırma

R betikleri 8000'den fazla açık kaynak R paketi kullanabilir. ScaleR kitaplığından paralel ve dağıtılmış yordamları da kullanabilirsiniz. Kenar düğümünde çalıştıran betikler, bu düğümdeki R yorumlayıcıda çalıştır. Map Reduce (RxHadoopMR) veya Spark (RxSpark) işlem bağlamı ile ScaleR işlevlerini çağıran adımlar dışında. İşlevler, verilerle ilişkili veri düğümleri arasında dağıtılmış bir şekilde çalıştırılıyor. Bağlam seçenekleri hakkında daha fazla bilgi için bkz. HDInsight'ta ML Services için işlem bağlamı seçenekleri.

Operationalize bir model

Veri modellemeniz tamamlandığında, Azure'dan veya şirket içi verilerden operationalize yeni veriler için tahminler yapacak olan model. Bu işlem puanlama olarak bilinir. Puanlama HDInsight, Azure Machine Learning veya şirket içinde yapılabilir.

HDInsight'ta puan

HDInsight'ta puan almak için bir R işlevi yazın. İşlev, depolama hesabınıza yüklemiş olduğunuz yeni bir veri dosyası için tahminde bulunarak modelinizi arar. Ardından tahminleri depolama hesabına geri kaydedin. Bu yordamı kümenizin kenar düğümünde isteğe bağlı olarak veya zamanlanmış bir iş kullanarak çalıştırabilirsiniz.

Azure Machine Learning puan (AML)

AzureML olarak Azure Machine Learning açık kaynak Azure Machine Learning R paketini kullanarak modelinizi bir Azure web hizmeti olarak yayımlayın. Kolaylık olması için bu paket kenar düğümüne önceden yüklenmiştir. Ardından, web Azure Machine Learning için bir kullanıcı arabirimi oluşturmak üzere Azure Machine Learning'daki tesisleri kullanın ve ardından puanlama için gerektiğinde web hizmetini arayın. Ardından ScaleR model nesnelerini web hizmetiyle birlikte kullanmak üzere eşdeğer açık kaynak model nesnelerine dönüştürebilirsiniz. Bu dönüştürme için, grup tabanlı modeller gibi ScaleR as.randomForest() zorlama işlevlerini kullanın.

Şirket içi puan

Modelinizi oluşturduk sonra şirket içinde puanlama yapmak için: modeli R'de seri hale getirme, indirme, serileştirmeyi geri getirme ve yeni verileri puanlama için kullanma. HdInsight'ta puanla konusunda daha önce açıklanan yaklaşımı kullanarak veya web hizmetlerini kullanarak yeni verileri puanabilirsiniz.

Kümeyi koruma

R paketlerini yükleme ve koruma

R betiklerinin çoğu adımlar orada çalıştırılana kadar, kenar düğümünde, kullanmakta olduğu R paketlerinin çoğu gereklidir. Kenar düğümüne ek R paketleri yüklemek için R'de install.packages() yöntemini kullanabilirsiniz.

Yalnızca ScaleR kitaplık yordamlarını kullanıyorsanız, genellikle ek R paketlerine gerek kalmaz. Veri düğümlerinde Rxexec veya Rxdatastep yürütmesi için ek paketlere ihtiyacınız bulunabilir.

Kümeyi oluşturduktan sonra ek paketler bir betik eylemiyle yüklenebilir. Daha fazla bilgi için bkz. HDInsight KÜMESINDE ml hizmetlerini yönetme.

MapReduce bellek ayarlarını Apache Hadoop değiştirme

ML Hizmetleri için kullanılabilir bellek, bir MapReduce işi çalıştırıldığında değiştirilebilir. Bir kümeyi değiştirmek için kümeniz için Apache ambarı Kullanıcı arabirimini kullanın. Ambarı Kullanıcı arabirimi yönergeleri için bkz. ambarı Web Kullanıcı arabirimini kullanarak HDInsight kümelerini yönetme.

ML Hizmetleri için kullanılabilir bellek, RxHadoopMR çağrısında bulunan Hadoop anahtarları kullanılarak değiştirilebilir:

hadoopSwitches = "-libjars /etc/hadoop/conf -Dmapred.job.map.memory.mb=6656"

Kümenizi ölçeklendirin

HDInsight 'ta mevcut bir ML Hizmetleri kümesi, Portal üzerinden yukarı veya aşağı ölçeklendirilebilir. Ölçeği yukarı ölçeklendirerek daha büyük işleme görevleri için ek kapasite elde edersiniz. Boşta kaldığında, bir kümeyi geri ölçeklendirebilirsiniz. Bir kümenin ölçeklendirilmesi hakkında yönergeler için bkz. HDInsight kümelerini yönetme.

Sistemi koruma

İşletim sistemi bakımı, bir HDInsight kümesinde çalışan Linux VM 'lerinde, çalışma saatleri dışında yapılır. Genellikle, bakım her Pazartesi ve Perşembe 3:30 (VM 'nin yerel saati) ile yapılır. Güncelleştirmeler, kümenin bir çeyreğinin her seferinde fazlasını etkilemez.

Çalışan işler bakım sırasında yavaşlayabilir. Ancak, hala tamamlanmayı çalıştırmaları gerekir. Bir küme yeniden oluşturma gerektiren çok zararlı bir hata oluşmadığı takdirde, bu bakım olayları genelinde korunan özel yazılım veya yerel veriler.

HDInsight üzerinde ML Hizmetleri için IDE seçenekleri

HDInsight kümesinin Linux Edge düğümü, R tabanlı analize yönelik giriş bölgesidir. HDInsight 'ın son sürümleri Edge düğümünde RStudio Server 'ın tarayıcı tabanlı bir IDE 'si sağlar. RStudio Server, geliştirme ve yürütme için R konsolundan daha üretken.

Masaüstü IDE, kümeye uzak MapReduce veya Spark işlem bağlamı aracılığıyla erişebilir. Seçenekler şunlardır: Microsoft 'un Visual Studio için R araçları (rtvs), rstudio ve walware 'in tutulma tabanlı stateT.

Komut istemine r yazarak kenar düğümündeki r konsoluna erişin. Konsol arabirimini kullanırken, bir metin düzenleyicisinde R betiği geliştirmek kullanışlı olur. Ardından, gerekli olduğu gibi betiğinizin bölümlerini R konsoluna kesip yapıştırın.

Fiyatlandırma

Bir ML Hizmetleri HDInsight kümesiyle ilişkili fiyatlar, diğer HDInsight küme türlerine benzer şekilde yapılandırılmıştır. Bunlar, temel alınan VM 'lerin ad, veri ve kenar düğümleri genelinde boyutlandırılmasına dayalıdır. Çekirdek saat ön ek. Daha fazla bilgi için bkz. HDInsight fiyatlandırması.

Sonraki adımlar

HDInsight kümelerinde ML Hizmetleri kullanma hakkında daha fazla bilgi edinmek için aşağıdaki makalelere bakın: