Azure Blob depolama 'ya aktarma

Bu makalede, Azure Machine Learning Studio (klasik) içindeki verileri dışarı aktar modülünde Azure Blob Storage 'a dışarı aktarma seçeneğinin nasıl kullanılacağı açıklanır.

Not

Uygulama hedefi: Machine Learning Studio (klasik)

Bu içerik yalnızca Studio (klasik) ile ilgilidir. Benzer sürükle ve bırak modülleri Azure Machine Learning tasarımcısına eklenmiştir. Bu makalede iki sürümü karşılaştırandaha fazla bilgi edinin.

Bu seçenek, bir Machine Learning denemesinin Azure Blob depolama alanına veri aktarmak istediğinizde yararlıdır. Örneğin, diğer uygulamalarla makine öğrenimi veri çıkışları paylaşmak veya diğer denemeleri kullanılmak üzere ara verileri veya Temizlenen veri kümelerini depolamak isteyebilirsiniz.

Azure Blob 'larına, HTTP veya HTTPS kullanılarak her yerden erişilebilir. Azure Blob depolama, yapılandırılmamış bir veri deposu olduğundan, verileri çeşitli biçimlerde dışa aktarabilirsiniz. Şu anda, CSV, TSV ve ARFF biçimleri destekleniyor.

Verileri Azure Blob 'a diğer uygulamalar tarafından kullanılmak üzere dışarı aktarmak için verileri dışarı aktarma modülünü kullanarak verileri Azure Blob depolama alanına kaydedebilirsiniz. Daha sonra, verileri yüklemek ve kullanmak için Azure depolama 'dan (Excel, bulut depolama yardımcı programları veya diğer bulut hizmetleri gibi) verileri okuyabilen herhangi bir aracı kullanın.

Not

Verileri Içeri aktarma ve dışarı aktarma modülleri yalnızca klasik dağıtım modeli kullanılarak oluşturulan Azure Storage 'dan verileri okuyabilir ve yazabilir. Diğer bir deyişle, sık ve seyrek erişimli depolama erişim katmanları sunan yeni Azure Blob depolama hesabı türü henüz desteklenmiyor.

Genellikle, bu hizmet seçeneği sunulmadan önce oluşturmuş olabileceğiniz tüm Azure depolama hesapları etkilenmemelidir.

Ancak, Azure Machine Learning ile kullanmak için yeni bir hesap oluşturmanız gerekiyorsa, dağıtım modeli için Klasik ' i seçmenizi veya Resource Manager ' ı kullanmanızı ve Hesap türü için, BLOB depolama yerine genel amaçlı seçeneğini belirlemeniz önerilir.

Azure Blob depolama alanına veri aktarma

Azure Blob hizmeti, ikili veriler de dahil olmak üzere büyük miktarda veriyi depolamaya yöneliktir. İki tür blob depolama alanı vardır: genel bloblar ve oturum açma kimlik bilgileri gerektiren bloblar.

  1. Verileri Dışarı Aktarma modülünü denemenize ekleyin. Bu modülü Studio'daki (klasik) Veri Girişi ve Çıktı kategorisinde bulabilirsiniz.

  2. Azure blob depolama alanına dışarı aktarmayı istediğiniz verileri üreten modüle Verileri Dışarı Aktar'a bağlanın.

  3. Verileri Dışarı Aktar'ın Özellikler bölmesini açın. Veri hedefi olarak Azure Blob Depolama.

  4. Kimlik doğrulaması türü için, depolamanın SAS URL'si üzerinden erişimi desteklediğini biliyorsanız Genel (SAS URL'si) seçin.

    SAS URL'si, Azure depolama yardımcı programı kullanılarak oluşturulacak özel bir URL t'dır ve yalnızca sınırlı bir süre için kullanılabilir. Kimlik doğrulaması ve indirme için gereken tüm bilgileri içerir.

    URI için, hesabı ve genel blobu tanımlayan tam URI'yi yazın veya yapıştırın.

  5. Özel hesaplar için Hesap'ı seçin ve denemenin depolama hesabına yazarak hesap adını ve hesap anahtarını girin.

    • Hesap adı: Verileri kaydetmek istediğiniz hesabın adını yazın veya yapıştırın. Örneğin, depolama hesabının tam URL'si ise https://myshared.blob.core.windows.net myshared yazın.

    • Hesap anahtarı: Hesapla ilişkili depolama erişim anahtarını yapıştırın.

  6. Kapsayıcı, dizin veya blob yolu: Dışarı aktaran verilerin depolandığı blob'un adını yazın. Örneğin, denemenizin sonuçlarını mymldata adlı bir hesapta kapsayıcı tahminlerinderesults01.csv adlı yeni bir bloba kaydetmek için blob için tam URL https://mymldata.blob.core.windows.net/predictions/results01.csv olur.

    Bu nedenle Kapsayıcının, dizinin veya blob'un yolu alanında kapsayıcı ve blob adını aşağıdaki gibi belirtirsiniz: predictions/results01.csv

  7. Henüz mevcut olmayan bir blob adını belirtirsiniz, Azure sizin için blobu oluşturur.

    Mevcut bir bloba yazarken, Azure Blob depolama yazma modu özelliği ayarlanarak Blobun geçerli içeriğinin üzerine yazılmasını belirtebilirsiniz. Varsayılan olarak, bu özellik hata olarak ayarlanır, yani aynı ada sahip mevcut bir blob dosyası bulunduğunda hata oluşur.

  8. BLOB dosyası Için dosya biçimi için verilerin depolanacağı biçimi seçin.

    • CSV: virgülle ayrılmış değerler (CSV) varsayılan depolama biçimidir. Sütun başlıklarını verilerle birlikte dışarı aktarmak için, BLOB üst bilgisi satırını yaz seçeneğini belirleyin. Azure Machine Learning ' de kullanılan virgülle ayrılmış biçim hakkında daha fazla bilgi için bkz. CSV 'ye dönüştürme.

    • TSV: sekmeyle ayrılmış değerler (TSV) biçimi birçok makine öğrenimi araçlarıyla uyumludur. Sütun başlıklarını verilerle birlikte dışarı aktarmak için, BLOB üst bilgisi satırını yaz seçeneğini belirleyin. Azure Machine Learning ' de kullanılan sekmeyle ayrılmış biçim hakkında daha fazla bilgi için bkz. TSV 'e dönüştürme.

    • Arff: Bu biçim dosyaları WEKA araç kümesi tarafından kullanılan biçimde kaydetmeyi destekler. Bu biçim bir SAS URL 'sinde depolanan dosyalar için desteklenmez. ARFF biçimi hakkında daha fazla bilgi için bkz. arff 'e dönüştürme.

  9. Önbelleğe alınmış sonuçları kullan: denemeyi her çalıştırışınızda sonuçları blob dosyasına yeniden yazmayı önlemek istiyorsanız bu seçeneği belirleyin. Modül parametrelerinde başka bir değişiklik yoksa, deneme sonuçları yalnızca modülün ilk kez çalıştırıldığı zaman veya verilerde değişiklik olduğunda yazar.

Örnekler

Veri dışa aktarma modülünün nasıl kullanılacağına ilişkin örnekler için Azure yapay zeka Galerisibakın:

  • DataSet 'ı VW biçimine Dönüştür: Bu denemede, Vowpal Wabbit tarafından kullanılabilecek veri oluşturmak Için veri dışa aktarma modülüyle birlikte Python betiği kullanılır.

  • Azure SQL veri ambarı 'nı kullanarak tahmine dayalı analiz işlem hatlarını ayarlama: bu senaryo Azure MACHINE LEARNING ve SQL veri ambarı dahil olmak üzere birden çok bileşen arasındaki veri hareketini açıklar.

  • Kod olmayan toplu puanlama:Bu öğreticide, denemeler tarafından kullanılan verilerin içeri Azure Logic Apps ve deneme sonuçlarını blob depolamaya yazma işlemini otomatikleştirmek için Azure Logic Apps'i nasıl kullanabileceğiniz açıklandı.

  • Azure veri fabrikasınıkullanarak şirket içi SQL Server ile Azure ML çözümünü çalışır durumaleştirme: Bu makalede, geçici bir aşama olarak blob depolama kullanarak verileri şirket içi SQL Server veritabanına geri gönderen daha karmaşık bir veri işlem hattı açıklanmıştır. Şirket içi veritabanının kullanımı için bir veri ağ geçidinin yapılandırması gerekir, ancak örneğin bu bölümünü atlayıp yalnızca blob depolamayı kullanabilirsiniz.

Teknik notlar

Bu bölümde uygulama ayrıntıları, ipuçları ve sık sorulan soruların yanıtları yer almaktadır.

Sık sorulan sorular

Deneme değişmemişse verileri yazmaktan nasıl kaçınabilirsiniz?

Deneme sonuçlarınız değiştiklerinde, Verileri Dışarı Aktar her zaman yeni veri kümelerini kaydeder. Ancak, çıktı verilerini etkileyen değişiklikler yapmadan denemeyi tekrar tekrar çalıştırdıysanız Önbelleğe alınmış sonuçları kullan seçeneğini kullanabilirsiniz.

Modül, denemenin daha önce aynı verileri ve aynı seçenekleri kullanarak çalıştırıp çalıştırma olmadığını denetler ve önceki bir çalıştırma bulunursa yazma işlemi yinelanmaz.

Verileri farklı bir coğrafi bölgedeki bir hesaba kaydedebilir mi?

Evet, farklı bölgelerdeki hesaplara veri yazabilirsiniz. Ancak, depolama hesabı makine öğrenmesi denemesi için kullanılan işlem düğümünden farklı bir bölgede yer aldısa veri erişimi daha yavaş olabilir. Ayrıca, abonelikte veri giriş ve çıkış için ücret ödemeniz gerekir.

Modül parametreleri

Genel seçenekler

Name Aralık Tür Varsayılan Description
Veri kaynağı Liste Veri kaynağı veya havuz Azure Blob Depolama Hedef, Azure BLOB depolamadaki bir dosya, Azure tablosu, bir tablo veya bir Azure SQL Veritabanı veya Hive tablosu olabilir.
Önbelleğe alınmış sonuçları kullanma TRUE/FALSE Boole FALSE Modül yalnızca geçerli önbellek yoksa yürütülür; aksi takdirde, önceki yürütmeden önbelleğe alınmış verileri kullanın.
Kimlik doğrulaması türünü belirtin SAS/hesap AuthenticationType Hesap Erişim yetkilendirmesi için SAS veya hesap kimlik bilgilerinin kullanılıp kullanılmayacağını belirtir

Genel veya SAS-ortak depolama seçenekleri

Name Aralık Tür Varsayılan Description
Blob için SAS URI 'SI herhangi biri Dize yok Yazılacak Blobun SAS URI 'SI (gerekli)
SAS dosyası için dosya biçimi ARFF

CSV

TSV
LoaderUtils. FileTypes CSV Dosyanın CSV, TSV veya ARFF olduğunu gösterir. istenir
SAS üst bilgisi satırı yaz DOĞRU/YANLıŞ Boole FALSE Sütun başlıklarının dosyaya yazılıp yazılmayacağını belirtir

Hesap-özel depolama seçenekleri

Name Aralık Tür Varsayılan Description
Azure hesap adı herhangi biri Dize yok Azure Kullanıcı hesabı adı
Azure hesap anahtarı herhangi biri SecureString yok Azure depolama anahtarı
Kapsayıcıyla başlayan blob yolu herhangi biri Dize yok Kapsayıcı adıyla başlayan blob dosyasının adı
Azure blob depolama yazma modu Liste: Hata, Üzerine Yaz enum:BlobFileWriteMode Hata Blob dosyaları yazma yöntemini seçme
Blob dosyası için dosya biçimi ARFF

CSV

Tsv
LoaderUtils.FileTypes CSV Blob dosyasının CSV, TSV veya ARFF olduğunu gösterir
Blob üst bilgi satırı yazma TRUE/FALSE Boole FALSE Blob dosyasının üst bilgi satırına sahip olup olmadığını gösterir

Özel durumlar

Özel durum Description
Hata 0027 İki nesne aynı boyutta olması gerektir ancak aynı boyutta değil olduğunda özel durum oluşur.
Hata 0003 Bir veya daha fazla giriş null veya boşsa özel durum oluşur.
Hata 0029 Geçersiz bir URI geçirildiğinde bir özel durum oluşur.
Hata 0030 bir dosya indirmek mümkün olmadığında içinde bir özel durum oluşur.
Hata 0,0002 Bir veya daha fazla parametre ayrıştırılamadıysanız veya belirtilen türden hedef yöntem tarafından istenen türe dönüştürülemiyorsa bir özel durum oluşur.
Hata 0009 Azure depolama hesabı adı veya kapsayıcı adı yanlış belirtilirse bir özel durum oluşur.
Hata 0048 Bir dosya açmak mümkün olmadığında bir özel durum oluşur.
Hata 0046 Belirtilen yolda bir dizin oluşturmak mümkün olmadığında bir özel durum oluşur.
Hata 0049 Bir dosya ayrıştırılmaya mümkün olmadığında bir özel durum oluşur.

Studio (klasik) modüllerine özgü hataların listesi için bkz. Machine Learning hata kodları.

API özel durumlarının listesi için bkz. Machine Learning REST API hata kodları.

Ayrıca bkz.

Verileri içeri aktar
Verileri dışarı aktar
Azure SQL veritabanı 'na aktarma
Hive sorgusuna aktar
Azure tablosuna aktar