Visual Studio Code için Azure Data Lake Araçları’nı kullanma

Önemli

Aboneliğiniz etkinleştirilmediği sürece yeni Azure Data Lake Analytics hesapları artık oluşturulamaz. Aboneliğinizin etkinleştirilmesi gerekiyorsa desteğe başvurun ve iş senaryonuzu sağlayın.

Azure Data Lake Analytics kullanıyorsanız 29 Şubat 2024'e kadar kuruluşunuz için Azure Synapse Analytics'e geçiş planı oluşturmanız gerekir.

Bu makalede, U-SQL betikleri oluşturmak, test etmek ve çalıştırmak için Visual Studio için Azure Data Lake Araçları Code'u (VS Code) nasıl kullanabileceğinizi öğrenin. Bilgiler aşağıdaki videoda da ele alınmıştır:

Önkoşullar

VS Code için Azure Data Lake Araçları Windows, Linux ve macOS'yi destekler. U-SQL yerel çalıştırma ve yerel hata ayıklama yalnızca Windows'ta çalışır.

• Visual Studio Code

macOS ve Linux için:

• .NET 5.0 SDK
• Mono 5.2.x

Azure Data Lake Araçları'nı yükleme

Önkoşulları yükledikten sonra VS Code için Azure Data Lake Araçları'nı yükleyebilirsiniz.

Azure Data Lake Araçları'nı yüklemek için

1. Visual Studio Code’u açın.

2. Sol bölmede Uzantılar'ı seçin. Arama kutusuna Azure Data Lake Araçları yazın.

3. Azure Data Lake Araçları'nın yanındaki Yükle'yi seçin.

   

   Birkaç saniye sonra Yükle düğmesi Yeniden Yükle olarak değişir.

4. Azure Data Lake Araçları uzantısını etkinleştirmek için Yeniden Yükle'yi seçin.

5. Onaylamak için Pencereyi Yeniden Yükle'yi seçin. Uzantılar bölmesinde Azure Data Lake Araçları'nı görebilirsiniz.

Azure Data Lake Araçları'nı etkinleştirme

Uzantıyı etkinleştirmek için bir .usql dosyası oluşturun veya mevcut bir .usql dosyasını açın.

U-SQL ile çalışma

U-SQL ile çalışmak için bir U-SQL dosyası veya bir klasör açmanız gerekir.

Örnek betiği açmak için

Komut paletini (Ctrl+Shift+P) açın ve ADL: Örnek Betiği Aç yazın. Bu örneğin başka bir örneğini açar. Ayrıca bu örnekte bir betik düzenleyebilir, yapılandırabilir ve gönderebilirsiniz.

U-SQL projeniz için bir klasör açmak için

1. Visual Studio Code Dosya menüsünü ve ardından Klasör Aç'ı seçin.

2. Bir klasör belirtin ve ardından Klasör Seç'i seçin.

3. Dosya menüsünü ve ardından Yeni'yi seçin. Projeye Adsız-1 dosyası eklenir.

4. Adsız-1 dosyasına aşağıdaki kodu girin:

   @departments  =
       SELECT * FROM
           (VALUES
               (31,    "Sales"),
               (33,    "Engineering"),
               (34,    "Clerical"),
               (35,    "Marketing")
           ) AS
                 D( DepID, DepName );
   

   Outputters.Csv @departments () KULLANARAK "/Çıktı/departments.csv" ÇıKıŞıNA;

   Betik, /output klasörüne dahil edilen bazı verileri içeren bir departments.csv dosyası oluşturur.

5. Dosyayı açılan klasöre myUSQL.usql olarak kaydedin.

U-SQL betiği derlemek için

1. Komut paletini açmak için Ctrl+Shift+P tuşlarına basın.
2. ADL: Derleme Betiği girin. Derleme sonuçları Çıkış penceresinde görünür. Ayrıca bir betik dosyasına sağ tıklayıp ADL: Betiği Derle'yi seçerek bir U-SQL işi derleyebilirsiniz. Derleme sonucu Çıkış bölmesinde görünür.

U-SQL betiği göndermek için

1. Komut paletini açmak için Ctrl+Shift+P tuşlarına basın.
2. ADL: İşi Gönder'i girin. Ayrıca bir betik dosyasına sağ tıklayıp ADL: İşi Gönder'i de seçebilirsiniz.

Bir U-SQL işi gönderdikten sonra, gönderme günlükleri VS Code'da Çıkış penceresinde görünür. İş görünümü sağ bölmede görünür. Gönderim başarılı olursa, iş URL'si de görüntülenir. Gerçek zamanlı iş durumunu izlemek için iş URL'sini bir web tarayıcısında açabilirsiniz.

İş görünümünün ÖZET sekmesinde iş ayrıntılarını görebilirsiniz. Ana işlevler bir betiği yeniden göndermeyi, bir betiği yinelemeyi ve portalda açmayı içerir. İş görünümünün VERİ sekmesinde giriş dosyalarına, çıkış dosyalarına ve kaynak dosyalarına başvurabilirsiniz. Dosyalar yerel bilgisayara indirilebilir.

Varsayılan bağlamı ayarlamak için

Dosyalar için parametreleri ayrı ayrı ayarlamadıysanız, bu ayarı tüm betik dosyalarına uygulamak için varsayılan bağlamı ayarlayabilirsiniz.

1. Komut paletini açmak için Ctrl+Shift+P tuşlarına basın.

2. ADL: Varsayılan Bağlamı Ayarla'yı girin. Alternatif olarak betik düzenleyicisine sağ tıklayıp ADL: Varsayılan Bağlamı Ayarla'yı seçin.

3. İstediğiniz hesabı, veritabanını ve şemayı seçin. Ayar xxx_settings.json yapılandırma dosyasına kaydedilir.

   

Betik parametrelerini ayarlamak için

1. Komut paletini açmak için Ctrl+Shift+P tuşlarına basın.

2. ADL: Betik Parametrelerini Ayarla girin.

3. xxx_settings.json dosyası aşağıdaki özelliklerle açılır:

   • hesap: Azure aboneliğinizin altında U-SQL işlerini derlemek ve çalıştırmak için gereken bir Azure Data Lake Analytics hesabı. U-SQL işlerini derlemeden ve çalıştırmadan önce bilgisayar hesabını yapılandırmanız gerekir.
   • database: Hesabınızın altında bir veritabanı. Varsayılan değer ana değerdir.
   • schema: Veritabanınızın altındaki bir şema. Varsayılan değer dbo'dur.
   • optionalSettings:
     • öncelik: Öncelik aralığı 1 ile 1000 arasındadır ve en yüksek öncelik 1'dir. Varsayılan değer 1000'dir.
     • degreeOfParallelism: Paralellik aralığı 1 ile 150 arasındadır. Varsayılan değer, Azure Data Lake Analytics hesabınızda izin verilen en yüksek paralellik değeridir.

   

Not

Yapılandırmayı kaydettikten sonra hesap, veritabanı ve şema bilgileri, varsayılan bağlamı ayarlamadıysanız ilgili .usql dosyasının sol alt köşesindeki durum çubuğunda görünür.

Git yoksay'ı ayarlamak için

1. Komut paletini açmak için Ctrl+Shift+P tuşlarına basın.

2. ADL: Git Yoksay'ı ayarlayın.

   • VS Code çalışma klasörünüzde .gitIgnore dosyası yoksa, klasörünüzde .gitIgnore adlı bir dosya oluşturulur. Dosyaya varsayılan olarak dört öğe (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) eklenir. Gerekirse daha fazla güncelleştirme yapabilirsiniz.
   • VS Code çalışma klasörünüzde zaten bir .gitIgnore dosyanız varsa, araç dört öğe (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) .gitIgnore dosyanıza dört öğe (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) ekler.

   

Arka planda kod dosyalarıyla çalışma: C Sharp, Python ve R

Azure Data Lake Araçları birden çok özel kodu destekler. Yönergeler için bkz. VS Code'da Azure Data Lake Analytics için Python, R ve C Sharp ile U-SQL geliştirme.

Derlemelerle çalışma

Derleme geliştirme hakkında bilgi için bkz. Azure Data Lake Analytics işleri için U-SQL derlemeleri geliştirme.

Data Lake Araçları'nı kullanarak özel kod derlemelerini Data Lake Analytics kataloğuna kaydedebilirsiniz.

Derlemeyi kaydetmek için

Derlemeyi ADL: Register Assembly veya ADL: Register Assembly (Advanced) komutu aracılığıyla kaydedebilirsiniz .

ADL aracılığıyla kaydolmak için: Derlemeyi Kaydet komutu

1. Komut paletini açmak için Ctrl+Shift+P tuşlarına basın.
2. ADL: Derlemeyi Kaydet'i girin.
3. Yerel derleme yolunu belirtin.
4. bir Data Lake Analytics hesabı seçin.
5. Bir veritabanı seçin.

Portal bir tarayıcıda açılır ve derleme kayıt işlemini görüntüler.

ADL'yi tetiklemenin daha kolay bir yolu: Derlemeyi Kaydet komutu, Dosya Gezgini'da .dll dosyasına sağ tıklamaktır.

ADL: Derlemeyi Kaydetme (Gelişmiş) komutuyla kaydolmak için

1. Komut paletini açmak için Ctrl+Shift+P tuşlarına basın.

2. ADL: Derlemeyi Kaydet (Gelişmiş) girin.

3. Yerel derleme yolunu belirtin.

4. JSON dosyası görüntülenir. Gerekirse derleme bağımlılıklarını ve kaynak parametrelerini gözden geçirin ve düzenleyin. Yönergeler Çıkış penceresinde görüntülenir. Derleme kaydına devam etmek için JSON dosyasını kaydedin (Ctrl+S).

   

Not

• Azure Data Lake Araçları, DLL'nin herhangi bir derleme bağımlılığı olup olmadığını otomatik olarak algılar. Bağımlılıklar algılandıktan sonra JSON dosyasında görüntülenir.
• DLL kaynaklarınızı (örneğin, .txt, .png ve .csv) derleme kaydının bir parçası olarak karşıya yükleyebilirsiniz.

ADL: Derlemeyi Kaydet (Gelişmiş) komutunu tetiklemenin bir diğer yolu da Dosya Gezgini'da .dll dosyasına sağ tıklamaktır.

Aşağıdaki U-SQL kodu, bir derlemenin nasıl çağrılduğunu gösterir. Örnekte derleme adı testtir.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Windows kullanıcıları için U-SQL yerel çalıştırma ve yerel hata ayıklama kullanma

U-SQL yerel çalıştırması yerel verilerinizi test eder ve kodunuz Data Lake Analytics yayımlanmadan önce betiğinizi yerel olarak doğrular. Kodunuz Data Lake Analytics gönderilmeden önce aşağıdaki görevleri tamamlamak için yerel hata ayıklama özelliğini kullanabilirsiniz:

• Arka planda C# kodunuzda hata ayıklayın.
• Kodda ilerleyin.
• Betiğinizi yerel olarak doğrulayın.

Yerel çalıştırma ve yerel hata ayıklama özelliği yalnızca Windows ortamlarında çalışır ve macOS ve Linux tabanlı işletim sistemlerinde desteklenmez.

Yerel çalıştırma ve yerel hata ayıklama yönergeleri için bkz. U-SQL yerel çalıştırması ve Visual Studio Code ile yerel hata ayıklama.

Azure'a Bağlanma

Data Lake Analytics'da U-SQL betiklerini derleyip çalıştırabilmeniz için önce Azure hesabınıza bağlanmanız gerekir.

Komut kullanarak Azure'a bağlanmak için

1. Komut paletini açmak için Ctrl+Shift+P tuşlarına basın.

2. ADL: Oturum açma girin. Oturum açma bilgileri sağ altta görünür.

   

   

3. Oturum açma web sayfasını açmak için Kopyala & Aç'ı seçin. Kodu kutuya yapıştırın ve ardından Devam'ı seçin.

   

4. Web sayfasından oturum açmak için yönergeleri izleyin. Bağlandığınızda, Vs Code penceresinin sol alt köşesindeki durum çubuğunda Azure hesabınızın adı görünür.

Not

• Oturumu kapatmazsanız Data Lake Araçları bir sonraki seferde otomatik olarak oturum açar.
• Hesabınızda iki faktör etkinleştirildiyse PIN yerine telefon kimlik doğrulaması kullanmanızı öneririz.

Oturumu kapatmak için ADL: Logout komutunu girin.

Gezginden Azure'a bağlanmak için

AZURE DATALAKE'yi genişletin, Azure'da oturum aç'ı seçin ve ardından bir komut kullanarak Azure'a bağlanmak için 3. ve 4. adımı izleyin.

Gezginden oturumu kapatamazsınız. Oturumu kapatmak için bkz. Komut kullanarak Azure'a bağlanmak için.

Ayıklama betiği oluşturma

ADL: CREATE EXTRACT Script komutunu kullanarak veya Azure Data Lake gezgininden .csv, .tsv ve .txt dosyaları için bir ayıklama betiği oluşturabilirsiniz.

Komut kullanarak ayıklama betiği oluşturmak için

1. Komut paletini açmak için Ctrl+Shift+P tuşlarına basın ve ADL: EXTRACT Betiği Oluştur yazın.
2. Azure Depolama dosyasının tam yolunu belirtin ve Enter tuşunu seçin.
3. Bir hesap seçin.
4. .txt dosyası için, dosyayı ayıklamak için bir sınırlayıcı seçin.

Ayıklama betiği girdilerinize göre oluşturulur. Sütunları algılayamaz bir betik için iki seçenekten birini seçin. Aksi takdirde yalnızca bir betik oluşturulur.

Gezginden ayıklama betiği oluşturmak için

Ayıklama betiğini oluşturmanın bir diğer yolu da Azure Data Lake Store veya Azure Blob depolamada .csv, .tsv veya .txt dosyasında sağ tıklama (kısayol) menüsüdür.

Sonraki adımlar

• VS Code'da Azure Data Lake Analytics için Python, R ve C Sharp ile U-SQL geliştirme
• Visual Studio Code ile U-SQL yerel çalıştırma ve yerel hata ayıklama
• Öğretici: Azure Data Lake Analytics kullanmaya başlama
• Öğretici: Visual Studio için Data Lake Araçları'nı kullanarak U-SQL betikleri geliştirme