Yerel makinenizde U-SQL betikleri çalıştırma

Önemli

Azure Data Lake Analytics 29 Şubat 2024'te kullanımdan kaldırıldı. Bu duyuru ile daha fazla bilgi edinin.

Veri analizi için kuruluşunuz Azure Synapse Analytics veya Microsoft Fabric kullanabilir.

U-SQL betikleri geliştirirken, betikleri yerel olarak çalıştırarak zamandan ve harcamadan tasarruf edebilirsiniz. Visual Studio için Azure Data Lake Araçları yerel makinenizde U-SQL betikleri çalıştırmayı destekler.

Yerel çalıştırmalar için temel kavramlar

Aşağıdaki grafikte yerel çalıştırmanın bileşenleri ve bu bileşenlerin bulut çalıştırması ile nasıl eşleştirilmiş olduğu gösterilmektedir.

Bileşen Yerel çalıştırma Bulut çalıştırması
Depolama Yerel veri kök klasörü Varsayılan Azure Data Lake Store hesabı
İşlem U-SQL yerel çalıştırma altyapısı Azure Data Lake Analytics hizmeti
Ortamı çalıştırma Yerel makinede çalışma dizini Azure Data Lake Analytics kümesi

Aşağıdaki bölümlerde yerel çalıştırma bileşenleri hakkında daha fazla bilgi sağlanır.

Yerel veri kök klasörleri

Yerel veri kök klasörü, yerel işlem hesabı için yerel bir depodur . Yerel makinenizdeki yerel dosya sistemindeki herhangi bir klasör yerel veri kök klasörü olabilir. Bu, bir Data Lake Analytics hesabının varsayılan Azure Data Lake Store hesabıyla aynıdır. Farklı bir veri kök klasörüne geçmek, aynı farklı bir varsayılan depolama hesabına geçmek gibidir.

Veri kök klasörü aşağıdaki gibi kullanılır:

  • Meta verileri depolayın. Veritabanları, tablolar, tablo değerli işlevler ve derlemeler bunlara örnek olarak verilebilir.
  • U-SQL betiklerinde göreli yollar olarak tanımlanan giriş ve çıkış yollarını arayın. Göreli yolları kullanarak U-SQL betiklerinizi Azure'a dağıtmak daha kolaydır.

U-SQL yerel çalıştırma altyapıları

U-SQL yerel çalıştırma altyapısı, U-SQL işleri için yerel bir işlem hesabıdır . Kullanıcılar Visual Studio için Azure Data Lake Araçları aracılığıyla U-SQL işlerini yerel olarak çalıştırabilir. Yerel çalıştırmalar, Azure Data Lake U-SQL SDK komut satırı ve programlama arabirimleri aracılığıyla da desteklenir. Azure Data Lake U-SQL SDK'sı hakkında daha fazla bilgi edinin.

Çalışma dizinleri

U-SQL betiği çalıştırdığınızda, derleme sonuçlarını önbelleğe almak, günlükleri çalıştırmak ve diğer işlevleri gerçekleştirmek için bir çalışma dizini klasörü gerekir. Visual Studio için Azure Data Lake Araçları'da çalışma dizini U-SQL projesinin çalışma dizinidir. altında <U-SQL project root path>/bin/debug>bulunur. Yeni bir çalıştırma tetiklendiğinde çalışma dizini temizlenir.

Microsoft Visual Studio'da yerel çalıştırmalar

Visual Studio için Azure Data Lake Araçları yerleşik bir yerel çalıştırma altyapısına sahiptir. Araçlar, altyapıyı yerel bir işlem hesabı olarak ortaya alır. U-SQL betiğini yerel olarak çalıştırmak için betiğin düzenleyici kenar boşluğu açılan menüsünde Local-machine veya Local-project hesabını seçin. Ardından Gönder'i seçin.

Yerel hesaba U-SQL betiği gönderme

Yerel makine hesabıyla yerel çalıştırmalar

Local-machine hesabı, yerel depolama hesabı olarak tek bir yerel veri kök klasörüne sahip paylaşılan bir yerel işlem hesabıdır. Varsayılan olarak, veri kök klasörü C:\Users<kullanıcıadı>\AppData\Local\USQLDataRoot konumunda bulunur. Ayrıca Araçlar>Data Lake>Seçenekleri ve Ayarları aracılığıyla da yapılandırılabilir.

Yerel veri kök klasörünü yapılandırma

Yerel çalıştırma için U-SQL projesi gereklidir. U-SQL projesinin çalışma dizini, U-SQL yerel çalıştırma çalışma dizini için kullanılır. Derleme sonuçları, çalıştırma günlükleri ve işle ilgili diğer dosyalar yerel çalıştırma sırasında oluşturulur ve çalışma dizini klasörü altında depolanır. Betiği her yeniden çalıştırışınızda çalışma dizinindeki tüm dosyalar temizlenir ve yeniden oluşturulur.

Local-project hesabıyla yerel çalıştırmalar

Local-project hesabı, yalıtılmış bir yerel veri kök klasörü olan her proje için projeden yalıtılmış bir yerel işlem hesabıdır. Visual Studio'da Çözüm Gezgini açılan her etkin U-SQL projesinin karşılık gelen (Local-project: <project name>) bir hesabı vardır. Hesaplar hem Visual Studio'daki Sunucu Gezgini'nde hem de U-SQL betik düzenleyicisi kenar boşluğunda listelenir.

Local-project hesabı temiz ve yalıtılmış bir geliştirme ortamı sağlar. Local-machine hesabı, tüm yerel işler için meta verileri ve giriş ve çıkış verilerini depolayan paylaşılan bir yerel veri kök klasörüne sahiptir. Ancak Local-project hesabı, U-SQL projesi çalışma dizini altında U-SQL betiği her çalıştırıldığında geçici bir yerel veri kök klasörü oluşturur. Yeniden derleme veya yeniden çalıştırma gerçekleştiğinde bu geçici veri kök klasörü temizlenir.

U-SQL projesi, yalıtılmış yerel çalıştırma ortamını bir proje başvurusu ve özelliği aracılığıyla yönetir. Hem projede hem de başvuruda bulunılan veritabanı ortamlarında U-SQL betikleri için giriş veri kaynaklarını yapılandırabilirsiniz.

Local-project hesabı için giriş veri kaynağını yönetme

U-SQL projesi yerel bir veri kök klasörü oluşturur ve local-project hesabı için veri ayarlar. Her yeniden derleme ve yerel çalıştırma gerçekleştiğinde geçici bir veri kök klasörü temizlenir ve U-SQL projesi çalışma dizini altında yeniden oluşturulur. U-SQL projesi tarafından yapılandırılan tüm veri kaynakları, yerel iş çalışmadan önce bu geçici yerel veri kök klasörüne kopyalanır.

Veri kaynaklarınızın kök klasörünü yapılandırabilirsiniz. U-SQL projesi>Özellik>Testi Veri Kaynağı'ne sağ tıklayın. Yerel proje hesabında bir U-SQL betiği çalıştırdığınızda, Test Veri Kaynağı klasöründeki tüm dosyalar ve alt klasörler geçici yerel veri kök klasörüne kopyalanır. Alt klasörler altındaki dosyalar eklenir. Yerel bir iş çalıştırıldıktan sonra, çıkış sonuçları proje çalışma dizinindeki geçici yerel veri kök klasörünün altında da bulunabilir. Proje yeniden oluşturulduğunda ve temizlendiğinde tüm bu çıkış silinir ve temizlenir.

Projenin test veri kaynağını yapılandırma

Local-project hesabı için başvuruda yer alınan veritabanı ortamını yönetme

U-SQL sorgusu U-SQL veritabanı nesneleriyle veya sorgular kullanıyorsa, U-SQL betiğini yerel olarak çalıştırmadan önce veritabanı ortamlarını yerel olarak hazırlamanız gerekir. Local-project hesabı için U-SQL veritabanı bağımlılıkları U-SQL proje başvuruları tarafından yönetilebilir. U-SQL projenize U-SQL veritabanı projesi başvuruları ekleyebilirsiniz. U-SQL betiklerini bir Local-project hesabında çalıştırmadan önce, başvuruda bulunılan tüm veritabanları geçici yerel veri kök klasörüne dağıtılır. Ve her çalıştırma için geçici veri kök klasörü yeni yalıtılmış bir ortam olarak temizlenir.

Bu ilgili makaleye bakın:

Local-machine ve Local-project hesapları arasındaki fark

Yerel makine hesabı, kullanıcıların yerel makinelerinde bir Azure Data Lake Analytics hesabının simülasyonunu oluşturur. Aynı deneyimi bir Azure Data Lake Analytics hesabıyla paylaşır. Yerel proje hesabı, kullanıcı dostu bir yerel geliştirme ortamı sağlar. Bu ortam, kullanıcıların betikleri yerel olarak çalıştırmadan önce veritabanı başvurularını ve giriş verilerini dağıtmalarına yardımcı olur. Yerel makine hesabı, tüm projeler aracılığıyla erişilebilen paylaşılan bir kalıcı ortam sağlar. Local-project hesabı, her proje için yalıtılmış bir geliştirme ortamı sağlar. Her çalıştırma için yenilenir. Yerel proje hesabı, yeni değişiklikleri hızla uygulayarak daha hızlı bir geliştirme deneyimi sunar.

Local-machine ve Local-project hesapları arasındaki diğer farklar aşağıdaki tabloda gösterilmiştir:

Fark açısı Yerel makine Yerel proje
Yerel erişim Tüm projeler tarafından erişilebilir. Bu hesaba yalnızca ilgili proje erişebilir.
Yerel veri kök klasörü Kalıcı bir yerel klasör. Araçlar>Data Lake>Seçenekleri ve Ayarları aracılığıyla yapılandırılır. U-SQL projesi çalışma dizini altında her yerel çalıştırma için oluşturulan geçici bir klasör. Yeniden derleme veya yeniden çalıştırma gerçekleştiğinde klasör temizlenir.
U-SQL betiği için giriş verileri Kalıcı yerel veri kök klasörünün altındaki göreli yol. U-SQL proje özelliği>Test Veri Kaynağı aracılığıyla ayarlayın. Tüm dosyalar ve alt klasörler yerel çalıştırmadan önce geçici veri kök klasörüne kopyalanır.
U-SQL betiği için çıkış verileri Kalıcı yerel veri kök klasörünün altındaki göreli yol. Geçici veri kök klasörüne çıkış. Yeniden derleme veya yeniden çalıştırma gerçekleştiğinde sonuçlar temizlenir.
Başvurulan veritabanı dağıtımı Yerel makine hesabında çalıştırılırken başvuruda bulunılan veritabanları otomatik olarak dağıtılmaz. Azure Data Lake Analytics hesabına gönderme işlemiyle aynıdır. Başvuruda bulunan veritabanları yerel çalıştırmadan önce Local-project hesabına otomatik olarak dağıtılır. Yeniden derleme veya yeniden çalıştırma gerçekleştiğinde tüm veritabanı ortamları temizlenir ve yeniden dağıtılır.

U-SQL SDK'sı ile yerel çalıştırma

U-SQL betiklerini Visual Studio'da yerel olarak çalıştırabilir ve ayrıca U-SQL betiklerini komut satırı ve programlama arabirimleriyle yerel olarak çalıştırmak için Azure Data Lake U-SQL SDK'sını kullanabilirsiniz. Bu arabirimler aracılığıyla U-SQL yerel çalıştırmalarını ve testlerini otomatikleştirebilirsiniz.

Azure Data Lake U-SQL SDK'sı hakkında daha fazla bilgi edinin.

Sonraki adımlar