Menjalankan skrip U-SQL di komputer lokal Anda

Ketika mengembangkan skrip U-SQL, Anda dapat menghemat waktu dan biaya dengan menjalankan skrip secara lokal. Azure Data Lake Tools for Visual Studio mendukung menjalankan skrip U-SQL di komputer lokal Anda.

Konsep dasar untuk eksekusi lokal

Bagan berikut menunjukkan komponen untuk dijalankan secara lokal dan bagaimana komponen ini dipetakan untuk eksekusi cloud.

Komponen Eksekusi lokal Eksekusi cloud
Penyimpanan Folder akar data lokal Akun Default Azure Data Lake Store
Compute Mesin eksekusi lokal U-SQL Layanan Azure Data Lake Analytics
Menjalankan lingkungan Direktori kerja pada komputer lokal Kluster Azure Data Lake Analytics

Bagian berikut memberikan informasi selengkapnya tentang komponen yang dijalankan secara lokal.

Folder akar data lokal

Folder akar data lokal adalah penyimpanan lokal untuk akun komputasi lokal. Folder apa pun dalam sistem file lokal pada komputer lokal Anda dapat menjadi folder akar data lokal. Hal ini sama dengan akun Default Azure Data Lake Store dari akun Azure Data Lake Analytics. Beralih ke folder akar data yang berbeda sama seperti beralih ke akun penyimpanan default yang berbeda.

Folder akar data digunakan sebagai berikut:

  • Simpan metadata. Contohnya adalah database, tabel, fungsi bernilai tabel, dan assembly.
  • Cari jalur input dan output yang didefinisikan sebagai jalur relatif dalam skrip U-SQL. Dengan menggunakan jalur relatif, lebih mudah untuk menyebarkan skrip U-SQL Anda ke Azure.

Mesin eksekusi lokal U-SQL

Mesin eksekusi lokal U-SQL adalah akun komputasi lokal untuk pekerjaan U-SQL. Pengguna dapat menjalankan pekerjaan U-SQL secara lokal melalui Azure Data Lake Tools for Visual Studio. Jalur lokal juga didukung melalui baris perintah SDK U-SQL Azure Data Lake dan antarmuka pemrograman. Pelajari selengkapnya tentang SDK U-SQL Azure Data Lake.

Direktori kerja

Saat menjalankan skrip U-SQL, folder direktori kerja diperlukan untuk menyimpan hasil kompilasi, log eksekusi, dan melakukan fungsi lainnya. Di Azure Data Lake Tools for Visual Studio, direktori kerja adalah direktori kerja proyek U-SQL. Hal ini terletak di bagian <U-SQL project root path>/bin/debug>. Direktori kerja dihapus setiap kali eksekusi baru dipicu.

Eksekusi lokal di Microsoft Visual Studio

Azure Data Lake Tools for Visual Studio memiliki mesin eksekusi lokal bawaan. Alat-alat ini menampilkan mesin sebagai akun komputasi lokal. Untuk menjalankan skrip U-SQL secara lokal, pilih akun Mesin lokal atau Proyek lokal di menu drop-down margin editor skrip. Lalu pilih Kirim.

Mengirimkan skrip U-SQL ke akun lokal

Eksekusi lokal dengan akun Komputer lokal

Akun Komputer lokal adalah akun komputasi lokal bersama dengan satu folder akar data lokal sebagai akun penyimpanan lokal. Secara default, folder akar data terletak di C:\Users<username>\AppData\Local\USQLDataRoot. Hal ini juga dapat dikonfigurasi melalui Alat > Data Lake > Opsi dan Pengaturan.

Mengonfigurasi folder akar data lokal

Proyek U-SQL diperlukan untuk eksekusi lokal. Direktori kerja proyek U-SQL digunakan untuk direktori kerja U-SQL yang dijalankan secara lokal. Hasil kompilasi, log eksekusi, dan file terkait eksekusi pekerjaan lainnya dibuat dan disimpan di bagian folder direktori kerja selama eksekusi lokal. Setiap kali menjalankan ulang skrip, semua file di direktori kerja dihapus dan dibuat ulang.

Eksekusi lokal dengan akun Proyek lokal

Akun Proyek lokal adalah akun komputasi lokal yang diisolasi proyek untuk setiap proyek dengan folder akar data lokal yang terisolasi. Setiap proyek U-SQL aktif yang dibuka di Penjelajah Solusi di Visual Studio memiliki akun (Local-project: <project name>) yang sesuai. Akun terdaftar di Penjelajah Server di Visual Studio dan margin editor skrip U-SQL.

Akun Proyek lokal menyediakan lingkungan pengembangan yang bersih dan terisolasi. Akun Komputer lokal memiliki folder akar data lokal bersama yang menyimpan metadata serta data input dan output untuk semua pekerjaan lokal. Tetapi akun Proyek lokal membuat folder akar data lokal sementara di bagian direktori kerja proyek U-SQL setiap kali skrip U-SQL dijalankan. Folder akar data sementara ini dihapus ketika terjadi pembangunan ulang atau eksekusi ulang.

Proyek U-SQL mengelola lingkungan eksekusi lokal yang diisolasi melalui referensi proyek dan properti. Anda dapat mengonfigurasi sumber data input untuk skrip U-SQL di lingkungan proyek dan database yang direferensikan.

Mengelola sumber data input untuk akun Proyek lokal

Proyek U-SQL membuat folder akar data lokal dan menyiapkan data untuk akun Proyek lokal. Folder akar data sementara dihapus dan dibuat ulang di bagian direktori kerja proyek U-SQL setiap kali pembangunan kembali dan eksekusi lokal terjadi. Semua sumber data yang dikonfigurasi oleh proyek U-SQL disalin ke folder akar data lokal sementara ini sebelum eksekusi lokal berjalan.

Anda dapat mengonfigurasi folder akar sumber data Anda. Klik kanan Proyek U-SQL > Properti > Sumber Data Uji. Saat Anda menjalankan skrip U-SQL di akun Proyek lokal, semua file dan subfolder di folder Sumber Data Uji disalin ke folder akar data lokal sementara. File di bagian subfolder disertakan. Setelah pekerjaan lokal berjalan, hasil output juga dapat ditemukan di bagian folder akar data lokal sementara di direktori kerja proyek. Semua output ini dihapus dan dibersihkan ketika proyek dibangun kembali dan dibersihkan.

Mengonfigurasi sumber data pengujian proyek

Mengelola lingkungan database yang direferensikan untuk akun Proyek lokal

Jika menggunakan kueri U-SQL atau kueri dengan objek database U-SQL, Anda harus membuat lingkungan database yang siap secara lokal sebelum menjalankan skrip U-SQL secara lokal. Untuk akun Proyek lokal, dependensi database U-SQL dapat dikelola oleh referensi proyek U-SQL. Anda dapat menambahkan referensi proyek database U-SQL ke proyek U-SQL. Sebelum menjalankan skrip U-SQL di akun Proyek lokal, semua database yang direferensikan disebarkan ke folder akar data lokal sementara. Dan untuk setiap eksekusi, folder akar data sementara akan dibersihkan sebagai lingkungan terisolasi yang segar.

Lihat artikel terkait ini:

Perbedaan antara akun Komputer lokal dan Proyek lokal

Akun Komputer lokal mensimulasikan akun Azure Data Lake Analytics di komputer lokal pengguna. Hal ini berbagi pengalaman yang sama dengan akun Azure Data Lake Analytics. Akun Proyek lokal menyediakan lingkungan pengembangan lokal yang ramah pengguna. Lingkungan ini membantu pengguna menerapkan referensi database dan memasukkan data sebelum mereka menjalankan skrip secara lokal. Akun Komputer lokal menyediakan lingkungan permanen bersama yang dapat diakses melalui semua proyek. Akun Proyek lokal menyediakan lingkungan pengembangan yang terisolasi untuk setiap proyek. Hal ini di-refresh untuk setiap eksekusi. Akun Proyek lokal menawarkan pengalaman pengembangan yang lebih cepat dengan menerapkan perubahan baru dengan cepat.

Perbedaan lainnya antara akun Komputer lokal dan Proyek lokal ditampilkan dalam tabel berikut:

Sudut perbedaan Komputer lokal Proyek lokal
Akses lokal Dapat diakses semua proyek. Hanya proyek sesuai yang dapat mengakses akun ini.
Folder akar data lokal Folder lokal permanen. Dikonfigurasi melalui Alat > Data Lake > Opsi dan Pengaturan. Folder sementara yang dibuat untuk setiap eksekusi lokal di bagian direktori kerja proyek U-SQL. Folder akan dibersihkan ketika pembangunan ulang atau eksekusi ulang terjadi.
Menginput data untuk skrip U-SQL Jalur relatif di bagian folder akar data lokal permanen. Tetapkan melalui properti proyek U-SQL > Sumber Data Uji. Semua file dan subfolder disalin ke folder akar data sementara sebelum dijalankan secara lokal.
Data output untuk skrip U-SQL Jalur relatif di bagian folder akar data lokal permanen. Output ke folder akar data sementara. Folder akan dibersihkan ketika pembangunan ulang atau eksekusi ulang dijalankan.
Penyebaran database yang direferensikan Database yang direferensikan tidak disebarkan secara otomatis saat berjalan di akun Komputer lokal. Hal ini juga berlaku untuk mengirim ke akun Azure Data Lake Analytics. Database yang direferensikan disebarkan ke akun Proyek lokal secara otomatis sebelum dijalankan secara lokal. Semua lingkungan database dibersihkan dan disebarkan ketika pembangunan atau eksekusi ulang dijalankan.

Eksekusi lokal dengan SDK U-SQL

Anda dapat menjalankan skrip U-SQL secara lokal di Visual Studio dan juga menggunakan SDK U-SQL Azure Data Lake untuk menjalankan skrip U-SQL secara lokal dengan antarmuka baris perintah dan pemrograman. Melalui antarmuka ini, Anda dapat mengotomatiskan eksekusi dan pengujian lokal U-SQL.

Pelajari selengkapnya tentang SDK U-SQL Azure Data Lake.

Langkah berikutnya