Konfigurasi tingkat lanjut untuk notebook Jupyter dan MSTICPy di Microsoft Azure Sentinel

Artikel
06/01/2023

Artikel ini menjelaskan konfigurasi tingkat lanjut untuk bekerja dengan notebook Jupyter dan MSTICPy di Microsoft Azure Sentinel.

Untuk informasi lebih lanjut, lihat Menggunakan notebook Jupyter untuk berburu ancaman keamanan dan Tutorial: Memulai dengan notebook Jupyter dan MSTICPy di Microsoft Azure Sentinel.

Prasyarat

Artikel ini adalah kelanjutan dari Tutorial: Memulai dengan notebook Jupyter dan MSTICPy di Microsoft Azure Sentinel. Kami menyarankan Anda melakukan tutorial sebelum melanjutkan dengan prosedur tingkat lanjut yang dijelaskan di bawah ini.

Tentukan parameter autentikasi untuk API Azure dan Microsoft Azure Sentinel

Prosedur ini menjelaskan cara mengonfigurasi parameter autentikasi untuk Microsoft Azure Sentinel dan sumber daya API Azure lainnya di file msticpyconfig.yaml Anda.

Untuk menambahkan pengaturan autentikasi Azure dan API Microsoft Azure Sentinel di editor pengaturan MSTICPy:

Lanjutkan ke sel berikutnya, dengan kode berikut, dan jalankan:
```
mpedit.set_tab("Data Providers")
mpedit
```
Di tab Penyedia Data, pilih AzureCLI>Tambahkan.
Pilih metode autentikasi untuk digunakan:
- Meskipun Anda dapat menggunakan set metode yang berbeda dari default Azure, penggunaan ini bukan konfigurasi yang khas.
- Kecuali Anda ingin menggunakan autentikasi env (variabel lingkungan), biarkan bidang clientId, tenantiId, dan clientSecret kosong.
- Meskipun tidak disarankan, MSTICPy juga mendukung penggunaan aplikasi klien dan rahasia untuk autentikasi Anda. Dalam kasus seperti itu, tentukan bidang clientId, tenantId, dan clientSecret Anda langsung di tab Penyedia Data.
Pilih Simpan File untuk menyimpan perubahan.

Menentukan penyedia kueri muat otomatis

Tentukan penyedia kueri apa pun yang Anda ingin MSTICPy muat secara otomatis saat Anda menjalankan fungsi nbinit.init_notebook.

Ketika Anda sering menulis notebook baru, penyedia kueri muat otomatis dapat menghemat waktu Anda dengan memastikan bahwa penyedia yang diperlukan dimuat sebelum komponen lain, seperti fungsi pivot dan notebooklets.

Untuk menambahkan penyedia kueri muat otomatis:

Lanjutkan ke sel berikutnya, dengan kode berikut, dan jalankan:
```
mpedit.set_tab("Autoload QueryProvs")
mpedit
```
Di tab Muat Otomatis QueryProv:
- Untuk penyedia Microsoft Azure Sentinel, tentukan nama penyedia dan nama ruang kerja yang ingin Anda sambungkan.
- Untuk penyedia kueri lainnya, tentukan nama penyedia saja.
Setiap penyedia juga memiliki nilai opsional berikut:
- Menyambungkan otomatis: Opsi ini didefinisikan sebagai True secara default, dan MSTICPy mencoba mengautentikasi ke penyedia segera setelah pemuatan. MSTICPy mengasumsikan bahwa Anda telah mengonfigurasi info masuk untuk penyedia di pengaturan Anda.
- Alias: Ketika MSTICPy memuat penyedia, ia menugaskan penyedia ke nama variabel Python. Secara default, nama variabel adalah qryworkspace_name untuk penyedia Microsoft Azure Sentinel dan qryprovider_name untuk penyedia lain.
  
  Misalnya, jika Anda memuat penyedia kueri untuk ruang kerja ContosoSOC, penyedia kueri ini akan dibuat di lingkungan notebook Anda dengan nama qry_ContosoSOC. Tambahkan alias jika Anda ingin menggunakan sesuatu yang lebih pendek atau lebih mudah untuk mengetik dan mengingat. Nama variabel penyedia akan menjadi qry_<alias>, di mana <alias> digantikan oleh nama alias yang Anda berikan.
  
  Penyedia yang Anda muat dengan mekanisme ini juga ditambahkan ke atribut current_providers MSTICPy, yang digunakan, misalnya, dalam kode berikut:
```
import msticpy
msticpy.current_providers
```
Pilih Simpan Pengaturan untuk menyimpan perubahan Anda.

Menentukan komponen MSTICPy yang dimuat otomatis

Prosedur ini menjelaskan cara mendefinisikan komponen lain yang secara otomatis dimuat oleh MSTICPy ketika Anda menjalankan fungsi nbinit.init_notebook.

Komponen yang didukung termasuk, dalam urutan berikut:

TILookup:Pustaka penyedia TI
GeoIP:Penyedia GeoIP yang ingin Anda gunakan
AzureData: Modul yang Anda gunakan untuk meminta detail tentang sumber daya Azure
AzureSentinelAPI: Modul yang Anda gunakan untuk meminta API Microsoft Azure Sentinel
Notebooklets: Notebooklets dari paket msticnb
Pivot: Fungsi pivot

Catatan

Komponen dimuat dalam urutan ini karena komponen Pivot membutuhkan kueri dan penyedia lain yang dimuat untuk menemukan fungsi pivot yang dilampirkan ke entitas. Untuk informasi selengkapnya, lihat Dokumentasi MSTICPy.

untuk menentukan komponen MSTICPy yang dimuat otomatis:

Lanjutkan ke sel berikutnya, dengan kode berikut, dan jalankan:
```
mpedit.set_tab("Autoload Components")
mpedit
```
Di tab Komponen Muat Otomatis, tentukan nilai parameter apa pun sesuai kebutuhan. Misalnya:
- GeoIpLookup. Masukkan nama penyedia GeoIP yang ingin Anda gunakan, baik GeoLiteLookup atau IPStack. Untuk informasi selengkapnya, lihat Menambahkan pengaturan penyedia GeoIP.
- Komponen AzureData dan AzureSentinelAPI. Tentukan nilai berikut:
  - auth_methods: Mengesampingkan pengaturan default untuk AzureCLI, dan menyambungkan menggunakan metode yang dipilih.
  - Menyambungkan otomatis: Atur ke false untuk memuat tanpa menghubungkan.
  Untuk informasi lebih lanjut, lihat Menentukan parameter autentikasi untuk API Azure dan Microsoft Azure Sentinel.
- Notebooklets. Komponen Notebooklets memiliki blok parameter tunggal: AzureSentinel.
  
  Tentukan ruang kerja Microsoft Azure Sentinel Anda menggunakan sintaks berikut: workspace:\<workspace name>. Nama ruang kerja harus menjadi salah satu ruang kerja yang didefinisikan dalam tab Microsoft Azure Sentinel.
  
  Jika Anda ingin menambahkan lebih banyak parameter untuk dikirim ke fungsi notebooklets init, tentukan sebagai kunci:pasangan nilai, dipisahkan oleh garis baru. Misalnya:
```
workspace:<workspace name>
providers=["LocalData","geolitelookup"]
```
  Untuk informasi selengkapnya, lihat dokumentasi MSTICNB (MSTIC Notebooklets).
Beberapa komponen, seperti TILookup dan Pivot, tidak memerlukan parameter apa pun.
Pilih Simpan Pengaturan untuk menyimpan perubahan Anda.

Beralih antara Kernel Python 3.6 dan 3.8

Jika Anda beralih antara kernel Python 3.65 dan 3.8, Anda mungkin menemukan bahwa MSTICPy dan paket lainnya tidak diinstal seperti yang diharapkan.

Ini mungkin terjadi ketika perintah !pip install pkg akan menginstal dengan benar di lingkungan pertama, tetapi kemudian tidak menginstal dengan benar di lingkungan kedua. Ini menciptakan situasi di mana lingkungan kedua tidak dapat mengimpor atau menggunakan paket.

Kami menyarankan Anda tidak menggunakan !pip install... untuk menginstal paket di notebook Azure ML. Anda dapat menggunakan salah satu opsi berikut ini:

Gunakan sihir %pip line di dalam notebook. Jalankan:
```
%pip install --upgrade msticpy
```
Instal dari terminal:
1. Buka terminal di notebook Azure ML dan jalankan perintah berikut:
```
conda activate azureml_py38
pip install --upgrade msticpy
```
2. Tutup terminal dan hidupkan ulang kernel.

Mengatur variabel lingkungan untuk file msticpyconfig.yaml Anda

Jika Anda berjalan di Azure ML dan memiliki file msticpyconfig.yaml di akar folder pengguna Anda, MSTICPy akan secara otomatis menemukan pengaturan ini. Namun, jika Anda menjalankan notebook di lingkungan lain, ikuti petunjuk di bagian ini untuk mengatur variabel lingkungan yang menunjuk ke lokasi file konfigurasi Anda.

Menentukan jalur ke file msticpyconfig.yaml Anda dalam variabel lingkungan memungkinkan Anda untuk menyimpan file Anda di lokasi yang diketahui dan memastikan bahwa Anda selalu memuat pengaturan yang sama.

Gunakan beberapa file konfigurasi, dengan beberapa variabel lingkungan, jika Anda ingin menggunakan pengaturan yang berbeda untuk notebook yang berbeda.

Tentukan lokasi untuk file msticpyconfig.yaml Anda, seperti di ~/.msticpyconfig.yaml atau %userprofile%/msticpyconfig.yaml.

Pengguna Azure ML:Jika Anda menyimpan file konfigurasi anda di folder pengguna Azure ML Anda, fungsi init_notebook MSTICPy (dijalankan dalam sel inisialisasi) akan secara otomatis menemukan dan menggunakan file, dan Anda tidak perlu mengatur variabel lingkungan MSTICPYCONFIG.

Namun, jika Anda juga memiliki rahasia yang tersimpan dalam file, kami sarankan menyimpan file konfigurasi pada drive lokal komputasi. Penyimpanan internal komputasi hanya dapat diakses oleh orang yang membuat komputasi, sedangkan penyimpanan bersama dapat diakses oleh siapa saja yang memiliki akses ke ruang kerja Azure ML Anda.

Untuk informasi selengkapnya, lihat Apa itu kluster komputasi Azure Machine Learning?.
Jika diperlukan, salin file msticpyconfig.yaml Anda ke lokasi yang Anda pilih.
Atur variabel lingkungan MSTICPYCONFIG untuk menunjuk ke lokasi tersebut.

Gunakan salah satu prosedur berikut untuk menentukan variabel lingkungan MSTICPYCONFIG.

Misalnya, untuk mengatur variabel lingkungan MSTICPYCONFIG pada sistem Windows:

Pindahkan file msticpyconfig.yaml ke instance Azure Compute sesuai kebutuhan.
Buka kotak dialog Properti Sistem ke tab Tingkat Lanjut.
Pilih Variabel Lingkungan... untuk membuka dialog Variabel Lingkungan.
Di area Variabel sistem, pilih Baru ..., dan tentukan nilai sebagai berikut:
- Nama variabel: Tentukan sebagai MSTICPYCONFIG
- Nilai variabel: Masukkan jalur ke file msticpyconfig.yaml Anda

Prosedur ini menjelaskan cara memperbarui file .bashrc untuk mengatur variabel lingkungan MSTICPYCONFIG pada sistem Linux.

Pindahkan file msticpyconfig.yaml ke instance Azure Compute sesuai kebutuhan.
Buka terminal Azure Machine Learning, seperti dari halaman Notebooks Microsoft Azure Sentinel.
Verifikasi bahwa Anda dapat mengakses file msticpyconfig.yaml.

Di terminal Azure ML Anda, direktori Anda saat ini harus menjadi direktori beranda penyimpanan file Azure ML Anda, yang dipasang di sistem Azure Compute Linux. Permintaan terlihat mirip dengan contoh berikut:
```
azureuser@alicecontoso-azml7:~/cloudfiles/code/Users/alicecontoso$
```
Daftar semua file di direktori beranda, termasuk file msticpyconfig.yaml, dengan memasukkan ls.
Untuk memindahkan file msticpyconfig.yaml ke penyimpanan file Azure Compute, masukkan:
```
mv msticpyconfig.yaml ~
```

Gunakan salah satu proses berikut untuk mengedit file .bashrc untuk variabel lingkungan Anda:

Perintah	Langkah-langkah
Vim	1. Jalankan: `vim ~/.bashrc` 2. Buka akhir file dengan menekan SHIFT +G>End. 3. Buat baris baru dengan memasukkan a lalu tekan ENTER. 4. Tambahkan variabel lingkungan Anda lalu tekan ESC untuk kembali ke mode perintah. 5. Simpan file dengan memasukkan :wq.
nano	1. Jalankan: `nano ~/.bashrc` 1. Buka akhir file dengan menekan ALT+/ atau OPTION+/. 1. Tambahkan variabel lingkungan Anda, lalu simpan file Anda. Tekan CTRL+X lalu Y.

Tambahkan salah satu variabel lingkungan berikut:

Jika Anda memindahkan file msticpyconfig.yaml, jalankan export MSTICPYCONFIG=~/msticpyconfig.yaml.
Jika Anda tidak memindahkan file msticpyconfig.yaml, jalankan export MSTICPYCONFIG=~/cloudfiles/code/Users/<YOURNAME>/msticpyconfig.yaml.

Jika Anda perlu menyimpan file mticpyconfig.yaml di tempat lain selain folder pengguna Azure ML, gunakan salah satu opsi berikut:

File nbuser_settings.py di akar folder pengguna Anda. Meskipun proses ini lebih sederhana dan tidak semengganggu daripada mengedit file kernel.json, proses itu hanya didukung ketika Anda menjalankan fungsi init_notebook di awal kode notebook Anda. Meskipun ini adalah perilaku default, jika Anda menjalankan kode notebook tanpa terlebih dahulu menjalankan init_notebook, MSTICPy mungkin tidak dapat menemukan file konfigurasi.
1. Di terminal Azure ML, buat file nbuser_settings.py di akar folder pengguna Anda, yang merupakan folder dengan nama pengguna Anda.
2. Di file nbuser_settings.py Anda, tambahkan baris berikut:
```
  import os
  os.environ["MSTICPYCONFIG"] = "~/msticpyconfig.yaml"
```
File ini secara otomatis diimpor oleh fungsi init_notebook, dan mengatur variabel lingkungan MSTICPYCONFIG untuk notebook saat ini.
File kernel.json untuk kernel Python Anda. Gunakan prosedur ini jika Anda berencana menjalankan notebook secara manual, dan mungkin tanpa memanggil fungsi init_notebook di awal.

Ada kernel untuk Python 3.6 dan Python 3.8. Jika Anda menggunakan kedua kernel, edit kedua file tersebut.
- Lokasi Python 3.8: /usr/local/share/jupyter/kernels/python38-azureml/kernel.json
- Lokasi Python 3.6: /usr/local/share/jupyter/kernels/python3-azureml/kernel.json
Untuk mengatur variabel lingkungan dalam file kernel.json:
1. Buat salinan file kernel.json, dan buka yang asli di editor. Anda mungkin perlu menggunakan sudo untuk menimpa file kernel.json, dan konten file terlihat mirip dengan contoh berikut:
```
{
   "argv": [
   "/anaconda/envs/azureml_py38/bin/python",
   "-m",
   "ipykernel_launcher",
   "-f",
   "{connection_file}"
   ],
   "display_name": "Python 3.8 - AzureML",
   "language": "python"
}
```
2. Setelah item "language", tambahkan baris berikut: "env": { "MSTICPYCONFIG": "~/msticpyconfig.yaml" }
  
  Pastikan untuk menambahkan koma di akhir baris "language": "python". Contoh:
```
{
    "argv": [
    "/anaconda/envs/azureml_py38/bin/python",
    "-m",
    "ipykernel_launcher",
    "-f",
    "{connection_file}"
    ],
    "display_name": "Python 3.8 - AzureML",
    "language": "python",
    "env": { "MSTICPYCONFIG": "~/msticpyconfig.yaml" }
}
```

Catatan

Untuk opsi Linux dan Windows, Anda harus menghidupkan ulang server Jupyter anda untuk mengambil variabel lingkungan yang Anda tentukan.

Langkah berikutnya

Untuk informasi selengkapnya, lihat:

Subjek	Referensi lainnya
MSTICPy	- Konfigurasi Paket MSTICPy - Editor Pengaturan MSTICPy - Mengonfigurasi Lingkungan Notebook Anda. - Notebook MPSettingsEditor. Catatan: Repositori GitHub Azure-Sentinel-Notebooks juga berisi file msticpyconfig.yaml templat dengan bagian yang dikomentari, yang mungkin membantu Anda memahami pengaturan.
Microsoft Azure Sentinel dan notebook Jupyter	- Membuat notebook Microsoft Sentinel pertama Anda (Seri blog) - Jupyter Notebook: Pengantar - Dokumentasi MSTICPy - Dokumentasi Notebooks Microsoft Azure Sentinel - Infosec Jupyterbook - Panduan Linux Host Explorer Notebook - Mengapa menggunakan Jupyter untuk Investigasi Keamanan - Investigasi Keamanan dengan Microsoft Azure Sentinel & Notebooks - Dokumentasi Pandas - Dokumentasi Bokeh

Bagikan melalui