Erweiterte Konfigurationen für Jupyter Notebooks und MSTICPy in Microsoft Sentinel

Artikel
04/11/2023

In diesem Artikel werden erweiterte Konfigurationen für die Arbeit mit Jupyter Notebooks und MSTICPy in Microsoft Sentinel beschrieben.

Weitere Informationen finden Sie unter Aufspüren von Sicherheitsrisiken mit Jupyter Notebooks und Tutorial: Erste Schritte mit Jupyter Notebooks und MSTICPy in Microsoft Sentinel.

Voraussetzungen

Dieser Artikel ist eine Fortsetzung von Tutorial: Erste Schritte mit Jupyter Notebooks und MSTICPy in Microsoft Sentinel. Es wird empfohlen, das Tutorial durchzuarbeiten, bevor Sie mit den weiter unten beschriebenen erweiterten Verfahren fortfahren.

Angeben von Authentifizierungsparametern für Azure- und Microsoft Sentinel-APIs

In diesem Verfahren wird beschrieben, wie Authentifizierungsparameter für Microsoft Sentinel und andere Azure-API-Ressourcen in der Datei msticpyconfig.yaml konfiguriert werden.

So fügen Sie Einstellungen für die Azure-Authentifizierung und die Microsoft Sentinel-API im MSTICPy-Einstellungs-Editor hinzu

Wechseln Sie mit dem folgenden Code zur nächsten Zelle und führen Sie sie aus:
```
mpedit.set_tab("Data Providers")
mpedit
```
Wählen Sie auf der Registerkarte Datenanbieter die Option AzureCLI>Hinzufügen aus.
Wählen Sie die zu verwendende Authentifizierungsmethode aus:
- Sie können zwar einen anderen Satz von Methoden als die Azure-Standardeinstellungen verwenden, aber diese Verwendung ist keine typische Konfiguration.
- Wenn Sie nicht die env-Authentifizierung (Umgebungsvariable) verwenden möchten, lassen Sie die Felder clientId, tenantiId und clientSecret leer.
- Obwohl nicht empfohlen, unterstützt MSTICPy auch die Verwendung von Client-App-IDs und -Geheimnissen für Ihre Authentifizierung. In solchen Fällen definieren Sie die Felder clientId, tenantId und clientSecret direkt auf der Registerkarte Datenanbieter.
Wählen Sie Datei speichern aus, um Ihre Änderungen zu speichern.

Definieren des automatischen Ladens von Abfrageanbietern

Definieren Sie alle Abfrageanbieter, die MSTICPy automatisch laden soll, wenn Sie die nbinit.init_notebook-Funktion ausführen.

Wenn Sie häufig neue Notebooks erstellen, können Sie mit dem automatischen Laden von Abfrageanbietern Zeit sparen, indem Sie sicherstellen, dass die erforderlichen Anbieter vor anderen Komponenten wie Pivotfunktionen und Notebooks geladen werden.

So fügen Sie automatisch ladende Abfrageanbieter hinzu

Wechseln Sie mit dem folgenden Code zur nächsten Zelle und führen Sie sie aus:
```
mpedit.set_tab("Autoload QueryProvs")
mpedit
```
Gehen Sie auf der Registerkarte Autoload QueryProv (QueryProv automatisch laden) wie folgt vor:
- Bei Microsoft Sentinel-Anbietern geben Sie sowohl den Anbieternamen als auch den Namen des Arbeitsbereichs an, mit dem Sie eine Verbindung herstellen möchten.
- Geben Sie für andere Abfrageanbieter nur den Anbieternamen an.
Jeder Anbieter verfügt auch über die folgenden optionalen Werte:
- Automatische Verbindung: Diese Option ist standardmäßig als True definiert, und MSTICPy versucht, sich sofort nach dem Laden beim Anbieter zu authentifizieren. MSTICPy geht davon aus, dass Sie Anmeldeinformationen für den Anbieter in Ihren Einstellungen konfiguriert haben.
- Alias: Wenn MSTICPy einen Anbieter lädt, wird der Anbieter einem Python-Variablennamen zugewiesen. Standardmäßig lautet der Variablenname qryworkspace_name für Microsoft Sentinel-Anbieter und qryprovider_name für andere Anbieter.
  
  Wenn Sie z. B. einen Abfrageanbieter für den ContosoSOC-Arbeitsbereich laden, wird dieser Abfrageanbieter in Ihrer Notebook-Umgebung mit dem Namen qry_ContosoSOC erstellt. Fügen Sie einen Alias hinzu, wenn Sie einen kürzeren oder leichter einzugebenden und zu merkenden Namen verwenden möchten. Der Name der Anbietervariable lautet qry_<alias>, wobei <alias> der Name durch den von Ihnen angegebenen Aliasnamen ersetzt wird.
  
  Anbieter, die Sie über diesen Mechanismus laden, werden auch dem MSTICPy-Attribut current_providers hinzugefügt, das z. B. im folgenden Code verwendet wird:
```
import msticpy
msticpy.current_providers
```
Wählen Sie Einstellungen speichern aus, um die Änderungen zu speichern.

Definieren automatisch geladener MSTICPy-Komponenten

In diesem Verfahren wird beschrieben, wie Sie andere Komponenten definieren, die automatisch von MSTICPy geladen werden, wenn Sie die nbinit.init_notebook-Funktion ausführen.

Zu den unterstützten Komponenten gehören in der folgenden Reihenfolge:

TILookup: Die TI-Anbieterbibliothek
GeoIP: Der GeoIP-Anbieter, den Sie verwenden möchten
AzureData: Das Modul, das Sie zum Abfragen von Details zu Azure-Ressourcen verwenden
AzureSentinelAPI: Das Modul, das Sie zum Abfragen der Microsoft Sentinel-API verwenden
Notebooklets: Notebooklets aus dem msticnb-Paket
Pivot: Pivotfunktionen

Hinweis

Die Komponenten werden in dieser Reihenfolge geladen, da die Pivotkomponente Abfragen und andere Anbieter benötigt, um die Pivotfunktionen zu finden, die sie an Entitäten anfügt. Weitere Informationen finden Sie in der MSTICPy-Dokumentation.

So definieren Sie automatisch geladene MSTICPy-Komponenten

Wechseln Sie mit dem folgenden Code zur nächsten Zelle und führen Sie sie aus:
```
mpedit.set_tab("Autoload Components")
mpedit
```
Definieren Sie auf der Registerkarte Autoload Components (Komponenten automatisch laden) alle erforderlichen Parameterwerte. Beispiel:
- GeoIpLookup. Geben Sie den Namen des GeoIP-Anbieters ein, den Sie verwenden möchten, entweder GeoLiteLookup oder IPStack. Weitere Informationen finden Sie unter Hinzufügen von GeoIP-Anbietereinstellungen.
- AzureData- und AzureSentinelAPI-Komponenten. Definieren Sie die folgenden Werte:
  - auth_methods: Setzen Sie die Standardeinstellungen für AzureCLI außer Kraft, und stellen Sie die Verbindung mit den ausgewählten Methoden her.
  - Auto-connect: Legen Sie den Wert auf „false“ fest, um ohne das Herstellen einer Verbindung zu laden.
  Weitere Informationen finden Sie unter Angeben von Authentifizierungsparametern für Azure- und Microsoft Sentinel-APIs.
- Notebooklets. Die Notebooklets-Komponente verfügt über einen einzelnen Parameterblock: AzureSentinel.
  
  Geben Sie Ihren Microsoft Sentinel-Arbeitsbereich mit der folgenden Syntax an: workspace:\<workspace name>. Der Arbeitsbereichsname muss einer der Arbeitsbereiche sein, die auf der Registerkarte Microsoft Sentinel definiert sind.
  
  Wenn Sie weitere Parameter hinzufügen möchten, die an die Funktion notebooklets init gesendet werden sollen, geben Sie sie als Schlüssel-Wert-Paare an, getrennt durch Zeilenvorschübe. Beispiel:
```
workspace:<workspace name>
providers=["LocalData","geolitelookup"]
```
  Weitere Informationen finden Sie in der MSTICNB-Dokumentation (MSTIC Notebooklets).
Einige Komponenten wie TILookup und Pivot erfordern keine Parameter.
Wählen Sie Einstellungen speichern aus, um die Änderungen zu speichern.

Wechseln zwischen Python 3.6- und 3.8-Kerneln

Wenn Sie zwischen den Python-Kerneln 3.65 und 3.8 wechseln, kann es sein, dass MSTICPy und andere Pakete nicht wie erwartet installiert werden.

Dies kann der Fall sein, wenn der !pip install pkg-Befehl in der ersten Umgebung ordnungsgemäß installiert wird, in der zweiten jedoch nicht. Dies führt zu einer Situation, in der die zweite Umgebung das Paket nicht importieren oder verwenden kann.

Es wird empfohlen, keine !pip install...-Pakete in Azure ML-Notebooks zu installieren. Verwenden Sie stattdessen eine der folgenden Optionen:

Verwenden Sie den %pip-Zeilen-Magic-Befehl innerhalb eines Notebooks. Führen Sie Folgendes aus:
```
%pip install --upgrade msticpy
```
Installation über ein Terminal:
1. Öffnen Sie ein Terminal in Azure ML-Notebooks, und führen Sie die folgenden Befehle aus:
```
conda activate azureml_py38
pip install --upgrade msticpy
```
2. Schließen Sie das Terminal, und starten Sie den Kernel neu.

Festlegen einer Umgebungsvariablen für die Datei „msticpyconfig.yaml“

Wenn Sie in Azure ML arbeiten und Ihre msticpyconfig.yaml-Datei im Stammverzeichnis Ihres Benutzerordners speichern, wird MSTICPy diese Einstellungen automatisch finden. Wenn Sie die Notebooks jedoch in einer anderen Umgebung ausführen, befolgen Sie die Anweisungen in diesem Abschnitt, um eine Umgebungsvariable festzulegen, die auf den Speicherort Ihrer Konfigurationsdatei verweist.

Wenn Sie den Pfad zur Datei msticpyconfig.yaml in einer Umgebungsvariablen definieren, können Sie die Datei an einem bekannten Speicherort speichern und sicherstellen, dass Sie immer die gleichen Einstellungen laden.

Verwenden Sie mehrere Konfigurationsdateien mit mehreren Umgebungsvariablen, wenn Sie unterschiedliche Einstellungen für verschiedene Notebooks verwenden möchten.

Entscheiden Sie sich für einen Speicherort für Ihre msticpyconfig.yaml-Datei, wie in ~/.msticpyconfig.yaml oder %userprofile%/msticpyconfig.yaml.

Azure ML-Benutzer: Wenn Sie Ihre Konfigurationsdatei in Ihrem Azure ML-Benutzerordner speichern, wird die Datei von der MSTICPy-Funktion init_notebook (in der Initialisierungszelle ausgeführt) automatisch gefunden und verwendet, und Sie müssen keine MSTICPYCONFIG-Umgebungsvariable festlegen.

Wenn Sie jedoch auch Geheimnisse in der Datei gespeichert haben, wird empfohlen, die Konfigurationsdatei auf dem lokalen Computelaufwerk zu speichern. Auf den internen Computespeicher kann nur die Person zugreifen, die die Compute-Instanz erstellt hat, während der freigegebene Speicher für alle Benutzer zugänglich ist, die Zugriff auf Ihren Azure ML-Arbeitsbereich haben.

Weitere Informationen hierzu finden Sie unter Was ist eine Azure Machine Learning-Compute-Instanz?
Kopieren Sie bei Bedarf die Datei msticpyconfig.yaml an den ausgewählten Speicherort.
Legen Sie die Umgebungsvariable MSTICPYCONFIG so fest, dass sie auf diesen Speicherort verweist.

Verwenden Sie eines der folgenden Verfahren, um die Umgebungsvariable MSTICPYCONFIG zu definieren.

So legen Sie z. B. die Umgebungsvariable MSTICPYCONFIG für Windows-Systeme fest:

Verschieben Sie die Datei msticpyconfig.yaml nach Bedarf in die Compute-Instanz.
Öffnen Sie das Dialogfeld Systemeigenschaften mit der Registerkarte Erweitert.
Wählen Sie Umgebungsvariablen... aus, um das Dialogfeld Umgebungsvariablen zu öffnen.
Wählen Sie im Bereich Systemvariablen die Option Neu... aus, und definieren Sie die Werte wie folgt:
- Variablenname: Definieren Sie ihn als MSTICPYCONFIG.
- Variablenwert: Geben Sie den Pfad zu Ihrer Datei msticpyconfig.yaml ein.

In diesem Verfahren wird beschrieben, wie Sie die BASHRC-Datei aktualisieren, um die Umgebungsvariable MSTICPYCONFIG für Linux-Systeme festzulegen.

Verschieben Sie die Datei msticpyconfig.yaml nach Bedarf in die Compute-Instanz.
Öffnen Sie ein Azure ML-Terminal, z. B. auf der Microsoft Sentinel-Seite Notebooks.
Überprüfen Sie, ob Sie auf die Datei msticpyconfig.yaml zugreifen können.

In Ihrem Azure ML-Terminal sollte Ihr aktuelles Verzeichnis Ihr Azure ML-Basisverzeichnis des Dateispeichers sein, das im Compute-Linux-System eingebunden ist. Die Eingabeaufforderung sieht ähnlich aus wie im folgenden Beispiel:
```
azureuser@alicecontoso-azml7:~/cloudfiles/code/Users/alicecontoso$
```
Führen Sie alle Dateien im Basisverzeichnis auf, einschließlich der Datei msticpyconfig.yaml, indem Sie ls eingeben.
Um die Datei msticpyconfig.yaml in den Computedateispeicher zu verschieben, geben Sie Folgendes ein:
```
mv msticpyconfig.yaml ~
```

Verwenden Sie einen der folgenden Prozesse, um die BASHRC-Datei für Ihre Umgebungsvariable zu bearbeiten:

Befehl	Schritte
vim	1. Ausführen von: `vim ~/.bashrc` 2. Wechseln Sie zum Ende der Datei, indem Sie UMSCHALT+G>ENDE drücken. 3. Erstellen Sie eine neue Zeile, indem Sie a eingeben und dann die EINGABETASTE drücken. 4. Fügen Sie Ihre Umgebungsvariable hinzu, und drücken Sie dann die ESC-TASTE, um wieder in den Befehlsmodus zu wechseln. 5. Speichern Sie die Datei, indem Sie :wq eingeben.
nano	1. Ausführen von: `nano ~/.bashrc` 1. Wechseln Sie zum Ende der Datei, indem Sie ALT+/ oder OPTION+/ drücken. 1. Fügen Sie Ihre Umgebungsvariable hinzu, und speichern Sie dann die Datei. Drücken Sie STRG+X und dann Y.

Fügen Sie eine der folgenden Umgebungsvariablen hinzu:

Wenn Sie die Datei msticpyconfig.yaml verschoben haben, führen Sie export MSTICPYCONFIG=~/msticpyconfig.yaml aus.
Wenn Sie die Datei msticpyconfig.yaml nicht verschoben haben, führen Sie export MSTICPYCONFIG=~/cloudfiles/code/Users/<YOURNAME>/msticpyconfig.yaml aus.

Wenn Sie die Datei msticpyconfig.yaml an einer anderen Stelle als Ihrem Azure ML-Benutzerordner speichern müssen, verwenden Sie eine der folgenden Optionen:

Eine nbuser_settings.py-Datei im Stammverzeichnis Ihres Benutzerordners. Dieser Prozess ist zwar einfacher und weniger intrusiv als das Bearbeiten der Datei kernel.json, wird jedoch nur unterstützt, wenn Sie die Funktion init_notebook am Anfang Ihres Notebook-Codes ausführen. Dies ist zwar das Standardverhalten, aber wenn Sie den Notebook-Code ausführen, ohne zuerst init_notebook auszuführen, kann MSTICPy die Konfigurationsdatei möglicherweise nicht finden.
1. Erstellen Sie im Azure ML-Terminal die Datei nbuser_settings.py im Stammverzeichnis Ihres Benutzerordners, d. h. dem Ordner mit Ihrem Benutzernamen.
2. Fügen Sie in der Datei nbuser_settings.py die folgenden Zeilen hinzu:
```
  import os
  os.environ["MSTICPYCONFIG"] = "~/msticpyconfig.yaml"
```
Diese Datei wird automatisch von der init_notebook-Funktion importiert und legt die Umgebungsvariable MSTICPYCONFIG für das aktuelle Notebook fest.
Die Datei kernel.json für Ihren Python-Kernel. Verwenden Sie dieses Verfahren, wenn Sie planen, das Notebook manuell auszuführen, und möglicherweise ohne die init_notebook-Funktion am Anfang aufzurufen.

Es gibt Kernel für Python 3.6 und Python 3.8. Wenn Sie beide Kernel verwenden, bearbeiten Sie beide Dateien.
- Python 3.8-Speicherort: /usr/local/share/jupyter/kernels/python38-azureml/kernel.json
- Python 3.6-Speicherort: /usr/local/share/jupyter/kernels/python3-azureml/kernel.json
So legen Sie die Umgebungsvariable in der Datei kernel.json fest
1. Erstellen Sie eine Kopie der Datei kernel.json, und öffnen Sie das Original in einem Editor. Möglicherweise müssen Sie sudo verwenden, um die Datei kernel.json zu überschreiben, und der Inhalt der Datei sieht in etwa wie im folgenden Beispiel aus:
```
{
   "argv": [
   "/anaconda/envs/azureml_py38/bin/python",
   "-m",
   "ipykernel_launcher",
   "-f",
   "{connection_file}"
   ],
   "display_name": "Python 3.8 - AzureML",
   "language": "python"
}
```
2. Fügen Sie nach dem "language"-Element die folgende Zeile hinzu: "env": { "MSTICPYCONFIG": "~/msticpyconfig.yaml" }
  
  Stellen Sie sicher, dass Sie das Komma am Ende der Zeile "language": "python" hinzufügen. Beispiel:
```
{
    "argv": [
    "/anaconda/envs/azureml_py38/bin/python",
    "-m",
    "ipykernel_launcher",
    "-f",
    "{connection_file}"
    ],
    "display_name": "Python 3.8 - AzureML",
    "language": "python",
    "env": { "MSTICPYCONFIG": "~/msticpyconfig.yaml" }
}
```

Hinweis

Für die Linux- und Windows-Optionen müssen Sie Ihren Jupyter-Server neu starten, damit er die von Ihnen definierte Umgebungsvariablen aufnehmen kann.

Nächste Schritte

Weitere Informationen finden Sie unter

Subject	Weitere Verweise
MSTICPy	- MSTICPy-Paketkonfiguration - MSTICPy-Einstellungs-Editor - Konfigurieren Ihrer Notebook-Umgebung. - MPSettingsEditor Notebook. Hinweis: Das Azure Sentinel-Notebooks-GitHub-Repository enthält auch eine Msticpyconfig.yaml-Vorlagendatei mit auskommentierten Abschnitten, die Ihnen helfen könnten, die Einstellungen zu verstehen.
Microsoft Sentinel und Jupyter Notebooks	- Erstellen Ihres ersten Microsoft Sentinel-Notebooks (Blogreihe) - Jupyter Notebooks: Eine Einführung - MSTICPy-Dokumentation - Dokumentation zu Microsoft Sentinel-Notebooks - Das Infosec-Jupyterbook - Exemplarische Vorgehensweise zum Linux-Host-Explorer-Notebook - Gründe für die Verwendung von Jupyter für die Sicherheitsuntersuchungen - Sicherheitsuntersuchung mit Microsoft Sentinel und Notebooks - Pandas-Dokumentation - Bokeh-Dokumentation

Subject

Weitere Verweise

MSTICPy

- MSTICPy-Paketkonfiguration
- MSTICPy-Einstellungs-Editor
- Konfigurieren Ihrer Notebook-Umgebung.
- MPSettingsEditor Notebook.

Hinweis: Das Azure Sentinel-Notebooks-GitHub-Repository enthält auch eine Msticpyconfig.yaml-Vorlagendatei mit auskommentierten Abschnitten, die Ihnen helfen könnten, die Einstellungen zu verstehen.

Microsoft Sentinel und Jupyter Notebooks

- Erstellen Ihres ersten Microsoft Sentinel-Notebooks (Blogreihe)
- Jupyter Notebooks: Eine Einführung
- MSTICPy-Dokumentation
- Dokumentation zu Microsoft Sentinel-Notebooks
- Das Infosec-Jupyterbook
- Exemplarische Vorgehensweise zum Linux-Host-Explorer-Notebook
- Gründe für die Verwendung von Jupyter für die Sicherheitsuntersuchungen
- Sicherheitsuntersuchung mit Microsoft Sentinel und Notebooks
- Pandas-Dokumentation
- Bokeh-Dokumentation