Tutorial: Verarbeiten von Aqua-Satellitendaten mit von der NASA bereitgestellten Tools

  • Artikel

Achtung

Dieser Artikel bezieht sich auf CentOS, eine Linux-Distribution, die sich dem End-of-Life-Status (EOL) nähert. Sie sollten Ihre Nutzung entsprechend planen. Weitere Informationen finden Sie im CentOS End-of-Life-Leitfaden.

Hinweis

Die NASA hat die Unterstützung der DRL-Software zur Verarbeitung von Aqua-Satellitenbildern eingestellt. Weitere Informationen finden Sie unter dem aktuellen DRL-Status. Die Schritte 2, 3 und 4 dieses Tutorials sind nicht mehr relevant und dienen nur zu Informationszwecken.

Dieser Artikel ist eine umfassende exemplarische Vorgehensweise, die zeigt, wie Sie Azure Orbital Ground Station (AOGS) verwenden, um Satellitenbilder zu erfassen und zu verarbeiten. Sie führt AOGS und die zugehörigen Kernkonzepte ein und zeigt, wie Kontakte geplant werden. Außerdem wird ein Beispiel erläutert, in dem wir NASA-Aqua-Satellitendaten auf einem virtuellen Azure-Computer (VM) mit von der NASA bereitgestellten Tools sammeln und verarbeiten.

Aqua ist eine polumlaufende Raumsonde, die von der NASA im Jahr 2002 gestartet wurde. Die Daten aller wissenschaftlichen Instrumente an Bord von Aqua werden über eine Direktübertragung im X-Band nahezu in Echtzeit zur Erde gesendet. Weitere Informationen zu Aqua finden Sie auf der Website Aqua Project Science.

Mit AOGS erfassen wir die Aqua-Übertragung, wenn sich der Satellit innerhalb der Sicht einer Erdfunkstelle befindet, indem ein Kontakt geplant wird. Ein Kontakt ist die Zeit, die in einer Erdfunkstelle für die Kommunikation mit einem Satelliten reserviert ist. Während des Kontakts richtet die Erdfunkstelle ihre Antenne auf Aqua aus und fängt die direkten Übertragungsdaten ein. Die erfassten Daten werden als Datenstrom an eine Azure-VM gesendet und mithilfe des RT-STPS (Echtzeit-Software-Telemetrieverarbeitungssystem) verarbeitet, das vom Direct Readout Laboratory (DRL) bereitgestellt wird, um ein Ebene-0-Produkt zu generieren. Dieses Ebene-0-Produkt wird mithilfe des IPOPP-Tools (International Planetary Observation Processing Package) von DRL weiterverarbeitet, um Produkte höherer Ebenen zu erzeugen.

In diesem Tutorial werden wir die folgenden Schritte befolgen, um Aqua-Daten zu sammeln und zu verarbeiten:

Optionale Einrichtungsschritte zum Erfassen der Telemetriedaten der Erdfunkstelle sind in der Anleitung zum Empfangen von Echtzeittelemetriedaten von Erdfunkstellen enthalten.

Schritt 1: Verwenden von AOGS zum Planen und Kontaktieren sowie zum Sammeln von Aqua-Daten

Führen Sie die Schritte aus, die unter Tutorial: Downlink von Daten vom öffentlichen AQUA-Satelliten der NASA aufgeführt sind.

Das obige Tutorial enthält eine exemplarische Vorgehensweise zum Planen eines Kontakts mit Aqua und zum Sammeln der direkten Broadcast-daten auf einer Azure-VM.

Hinweis

Verwenden Sie im Abschnitt Vorbereiten eines virtuellen Computers (VM) zum Empfangen der Downlink-AQUA-Daten die folgenden Werte:

  • Name: receiver-vm
  • Betriebssystem: Linux (CentOS Linux 7 oder höher)
  • Größe: Standard_D8s_v5 oder höher
  • IP-Adresse: Eine öffentliche Standard-IP-Adresse, damit sichergestellt ist, dass die VM über Internetzugriff zum Herunterladen von Tools verfügt

Tipp

Die öffentliche IP-Adresse dient hier nur für die Internetverbindung, nicht für Kontaktdaten. Weitere Informationen finden Sie unter Standardzugriff in ausgehender Richtung in Azure.

Am Ende dieses Schritts sollten Sie die Rohdaten der Direktübertragung als .bin-Dateien unter dem Ordner ~/aquadata auf receiver-vm gespeichert haben.

Schritt 2: Installieren der NASA DRL-Tools

Hinweis

Aufgrund möglicher Ressourcenkonflikte empfiehlt DRL die Installation von RT-STPS und IPOPP auf getrennten Computern. Für dieses Tutorial installieren wir jedoch beide Tools auf receiver-vm, da wir sie nicht gleichzeitig ausführen. Für Produktionsworkloads befolgen Sie die Dimensionierungs- und Isolationsempfehlungen in den Benutzerhandbüchern auf der DRL-Website.

Vergrößern der Größe des Betriebssystemdatenträgers auf der Empfänger-VM

Der dem Betriebssystemdatenträger einer Azure-VM zugeordnete Standardspeicherplatz reicht nicht aus, um NASA DRL-Tools zu installieren. Führen Sie die folgenden Schritte aus, um die Größe des Betriebssystemdatenträgers auf receiver-vm auf 1 TB zu erhöhen.

  1. Öffnen Sie das Portal.
  2. Navigieren Sie zu Ihrem virtuellen Computer.
  3. Wählen Sie auf der Seite Übersicht die Option Beenden aus.
  4. Wählen Sie auf der Seite Datenträger den Betriebssystemdatenträger aus.
  5. Navigieren Sie im Bereich Datenträger zur Seite Größe + Leistung.
  6. Wählen Sie in der Dropdownliste Datenträger-SKU die Option SSD Premium (lokal redundanter Speicher) aus.
  7. Wählen Sie die P30-Datenträgerebene (1024 GB) aus.
  8. Wählen Sie Speichern aus.
  9. Navigieren Sie zurück zum Bereich Virtueller Computer.
  10. Wählen Sie auf der Seite Übersicht die Option Starten aus.

Überprüfen Sie auf der Empfänger-VM, ob für die Stammpartition jetzt 1 TB verfügbar ist.

lsblk -o NAME,HCTL,SIZE,MOUNTPOINT

Laut Anzeige sollten dem S/-Stammbereitstellungspunkt ~1 TB zugeordnet sein.

NAME    HCTL        SIZE MOUNTPOINT
sda     0:0:0:0       1T 
├─sda1              500M /boot
├─sda2             1023G /
├─sda14               4M 
└─sda15             495M /boot/efi

Installieren von Desktop- und VNC-Server

Um NASA DRL-Tools ausführen zu können, müssen die Ausführung von GUI-Anwendungen unterstützt werden. Um dies zu aktivieren, installieren Sie Desktoptools und vncserver auf receiver-vm:

sudo yum install tigervnc-server
sudo yum groups install "GNOME Desktop"

Starten Sie den VNC-Server:

vncserver

Geben Sie bei Aufforderung das Kennwort ein.

Remotezugriff auf den VM-Desktop

Der Port leitet den vncserver-Port (5901) über SSH an Ihren lokalen Computer weiter:

ssh -L 5901:localhost:5901 azureuser@receiver-vm

Hinweis

Verwenden Sie entweder die öffentliche IP-Adresse oder den DNS-Namen der VM, um „receiver-Vm“ in diesem Befehl zu ersetzen.

  1. Laden Sie TightVNC Viewer auf Ihren lokalen Computer herunter, und installieren Sie die Anwendung.
  2. Starten Sie den TightVNC Viewer, und stellen Sie eine Verbindung mit localhost:5901 her.
  3. Geben Sie das vncserver-Kennwort ein, das Sie im vorherigen Schritt eingegeben haben.
  4. Daraufhin sollte der GNOME-Desktop im VNC-Viewerfenster angezeigt werden, der auf dem virtuellen Computer ausgeführt wird.

Herunterladen von RT-STPS- und IPOPP-Installationsdateien

Wechseln Sie auf dem GNOME Desktop zu Anwendungen>Internet>Firefox, um einen Browser zu starten.

Melden Sie sich bei der NASA DRL-Website an, und laden Sie die RT-STPS-Installationsdateien und das IPOPP-Downloadprogrammskript unter Softwaredownloads herunter. Die heruntergeladenen Dateien werden unter „~/Downloads“ gespeichert.

Hinweis

Verwenden Sie denselben Computer zum Herunterladen und Ausführen von downloader_DRL-IPOPP_4.1.sh..

Installieren von RT-STPS

tar -xvzf ~/Downloads/RT-STPS_7.0.tar.gz --directory ~/
tar -xvzf ~/Downloads/RT-STPS_7.0_testdata.tar.gz --directory ~/
cd ~/rt-stps
./install.sh

Überprüfen Sie Ihre RT-STPS-Installation, indem Sie die mit der Installation bereitgestellten Testdaten verarbeiten:

cd ~/rt-stps
./bin/batch.sh config/jpss1.xml ./testdata/input/rt-stps_jpss1_testdata.dat

Stellen Sie sicher, dass Ausgabedateien im Datenordner vorhanden sind:

ls -la ~/data/

Damit ist die RT-STPS-Installation abgeschlossen.

IPOPP installieren

Führen Sie das IPOPP-Downloadprogrammskript aus, um die IPOPP-Installationsdateien herunterzuladen.

cd ~/Downloads
./downloader_DRL-IPOPP_4.1.sh
tar -xvzf ~/Downloads/DRL-IPOPP_4.1.tar.gz --directory ~/
cd ~/IPOPP
./install_ipopp.sh

Konfigurieren und Starten von IPOPP-Diensten

IPOPP-Dienste werden über die zugehörige Dashboard-GUI konfiguriert.

Wechseln Sie zum VM-Desktop, und starten Sie unterAnwendungen>Hilfsprogramme>Terminal ein neues Terminal.

Starten Sie das IPOPP-Dashboard über das Terminal:

~/drl/tools/dashboard.sh

IPOPP startet im Prozessüberwachungsmodus. Wechseln Sie mithilfe der Menüoption zum Konfigurationsmodus.

Aktivieren Sie Folgendes auf der Registerkarte EOS:

  • gbad
  • MODISL1DB l0l1aqua
  • MODISL1DB l1atob
  • IMAPP

Wechseln Sie über die Menüoption zurück zum Modus Prozessüberwachung.

Starten Sie die IPOPP-Dienste:

~/drl/tools/services.sh start
~/drl/tools/services.sh status

Damit ist die IPOPP-Installation und -Konfiguration abgeschlossen.

Schritt 3: Erstellen eines Level-0-Produkts mit RT-STPS

Führen Sie RT-STPS im Batch-Modus aus, um die in Schritt 1 gesammelte .bin-Datei zu verarbeiten.

cd ~/rt-stps
./bin/batch.sh ./config/aqua.xml ~/aquadata/raw-2022-05-29T0957-0700.bin

Dieser Befehl erzeugt Ebene-0-.pds-Dateien (Production Data Set) unter dem Verzeichnis ~/rt-stps/data.

Schritt 4: Erstellen von Produkten höherer Ebene mithilfe von IPOPP

Erfassen von Daten zur Verarbeitung

Kopieren Sie die von RT-STPS im vorherigen Schritt generierten PDS-Dateien zur weiteren Verarbeitung in das IPOPP-Erfassungsverzeichnis.

cp ~/rt-stps/data/* ~/drl/data/dsm/ingest/.

Führen Sie die IPOPP-Erfassung aus, um die im Dashboard konfigurierten Produkte zu erstellen. 

~/drl/tools/ingest_ipopp.sh

Sie können den Fortschritt im Dashboard überwachen.

~/drl/tools/dashboard.sh

IPOPP produziert Ausgabeprodukte im folgenden Verzeichnis:

cd ~/drl/data/pub/gsfcdata/aqua/modis/

Nächste Schritte

Informationen zum einfachen Bereitstellen von Downstreamkomponenten, die zum Empfangen und Verarbeiten von Weltraumdaten zur Erdbeobachtung mithilfe von Azure Orbital Ground Station erforderlich sind, finden Sie unter:

Eine End-to-End-Implementierung, die das Extrahieren, Laden, Umwandeln und Analysieren von weltraumgestützten Daten unter Verwendung von Geodatenbibliotheken und KI-Modellen mit Azure Synapse Analytics umfasst, finden Sie hier: