Delen via

Zelfstudie: Aqua-satellietgegevens verwerken met behulp van door NASA geleverde hulpprogramma's

  • Artikel

Let op

In dit artikel wordt verwezen naar CentOS, een Linux-distributie die de status End Of Life (EOL) nadert. Overweeg uw gebruik en planning dienovereenkomstig. Zie de Richtlijnen voor het einde van de levensduur van CentOS voor meer informatie.

Notitie

NASA heeft de ondersteuning van de DRL-software die wordt gebruikt voor het verwerken van aqua satellietbeelden afgeschaft. Zie: HUIDIGE STATUS VAN DRL. Stap 2, 3 en 4 van deze zelfstudie zijn niet langer relevant, maar worden alleen ter informatie gepresenteerd.

Dit artikel is een uitgebreide uitleg over het gebruik van het Azure Orbital Ground Station (AOGS) voor het vastleggen en verwerken van satellietbeelden. Het introduceert de AOGS en de belangrijkste concepten en laat zien hoe u contactpersonen plant. Het artikel doorloopt ook een voorbeeld waarin we NASA Aqua-satellietgegevens verzamelen en verwerken in een virtuele Azure-machine (VM) met behulp van door NASA geleverde hulpprogramma's.

Aqua is een polair ruimteschip dat in 2002 door NASA wordt gelanceerd. Gegevens van alle wetenschapsinstrumenten aan boord van Aqua worden in bijna realtime naar de aarde gelinkt met behulp van directe uitzending over de X-band. Meer informatie over Aqua vindt u op de website van Aqua Project Science .

Met behulp van AOGS leggen we de Aqua-uitzending vast wanneer de satelliet zich binnen het zicht van een grondstation bevindt door een contact te plannen. Een contact is tijd gereserveerd op een grondstation om te communiceren met een satelliet. Tijdens het contact richt het grondstation zich op de antenne richting Aqua en legt de direct uitgezonden gegevens vast. De vastgelegde gegevens worden als gegevensstroom naar een Azure-VM verzonden en verwerkt met behulp van het realtime hulpprogramma Software Telemetry Processing System (RT-STPS) dat wordt geleverd door het Direct Readout Laboratory (DRL) dat een product op niveau 0 genereert. Dit level-0 product wordt verder verwerkt met drL's International Planetary Observation Processing Package (IPOPP) tool om producten op een hoger niveau te produceren.

In deze zelfstudie volgen we deze stappen om Aqua-gegevens te verzamelen en te verwerken:

Optionele installatiestappen voor het vastleggen van de telemetrie van het grondstation zijn opgenomen in de handleiding voor het ontvangen van realtime telemetrie van de grondstations.

Stap 1: AOGS gebruiken om een contactpersoon te plannen en Aqua-gegevens te verzamelen

Stappen uitvoeren die worden vermeld in zelfstudie: Downlinkgegevens van nasa's openbare Aqua-satelliet

De bovenstaande zelfstudie biedt een overzicht voor het plannen van een contactpersoon met Aqua en het verzamelen van de directe broadcastgegevens op een Azure-VM.

Notitie

Gebruik in de sectie Een virtuele machine (VM) voorbereiden om de downlinked AQUA-gegevens te ontvangen de volgende waarden:

  • Naam: ontvanger-vm
  • Besturingssysteem: Linux (CentOS Linux 7 of hoger)
  • Grootte: Standard_D8s_v5 of hoger
  • IP-adres: zorg ervoor dat de VM internettoegang heeft voor het downloaden van hulpprogramma's door één standaard openbaar IP-adres te hebben

Tip

Het openbare IP-adres hier is alleen bedoeld voor internetverbinding en geen contactgegevens. Zie De standaard uitgaande toegang in Azure voor meer informatie.

Aan het einde van deze stap moet u de onbewerkte gegevens voor directe uitzending opslaan als .bin bestanden onder de map op de receiver-vm~/aquadata map.

Stap 2: NASA DRL-hulpprogramma's installeren

Notitie

Vanwege mogelijke resourceconflicten raadt DRL aan OM RT-STPS en CPPP op afzonderlijke computers te installeren. Voor deze zelfstudie installeren we beide hulpprogramma's omdat receiver-vm we ze niet tegelijkertijd uitvoeren. Voor productieworkloads volgt u aanbevelingen voor grootte en isolatie in de gebruikershandleidingen die beschikbaar zijn op de DRL-website.

De schijfgrootte van het besturingssysteem op de ontvanger-vm vergroten

De standaardschijfruimte die is toegewezen aan de besturingssysteemschijf van een Azure-VM is niet voldoende voor het installeren van NASA DRL-hulpprogramma's. Volg de onderstaande stappen om de grootte van de besturingssysteemschijf op de receiver-vm 1 TB te vergroten.

  1. Open de portal.
  2. Navigeer naar uw virtuele machine.
  3. Selecteer Stoppen op de pagina Overzicht.
  4. Selecteer op de pagina Schijven de besturingssysteemschijf.
  5. Navigeer in het deelvenster Schijf naar de pagina Grootte en prestaties .
  6. Selecteer Premium SSD (lokaal redundante opslag) in de vervolgkeuzelijst Schijf-SKU .
  7. Selecteer de P30-schijflaag (1024 GB).
  8. Selecteer Opslaan.
  9. Ga terug naar het deelvenster Virtuele machine .
  10. Selecteer Start op de pagina Overzicht

Controleer op de ontvanger-VM of de hoofdpartitie nu 1 TB beschikbaar is

lsblk -o NAME,HCTL,SIZE,MOUNTPOINT

Dit moet ~1 TB weergeven die is toegewezen aan het hoofdkoppelingspunt / .

NAME    HCTL        SIZE MOUNTPOINT
sda     0:0:0:0       1T 
├─sda1              500M /boot
├─sda2             1023G /
├─sda14               4M 
└─sda15             495M /boot/efi

Bureaublad- en VNC-server installeren

Voor het gebruik van NASA DRL-hulpprogramma's is ondersteuning vereist voor het uitvoeren van GUI-toepassingen. Als u dit wilt inschakelen, installeert u bureaubladhulpprogramma's en vncserver op het receiver-vmvolgende:

sudo yum install tigervnc-server
sudo yum groups install "GNOME Desktop"

VNC-server starten:

vncserver

Voer een wachtwoord in wanneer u hierom wordt gevraagd.

Externe toegang tot het VM-bureaublad

Poort doorsturen van de vncserverpoort (5901) via SSH naar uw lokale computer:

ssh -L 5901:localhost:5901 azureuser@receiver-vm

Notitie

Gebruik een openbaar IP-adres van de DNS-naam van de VM om ontvanger-VM in deze opdracht te vervangen.

  1. Download en installeer TightVNC Viewer op uw lokale computer.
  2. Start de TightVNC Viewer en maak verbinding met localhost:5901.
  3. Voer het vncserver-wachtwoord in dat u in de vorige stap hebt ingevoerd.
  4. In het VNC Viewer-venster ziet u het BUREAUBLAD VAN DE KNP die op de VIRTUELE machine wordt uitgevoerd.

RT-STPS- en DPPP-installatiebestanden downloaden

Ga vanuit HET BUREAUBLAD VAN HET BUREAUBLAD naar Applications>Internet>Firefox om een browser te starten.

Meld u aan bij de NASA DRL-website en download de RT-STPS-installatiebestanden en het DPPP-downloadscript onder softwaredownloads. De gedownloade bestanden komen onder ~/Downloads terecht.

Notitie

Dezelfde computer gebruiken om te downloaden en uit te voeren downloader_DRL-IPOPP_4.1.sh.

RT-STPS installeren

tar -xvzf ~/Downloads/RT-STPS_7.0.tar.gz --directory ~/
tar -xvzf ~/Downloads/RT-STPS_7.0_testdata.tar.gz --directory ~/
cd ~/rt-stps
./install.sh

Valideer uw RT-STPS-installatie door de testgegevens te verwerken die bij de installatie zijn geleverd:

cd ~/rt-stps
./bin/batch.sh config/jpss1.xml ./testdata/input/rt-stps_jpss1_testdata.dat

Controleer of de uitvoerbestanden aanwezig zijn in de gegevensmap:

ls -la ~/data/

Hiermee voltooit u de RT-STPS-installatie.

IPOPP installeren

Voer het IPOPP-downloadscript uit om de IPOPP-installatiebestanden te downloaden.

cd ~/Downloads
./downloader_DRL-IPOPP_4.1.sh
tar -xvzf ~/Downloads/DRL-IPOPP_4.1.tar.gz --directory ~/
cd ~/IPOPP
./install_ipopp.sh

IPOPP-services configureren en starten

IPOPP-services worden geconfigureerd met behulp van de dashboard-GUI.

Ga naar de VM Desktop en start een nieuwe terminal onder Applications>Utilities Terminal>

Start het IPOPP-dashboard vanuit de terminal:

~/drl/tools/dashboard.sh

IPOPP begint in de procesbewakingsmodus. Schakel over naar de configuratiemodus met behulp van de menuoptie.

Schakel het volgende in op het tabblad EOS :

  • gbad
  • MODISL1DB l0l1aqua
  • MODISL1DB l1atob
  • IMAPP

Ga terug naar de modus Procesbewaking met behulp van de menuoptie.

Start IPOPP-services:

~/drl/tools/services.sh start
~/drl/tools/services.sh status

Hiermee voltooit u de installatie en configuratie van IPOPP.

Stap 3: Niveau-0-product maken met RT-STPS

Rt-stps uitvoeren in batchmodus om het .bin bestand te verwerken dat is verzameld in stap 1

cd ~/rt-stps
./bin/batch.sh ./config/aqua.xml ~/aquadata/raw-2022-05-29T0957-0700.bin

Met deze opdracht worden bestanden op niveau 0 productiegegevensset (.pds) onder de ~/rt-stps/data map geproduceerd.

Stap 4: Producten op een hoger niveau maken met IPOPP

Gegevens opnemen voor verwerking

Kopieer de PDS-bestanden die in de vorige stap zijn gegenereerd door RT-STPS naar de map BFPP voor verdere verwerking.

cp ~/rt-stps/data/* ~/drl/data/dsm/ingest/.

Voer IPOPP-opname uit om de producten te maken die in het dashboard zijn geconfigureerd. 

~/drl/tools/ingest_ipopp.sh

U kunt de voortgang in het dashboard bekijken.

~/drl/tools/dashboard.sh

IPOPP produceert uitvoerproducten in de volgende map:

cd ~/drl/data/pub/gsfcdata/aqua/modis/

Volgende stappen

Als u eenvoudig downstreamonderdelen wilt implementeren die nodig zijn voor het ontvangen en verwerken van aardobservatiegegevens met behulp van Azure Orbital Ground Station, raadpleegt u:

Zie voor een end-to-end-implementatie waarbij ruimtegebonden gegevens worden geëxtraheerd, geladen, getransformeerd en geanalyseerd met behulp van georuimtelijke bibliotheken en AI-modellen met Azure Synapse Analytics: