Ez az architektúra egy végpontok közötti implementáció bemutatására szolgál, amely magában foglalja a térbeli adatok kinyerését, betöltését, átalakítását és elemzését térinformatikai kódtárak és AI-modellek használatával Azure Synapse Analytics használatával. Ez a cikk azt is bemutatja, hogyan integrálhatók térinformatikailag specifikus Azure Cognitive Services-modellek, partnerektől származó AI-modellek, saját adatok használata és Azure Synapse Analyticset használó AI-modellek. A dokumentum célközönsége a térinformatikai vagy térinformatikai adatokkal végzett munka során középfokú jártasságú felhasználók.
Ennek az architektúrának egy implementációja elérhető a GitHubon.
Az Apache®, az Apache Spark, a Spark, a Spark embléma, az Apache Sedona, az Apache Inkubátor, az Apache feather embléma és az Apache Inkubátor projekt emblémája az Apache Software Foundation bejegyzett védjegyei vagy védjegyei a Egyesült Államok és/vagy más országokban. Az Apache Software Foundation nem támogatja ezeket a jeleket.
Architektúra
Töltse le az architektúra Visio-fájlját.
Adatfolyam
Az alábbi szakaszok az architektúra szakaszait ismertetik.
Adatfeldolgozás
A spaceborne-adatok olyan adatforrásokból származnak, mint az Airbus, a NAIP/USDA (a Planetary Computer API-n keresztül) és aMaxar. Az adatok betöltése Azure Data Lake Storage történik.
Azure Synapse Analytics különböző folyamatokat és tevékenységeket biztosít, például webes tevékenységeket, Adatfolyam tevékenységeket és egyéni tevékenységeket, hogy ezekhez a forrásokhoz csatlakozzanak, és az adatokat Data Lake Storage másolják.
Azure Synapse egyéni tevékenységek a testre szabott kódlogikát virtuális gépek Azure Batch készletén vagy Docker-kompatibilis tárolókban futtatják.
Adatátalakítás
Az adatok feldolgozása és átalakítása olyan formátumba történik, amelyet az elemzők és az AI-modellek felhasználhatnak. Az átalakítás végrehajtásához térinformatikai kódtárak( gDAL, OGR, Rasterio és GeoPandas) érhetők el.
Azure Synapse Spark-készletek lehetővé teszik ezen kódtárak konfigurálását és használatát az adatátalakítások végrehajtásához. Használhat Azure Synapse egyéni tevékenységeket is, amelyek Azure Batch készleteket használnak.
A Azure Synapse jegyzetfüzet egy webes felület, amellyel élő kódot, vizualizációkat és elbeszélő szöveget tartalmazó fájlokat hozhat létre. A jegyzetfüzetek kiválóan alkalmasak ötletek érvényesítésére, átalakítások definiálására, valamint gyors kísérletek végrehajtására az adatok elemzéséhez és egy folyamat létrehozásához. A mintakódban a GDAL-kódtárat egy Spark-készletben használják az adatátalakítások végrehajtásához. További információt a cikk mintakód szakaszában talál.
A mintamegoldás ebből az adatátalakítási lépésből valósítja meg ezt a folyamatot. A minta megírása azzal a feltételezéssel történik, hogy az adatokat Data Lake Storage a korábban ismertetett adatbetöltési módszerek másolják. Bemutatja ennek a folyamatnak a megvalósítását a raszteres adatfeldolgozáshoz.
AI-modellek elemzése és végrehajtása
A Azure Synapse notebookkörnyezet AI-modelleket elemez és futtat.
Az olyan szolgáltatásokkal fejlesztett AI-modellek, mint a Cognitive Services Custom Vision modell, a saját környezetükben betanított és Docker-tárolókként csomagolt modellek elérhetők a Azure Synapse környezetben.
A Azure Synapse környezetben olyan AI-modelleket is futtathat, amelyek a partnerektől különböző képességekhez, például az objektumészleléshez, a változásészleléshez és a földbesoroláshoz érhetők el. Ezek a modellek a saját környezetükben vannak betanva, és Docker-tárolókként vannak csomagolva.
Azure Synapse futtathat ilyen AI-modelleket egy egyéni tevékenységen keresztül, amely végrehajtható fájlként vagy Docker-tárolóként futtatja a kódot a Batch-készletekben. A mintamegoldás bemutatja, hogyan futtathat egy Custom Vision AI-modellt egy Azure Synapse folyamat részeként objektumészlelés céljából egy adott térinformatikai területen.
Utólagos elemzés és vizualizáció
- A további elemzésekhez és vizualizációkhoz az AI-modellek elemzéséből és végrehajtásából származó kimenetek tárolhatók Data Lake Storage, adatérzékeny adatbázisokban, például Azure Database for PostgreSQL vagy Azure Cosmos DB-ben. A mintamegoldás bemutatja, hogyan alakíthatja át az AI-modell kimenetét, és hogyan tárolhatja GeoJSON-adatokként Data Lake Storage és Azure Database for PostgreSQL. Innen lekérheti és lekérdezheti a kimenetet.
- Vizualizációhoz:
- Használhat licenccel rendelkező eszközöket, például az ArcGIS Desktopot vagy a nyílt forráskódú eszközöket, például a QGIS-t.
- A Power BI használatával különböző adatforrásokból érheti el a GeoJSON-t, és megjelenítheti a földrajzi információs rendszer (GIS) adatait.
- Az ügyféloldali térinformatikai JavaScript-kódtárak használatával megjelenítheti az adatokat a webalkalmazásokban.
Összetevők
Adatforrások
- Képszolgáltatók.
- Saját adatok használata. Másolja a saját adatait a Data Lake Storage.
Adatfeldolgozás
- Azure Synapse Analytics egy korlátlan elemzési szolgáltatás, amely egyesíti az adatintegrációt, a vállalati adattárházat és a big data-elemzést. Azure Synapse ugyanazokat a adatintegráció motort és szolgáltatásokat tartalmazza, mint a Azure Data Factory, így a Azure Synapse elhagyása nélkül hozhat létre nagy léptékű ETL-folyamatokat.
- A Azure Data Lake Storage a big data-elemzések számára készült, és Azure Blob Storage épül.
- Azure Batch lehetővé teszi nagy számú kötegelt számítási feladat futtatását és skálázását az Azure-ban. A Batch-tevékenységek futtathatók közvetlenül a Batch-készletben lévő virtuális gépeken (csomópontokon), de beállíthat egy Batch-készletet is, amely a feladatokat Docker-kompatibilis tárolókban futtatja a csomópontokon.
- Az egyéni Azure Synapse tevékenységek testreszabott kódlogikát futtatnak virtuális gépek Azure Batch készletén vagy Docker-tárolókban.
- Az Azure Key Vault tárolja és szabályozza a titkos kulcsokhoz, például jogkivonatokhoz, jelszavakhoz és API-kulcsokhoz való hozzáférést. Key Vault titkosítási kulcsokat is létrehoz és vezérel, valamint kezeli a biztonsági tanúsítványokat.
Adatátalakítás
A következő térinformatikai kódtárak és csomagok együtt használhatók átalakításokhoz. Ezek a kódtárak és csomagok egy kiszolgáló nélküli Spark-készletbe vannak telepítve, amelyet aztán egy Azure Synapse jegyzetfüzethez csatolnak. A kódtárak telepítéséről a jelen cikk későbbi, Térinformatikai csomagok telepítése Azure Synapse Spark-készletben című szakaszában olvashat.
- Térinformatikai kódtárak
- A GDAL a spaceborne-adatok manipulálására szolgáló eszközök gyűjteménye. A GDAL raszteres és vektoros adattípusokon működik. Ez egy jó eszköz annak kiderítésére, hogy űrbeli adatokkal dolgozik-e.
- A Rasterio egy raszterfeldolgozási modul. Segítségével több különböző raszterformátumot olvashat és írhat Pythonban. A Rasterio a GDAL-n alapul. A modul importálásakor a Python automatikusan regisztrálja az összes ismert GDAL-illesztőprogramot a támogatott formátumok olvasásához.
- A GeoPandas egy nyílt forráskódú projekt, amely megkönnyíti a spaceborne-adatok használatát a Pythonban. A GeoPandas kibővíti a Pandas által használt adattípusokat, hogy lehetővé tegye a geometriai típusok térbeli műveleteit.
- A Shapely egy Python-csomag a planáris funkciók set-theoretic elemzéséhez és kezeléséhez. (a Python ctypes modulján keresztül) függvényeket használ a széles körben üzembe helyezett GEOS-kódtárból.
- A pyproj kartográfiai átalakításokat hajt végre. A hosszúságról és a szélességről natív leképezési x, y koordinátákká és fordítva, a PROJ használatával konvertál.
- Azure Batch lehetővé teszi nagy számú kötegelt számítási feladat futtatását és skálázását az Azure-ban.
- Azure Synapse jegyzetfüzetek egy webes felület élő kódot, vizualizációkat és elbeszélő szöveget tartalmazó fájlok létrehozásához. A Jegyzetfüzet tevékenységgel meglévő Azure Synapse jegyzetfüzeteket adhat hozzá egy Azure Synapse-folyamathoz.
- Az Apache Spark-készlet lehetővé teszi a kódtárak konfigurálását és használatát adatátalakításokhoz. A Spark-feladatdefiníciós tevékenységgel meglévő Spark-feladatokat adhat hozzá egy Azure Synapse folyamathoz.
Elemzés és AI-modellezés
- Azure Synapse gépi tanulási képességeket biztosít.
- Azure Batch lehetővé teszi nagy számú kötegelt számítási feladat futtatását és skálázását az Azure-ban. Ebben a megoldásban a Azure Synapse Custom tevékenység docker-alapú AI-modellek futtatására szolgál Azure Batch készleteken.
- Az Azure Cognitive Services lehetővé teszi a látás beágyazását az alkalmazásokba. A Cognitive Services egyik összetevője, a Custom Vision segítségével testre szabhatja és beágyazhatja az adott tartományokhoz tartozó modern számítógépes látástechnológiai képelemzést.
- Saját AI-modelleket és Microsoft-partner AI-modelleket is használhat, például blackshark.ai.
Elemzés utáni és vizualizációs hivatkozások
- Azure Database for PostgreSQL egy teljes körűen felügyelt relációsadatbázis-szolgáltatás, amelyet rugalmas skálázású számítási feladatokhoz terveztek. Támogatja a spaceborne adatokat a PostGIS-bővítményen keresztül.
- Az Azure Cosmos DB támogatja a GeoJSON-ban ábrázolt térinformatikai pontadatok indexelését és lekérdezését.
- A Power BI egy interaktív adatvizualizációs eszköz jelentések és irányítópultok készítéséhez. Az Esri ArcGIS Maps segítségével betekintést nyerhet a spaceborne-adatokba.
- A QGIS egy ingyenes, nyílt forráskódú GIS térinformatikai információk létrehozásához, szerkesztéséhez, vizualizációjához, elemzéséhez és közzétételéhez.
- Az ArcGIS Desktop az Esri által biztosított licenccel rendelkező termék. Segítségével földrajzi információkat hozhat létre, elemezhet, kezelhet és oszthat meg.
Alternatív megoldások
Ha olyan tárolóalapú AI-modelleket szeretne futtatni, amelyeket Azure Synapse hívhat meg, használhatja Azure Kubernetes Service, Azure Container Instances vagy Azure Container Apps alkalmazást.
Az Azure Databricks alternatívát kínál egy elemzési folyamat üzemeltetésére.
A Spark az Azure HDInsightban alternatívát kínál térinformatikai kódtárak használatára az Apache Spark-környezetben.
Íme néhány alternatív kódtár és keretrendszer, amelyeket a spaceborne adatfeldolgozáshoz használhat:
- Az Apache Sedona, korábbi nevén GeoSpark egy nagy léptékű térbeli adatok feldolgozására szolgáló fürt-számítástechnikai rendszer. A Sedona kiterjeszti a Spark és a Spark SQL-t a beépített Térbeli rugalmas elosztott adatkészletekkel és SpatialSQL-sel, amelyek hatékonyan töltik be, dolgozzák fel és elemzik a nagy léptékű térbeli adatokat a gépek között.
- A Pythonhoz készült Dask egy párhuzamos számítási kódtár, amely skálázza a meglévő Python-ökoszisztémát.
Forgatókönyv részletei
A spaceborne adatgyűjtés egyre gyakoribb. A mesterséges intelligencia alkalmazásához az adatok tárolt archívumai szükségesek a gépi tanuláshoz. Az űrbeli adatelemzéshez szükséges felhőalapú megoldás kialakításának szükségessége egyre fontosabbá vált, hogy a vállalatok és a kormányok jobban tájékozott üzleti és taktikai döntéseket tudjanak hozni.
Lehetséges használati esetek
Ez a megoldás ideális a repülőgép- és repülőgépipar számára. A következő forgatókönyveket kezeli:
- Raszteres adatbetöltés és -feldolgozás
- Objektumészlelés előre betanított AI-modelleken keresztül
- Földtömegek besorolása AI-modelleken keresztül
- A környezet változásainak monitorozása AI-modelleken keresztül
- Származtatott adathalmazok előre feldolgozott képkészletekből
- Vektoros vizualizáció / kis területfelhasználás
- Vektoradatok szűrése és adatközi illesztések
Megfontolandó szempontok
Ezek a szempontok implementálják az Azure Well-Architected-keretrendszer alappilléreit, amelyek a számítási feladatok minőségének javítására használható vezérelvek. További információ: Microsoft Azure Well-Architected Framework.
Működésbeli kiválóság
Ha a Git használatával együttműködik a forráskövetéshez, a Synapse Studio használatával társíthatja a munkaterületet egy Git-adattárhoz, az Azure DevOpshoz vagy a GitHubhoz. További információ: Forrásvezérlő Synapse Studio.
- Egy Azure Synapse munkaterületen a CI/CD áthelyezi az összes entitást egy környezetből (fejlesztés, tesztelés, éles környezet) egy másik környezetbe.
- Az Azure DevOps kiadási folyamataival és GitHub Actions automatizálhatja egy Azure Synapse munkaterület több környezetbe történő üzembe helyezését.
Teljesítmény
- Azure Synapse támogatja az Apache Spark 3.1.2-t, amely nagyobb teljesítményű, mint az elődei.
- A Spark-készlet skálázásával és a csomópontméretekkel kapcsolatos információkért lásd: Spark-készletek a Azure Synapse Analyticsben.
- A Azure Batch használatával belsőleg párhuzamosan skálázhatja fel a Azure Synapse egyéni tevékenységben elküldött átalakításokat. Azure Batch támogatja az AI-modellek futtatásához használható speciális GPU-optimalizált virtuálisgép-méreteket.
Megbízhatóság
A megbízhatóság biztosítja, hogy az alkalmazás megfeleljen az ügyfeleknek vállalt kötelezettségeknek. További információ: A megbízhatósági pillér áttekintése.
Az SLA-val kapcsolatos információkért lásd Azure Synapse SLA-t.
Biztonság
A biztonság biztosítékokat nyújt a szándékos támadások és az értékes adatokkal és rendszerekkel való visszaélés ellen. További információ: A biztonsági pillér áttekintése.
A biztonsági ajánlott eljárásokat az alábbi cikkekben tekintheti meg:
- Azure Synapse Analytics-biztonság: Bevezetés
- Azure Synapse Analytics-biztonság: Adatvédelem
- Azure Synapse Analytics-biztonság: Hozzáférés-vezérlés
- Azure Synapse Analytics-biztonság: Hitelesítés
- Azure Synapse Analytics: Hálózati biztonság
Költségoptimalizálás
A költségoptimalizálás a felesleges költségek csökkentésének és a működési hatékonyság javításának módjait ismerteti. További információ: A költségoptimalizálási pillér áttekintése.
Ezek az erőforrások a díjszabással és a költségoptimalizálással kapcsolatos információkat nyújtanak:
- A Azure Synapse költségeinek megtervezése és kezelése
- Azure Synapse az Azure díjkalkulátorában
- Apache Spark-készlet a Azure Synapse
- Csomópontok és készletek a Azure Batch
- Azure Batch az Azure díjkalkulátorában
Megjegyzés
A partner AI-modellek díjszabását és licencfeltételeit a partner dokumentációjában találja.
A forgatókönyv üzembe helyezése
Elérhető a mintamegoldás Bicep-üzembe helyezése. Az üzembe helyezés megkezdéséhez tekintse meg ezeket az utasításokat.
Töltse le az architektúra Visio-fájlját.
Korlátozások
Ez az architektúra egy Azure Synapse használó, végpontok közötti geofeldolgozási és elemzési megoldást mutat be. Ez a minta-implementáció egy kis és közepes érdeklődési körre, valamint a raszteradatok korlátozott egyidejű geofeldolgozására irányul.
Mintakód
Az alábbi utasítások bemutatják, hogyan olvashatók, írhatóak és alkalmazhatók átalakítások a Azure Data Lake Storage tárolt raszteradatokra Synapse-jegyzetfüzet használatával. A cél inkább a kódtárak Synapse-jegyzetfüzetekben való használatának bemutatása, mint az átalakítás bemutatása.
Előfeltételek
- Telepítse a térinformatikai kódtárakat.
- Hozzon létre egy Azure Key Vaultot a titkos kódok tárolásához. Ebben a forgatókönyvben a tárfiók hozzáférési kulcsát a kulcstartóban tároljuk. Útmutatásért lásd: Hitelesítő adatok tárolása az Azure Key Vault-ben.
- Hozzon létre egy társított szolgáltatást az Azure Key Vault számára a Azure Synapse használatával.
Utasítások
Adatok nyomtatása a raszteradatokból:
from osgeo import gdal gdal.UseExceptions() access_key = TokenLibrary.getSecret('<key-vault-name>','<secret-name>') gdal.SetConfigOption('AZURE_STORAGE_ACCOUNT', '<storage_account_name>') gdal.SetConfigOption('AZURE_STORAGE_ACCESS_KEY', access_key) dataset_info = gdal.Info('/vsiadls/aoa/input/sample_image.tiff') #/vsiadls/<container_name>/path/to/image print(dataset_info)
Megjegyzés
/vsiadls/
egy fájlrendszer-kezelő, amely lehetővé teszi, hogy menet közben véletlenszerűen beolvassák az Azure Data Lake Storage fájlrendszerekben elérhető, elsősorban nem nyilvános fájlokat. A teljes fájl előzetes letöltése nem szükséges./vsiadls/
hasonló a () fájlhoz/vsiaz/
. Ugyanazokat a konfigurációs beállításokat használja a hitelesítéshez. Ellentétben/vsiaz/
a ,/vsiadls/
valós címtár-kezelést és Unix-stílusú ACL-támogatást nyújt. Egyes funkciók esetében a hierarchikus támogatást be kell kapcsolni az Azure Storage-ban. További információt a dokumentációban/vsiadls/
talál.Driver: GTiff/GeoTIFF Files: /vsiadls/naip/input/sample_image.tiff Size is 6634, 7565 Coordinate System is: PROJCRS["NAD83 / UTM zone 16N", BASEGEOGCRS["NAD83", DATUM["North American Datum 1983", ELLIPSOID["GRS 1980",6378137,298.257222101, LENGTHUNIT["metre",1]]], PRIMEM["Greenwich",0, ANGLEUNIT["degree",0.0174532925199433]], ID["EPSG",4269]], CONVERSION["UTM zone 16N", METHOD["Transverse Mercator", ID["EPSG",9807]], PARAMETER["Latitude of natural origin",0, ANGLEUNIT["degree",0.0174532925199433], ID["EPSG",8801]], PARAMETER["Longitude of natural origin",-87, ANGLEUNIT["degree",0.0174532925199433], ID["EPSG",8802]], PARAMETER["Scale factor at natural origin",0.9996, SCALEUNIT["unity",1], ID["EPSG",8805]], PARAMETER["False easting",500000, LENGTHUNIT["metre",1], ID["EPSG",8806]], PARAMETER["False northing",0, LENGTHUNIT["metre",1], ID["EPSG",8807]]], CS[Cartesian,2], AXIS["(E)",east, ORDER[1], LENGTHUNIT["metre",1]], AXIS["(N)",north, ORDER[2], LENGTHUNIT["metre",1]], USAGE[ SCOPE["Engineering survey, topographic mapping."], AREA["North America - between 90°W and 84°W - onshore and offshore. Canada - Manitoba; Nunavut; Ontario. United States (USA) - Alabama; Arkansas; Florida; Georgia; Indiana; Illinois; Kentucky; Louisiana; Michigan; Minnesota; Mississippi; Missouri; North Carolina; Ohio; Tennessee; Wisconsin."], BBOX[23.97,-90,84,-84]], ID["EPSG",26916]] Data axis to CRS axis mapping: 1,2 Origin = (427820.000000000000000,3395510.000000000000000) Pixel Size = (1.000000000000000,-1.000000000000000) Metadata: AREA_OR_POINT=Area Image Structure Metadata: COMPRESSION=DEFLATE INTERLEAVE=PIXEL LAYOUT=COG PREDICTOR=2 Corner Coordinates: Upper Left ( 427820.000, 3395510.000) ( 87d45'13.12"W, 30d41'24.67"N) Lower Left ( 427820.000, 3387945.000) ( 87d45'11.21"W, 30d37'18.94"N) Upper Right ( 434454.000, 3395510.000) ( 87d41' 3.77"W, 30d41'26.05"N) Lower Right ( 434454.000, 3387945.000) ( 87d41' 2.04"W, 30d37'20.32"N) Center ( 431137.000, 3391727.500) ( 87d43' 7.54"W, 30d39'22.51"N) Band 1 Block=512x512 Type=Byte, ColorInterp=Red Overviews: 3317x3782, 1658x1891, 829x945, 414x472 Band 2 Block=512x512 Type=Byte, ColorInterp=Green Overviews: 3317x3782, 1658x1891, 829x945, 414x472 Band 3 Block=512x512 Type=Byte, ColorInterp=Blue Overviews: 3317x3782, 1658x1891, 829x945, 414x472 Band 4 Block=512x512 Type=Byte, ColorInterp=Undefined Overviews: 3317x3782, 1658x1891, 829x945, 414x472
A GeoTiff konvertálása PNG-re a GDAL használatával:
from osgeo import gdal gdal.UseExceptions() access_key = TokenLibrary.getSecret('<key-vault-name>','<secret-name>') gdal.SetConfigOption('AZURE_STORAGE_ACCOUNT', '<storage_account_name>') gdal.SetConfigOption('AZURE_STORAGE_ACCESS_KEY', access_key) tiff_in = "/vsiadls/aoa/input/sample_image.tiff" #/vsiadls/<container_name>/path/to/image png_out = "/vsiadls/aoa/input/sample_image.png" #/vsiadls/<container_name>/path/to/image options = gdal.TranslateOptions(format='PNG') gdal.Translate(png_out, tiff_in, options=options)
GeoTiff-rendszerképek tárolása Azure Data Lake Storage.
Mivel az adatok tárolása a felhőben történik, és hogy a fájlkezelők
/vsiaz/
és/vsiadls/
csak a szekvenciális írásokat támogatják, az mssparkutils csomagban elérhető fájlcsatlakoztatási funkciót használjuk. Miután a kimenetet egy csatlakoztatási helyre írta, másolja a Azure Data Lake Storage a mintaátalakításban látható módon:import shutil import sys from osgeo import gdal from notebookutils import mssparkutils mssparkutils.fs.mount( "abfss://<container_name>@<storage_account_name>.dfs.core.windows.net", "/<mount_path>", {"linkedService":"<linked_service_name>"} ) access_key = TokenLibrary.getSecret('<key-vault-name>','<secret-name>') gdal.SetConfigOption('AZURE_STORAGE_ACCOUNT', '<storage_account_name>') gdal.SetConfigOption('AZURE_STORAGE_ACCESS_KEY', access_key) options = gdal.WarpOptions(options=['tr'], xRes=1000, yRes=1000) gdal.Warp('dst_img.tiff', '/vsiadls/<container_name>/path/to/src_img.tiff', options=options) jobId = mssparkutils.env.getJobId() shutil.copy("dst_img.tiff", f"/synfs/{jobId}/<mount_path>/path/to/dst_img.tiff")
A Azure Synapse a csatolt szolgáltatások közé Azure Data Lake Storage is felvehet. Útmutatásért lásd: Csatolt szolgáltatások.
Megoldásminta
Ennek az architektúrának egy implementációja elérhető a GitHubon.
Ez az ábra a mintamegoldás lépéseit mutatja be:
Töltse le az architektúra Visio-fájlját.
Megjegyzés
Az adatok az űrben lévő adatforrásokból származnak, és Azure Data Lake Storage lesznek másolva. Az adatbetöltés nem része a referencia-megvalósításnak.
- Egy Azure Synapse folyamat beolvassa a térbeli adatokat Azure Data Lake Storage.
- Az adatokat a GDAL-kódtár dolgozza fel egy Azure Synapse jegyzetfüzetben.
- A feldolgozott adatokat a rendszer Azure Data Lake Storage tárolja.
- A feldolgozott adatokat a rendszer Azure Data Lake Storage olvassa be, és egy Azure Synapse Egyéni tevékenység továbbítja az objektumészlelési Custom Vision AI-modelleknek. Az egyéni tevékenység Azure Batch készleteket használ az objektumészlelési modell futtatásához.
- Az objektumészlelési modell megjeleníti az észlelt objektumok és határolókeretek listáját.
- Az észlelt objektumokat GeoJSON-ra konvertálja a rendszer, és Azure Data Lake Storage tárolja.
- A GeoJSON-adatokat a rendszer Azure Data Lake Storage olvassa be, és egy PostgreSQL-adatbázisban tárolja.
- Az adatok a PostgreSQL-adatbázisból lesznek beolvasva. Az arcGIS Pro, a QGIS és a Power BI eszközeiben tovább vizualizálható.
Térinformatikai csomagok telepítése Azure Synapse Spark-készletbe
A csomagkezelési funkcióval telepítenie kell a csomagokat egy Azure Synapse Spark-készletbe. További információ: Azure Synapse csomagkezelés.
A spaceborne adatterhelések Azure Synapse való támogatásához olyan kódtárakra van szükség, mint a GDAL, a Rasterio és a GeoPandas. Ezeket a kódtárakat egy YAML-fájl használatával telepítheti egy kiszolgáló nélküli Apache Spark-készletre. Az Anaconda-kódtárak előre telepítve vannak a Spark-készletben.
Előfeltételek
- Hozzon létre egy Azure Synapse munkaterületet.
- Hozza létre a Spark-készletet a Azure Synapse Studióban.
Utasítások
A következő kódtárak és csomagok érhetők el a environment.yml fájlban. Javasoljuk, hogy ezzel a fájllal telepítse a kódtárakat a Spark-készletekben. Ha az alábbi tartalmat másolja, győződjön meg arról, hogy nincsenek lapok, mivel a YAML csak behúzásként engedélyezi a szóközöket.
name: aoi-env channels: - conda-forge - defaults dependencies: - azure-storage-file-datalake - gdal=3.3.0 - libgdal - pip>=20.1.1 - pyproj - shapely - pip: - rasterio - geopandas
Megjegyzés
A GDAL virtuális fájlrendszert
/vsiadls/
használ Azure Data Lake Storage. Ez a funkció a GDAL 3.3.0-s verziótól kezdve érhető el. Ügyeljen arra, hogy a 3.3.0-s vagy újabb verziót használja.Nyissa meg a https://web.azuresynapse.net munkaterületet, és jelentkezzen be.
A navigációs ablakban válassza a Kezelés , majd az Apache Spark-készletek lehetőséget.
Válassza a Csomagok lehetőséget a Spark-készlet három pontjának (...) kiválasztásával. Töltse fel a environment.yml fájlt a helyi fájlból, és alkalmazza a csomagbeállításokat.
A portál értesítési szakasza értesíti a telepítés befejezéséről. A telepítés előrehaladását az alábbi lépésekkel is nyomon követheti:
- Lépjen a Spark-alkalmazások listájára a Monitor lapon .
- Válassza a készletfrissítésnek megfelelő SystemReservedJob-LibraryManagement hivatkozást.
- Tekintse meg az illesztőprogram-naplókat.
Futtassa az alábbi kódot annak ellenőrzéséhez, hogy a kódtárak megfelelő verziói telepítve vannak-e. A Conda által telepített előre telepített kódtárak is megjelennek.
import pkg_resources for d in pkg_resources.working_set: print(d)
További információ: Csomagok kezelése.
Közreműködők
Ezt a cikket a Microsoft frissíti és karbantartja. Eredetileg a következő közreműködők írták.
Fő szerzők:
- Kungumaraj Nachimuthu | Vezető szoftvermérnök
- Karthick Narendran | Vezető szoftvermérnök
További közreműködők:
- Mick Alberts | Műszaki író
- Taylor Corbett | Vezető adattudós
- Tushar Dhadiwal | Vezető szoftvermérnök
- Mandar Inamdar | Vezető mérnöki vezető
- Sushil Kumar | Vezető szoftvermérnök
- Nikhil Manchanda | Vezető mérnöki vezető
- Safiyah Sadiq | Szoftvermérnök II.
- Xiaoyuan Yang | Egyszerű Adattudomány-kezelő
- Tai Yee | Vezető programmenedzser
Következő lépések
- Térinformatikai elemzések lekérése big data-adatokból a SynapseML használatával
- A Azure Synapse Analytics használatának első lépései
- A Azure Synapse Studio felfedezése
- Cognitive Services létrehozása és felhasználása