U-SQL-szkriptek futtatása a helyi gépen
Fontos
Az Azure Data Lake Analytics 2024. február 29-én megszűnt. További információ ezzel a bejelentéssel.
Az adatelemzéshez a szervezet használhatja a Azure Synapse Analyticset vagy a Microsoft Fabricet.
U-SQL-szkriptek fejlesztésekor időt és költséget takaríthat meg a szkriptek helyi futtatásával. Az Azure Data Lake Tools for Visual Studio támogatja az U-SQL-szkriptek helyi gépen való futtatását.
A helyi futtatások alapfogalmai
Az alábbi diagram a helyi futtatás összetevőit és az összetevők felhőbeli futtatásra való leképezését mutatja be.
| Összetevő | Helyi futtatás | Felhőbeli futtatás |
|---|---|---|
| Tárolás | Helyi adatok gyökérmappája | Alapértelmezett Azure Data Lake Store-fiók |
| Compute | U-SQL helyi futtatási motor | Azure Data Lake Analytics szolgáltatás |
| Környezet futtatása | Munkakönyvtár a helyi gépen | Azure Data Lake Analytics-fürt |
Az alábbi szakaszok további információt nyújtanak a helyi futtatási összetevőkről.
Helyi adatok gyökérmappái
A helyi adatgyökérmappa a helyi számítási fiók helyi tárolója . A helyi számítógépen a helyi fájlrendszer bármely mappája lehet helyi adatgyökérmappa. Ugyanaz, mint egy Data Lake Analytics fiók alapértelmezett Azure Data Lake Store-fiókja. A másik adatgyökerű mappára való váltás olyan, mintha másik alapértelmezett tárfiókra váltana.
A rendszer az adatgyökérmappát a következőképpen használja:
- Metaadatok tárolása. Ilyenek például az adatbázisok, táblák, táblaértékű függvények és szerelvények.
- Keresse meg az U-SQL-szkriptekben relatív elérési útként definiált bemeneti és kimeneti elérési utakat. Relatív elérési utak használatával egyszerűbb az U-SQL-szkriptek üzembe helyezése az Azure-ban.
Helyi U-SQL-futtatási motorok
Az U-SQL helyi futtatási motor egy helyi számítási fiók U-SQL-feladatokhoz. A felhasználók helyileg futtathatnak U-SQL-feladatokat az Azure Data Lake Tools for Visual Studio használatával. A helyi futtatásokat az Azure Data Lake U-SQL SDK parancssori és programozási felületei is támogatják. További információ az Azure Data Lake U-SQL SDK-ról.
Munkakönyvtárak
U-SQL-szkript futtatásakor egy munkakönyvtár mappára van szükség a fordítási eredmények gyorsítótárazásához, a naplók futtatásához és más funkciók végrehajtásához. Az Azure Data Lake Tools for Visual Studióban a munkakönyvtár az U-SQL-projekt munkakönyvtára. A alatt található <U-SQL project root path>/bin/debug>. A munkakönyvtár minden alkalommal törlődik, amikor új futtatás aktiválódik.
Helyi futtatások a Microsoft Visual Studióban
Az Azure Data Lake Tools for Visual Studio beépített helyi futtatási motorral rendelkezik. Az eszközök helyi számítási fiókként kezelik a motort. Ha helyileg szeretne futtatni egy U-SQL-szkriptet, válassza a Local-machine vagy Local-project fiókot a szkript szerkesztő margójának legördülő menüjében. Ezután válassza a Küldés lehetőséget.
Helyi futtatás helyi számítógépfiókkal
A helyi számítógépfiók egy megosztott helyi számítási fiók, amely helyi tárfiókként egyetlen helyi adatgyökérmappával rendelkezik. Az adatgyökér mappa alapértelmezés szerint a C:\Users<username>\AppData\Local\USQLDataRoot helyen található. Az Eszközök>Data Lake>Beállításai és beállításai segítségével is konfigurálható.
Helyi futtatáshoz U-SQL-projekt szükséges. Az U-SQL-projekt munkakönyvtára az U-SQL helyi futtatási munkakönyvtárához használatos. A fordítási eredményeket, a futtatási naplókat és a feladatfuttatással kapcsolatos egyéb fájlokat a rendszer a helyi futtatás során a munkakönyvtár mappájában hozza létre és tárolja. Minden alkalommal, amikor újrafuttatja a szkriptet, a munkakönyvtárban lévő összes fájl törlődik és újra létrejön.
Helyi futtatás helyi projektfiókkal
A Local-project fiók egy projekt által elkülönített helyi számítási fiók minden projekthez egy izolált helyi adatgyökérmappával. A Visual Studióban Megoldáskezelő megnyíló összes aktív U-SQL-projekt rendelkezik egy megfelelő (Local-project: <project name>) fiókkal. A fiókok a Visual Studióban a Server Explorerben és az U-SQL-szkriptszerkesztő margóján is szerepelnek.
A Local-project fiók tiszta és elkülönített fejlesztési környezetet biztosít. A helyi számítógépfiókok megosztott helyi adatgyökérmappával rendelkezik, amely az összes helyi feladat metaadatait, bemeneti és kimeneti adatait tárolja. A Local-project fiók azonban létrehoz egy ideiglenes helyi adatgyökérmappát egy U-SQL-projekt munkakönyvtárában minden alkalommal, amikor U-SQL-szkript fut. Ez az ideiglenes adatgyökérmappa újraépítés vagy újrafuttatás esetén törlődik.
Egy U-SQL-projekt egy projektreferencián és tulajdonságon keresztül kezeli az elkülönített helyi futtatási környezetet. A bemeneti adatforrásokat a projektben és a hivatkozott adatbázis-környezetekben is konfigurálhatja U-SQL-szkriptekhez.
Helyi projektfiók bemeneti adatforrásának kezelése
A U-SQL-projektek létrehoznak egy helyi adatgyökérmappát, és beállítják a Helyi projekt fiók adatait. Az U-SQL-projekt munkakönyvtárában minden alkalommal törlődik és újra létrejön egy ideiglenes adatgyökérmappa, amikor újraépítés és helyi futtatás történik. Az U-SQL-projekt által konfigurált összes adatforrás ebbe az ideiglenes helyi adatgyökérmappába lesz másolva a helyi feladat futtatása előtt.
Konfigurálhatja az adatforrások gyökérmappáját. Kattintson a jobb gombbal az U-SQL-projekt>tulajdonságteszt>adatforrására. Ha U-SQL-szkriptet futtat egy Local-project-fiókon , a rendszer az Adatforrás tesztelése mappában lévő összes fájlt és almappát az ideiglenes helyi adatok gyökérmappájába másolja. Az almappákban lévő fájlok is megtalálhatók. A helyi feladat futtatása után a kimeneti eredmények a projekt munkakönyvtárának ideiglenes helyi adatok gyökérmappájában is megtalálhatók. Ezt a kimenetet a rendszer törli és törli a projekt újraépítésekor és tisztításakor.
Hivatkozott adatbázis-környezet kezelése helyi projektfiókhoz
Ha egy U-SQL-lekérdezés U-SQL-adatbázisobjektumokat használ vagy lekérdezéseket használ, az U-SQL-szkript helyi futtatása előtt helyileg kell előkészítenie az adatbázis-környezeteket. Helyi projektfiókok esetén az U-SQL-adatbázis függőségeit U-SQL-projekthivatkozások kezelhetik. U-SQL-adatbázisprojekt-hivatkozásokat adhat hozzá az U-SQL-projekthez. Mielőtt U-SQL-szkripteket futtat egy local-project fiókon , a rendszer az összes hivatkozott adatbázist üzembe helyezi az ideiglenes helyi adatok gyökérmappájában. Minden futtatás esetén az ideiglenes adatgyökérmappát a rendszer friss elkülönített környezetként tisztítja meg.
Tekintse meg ezt a kapcsolódó cikket:
- Megtudhatja, hogyan kezelheti az U-SQL-adatbázisdefiníciókat és -hivatkozásokat az U-SQL-adatbázisprojektekben.
A Helyi gép és a Helyi projekt fiókok közötti különbség
A helyigép-fiók egy Azure-Data Lake Analytics-fiókot szimulál a felhasználók helyi gépein. Ugyanazt a felhasználói élményt nyújtja egy Azure Data Lake Analytics-fiókkal. A Helyi projekt fiók felhasználóbarát helyi fejlesztési környezetet biztosít. Ezzel a környezettel a felhasználók adatbázis-hivatkozásokat és bemeneti adatokat helyezhetnek üzembe, mielőtt szkripteket futtatnának helyileg. A helyi számítógépfiókok megosztott állandó környezetet biztosítanak, amely minden projekten keresztül elérhető. A helyi projektfiókok minden projekthez külön fejlesztési környezetet biztosítanak. Minden futtatáskor frissül. A helyi projektfiókok gyorsabb fejlesztési élményt kínálnak az új módosítások gyors alkalmazásával.
A Helyi gép és a Helyi projekt fiókok közötti további különbségek az alábbi táblázatban láthatók:
| Különbség szöge | Helyi gép | Helyi projekt |
|---|---|---|
| Helyi hozzáférés | Az összes projekt elérhető. | Ehhez a fiókhoz csak a megfelelő projekt férhet hozzá. |
| Helyi adatok gyökérmappája | Állandó helyi mappa. Az Eszközök>Data Lake>beállításai és beállításai segítségével konfigurálva. | Az U-SQL-projekt munkakönyvtárában minden helyi futtatáshoz létrehozott ideiglenes mappa. A mappa tisztítása újraépítés vagy újrafuttatás esetén történik. |
| U-SQL-szkript bemeneti adatai | Az állandó helyi adatok gyökérmappája alatti relatív elérési út. | Állítsa be az U-SQL projekttulajdonságon> keresztül: Test Data Source. A rendszer minden fájlt és almappát átmásol az ideiglenes adatgyökér mappába a helyi futtatás előtt. |
| U-SQL-szkript kimeneti adatai | Relatív elérési út az állandó helyi adatok gyökérmappájában. | Kimenet az ideiglenes adatgyökér mappába. Az eredmények tisztítása újraépítés vagy újrafuttatás esetén történik. |
| Hivatkozott adatbázis üzembe helyezése | A hivatkozott adatbázisok nem lesznek automatikusan üzembe helyezve, amikor helyigép-fiókon futnak. Ugyanez vonatkozik az Azure Data Lake Analytics-fiókba való küldésre is. | A hivatkozott adatbázisok a helyi futtatás előtt automatikusan üzembe lesznek helyezve a Local-project fiókban. Az adatbázis-környezetek tisztítása és ismételt üzembe helyezése történik újra, amikor újraépítés vagy újrafuttatás történik. |
Helyi futtatás az U-SQL SDK-val
Az U-SQL-szkripteket helyileg futtathatja a Visual Studióban, és az Azure Data Lake U-SQL SDK-val is futtathat U-SQL-szkripteket helyileg parancssori és programozási felületekkel. Ezeken a felületeken automatizálhatja az U-SQL helyi futtatásait és tesztjeit.
További információ az Azure Data Lake U-SQL SDK-ról.