Adatok áthelyezése az Azure-ba és az Azure-ból

  • Cikk
  • 6 perc alatt elolvasható

Az azure-ba és az azure-ból többféleképpen is továbbíthat adatokat az igényeinek megfelelően.

Fizikai átvitel

Ha fizikai hardvert használ az adatok Azure-ba való átviteléhez, az a következő esetekben jó választás:

  • A hálózat lassú vagy megbízhatatlan.
  • A további hálózati sávszélesség beszerzése költségmentes.
  • A biztonsági vagy szervezeti szabályzatok nem engedélyezik a kimenő kapcsolatokat bizalmas adatok kezelésekor.

Ha az elsődleges szempont az, hogy mennyi ideig tart az adatok átvitele, érdemes lehet egy tesztet futtatni annak ellenőrzésére, hogy a hálózati átvitel valóban lassabb-e, mint a fizikai átvitel.

Az adatok Azure-ba való fizikai átvitelének két fő lehetősége van:

  • Azure Import/Export. Az Azure Import/Export szolgáltatás lehetővé teszi nagy mennyiségű adat biztonságos átvitelét Azure Blob Storage vagy Azure Files belső SATA HDD-k vagy SDD-k Azure-adatközpontba történő szállításával. Ezt a szolgáltatást arra is használhatja, hogy adatokat vigyen át az Azure Storage-ból a merevlemez-meghajtókra, és ezeket a helyszíni betöltéshez szállítsa.

  • Azure Data Box. Az Azure Data Box egy Microsoft által biztosított berendezés, amely az Azure Import/Export szolgáltatáshoz hasonlóan működik. A Microsoft egy saját fejlesztésű, biztonságos és illetéktelen módosításnak ellenálló szállítóberendezést szállít Önnek, és kezeli a végpontok közötti logisztikát, amelyet a portálon keresztül nyomon követhet. Az Azure Data Box szolgáltatás egyik előnye a könnyű használat. Nem kell több merevlemezt vásárolnia, előkészítenie és átvinnie a fájlokat mindegyikbe. Az Azure Data Boxot számos iparágvezető Azure-partner támogatja, hogy egyszerűbben használhassa a termékeikből a felhőbe irányuló offline átvitelt.

Parancssori eszközök és API-k

Vegye figyelembe ezeket a beállításokat, ha szkriptelt és programozott adatátvitelt szeretne.

  • Azure parancssori felület (CLI). Az Azure CLI egy platformfüggetlen eszköz, amellyel kezelheti az Azure-szolgáltatásokat, és adatokat tölthet fel az Azure Storage.

  • AzCopy. Az AzCopy Windows vagy Linux parancssorból való használatával egyszerűen másolhat adatokat az Azure Blob, File és Table Storage szolgáltatásba és onnan az optimális teljesítmény érdekében. Az AzCopy támogatja az egyidejűséget és a párhuzamosságot, valamint lehetővé teszi a másolási műveletek folytatását egy esetleges megszakítás esetén. Az AzCopyval adatokat is másolhat az AWS-ből az Azure-ba. A programozott hozzáféréshez az Microsoft Azure Storage adatáthelyezési kódtár az AzCopyt működtető alapvető keretrendszer. .NET Core-kódtárként érhető el.

  • PowerShell. A Start-AzureStorageBlobCopy PowerShell-parancsmag Windows PowerShellhez használt rendszergazdák számára érhető el.

  • AdlCopy. Az AdlCopy lehetővé teszi, hogy adatokat másoljon az Azure Storage Blobokból a Data Lake Store-ba. Arra is használható, hogy adatokat másoljon két Azure Data Lake Store-fiók között. Nem használható azonban arra, hogy adatokat másoljon a Data Lake Store-ból Storage blobokba.

  • Distcp. Ha rendelkezik a Data Lake Store-hoz hozzáféréssel rendelkező HDInsight-fürttel, a Hadoop ökoszisztéma-eszközei, például a Distcp használatával adatokat másolhat egy HDInsight-fürttárolóba (WASB) egy Data Lake Store-fiókba.

  • Sqoop. A Sqoop egy Apache-projekt, amely a Hadoop-ökoszisztéma része. Minden HDInsight-fürtön előre telepítve van. Lehetővé teszi az adatátvitelt egy HDInsight-fürt és olyan relációs adatbázisok között, mint az SQL, az Oracle, a MySQL stb. A Sqoop a kapcsolódó eszközök gyűjteménye, beleértve az importálást és az exportálást. A Sqoop az Azure Storage blobokat vagy a Data Lake Store-ra csatlakoztatott tárolókat használó HDInsight-fürtökkel működik.

  • PolyBase. A PolyBase egy olyan technológia, amely az adatbázison kívüli adatokat a T-SQL nyelv használatával éri el. A SQL Server 2016-ban lehetővé teszi, hogy lekérdezéseket futtasson külső adatokon a Hadoopban, vagy adatokat importáljon/exportáljon Azure Blob Storage. Az Azure Synapse Analyticsben adatokat importálhat/exportálhat Azure Blob Storage és az Azure Data Lake Store-ból. Jelenleg a PolyBase a leggyorsabb módszer az adatok importálására Azure Synapse.

  • Hadoop parancssor. Ha egy HDInsight-fürt átjárócsomópontján található adatokkal rendelkezik, a hadoop -copyFromLocal paranccsal átmásolhatja az adatokat a fürt csatolt tárolójába, például az Azure Storage blobba vagy az Azure Data Lake Store-ba. A Hadoop-parancs használatához először csatlakoznia kell az átjárócsomóponthoz. Miután csatlakozott, feltölthet egy fájlt a tárolóba.

Grafikus felület

Vegye figyelembe a következő beállításokat, ha csak néhány fájlt vagy adatobjektumot továbbít, és nem kell automatizálnia a folyamatot.

  • Azure Storage Explorer. Azure Storage Explorer egy platformfüggetlen eszköz, amely lehetővé teszi az Azure-tárfiókok tartalmának kezelését. Segítségével feltöltheti, letöltheti és kezelheti a blobokat, fájlokat, üzenetsorokat, táblákat, valamint az Azure Cosmos DB-entitásokat. A Blob Storage szolgáltatással együtt használva kezelheti a blobokat és a mappákat, valamint blobokat tölthet fel és tölthet le a helyi fájlrendszer és a Blob Storage, illetve különböző tárfiókok között.

  • Azure Portal. A Blob Storage és a Data Lake Store is webalapú felületet biztosít a fájlok feltárására és az új fájlok egyenkénti feltöltésére. Ez akkor jó megoldás, ha nem szeretne eszközöket telepíteni és parancsokat végrehajtani a fájlok gyors tallózásához, vagy egyszerűen csak néhány új fájlt kell feltöltenie.

Adatfolyamat

Azure Data Factory. Azure Data Factory egy felügyelt szolgáltatás, amely kiválóan alkalmas fájlok rendszeres átvitelére számos Azure-szolgáltatás, helyszíni szolgáltatás vagy a kettő kombinációja között. A Azure Data Factory használatával olyan adatvezérelt munkafolyamatokat (úgynevezett folyamatokat) hozhat létre és ütemezhet, amelyek különböző adattárakból származó adatokat használnak fel. feldolgozhatók és átalakíthatók az adatok különböző számítási szolgáltatások használatával (például Azure HDInsight Hadoop, Spark, Azure Data Lake Analytics és Azure Machine Learning), Adatvezérelt munkafolyamatok létrehozása az adatáthelyezés és az adatátalakítás vezénylése és automatizálása céljából.

Kulcskijelölési feltételek

Adatátviteli forgatókönyvek esetén válassza ki az igényeinek megfelelő rendszert az alábbi kérdések megválaszolásával:

  • Nagyon nagy mennyiségű adatot kell továbbítania, ahol az internetkapcsolaton keresztüli művelet túl sokáig tartana, megbízhatatlanná vagy túl költségessé válna? Ha igen, fontolja meg a fizikai átvitelt.

  • Inkább szkripteli az adatátviteli feladatokat, hogy újra felhasználhatók legyenek? Ha igen, válassza ki a parancssori beállítások egyikét, vagy Azure Data Factory.

  • Nagyon nagy mennyiségű adatot kell továbbítania egy hálózati kapcsolaton keresztül? Ha igen, válasszon egy big data-hez optimalizált lehetőséget.

  • Át kell vinnie az adatokat egy relációs adatbázisba vagy onnan? Ha igen, válasszon egy vagy több relációs adatbázist támogató lehetőséget. Vegye figyelembe, hogy ezen lehetőségek némelyikéhez Hadoop-fürtre is szükség van.

  • Szükség van automatizált adatfolyamatra vagy munkafolyamat-vezénylésre? Ha igen, fontolja meg Azure Data Factory.

Képességmátrix

Az alábbi táblázatok összefoglalják a képességek közötti fő különbségeket.

Fizikai átvitel

Képesség Azure Import/Export szolgáltatás Azure Data Box
Form factor Belső SATA HDD-k vagy SDD-k Biztonságos, illetéktelen módosításbiztos, egyetlen hardveres berendezés
A Microsoft kezeli a szállítási logisztikát Nem Igen
Integráció a partnertermékekkel Nem Igen
Egyéni berendezés Nem Igen

Parancssori eszközök

Hadoop/HDInsight:

Képesség Distcp Sqoop Hadoop parancssori felület
Big Data-adatokra optimalizálva Igen Igen Yes
Másolás relációs adatbázisba Nem Igen Nem
Másolás relációs adatbázisból Nem Igen Nem
Másolás a Blob Storage-ba Igen Igen Yes
Másolás Blob Storage-ból Igen Igen Nem
Másolás a Data Lake Store-ba Igen Igen Yes
Másolás a Data Lake Store-ból Igen Igen Nem

Más:

Képesség Azure CLI AzCopy PowerShell AdlCopy PolyBase
Kompatibilis platformok Linux, OS X, Windows Linux, Windows Windows Linux, OS X, Windows SQL Server, Azure Synapse
Big Data-adatokra optimalizálva Nem Igen Nem Igen 1 Igen 2
Másolás relációs adatbázisba Nem Nem Nem Nem Igen
Másolás relációs adatbázisból Nem Nem Nem Nem Igen
Másolás a Blob Storage-ba Igen Igen Igen Nem Igen
Másolás Blob Storage-ból Igen Igen Igen Igen Yes
Másolás a Data Lake Store-ba Nem Igen Igen Igen Yes
Másolás a Data Lake Store-ból Nem Nem Igen Igen Yes

[1] Az AdlCopy big data-adatok átvitelére van optimalizálva, amikor Data Lake Analytics-fiókkal használják.

[2] A PolyBase teljesítménye növelhető a számítások Hadoopba való leküldésével és a PolyBase horizontális felskálázási csoportjainak használatával, hogy lehetővé tegye a párhuzamos adatátvitelt SQL Server példányok és Hadoop-csomópontok között.

Grafikus felület és Azure Data Factory

Képesség Azure Storage Explorer Azure Portal * Azure Data Factory
Big Data-adatokra optimalizálva Nem Nem Igen
Másolás relációs adatbázisba Nem Nem Igen
Másolás relációs adatbázisból Nem Nem Igen
Másolás a Blob Storage-ba Igen Nem Igen
Másolás Blob Storage-ból Igen Nem Igen
Másolás a Data Lake Store-ba Nem Nem Igen
Másolás a Data Lake Store-ból Nem Nem Igen
Feltöltés a Blob Storage-ba Igen Igen Yes
Feltöltés a Data Lake Store-ba Igen Igen Yes
Adatátvitelek vezénylálása Nem Nem Igen
Egyéni adatátalakítások Nem Nem Igen
Díjszabási modell Ingyenes Ingyenes Használatalapú fizetés

* Azure Portal ebben az esetben a Blob Storage és a Data Lake Store webes feltárási eszközeinek használatát jelenti.

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.

Fő szerző: