Az Azure HDInsight-fürtökkel használható tárolási lehetőségek összehasonlítása
HDInsight-fürtök létrehozásakor választhat néhány különböző Azure Storage-szolgáltatás közül:
- Azure Blob Storage a HDInsighttal
- Azure Data Lake Storage Gen2 és HDInsight
- Azure Data Lake Storage Gen1 és HDInsight
Ez a cikk áttekintést nyújt ezekről a tárolótípusokról és azok egyedi funkcióiról.
Tárolási típusok és szolgáltatások
Az alábbi táblázat a HDInsight különböző verzióival támogatott Azure Storage-szolgáltatásokat foglalja össze:
| Storage-szolgáltatás | Számla típusa | Névtér típusa | Támogatott szolgáltatások | Támogatott teljesítményszintek | Támogatott hozzáférési szintek | HDInsight Version (HDInsight-verzió) | Fürt típusa |
|---|---|---|---|---|---|---|---|
| Azure Data Lake Storage Gen2 | Általános célú v2 | Hierarchikus (fájlrendszer) | Blob | Standard | Gyakori elérésű, ritka elérésű, archív | 3.6+ | A Spark 2.1 és a 2.2 kivételével minden |
| Azure Storage | Általános célú v2 | Object | Blob | Standard | Gyakori elérésű, ritka elérésű, archív | 3.6+ | Mind |
| Azure Storage | Általános célú v1 | Object | Blob | Standard | N/A | Mind | Mind |
| Azure Storage | Blob Storage** | Object | Blokkblob | Standard | Gyakori elérésű, ritka elérésű, archív | Mind | Mind |
| Azure Data Lake Storage Gen1 | N/A | Hierarchikus (fájlrendszer) | N.A. | N/A | N.A. | Csak 3.6 | Minden a HBase kivételével |
| Azure Storage | Blokkblob | Object | Blokkblob | Prémium | N/A | 3.6+ | Csak gyorsított írással rendelkező HBase |
| Azure Data Lake Storage Gen2 | Blokkblob | Hierarchikus (fájlrendszer) | Blokkblob | Prémium | N/A | 3.6+ | Csak gyorsított írással rendelkező HBase |
**HDInsight-fürtök esetén csak másodlagos tárfiókok lehetnek BlobStorage típusúak, és a Page Blob nem támogatott tárolási lehetőség.
További információ az Azure Storage-fióktípusokról: Azure Storage-fiók áttekintése
További információ az Azure Storage hozzáférési szintjeiről : Azure Blob Storage: Premium (előzetes verzió), gyakori elérésű, ritka elérésű és archív tárolási szintek
Fürtöket az elsődleges és az opcionális másodlagos tároláshoz használható szolgáltatások kombinációjával hozhat létre. Az alábbi táblázat a HDInsightban jelenleg támogatott fürttároló-konfigurációkat foglalja össze:
| HDInsight Version (HDInsight-verzió) | Elsődleges tároló | Másodlagos tárolás | Supported |
|---|---|---|---|
| 3.6 & 4.0 | Általános célú V1, Általános célú V2 | Általános célú V1, Általános célú V2, BlobStorage(Blokkblobok) | Igen |
| 3.6 & 4.0 | Általános célú V1, Általános célú V2 | 2. generációs Data Lake Storage | Nem |
| 3.6 & 4.0 | Data Lake Storage Gen2* | 2. generációs Data Lake Storage | Igen |
| 3.6 & 4.0 | Data Lake Storage Gen2* | Általános célú V1, Általános célú V2, BlobStorage(Blokkblobok) | Igen |
| 3.6 & 4.0 | 2. generációs Data Lake Storage | 1. generációs Data Lake Storage | Nem |
| 3,6 | 1. generációs Data Lake Storage | 1. generációs Data Lake Storage | Igen |
| 3,6 | 1. generációs Data Lake Storage | Általános célú V1, Általános célú V2, BlobStorage(Blokkblobok) | Igen |
| 3,6 | 1. generációs Data Lake Storage | 2. generációs Data Lake Storage | Nem |
| 4,0 | 1. generációs Data Lake Storage | Any | Nem |
| 4,0 | Általános célú V1, Általános célú V2 | 1. generációs Data Lake Storage | Nem |
*=Ez lehet egy vagy több Data Lake Storage Gen2, feltéve, hogy mind ugyanazt a felügyelt identitást használják a fürthozzáféréshez.
Megjegyzés:
A Data Lake Storage Gen2 elsődleges tárolója nem támogatott Spark 2.1- vagy 2.2-fürtök esetén.
Adatreplikáció
Az Azure HDInsight nem tárolja az ügyféladatokat. A fürtök elsődleges tárolási eszközei a társított tárfiókok. A fürt egy meglévő tárfiókhoz csatolható, vagy létrehozhat egy új tárfiókot a fürtlétrehozási folyamat során. Új fiók létrehozásakor helyileg redundáns tárfiókként (LRS) jön létre, és megfelel a régión belüli adattárolási követelményeknek, beleértve az adatvédelmi központban megadottakat is.
Ellenőrizheti, hogy a HDInsight megfelelően van-e konfigurálva az adatok egyetlen régióban való tárolására, ha biztosítja, hogy a HDInsighthoz társított tárfiók LRS vagy az Adatvédelmi központban említett másik tárolási lehetőség legyen.
Megjegyzés:
A futó fürt elsődleges vagy másodlagos tárfiókjának frissítése az Azure Data Lake Storage Gen2 képességeivel nem támogatott. Ha egy meglévő HDInsight-fürt tárolási típusát a Data Lake Storage Gen2-re szeretné módosítani, újra létre kell hoznia a fürtöt, és ki kell választania egy hierarchikus névtér-kompatibilis tárfiókot.