Jämföra lagringsalternativ för användning med Azure HDInsight-kluster
Du kan välja mellan några olika Azure-lagringstjänster när du skapar HDInsight-kluster:
- Azure Blob Storage med HDInsight
- Azure Data Lake Storage Gen2 med HDInsight
- Azure Data Lake Storage Gen1 med HDInsight
Den här artikeln innehåller en översikt över dessa lagringstyper och deras unika funktioner.
Lagringstyper och funktioner
I följande tabell sammanfattas De Azure Storage-tjänster som stöds med olika versioner av HDInsight:
| Lagringstjänst | Kontotyp | Namnområdestyp | Tjänster som stöds | Prestandanivåer som stöds | Åtkomstnivåer som stöds | HDInsight-version | Klustertyp |
|---|---|---|---|---|---|---|---|
| Azure Data Lake Storage Gen2 | Generell användning V2 | Hierarkisk (filsystem) | Blob | Standard | Frekvent, lågfrekvent, arkiv | 3.6+ | Alla utom Spark 2.1 och 2.2 |
| Azure Storage | Generell användning V2 | Objekt | Blob | Standard | Frekvent, lågfrekvent, arkiv | 3.6+ | Alla |
| Azure Storage | Generell användning V1 | Objekt | Blob | Standard | Ej tillämpligt | Alla | Alla |
| Azure Storage | Blob Storage** | Objekt | Blockblob | Standard | Frekvent, lågfrekvent, arkiv | Alla | Alla |
| Azure Data Lake Storage Gen1 | Ej tillämpligt | Hierarkisk (filsystem) | Saknas | Saknas | Saknas | Endast 3.6 | Alla utom HBase |
| Azure Storage | Blockblob | Objekt | Blockblob | Premium | Ej tillämpligt | 3.6+ | Endast HBase med accelererade skrivningar |
| Azure Data Lake Storage Gen2 | Blockblob | Hierarkisk (filsystem) | Blockblob | Premium | Ej tillämpligt | 3.6+ | Endast HBase med accelererade skrivningar |
**För HDInsight-kluster kan endast sekundära lagringskonton vara av typen BlobStorage och sidblob stöds inte.
Mer information om Azure Storage-kontotyper finns i Översikt över Azure Storage-konto
Mer information om Azure Storage-åtkomstnivåer finns i Azure Blob Storage: Premium (förhandsversion), lagringsnivåer för frekvent lagring, lågfrekvent lagring och arkiv
Du kan skapa kluster med hjälp av kombinationer av tjänster för primär och valfri sekundär lagring. I följande tabell sammanfattas de klusterlagringskonfigurationer som för närvarande stöds i HDInsight:
| HDInsight-version | Primär lagring | Sekundär lagring | Stöds |
|---|---|---|---|
| 3.6 & 4.0 | Generell användning V1, Generell användning V2 | Generell användning V1, Generell användning V2, BlobStorage(Blockblobar) | Ja |
| 3.6 & 4.0 | Generell användning V1, Generell användning V2 | Data Lake Storage Gen2 | Nej |
| 3.6 & 4.0 | Data Lake Storage Gen2* | Data Lake Storage Gen2 | Ja |
| 3.6 & 4.0 | Data Lake Storage Gen2* | Generell användning V1, Generell användning V2, BlobStorage(Blockblobar) | Ja |
| 3.6 & 4.0 | Data Lake Storage Gen2 | Data Lake Storage Gen1 | Nej |
| 3,6 | Data Lake Storage Gen1 | Data Lake Storage Gen1 | Ja |
| 3,6 | Data Lake Storage Gen1 | Generell användning V1, Generell användning V2, BlobStorage(Blockblobar) | Ja |
| 3,6 | Data Lake Storage Gen1 | Data Lake Storage Gen2 | Nej |
| 4.0 | Data Lake Storage Gen1 | Alla | Nej |
| 4.0 | Generell användning V1, Generell användning V2 | Data Lake Storage Gen1 | Nej |
*=Detta kan vara en eller flera Data Lake Storage Gen2, så länge de alla konfigureras för att använda samma hanterade identitet för klusteråtkomst.
Kommentar
Primär lagring i Data Lake Storage Gen2 stöds inte för Spark 2.1- eller 2.2-kluster.
Datareplikering
Azure HDInsight lagrar inte kunddata. Det primära lagringsmedlet för ett kluster är dess associerade lagringskonton. Du kan koppla klustret till ett befintligt lagringskonto eller skapa ett nytt lagringskonto när klustret skapas. Om ett nytt konto skapas skapas det som ett lokalt redundant lagringskonto (LRS) och uppfyller kraven för datahemvist i regionen, inklusive de som anges i Säkerhetscenter.
Du kan kontrollera att HDInsight är korrekt konfigurerat för att lagra data i en enda region genom att se till att lagringskontot som är associerat med din HDInsight är LRS eller något annat lagringsalternativ som anges i Säkerhetscenter.
Kommentar
Uppgradering av det primära eller sekundära lagringskontot för ett kluster som körs med Azure Data Lake Storage Gen2-funktioner stöds inte. Om du vill ändra lagringstypen för ett befintligt HDInsight-kluster till Data Lake Storage Gen2 måste du återskapa klustret och välja ett hierarkiskt namnområde aktiverat lagringskonto.