Opslagopties vergelijken voor gebruik met Azure HDInsight clusters
U kunt kiezen uit een aantal verschillende Azure-opslagservices bij het maken van HDInsight-clusters:
- Azure Blob Storage met HDInsight
- Azure Data Lake Storage Gen2 met HDInsight
- Azure Data Lake Storage Gen1 met HDInsight
In dit artikel vindt u een overzicht van deze opslagtypen en hun unieke functies.
Storage en functies
De volgende tabel bevat een overzicht Azure Storage services die worden ondersteund met verschillende versies van HDInsight:
| Storage service | Accounttype | Naamruimtetype | Ondersteunde services | Ondersteunde prestatielagen | Ondersteunde toegangslagen | HDInsight-versie | Clustertype |
|---|---|---|---|---|---|---|---|
| Azure Data Lake Storage Gen2 | Algemeen v2 | Hiërarchisch (bestandssysteem) | Blob | Standard | Dynamisch, statisch en archiefopslag | 3.6+ | Alles behalve Spark 2.1 en 2.2 |
| Azure Storage | Algemeen v2 | Object | Blob | Standard | Dynamisch, statisch en archiefopslag | 3.6+ | Alles |
| Azure Storage | Algemeen v1 | Object | Blob | Standard | N.v.t. | Alles | Alles |
| Azure Storage | Blob Storage** | Object | Blok-blob | Standard | Dynamisch, statisch en archiefopslag | Alles | Alles |
| Azure Data Lake Storage Gen1 | N.v.t. | Hiërarchisch (bestandssysteem) | N.v.t. | N.v.t. | N.v.t. | 3.6 Alleen | Alle behalve HBase |
| Azure Storage | Blok-blob | Object | Blok-blob | Premium | N.v.t. | 3.6+ | Alleen HBase met versnelde schrijf schrijf- |
| Azure Data Lake Storage Gen2 | Blok-blob | Hiërarchisch (bestandssysteem) | Blok-blob | Premium | N.v.t. | 3.6+ | Alleen HBase met versnelde schrijf schrijf- |
**Voor HDInsight-clusters kunnen alleen secundaire opslagaccounts van het type BlobStorage zijn en pagina-blob is geen ondersteunde opslagoptie.
Zie Overzicht van Azure-Azure Storage voor meer informatie over de verschillende typen azure-opslagaccounts
Zie Azure Blob Storage: Azure Storage Premium (preview), Hot, Cool en Archive Storage tiers (Azure Blob Storage: Premium(preview), Hot, Cool en Archive Storage-lagen) voor meer informatie over de toegangslagen.
U kunt clusters maken met behulp van combinaties van services voor primaire en optionele secundaire opslag. De volgende tabel bevat een overzicht van de clusteropslagconfiguraties die momenteel worden ondersteund in HDInsight:
| HDInsight-versie | Primaire Storage | Secundaire Storage | Ondersteund |
|---|---|---|---|
| 3.6 & 4.0 | Algemeen V1, Algemeen V2 | Algemeen V1, Algemeen V2, BlobStorage (blok-blobs) | Yes |
| 3.6 & 4.0 | Algemeen V1, Algemeen V2 | Data Lake Storage Gen2 | No |
| 3.6 & 4.0 | Data Lake Storage Gen2* | Data Lake Storage Gen2 | Yes |
| 3.6 & 4.0 | Data Lake Storage Gen2* | Algemeen V1, Algemeen V2, BlobStorage (blok-blobs) | Yes |
| 3.6 & 4.0 | Data Lake Storage Gen2 | Data Lake Storage Gen1 | No |
| 3,6 | Data Lake Storage Gen1 | Data Lake Storage Gen1 | Yes |
| 3,6 | Data Lake Storage Gen1 | Algemeen V1, Algemeen V2, BlobStorage (blok-blobs) | Yes |
| 3,6 | Data Lake Storage Gen1 | Data Lake Storage Gen2 | No |
| 4,0 | Data Lake Storage Gen1 | Alle | No |
| 4,0 | Algemeen V1, Algemeen V2 | Data Lake Storage Gen1 | No |
*=Dit kan een of meer Data Lake Storage Gen2 zijn, zolang ze allemaal zijn ingesteld om dezelfde beheerde identiteit te gebruiken voor clustertoegang.
Notitie
Primaire opslag van Data Lake Storage Gen2 wordt niet ondersteund voor Spark 2.1- of 2.2-clusters.
Gegevensreplicatie
Azure HDInsight worden geen klantgegevens opgeslagen. De primaire opslagmiddel voor een cluster zijn de bijbehorende opslagaccounts. U kunt uw cluster koppelen aan een bestaand opslagaccount of een nieuw opslagaccount maken tijdens het maken van het cluster. Als er een nieuw account wordt gemaakt, wordt het gemaakt als een lokaal redundant opslagaccount (LRS) en voldoet het aan de vereisten voor gegevensopslag in de regio, inclusief de vereisten die zijn opgegeven in het Vertrouwenscentrum.
U kunt controleren of HDInsight juist is geconfigureerd voor het opslaan van gegevens in één regio door ervoor te zorgen dat het opslagaccount dat is gekoppeld aan uw HDInsight LRS is of een andere opslagoptie die wordt vermeld in Vertrouwenscentrum.