Az Azure Data Lake Storage Gen2 bemutatásaIntroduction to Azure Data Lake Storage Gen2

A Azure Data Lake Storage Gen2 az Azure Blob Storage-ra épülő, Big Data Analytics szolgáltatáshoz dedikált képességek összessége.‎Azure Data Lake Storage Gen2 is a set of capabilities dedicated to big data analytics, built on Azure Blob storage.

A Data Lake Storage Gen2 a Azure Data Lake Storage Gen1 képességeit az Azure Blob Storage szolgáltatással konvergál.Data Lake Storage Gen2 converges the capabilities of Azure Data Lake Storage Gen1 with Azure Blob storage. A Data Lake Storage Gen2 például a fájlrendszer szemantikai, a fájl szintű biztonságot és a skálázást biztosítja.For example, Data Lake Storage Gen2 provides file system semantics, file-level security, and scale. Mivel ezek a képességek a blob Storage-ra épülnek, a magas rendelkezésre állású/vész-helyreállítási funkciók mellett alacsony költséghatékonyságú, többrétegű tárterület is elérhető.Because these capabilities are built on Blob storage, you'll also get low-cost, tiered storage, with high availability/disaster recovery capabilities.

Nagyvállalati big data elemzésekhez tervezveDesigned for enterprise big data analytics

A Data Lake Storage Gen2 lehetővé teszi az Azure Storage számára, hogy a vállalati adattavakat az Azure-ban hozza létre.Data Lake Storage Gen2 makes Azure Storage the foundation for building enterprise data lakes on Azure. Több petabájt-szolgáltatás megkezdése és kiszolgálása mellett a Data Lake Storage Gen2 segítségével könnyedén kezelhet nagy mennyiségű adatot.Designed from the start to service multiple petabytes of information while sustaining hundreds of gigabits of throughput, Data Lake Storage Gen2 allows you to easily manage massive amounts of data.

Data Lake Storage Gen2 alapvető része egy hierarchikus névtér hozzáadása a blob Storage-hoz.A fundamental part of Data Lake Storage Gen2 is the addition of a hierarchical namespace to Blob storage. A hierarchikus névtér objektumokat vagy fájlokat rendez a címtárak hierarchiájában a hatékony adateléréshez.The hierarchical namespace organizes objects/files into a hierarchy of directories for efficient data access. A közös objektum-tároló elnevezési konvenció a név perjelét használja a hierarchikus címtár-struktúra kiépítéséhez.A common object store naming convention uses slashes in the name to mimic a hierarchical directory structure. Ez a struktúra Data Lake Storage Gen2.This structure becomes real with Data Lake Storage Gen2. Az olyan műveletek, mint például a címtár átnevezése vagy törlése, egyetlen atomi metaadat-műveletvé válnak a címtárban.Operations such as renaming or deleting a directory, become single atomic metadata operations on the directory. Nem kell enumerálni és feldolgozni az összes olyan objektumot, amely megosztja a könyvtár nevének előtagját.There's no need to enumerate and process all objects that share the name prefix of the directory.

A Data Lake Storage Gen2 a blob Storage-ra épül, és a következő módokon javítja a teljesítményt, a felügyeletet és a biztonságot:Data Lake Storage Gen2 builds on Blob storage and enhances performance, management, and security in the following ways:

  • A teljesítmény optimalizálva van, mert nem szükséges az adatok másolása és átalakítása előfeltételként az elemzéshez.Performance is optimized because you do not need to copy or transform data as a prerequisite for analysis. A blob Storage-beli sík névtérhez képest a hierarchikus névtér nagy mértékben javítja a címtár-felügyeleti műveletek teljesítményét, ami javítja a feladatok általános teljesítményét.Compared to the flat namespace on Blob storage, the hierarchical namespace greatly improves the performance of directory management operations, which improves overall job performance.

  • A felügyelet egyszerűbb, mivel a fájlokat címtárakban és Alkönyvtárakban is rendszerezheti és kezelheti.Management is easier because you can organize and manipulate files through directories and subdirectories.

  • A Biztonság kényszeríthető, mert POSIX-engedélyeket adhat meg a címtárakhoz vagy az egyes fájlokhoz.Security is enforceable because you can define POSIX permissions on directories or individual files.

Emellett a Data Lake Storage Gen2 nagyon költséghatékony, mert az Azure Blob Storage-ra épül.Also, Data Lake Storage Gen2 is very cost effective because it is built on top of the low-cost Azure Blob storage. A további funkciók tovább csökkentik az Azure-ban futó big data-elemzések teljes tulajdonlási költségeit.The additional features further lower the total cost of ownership for running big data analytics on Azure.

A Data Lake Storage Gen2 főbb funkcióiKey features of Data Lake Storage Gen2

  • Hadoop-kompatibilis hozzáférés: a Data Lake Storage Gen2 lehetővé teszi az adatkezelést és az adathozzáférést ugyanúgy, mint a HADOOP elosztott fájlrendszer (HDFS).Hadoop compatible access: Data Lake Storage Gen2 allows you to manage and access data just as you would with a Hadoop Distributed File System (HDFS). Az új ABFS-illesztőprogram (az adateléréshez használatos) minden Apache Hadoop környezeten belül elérhető.The new ABFS driver (used to access data) is available within all Apache Hadoop environments. Ezek a környezetek közé tartoznak az Azure HDInsight, a Azure Databricksés az Azure szinapszis Analytics.These environments include Azure HDInsight, Azure Databricks, and Azure Synapse Analytics.

  • A POSIX-engedélyek felülbírálása: a Data Lake Gen2 biztonsági modellje támogatja az ACL és a POSIX engedélyeket, valamint a Data Lake Storage Gen2ra vonatkozó további részletességet.A superset of POSIX permissions: The security model for Data Lake Gen2 supports ACL and POSIX permissions along with some extra granularity specific to Data Lake Storage Gen2. A beállítások a Storage Exploreron vagy olyan keretrendszereken keresztül konfigurálhatók, mint a kaptár és a Spark.Settings may be configured through Storage Explorer or through frameworks like Hive and Spark.

  • Költséghatékony: Data Lake Storage Gen2 alacsony költséghatékonyságú tárolási kapacitást és tranzakciókat biztosít.Cost effective: Data Lake Storage Gen2 offers low-cost storage capacity and transactions. Az Azure Blob Storage életciklusának olyan funkciói, mint például az adatváltások életciklusán keresztül.Features such as Azure Blob storage lifecycle optimize costs as data transitions through its lifecycle.

  • Optimalizált illesztőprogram: a ABFS-illesztőprogram kifejezetten Big Data elemzésekhez van optimalizálva .Optimized driver: The ABFS driver is optimized specifically for big data analytics. A megfelelő REST API-k a végponton keresztül vannak felszínen dfs.core.windows.net .The corresponding REST APIs are surfaced through the endpoint dfs.core.windows.net.

MéretezhetőségScalability

Az Azure Storage a Data Lake Storage Gen2-vagy blob Storage-felületeken keresztüli hozzáférésének megtervezésével méretezhető.Azure Storage is scalable by design whether you access via Data Lake Storage Gen2 or Blob storage interfaces. Számos több exabájt képes tárolni és kiszolgálni.It is able to store and serve many exabytes of data. Ez a tárterület a másodpercenkénti bemeneti/kimeneti műveletek (IOPS) magas szintjein mért Gigabit/másodperc (GB/s) értékkel érhető el.This amount of storage is available with throughput measured in gigabits per second (Gbps) at high levels of input/output operations per second (IOPS). A feldolgozás a szolgáltatás, a fiók és a fájl szintjein mért, a kérelmekre vonatkozó késések mellett történik.Processing is executed at near-constant per-request latencies that are measured at the service, account, and file levels.

KöltséghatékonyságCost effectiveness

Mivel Data Lake Storage Gen2 az Azure Blob Storage-ra épül, a tárterület kapacitása és a tranzakciós költségek alacsonyabbak.Because Data Lake Storage Gen2 is built on top of Azure Blob storage, storage capacity and transaction costs are lower. A többi felhőalapú tárolási szolgáltatástól eltérően nem kell áthelyeznie vagy átalakítania az adatait, mielőtt elemezni tudja azokat.Unlike other cloud storage services, you don't have to move or transform your data before you can analyze it. A díjszabással kapcsolatos további információkért lásd: az Azure Storage díjszabása.For more information about pricing, see Azure Storage pricing.

Emellett a hierarchikus névtérrel rendelkező funkciók jelentős mértékben javítják a számos elemzési feladat általános teljesítményét.Additionally, features such as the hierarchical namespace significantly improve the overall performance of many analytics jobs. A teljesítmény fokozása azt jelenti, hogy kevesebb számítási teljesítményre van szükség az azonos mennyiségű adat feldolgozásához, így a végpontok közötti elemzési feladathoz tartozó teljes tulajdonlási költség (TCO) alacsonyabb.This improvement in performance means that you require less compute power to process the same amount of data, resulting in a lower total cost of ownership (TCO) for the end-to-end analytics job.

Egy szolgáltatás, több fogalomOne service, multiple concepts

Mivel Data Lake Storage Gen2 az Azure Blob Storage-ra épül, több fogalom is lemondhatja ugyanazokat a megosztott dolgokat.Because Data Lake Storage Gen2 is built on top of Azure Blob storage, multiple concepts can describe the same, shared things.

A következők az egyenértékű entitások, amelyeket a különböző fogalmak ismertetnek.The following are the equivalent entities, as described by different concepts. Ha másként nincs megadva, akkor ezek az entitások közvetlenül szinonimák:Unless specified otherwise these entities are directly synonymous:

FogalomConcept Legfelső szintű szervezetTop Level Organization Alacsonyabb szintű szervezetLower Level Organization AdattárolóData Container
Blobok – általános célú objektumok tárolójaBlobs – General purpose object storage TárolóContainer Virtuális könyvtár (csak SDK – nem biztosít atomi manipulációt)Virtual directory (SDK only – does not provide atomic manipulation) BlobBlob
Azure Data Lake Storage Gen2 – elemzési tárAzure Data Lake Storage Gen2 – Analytics Storage TárolóContainer CímtárDirectory FájlFile

Támogatott Blob Storage-funkciókSupported Blob storage features

A fiókja számára elérhetők a blob Storage-funkciók, például a diagnosztikai naplózás, a hozzáférési szintekés a blob Storage életciklus-kezelési szabályzatok .Blob storage features such as diagnostic logging, access tiers, and Blob Storage lifecycle management policies are available to your account.

A támogatott blob Storage-funkciók listáját a Azure Data Lake Storage Gen2 elérhető blob Storage szolgáltatásokcímű részben tekintheti meg.For a list of supported Blob storage features, see Blob Storage features available in Azure Data Lake Storage Gen2.

Támogatott Azure-szolgáltatások integrációiSupported Azure service integrations

Data Lake Storage a Gen2 számos Azure-szolgáltatást támogat.Data Lake Storage gen2 supports several Azure services. Felhasználhatja őket az adatok betöltésére, az elemzések elvégzésére és a vizuális ábrázolások létrehozására.You can use them to ingest data, perform analytics, and create visual representations. A támogatott Azure-szolgáltatások listáját a Azure Data Lake Storage Gen2t támogató Azure-szolgáltatásokcímű témakörben tekintheti meg.For a list of supported Azure services, see Azure services that support Azure Data Lake Storage Gen2.

Támogatott nyílt forráskódú platformokSupported open source platforms

Számos nyílt forráskódú platform támogatja a Data Lake Storage Gen2.Several open source platforms support Data Lake Storage Gen2. A teljes listát lásd: a Azure Data Lake Storage Gen2t támogató nyílt forráskódú platformok.For a complete list, see Open source platforms that support Azure Data Lake Storage Gen2.

Lásd mégSee also