Sestavení škálovatelného systému pro obrovský objem dat

Váš systém úložiště dat je zásadní pro úspěch vašich aplikací, a proto úspěšnost vašeho podniku. Když je systém úložiště dobře navržený, odpověď je rychlá, kapacita úložiště dat se podle potřeby snadno upraví a systém je odolný vůči chybám a je cenově dostupný.

Zásadním aspektem je to, jestli se návrh zvětšuje i při zvětšování dat. Jako příklad nárůstu dat uvažujte o aplikaci, která generuje 6 terabajtů (TB) dat v prvním měsíci, přičemž se zvýší množství každého měsíce na 10% roční sazby. Tady je graf, který ukazuje, jak se data v průběhu času shromažďují:

Spojnicový graf terabajtů vytvořených v průběhu času, od 6 po jeden měsíc 249 až po 3 roky. Rychlost růstu 10 procent steepens sklon v průběhu času.

Po třech letech je k dispozici 249 TB dat. Pokud je systém dobře navržený, zpracovává se takový nárůst dat plynule, zbývající reakce, odolný a cenově dostupný.

Tento příklad není extrémní. Pokud jsou vaši zákazníci firmy, data se rozšiřují jak při přidávání zákazníků, tak i když vaši zákazníci přidávají data. Může také růst z důvodu vylepšení aplikace.

Zpracování nárůstu dat může vyžadovat kombinaci úložných produktů. Například může být nutné uchovávat zřídka používaná data ve službách s nízkými náklady a často používaná data ve vyšších nákladových službách s lepšími dobami přístupu.

Abyste mohli navrhovat systém v Azure, musíte být obeznámeni s řadou služeb Azure a s postupem, jak je používat pro různé typy aplikací a různé cíle. Články v této části poskytují sedm systémových architektur pro webové aplikace, které využívají obrovské objemy dat a jsou odolné vůči chybám systému. Slouží jako příklady, které vám pomohou navrhnout systém úložiště, který správně přizpůsobí vaše aplikace.

architektury ukazují použití těchto produktů azure: azure Table Storage, Azure Cosmos DB, Azure Data Factory a Azure Data Lake.

Tato matice funkcí poskytuje odkazy na články a shrnuje výhody a rizika jednotlivých architektur:

Architektura Výhody Riziko
webová aplikace se dvěma oblastmi s Table Storage převzetí služeb při selhání Jednoduchá implementace s nízkými náklady Omezená odolnost – jenom dvě oblasti Azure
webová aplikace ve více oblastech s vlastní replikací Storage tabulky Odolnost Čas implementace a obtížnost
webová aplikace pro více oblastí s Cosmos DB replikaci Odolnost, výkon, škálovatelnost Náklady na úložiště
Optimalizované úložiště s klasifikací logických dat Odolnost, výkon, škálovatelnost, náklady na úložiště Čas implementace, je potřeba navrhnout klasifikaci logických dat.
optimalizované Storage – založené na čase – vícenásobné zápisy Náklady na úložiště Omezená odolnost, výkon, omezená škálovatelnost, doba implementace, nutná k návrhu uchovávání dat na základě času
optimalizované Storage – čas na základě Data Lake Odolnost, výkon, škálovatelnost Čas implementace, který musí navrhovat uchovávání dat na základě času
Minimální úložiště – Změna kanálu pro replikaci dat Odolnost, výkon, uchovávání dat na základě času Omezená škálovatelnost, doba implementace

Další kroky

Tady jsou materiály, které vám pomohou navrhnout řešení úložiště a prozkoumat jeho obchodní aspekty, včetně nákladů a smluv o úrovni služeb.

Návrh řešení úložiště

Omezení služeb Azure, náklady, smlouvy o úrovni služeb (SLA) a regionální dostupnost