Malé a střední firmy (SMB) čelí možnostem volby při modernizaci jejich místních datových skladech pro Cloud. můžou přijímat nástroje pro velké objemy dat pro budoucí rozšiřitelnost nebo uchovávat tradiční řešení založená na SQL pro zajištění nákladové efektivity, snadné údržby a hladkého přechodu.
Hybridní přístup ale kombinuje snadnou migraci stávajících datových nemovitostí s příležitostí k přidávání nástrojů pro velké objemy dat a procesy pro některé případy použití. zdroje dat založené na SQL můžou pořád běžet v cloudu a v případě potřeby i nadále modernizovat.
Tento příklad úlohy ukazuje několik způsobů, jak může SMB modernizovat starší úložiště dat a prozkoumat nástroje a možnosti pro velké objemy dat, aniž by došlo k přerozšiřování stávajících rozpočtů a dovednosti. tato komplexní řešení pro datové sklady azure je možné snadno integrovat s Azure a služby Microsoft a nástroji jako Azure Machine Learning, microsoft Power Platform a microsoft Dynamics.
Potenciální případy použití
Výhodou tohoto zatížení může být několik scénářů:
migrace tradičního místního relačního datového skladu, který je menší než 1 TB, používá k organizování uložených procedur balíčky služby SQL Server (SSIS integration Services).
Vyřízení sítě stávajících dat v datech Dynamics nebo Power Platform pomocí Azure Data Lakech zdrojů v reálném čase.
použití inovativních technik pro interakci s centralizovanými Data Lake Storage daty. Mezi techniky patří analýza bez serveru, dolování znalostí, fúze dat mezi doménami a zkoumání dat koncových uživatelů.
Toto řešení se nedoporučuje:
Bezserverová nasazení datových skladů, které jsou odhadované na > 1 TB v jednom roce.
Migrace místních datových skladů, které jsou > 1 TB nebo se rozrostly na danou velikost v roce.
Architektura
Starší datové sklady SMB můžou obsahovat několik typů dat:
- Nestrukturovaná data, jako jsou dokumenty a grafika
- Částečně strukturovaná data, jako jsou protokoly, CSV, JSON a soubory XML
- Strukturovaná relační data, včetně databází, které používají uložené procedury pro aktivity extract-transform-load/Extract-Load-Transform (ETL/ELT)
Následující tok dat demonstruje přijímání zvoleného datového typu:
Kanály Azure synapse Analytics ingestují starší datové sklady do Azure.
Kanály orchestrují tok migrovaných nebo částečně refaktoringných starších databází a balíčků SSIS do Azure SQL Database. tento přístup k průchozímu a posunutí je nejrychlejší implementace a nabízí hladký přechod z místního řešení SQL do jiné platformy Azure jako služby (PaaS). Databáze můžete modernizovat postupně po nazvednutí a posunutí.
kanály můžou také předat nestrukturovaná, částečně strukturovaná a strukturovaná data do Azure Data Lake Storage pro centralizované úložiště a analýzu s ostatními zdroji. Tento postup použijte, pokud nechcete, aby data poskytovala více firemních výhod, než jednoduše znovu naplatformují data.
Zdroje dat Microsoft Dynamics se dají použít k vytváření centralizovaných řídicích panelů BI v rozšíření datových sad pomocí synapse nástrojů pro analýzu bez serveru. pojistovaná, zpracovaná data můžete přenést zpátky do Dynamics a Power BI k další analýze.
Data ze zdrojů streamování v reálném čase můžou také přejít do systému prostřednictvím Azure Event Hubs. Pro zákazníky, kteří mají požadavky na řídicí panel v reálném čase, Azure Stream Analytics můžou tato data hned analyzovat.
Data také mohou zadávat centralizované Data Lake pro další analýzy, úložiště a vytváření sestav.
Analytické nástroje bez serveru jsou k dispozici v pracovním prostoru Azure synapse Analytics. tyto nástroje používají fond SQL bez serveru nebo Apache Spark výpočetní funkce ke zpracování dat v Data Lake Storage. Fondy bez serveru jsou dostupné na vyžádání a nevyžadují žádné zřízené prostředky.
Fondy bez serveru jsou ideální pro:
- Ad hoc průzkumy datových věd ve formátu T-SQL.
- Počáteční vytváření prototypů pro Entity datového skladu.
- definování zobrazení, která mohou uživatelé používat, například v Power BI, ve scénářích, které mohou tolerovat prodlevu výkonu.
Azure synapse je úzce integrovaný s potenciálními uživateli vašich pojistných datových sad, jako je Azure Machine Learning. jiní uživatelé můžou zahrnovat Power Apps, Azure Logic Apps, Azure Functions aplikace a Azure App Service web Apps.
Komponenty
Azure synapse Analytics je analytická služba, která kombinuje integraci dat, podnikové datové sklady a analýzy velkých objemů dat. V tomto řešení:
- Pracovní prostor Azure synapse podporuje spolupráci mezi datovými inženýry, odborníky přes data, analytiky dat a Business Intelligence (BI).
- kanály Azure Synapse orchestrují a ingestují data do SQL Database a Data Lake Storage.
- fondy SQL serverů bez serveru Azure analyzují nestrukturovaná a částečně strukturovaná data v Data Lake Storage na vyžádání.
- fondy Apache Sparkch serverů bez serveru Azure jsou zaměřené na zkoumání kódu v Data Lake Storage pomocí jazyků spark, jako je spark SQL, pySpark a Scala.
Azure SQL Database je inteligentní, škálovatelná, relační databázová služba vytvořená pro cloud. v tomto řešení SQL Database drží podnikový datový sklad a provádí aktivity ETL/ELT, které používají uložené procedury.
Azure Event Hubs je platforma pro streamování dat v reálném čase a služba pro příjem událostí. Event Hubs může ingestovat data odkudkoli a hladce se integrovat s datovými službami Azure.
Azure Stream Analytics je služba analýzy bez serveru v reálném čase pro streamovaná data. Stream Analytics nabízí rychlou, elastickou škálovatelnost, spolehlivost a obnovení na podnikové úrovni a integrované možnosti strojového učení.
Azure Machine Learning je sada nástrojů pro vývoj a správu životního cyklu pro datové vědy. Machine Learning je jedním z příkladů Azure a služby Microsoft, které můžou spotřebovávat zpracovaná data z Data Lake Storage.
Alternativy
Azure IoT Hub mohl nahradit nebo doplnit Event Hubs. Zvolené řešení závisí na zdroji dat streamování a na tom, jestli potřebujete klonování a obousměrnou komunikaci se zařízeními pro vytváření sestav.
Místo kanálů Azure synapse můžete použít Azure Data Factory pro integraci dat. Volba závisí na několika faktorech:
- Kanály Azure synapse udržují návrh řešení jednodušší a umožňují spolupráci v rámci jednoho pracovního prostoru Azure synapse.
- Kanály Azure synapse nepodporují opětovné hostování balíčků SSIS, což je v Azure Data Factory k dispozici.
- Synapse monitorování centra monitoruje kanály Azure synapse, zatímco Azure monitor může monitorovat Data Factory.
Další informace a porovnání funkcí mezi kanály a Data Factory Azure synapse najdete v tématu integrace dat ve službě Azure synapse Analytics versus Azure Data Factory.
k ukládání podnikových dat můžete použít vyhrazené fondy SQL Synapse Analytics namísto použití SQL Database. Projděte si případy použití a informace v tomto článku a související prostředky, které vám pomůžou učinit rozhodnutí.
Požadavky
V tomto scénáři se vztahují následující požadavky:
Dostupnost
SQL Database je služba PaaS, která může splňovat požadavky na vysokou dostupnost (HA) a zotavení po havárii (DR). Nezapomeňte vybrat SKU, které splňuje vaše požadavky. Pokyny najdete v tématu Vysoká dostupnost pro Azure SQL Database.
Operace
SQL Database používá SQL Server Management Studio (SSMS) k vývoji a údržbě zastaralých artefaktů, jako jsou uložené procedury.
Ceny
Podívejte se na ukázku cen pro scénář datových skladů SMB v cenové kalkulačce Azure. Upravte hodnoty a podívejte se, jak vaše požadavky ovlivňují náklady.
SQL Database základní náklady na vybrané výpočetní úrovni a úrovně služeb a počet jednotek dtu (virtuální jádra) a databázové transakce (). Příklad ukazuje izolovanou databázi s zřízenými výpočetními a osmi virtuální jádrami na základě předpokladů, které je potřeba ke spuštění uložených procedur v SQL Database.
ceny Data Lake Storage závisí na množství dat, která ukládáte, a na tom, jak často data používáte. Vzorové ceny zahrnují 1 TB uložených dat s dalšími transakčními předpoklady. 1 TB odkazuje na velikost Data Lake, nikoli na původní starší verzi databáze.
Služba Azure synapse prochází základními náklady na počet aktivit datových kanálů, doba prostředí Integration runtime, velikost clusteru toku dat a poplatky za spuštění a provoz. Náklady na kanál se zvyšují pomocí dalších zdrojů dat a množství zpracovaných dat. V příkladu se předpokládá, že jeden zdroj dat v dávce je každou hodinu na 15 minut v prostředí Integration runtime hostované v Azure.
Azure synapse Spark – základy fondů pro velikost uzlů, počet instancí a dobu provozu. Tento příklad předpokládá jeden malý výpočetní uzel s pěti hodinami v týdnu až 40 hodin, který je měsíc využití.
ceny za Synapse SQL fondů bez serveru Azure na základě služby TBs zpracovaných dat. Ukázka předpokládá, že 50 služba TBs zpracovala měsíc. Tento obrázek odkazuje na velikost Data Lake, nikoli na původní starší verzi databáze.
Event Hubs se účtuje na základě úrovně, zřízené jednotek propustnosti a přijatého provozu příchozího přenosu dat. V příkladu se předpokládá, že jedna jednotka propustnosti na úrovni Standard překračuje 1 000 000 událostí za měsíc.
Stream Analytics základních nákladů na počet zřízených jednotek streamování. Ukázka předpokládá jednu jednotku streamování použitou v měsíci.
Další kroky
- informace o výuce obsahu a labs najdete v tématu Microsoft Learn Učeních cest pro Data inženýr.
- Kurz: Začínáme s Azure synapse Analytics
- Vytvoření jedné databáze – Azure SQL Database
- Vytvoření účtu úložiště pro Azure Data Lake Storage
- Azure Event Hubs startu – Vytvoření centra událostí pomocí Azure Portal
- Rychlý start – Vytvoření Stream Analytics úlohy pomocí Azure Portal
- Rychlý start: Začínáme s Azure Machine Learning
Související prostředky
- Komplexní pokyny k architektuře datových kanálů, datových skladů, online analytického zpracování (OLAP) a velkých dat najdete v příručce k architektuře dat Azure.
- Přečtěte si další informace: