Tento příklad scénáře ukazuje datový kanál, který integruje velké objemy dat z více zdrojů do jednotné analytické platformy v Azure. Tento konkrétní scénář je založený na prodejním a marketingovém řešení, ale vzory návrhu jsou relevantní pro mnoho odvětví, která vyžadují pokročilou analýzu velkých datových sad, jako je elektronické obchodování, maloobchod a zdravotnictví.
Tento příklad ukazuje prodejní a marketingovou společnost, která vytváří programy pobídek. Tyto programy odměňují zákazníky, dodavatele, prodejce a zaměstnance. Data jsou pro tyto programy zásadní a společnost chce zlepšit přehledy získané analýzou dat pomocí Azure.
Společnost potřebuje moderní přístup k analýze dat, aby bylo možné se rozhodovat pomocí správných dat ve správný čas. Mezi cíle společnosti patří:
- Kombinování různých druhů zdrojů dat do cloudové platformy
- Transformování zdrojových dat na běžnou taxonomii a strukturu, aby byla data konzistentní a snadno porovnávána.
- Načítání dat pomocí vysoce paralelizovaného přístupu, který může podporovat tisíce programů pobídek bez vysokých nákladů na nasazení a údržbu místní infrastruktury.
- Výrazně zkušení doba potřebná ke shromažďování a transformaci dat, abyste se mohli soustředit na analýzu dat.
Relevantní případy použití
Tento přístup lze také použít k:
- Vytvořte datový sklad, který bude jediným zdrojem pravdivých informací pro vaše data.
- Integrace relačních zdrojů dat s jinými nestrukturovanými datovými sadami
- Použijte sémantické modelování a výkonné nástroje vizualizace pro jednodušší analýzu dat.
Architektura
Data protékají tímto řešením:
- Pro každý zdroj dat se všechny aktualizace pravidelně exportují do pracovní oblasti ve službě Azure Blob Storage.
- Data Factory přírůstkově načte data z úložiště objektů blob do pracovních tabulek v Azure Synapse Analytics. Během tohoto procesu se data vyčistí a transformují. PolyBase dokáže paralelizovat proces u velkých datových sad.
- Po načtení nové dávky dat do skladu se aktualizuje dříve Analysis Services tabulkový model. Tento sémantický model zjednodušuje analýzu obchodních dat a vztahů.
- Obchodní analytici používají Microsoft Power BI k analýze dat ve skladu prostřednictvím Analysis Services sémantického modelu.
Komponenty
Společnost má zdroje dat na mnoha různých platformách:
- SQL Server v místním prostředí
- Místní Oracle
- Azure SQL Database
- Azure Table Storage
- Cosmos DB
Data se načítá z těchto různých zdrojů dat pomocí několika komponent Azure:
- Úložiště objektů blob se používá k fázi zdrojových dat před jejich načtením do Azure Synapse.
- Data Factory orchestruje transformaci stagedovaných dat do společné struktury v Azure Synapse. Data Factory propustnosti používá PolyBase při načítání Azure Synapse dat.
- Azure Synapse je distribuovaný systém pro ukládání a analýzu velkých datových sad. Díky použití rozsáhlého paralelního zpracování (MPP) je vhodné pro spouštění vysoce výkonných analýz. Azure Synapse můžete použít PolyBase k rychlému načítání dat z úložiště objektů blob.
- Analysis Services poskytuje sémantický model pro vaše data. Může také zvýšit výkon systému při analýze dat.
- Power BI je sada nástrojů pro obchodní analýzy, která analyzuje data a sdílí přehledy. Power BI dotazovat sémantický model uložený v Analysis Services, nebo může dotazovat přímo Azure Synapse dotazování.
- Azure Active Directory (Azure AD) ověřuje uživatele, kteří se připojují k Analysis Services serveru prostřednictvím Power BI. Data Factory můžete také použít Azure AD k ověření Azure Synapse přes objekt služby nebo spravovanou identitu pro prostředky Azure.
Alternativy
Příklad kanálu obsahuje několik různých druhů zdrojů dat. Tato architektura dokáže zpracovat širokou škálu relačních a nerelačních zdrojů dat.
Data Factory orchestruje pracovní postupy pro váš datový kanál. Pokud chcete načíst data jenom jednou nebo na vyžádání, můžete ke kopírování dat do úložiště objektů blob použít nástroje, jako je hromadné kopírování (bcp) SQL Server AzCopy. Potom můžete data načíst přímo do Azure Synapse pomocí PolyBase.
Pokud máte velmi velké datové sady, zvažte použití služby Data Lake Storage, která poskytuje neomezené úložiště pro analytická data.
Místní zařízení SQL Server Parallel Data Warehouse je také možné použít ke zpracování velkých dat. U spravovaného cloudového řešení, jako je například Azure Synapse, jsou ale provozní náklady často mnohem nižší.
Azure Synapse není vhodný pro úlohy OLTP nebo datové sady menší než 250 GB. V takových případech byste měli použít Azure SQL Database nebo SQL Server.
Porovnání dalších alternativ najdete v těchto tématu:
Požadavky
Technologie v této architektuře byly vybrány, protože splnily požadavky společnosti na škálovatelnost a dostupnost a zároveň jim pomohly řídit náklady.
- Architektura architektury můstku paralelního zpracování Azure Synapse poskytuje škálovatelnost a vysoký výkon.
- Azure Synapse smlouvy SLA a doporučené postupy pro dosažení vysoké dostupnosti.
- Když je analýza nízká, může společnost škálovat Azure Synapse navyžádání a snížit nebo dokonce pozastavením výpočetních prostředků snížit náklady.
- Azure Analysis Services je možné škálovat na více než 10 000, aby se zkrátila doba odezvy během úloh s vysokými dotazy. Zpracování můžete také oddělit od fondu dotazů, aby se dotazy klientů nezpomalují operacemi zpracování.
- Azure Analysis Services také garantované smlouvy SLA a doporučené postupy pro dosažení vysoké dostupnosti.
- Model Azure Synapse zabezpečení zajišťuje zabezpečení připojení, ověřování a autorizaci prostřednictvím Azure AD nebo SQL Server ověřování a šifrování. Azure Analysis Services používá Azure AD pro správu identit a ověřování uživatelů.
Ceny
Projděte si ukázku cen pro scénář datových skladů prostřednictvím cenové kalkulačky Azure. Upravte hodnoty, abyste viděli, jak vaše požadavky ovlivňují vaše náklady.
- Azure Synapse umožňuje nezávisle škálovat úrovně výpočetních prostředků a úložiště. Výpočetní prostředky se účtují za hodinu a tyto prostředky můžete škálovat nebo pozastavit na vyžádání. Storage se účtut za terabajt, takže se náklady při ingestování dalších dat zvýší.
- Data Factory náklady jsou založené na počtu operací čtení a zápisu, operací monitorování a aktivit orchestrace prováděných v rámci úlohy. Vaše Data Factory se zvýší s každým dalším datovým proudem a objemem dat zpracovaných jednotlivými datovými proudy.
- Analysis Services je k dispozici na úrovních Developer, Basic a Standard. Ceny instancí vycházejí z jednotek zpracování dotazů (QPU) a dostupné paměti. Pokud chcete snížit náklady, minimalizujte počet dotazů, které spustíte, kolik dat zpracovávají a jak často se spouštěly.
- Power BI má různé možnosti produktů pro různé požadavky. Power BI Embedded nabízí možnost vkládání funkcí do vašich aplikací Power BI azure. Instance Power BI Embedded je součástí výše uvedené ukázky cen.
Další kroky
- Přečtěte si referenční architekturu Azure pro automatizované podnikové funkce BI,která obsahuje pokyny pro nasazení instance této architektury v Azure.
- Přečtěte si příběh zákazníka o Řešeních pro motivaci Mar solutions. Tento příběh popisuje podobný přístup ke správě zákaznických dat.
- Komplexní pokyny k architektuře datových kanálů, datových skladů, online analytického zpracování (OLAP) a velkých dat najdete v příručce k architektuře dat Azure.