BI-oplossingsarchitectuur in de COE (Center of Excellence)BI solution architecture in the Center of Excellence

Dit artikel is gericht op IT-professionals en IT-beheerders.This article targets IT professionals and IT managers. Meer informatie over de BI-oplossingsarchitectuur vindt u in de COE en de verschillende gebruikte technologieën.You'll learn about BI solution architecture in the COE and the different technologies employed. Voorbeelden van technologieën zijn Azure, Power BI en Excel.Technologies include Azure, Power BI, and Excel. Samen kunnen ze worden gebruikt voor het leveren van een schaalbaar en gegevensgestuurd BI-platform in de cloud.Together, they can be leveraged to deliver a scalable and data-driven cloud BI platform.

Het ontwerpen van een robuust BI-platform is vergelijkbaar met het bouwen van een brug: een brug die getransformeerde en verrijkte brongegevens verbindt met gegevensgebruikers.Designing a robust BI platform is somewhat like building a bridge; a bridge that connects transformed and enriched source data to data consumers. Voor het ontwerp van een dergelijke complexe structuur is een technische instelling vereist, maar dit kan een van de meest creatieve en belonende IT-architecturen zijn die u zou kunnen ontwerpen.The design of such a complex structure requires an engineering mindset, though it can be one of the most creative and rewarding IT architectures you could design. In een grote organisatie kan een BI-oplossingsarchitectuur bestaan uit:In a large organization, a BI solution architecture can consist of:

  • GegevensbronnenData sources
  • GegevensopnameData ingestion
  • Big data-/gegevensvoorbereidingBig data / data preparation
  • DatawarehouseData warehouse
  • Semantische BI-modellen (BISM)BI semantic models
  • RapportenReports

Een diagram met de BI-platformarchitectuur, van gegevensbronnen tot gegevensopname, big data, opslag, datawarehouse, semantische BI-modellen, rapportage en machine learning.

Het platform moet specifieke vereisten ondersteunen.The platform must support specific demands. In het bijzonder moet het schaalbaar zijn en voldoen aan de verwachtingen van gebruikers van zakelijke services en gegevens.Specifically, it must scale and perform to meet the expectations of business services and data consumers. Tegelijk moet het compleet zijn beveiligd.At the same time, it must be secure from the ground up. En het moet voldoende tolerant zijn om zich aan te passen aan veranderingen, omdat het een zekerheid is dat mettertijd nieuwe gegevens en onderwerpen online moeten worden gebracht.And, it must be sufficiently resilient to adapt to change—because it's a certainty that in time new data and subject areas must be brought online.

FrameworksFrameworks

Bij Microsoft hebben we vanaf het begin een systematische aanpak toegepast door te investeren in de ontwikkeling van frameworks.At Microsoft, from the outset we adopted a systems-like approach by investing in framework development. Frameworks voor technische en zakelijk processen verhogen het hergebruik van ontwerp en logica en bieden een consistent resultaat.Technical and business process frameworks increase the reuse of design and logic and provide a consistent outcome. Ze bieden ook flexibiliteit in architectuur waarin veel technologieën zijn gebruikt en ze stroomlijnen en verminderen de technische overhead dankzij herhaalbare processen.They also offer flexibility in architecture leveraging many technologies, and they streamline and reduce engineering overhead via repeatable processes.

We hebben geleerd dat goed ontworpen frameworks meer zicht bieden op de herkomst van gegevens, impactanalyse, onderhoud van bedrijfslogica, beheer van de taxonomie en het stroomlijnen van governance.We learned that well-designed frameworks increase visibility into data lineage, impact analysis, business logic maintenance, managing taxonomy, and streamlining governance. De ontwikkeling is ook sneller verlopen en de samenwerking tussen grote teams zijn responsiever en effectiever geworden.Also, development became faster and collaboration across large teams became more responsive and effective.

In dit artikel worden verschillende frameworks beschreven.We'll describe several of our frameworks in this article.

GegevensmodellenData models

Gegevensmodellen bieden u controle op de manier waarop gegevens worden gestructureerd en geopend.Data models provide you with control over how data is structured and accessed. Voor gebruikers van zakelijke services en gegevens zijn gegevensmodellen hun interface met het BI-platform.To business services and data consumers, data models are their interface with the BI platform.

Een BI-platform kan voorzien in drie verschillende typen modellen:A BI platform can deliver three different types of models:

  • BedrijfsmodellenEnterprise models
  • Semantische BI-modellen (BISM)BI semantic models
  • ML-modellen (Machine Learning)Machine Learning (ML) models

BedrijfsmodellenEnterprise models

Bedrijfsmodellen worden gebouwd en onderhouden door IT-architecten.Enterprise models are built and maintained by IT architects. Ze worden soms dimensionale modellen of datamarts genoemd.They're sometimes referred to as dimensional models or data marts. Normaal gesproken worden gegevens opgeslagen in relationele indeling als dimensie- en feitentabellen.Typically, data is stored in relational format as dimension and fact tables. Deze tabellen bevatten opgeschoonde en verrijkte gegevens die zijn geconsolideerd uit veel systemen. Deze vormen een gezaghebbende bron voor rapportage en analyse.These tables store cleansed and enriched data consolidated from many systems and they represent an authoritative source for reporting and analytics.

Bedrijfsmodellen bieden een consistente en enkelvoudige gegevensbron voor rapportage en BI.Enterprise models deliver a consistent and single source of data for reporting and BI. Ze zijn eenmalig gebouwd en gedeeld als bedrijfsstandaard.They're built once and shared as a corporate standard. Governancebeleid zorgt ervoor dat de gegevens veilig zijn, zodat toegang tot gevoelige gegevenssets, zoals klantgegevens of financiële gegevens, op basis van de behoeften wordt beperkt.Governance policies ensure data is secure, so access to sensitive data sets—such as customer information or financials—is restricted on a needs-basis. Ze nemen naamconventies aan die consistentie garanderen, waardoor gegevens en kwaliteit aan geloofwaardigheid winnen.They adopt naming conventions ensuring consistency, thereby further establishing credibility of data and quality.

In een BI-platform in de cloud kunnen bedrijfsmodellen worden geïmplementeerd in een Synapse SQL-pool in Azure Synapse.In a cloud BI platform, enterprise models can be deployed to a Synapse SQL pool in Azure Synapse. De Synapse SQL-pool wordt vervolgens de enige versie van de waarheid waarop de organisatie kan rekenen voor snelle en robuuste inzichten.The Synapse SQL pool then becomes the single version of truth the organization can count on for fast and robust insights.

Semantische BI-modellen (BISM)BI semantic models

Semantische BI-modellen vormen een semantische laag over bedrijfsmodellen.BI semantic models represent a semantic layer over enterprise models. Ze zijn gemaakt en onderhouden door BI-ontwikkelaars en zakelijke gebruikers.They're built and maintained by BI developers and business users. BI-ontwikkelaars maken semantische BI-basismodellen die gegevens halen uit bedrijfsmodellen.BI developers create core BI semantic models that source data from enterprise models. Zakelijke gebruikers kunnen onafhankelijke modellen op kleinere schaal maken of ze kunnen semantische BI-basismodellen uitbreiden met afdelingsbronnen of externe bronnen.Business users can create smaller-scale, independent models—or, they can extend core BI semantic models with departmental or external sources. Semantische BI-modellen zijn doorgaans gericht op één onderwerpgebied en worden vaak op grote schaal gedeeld.BI semantic models commonly focus on a single subject area, and are often widely shared.

Zakelijke mogelijkheden worden niet alleen door gegevens mogelijk gemaakt, maar ook door semantische BI-modellen waarin concepten, relaties, regels en standaarden worden beschreven.Business capabilities are enabled not by data alone, but by BI semantic models that describe concepts, relationships, rules, and standards. Op deze manier vertegenwoordigen ze intuïtieve en eenvoudig te begrijpen structuren waarmee gegevensrelaties worden gedefinieerd en bedrijfsregels als berekeningen worden ingebouwd.This way, they represent intuitive and easy-to-understand structures that define data relationships and encapsulate business rules as calculations. Ze kunnen ook gedetailleerde machtigingen voor gegevens afdwingen, zodat de juiste mensen toegang hebben tot de juiste gegevens.They can also enforce fine-grained data permissions, ensuring the right people have access to the right data. Belangrijk is dat ze de queryprestaties versnellen, waardoor er uiterst responsieve, interactieve analyses worden geboden, zelfs van meer dan terabytes aan gegevens.Importantly, they accelerate query performance, providing extremely responsive interactive analytics—even over terabytes of data. Net als bij bedrijfsmodellen gebruiken semantische BI-modellen naamconventies die consistentie garanderen.Like enterprise models, BI semantic models adopt naming conventions ensuring consistency.

In een BI-platform in de cloud kunnen BI-ontwikkelaars semantische BI-modellen implementeren in Azure Analysis Services- of Power BI Premium-capaciteiten.In a cloud BI platform, BI developers can deploy BI semantic models to Azure Analysis Services or Power BI Premium capacities. U wordt aangeraden om deze te implementeren in Power BI wanneer deze wordt gebruikt als uw rapportage- en analyselaag.We recommend deploying to Power BI when it's used as your reporting and analytics layer. Deze producten ondersteunen verschillende opslagmodi, waardoor tabellen van gegevensmodellen hun gegevens in de cache kunnen opslaan of DirectQuery kunnen gebruiken. Dit is een technologie die query's doorgeeft aan de onderliggende gegevensbron.These products support different storage modes, allowing data model tables to cache their data or to use DirectQuery, which is a technology that passes queries through to the underlying data source. DirectQuery is een ideale opslagmodus wanneer modeltabellen uit grote hoeveelheden gegevens bestaan of wanneer er bijna realtime resultaten moeten worden geleverd.DirectQuery is an ideal storage mode when model tables represent large data volumes or there's a need to deliver near-real time results. De twee opslagmodi kunnen worden gecombineerd: Samengestelde modellen combineren tabellen die gebruikmaken van verschillende opslagmodi in één model.The two storage modes can be combined: Composite models combine tables that use different storage modes in a single model.

Voor veelvuldig opgevraagde modellen kan Azure Load Balancer worden gebruikt om de querybelasting gelijkmatig te verdelen over modelreplica's.For heavily queried models, Azure Load Balancer can be used to evenly distribute the query load across model replicas. Daarnaast kunt u de schaal van uw toepassingen aanpassen en maximaal beschikbare semantische BI-modellen maken.It also allows you to scale your applications and create highly available BI semantic models.

Machine Learning-modellenMachine Learning models

Machine Learning (ML)-modellen worden gemaakt en onderhouden door gegevenswetenschappers.Machine Learning (ML) models are built and maintained by data scientists. Ze zijn voornamelijk ontwikkeld op basis van onbewerkte bronnen in de data Lake.They're mostly developed from raw sources in the data lake.

Getrainde ML-modellen kunnen patronen in uw gegevens onthullen.Trained ML models can reveal patterns within your data. In veel gevallen kunnen deze patronen worden gebruikt voor het maken van voorspellingen die kunnen worden gebruikt om gegevens te verrijken.In many circumstances, those patterns can be used to make predictions that can be used to enrich data. Aankoopgedrag kan bijvoorbeeld worden gebruikt om klantverloop of segmentklanten te voorspellen.For example, purchasing behavior can be used to predict customer churn or segment customers. U kunt voorspellingsresultaten toevoegen aan bedrijfsmodellen om analyses per klantsegment mogelijk te maken.Prediction results can be added to enterprise models to allow analysis by customer segment.

In een BI-platform in de cloud kunt u Azure Machine Learning gebruiken om ML-modellen te trainen, te implementeren, te automatiseren, te beheren en bij te houden.In a cloud BI platform, you can use Azure Machine Learning to train, deploy, automate, manage, and track ML models.

DatawarehouseData warehouse

De kern van een BI-platform is de datawarehouse, die als host fungeert voor uw bedrijfsmodellen.Sitting at the heart of a BI platform is the data warehouse, which hosts your enterprise models. Het is een bron van goedgekeurde gegevens, als een systeem van records en als hub, dat dienst doet voor bedrijfsmodellen ten behoeve van rapportage, BI en gegevenswetenschap.It's a source of sanctioned data—as a system of record and as a hub—serving enterprise models for reporting, BI, and data science.

Veel zakelijke services, waaronder LOB-toepassingen (Line-of-Business), kunnen rekenen op het datawarehouse als gezaghebbende en beheerde bron van bedrijfskennis.Many business services, including line-of-business (LOB) applications, can rely upon the data warehouse as an authoritative and governed source of enterprise knowledge.

Bij Microsoft wordt onze datawarehouse gehost op Azure Data Lake Storage Gen2 (ADLS Gen2) en Azure Synapse Analytics.At Microsoft, our data warehouse is hosted on Azure Data Lake Storage Gen2 (ADLS Gen2) and Azure Synapse Analytics.

Een afbeelding toont Azure Synapse Analytics dat verbinding heeft met Azure Data Lake Storage Gen2.

  • ADLS Gen2 maakt van Azure Storage de basis voor het bouwen van zakelijke data lakes op Azure.ADLS Gen2 makes Azure Storage the foundation for building enterprise data lakes on Azure. Het is bedoeld om te voorzien in meerdere petabytes aan informatie, terwijl er honderden gigabits aan doorvoer worden ondersteund.It's designed to service multiple petabytes of information while sustaining hundreds of gigabits of throughput. Bovendien biedt het goedkope opslagcapaciteit en -transacties.And, it offers low-cost storage capacity and transactions. Daarnaast biedt het ondersteuning voor Hadoop-compatibele toegang waarmee u gegevens op dezelfde manier kunt beheren en openen als met een Hadoop Distributed File System (HDFS).What's more, it supports Hadoop compatible access, which allows you to manage and access data just as you would with a Hadoop Distributed File System (HDFS). Azure HDInsight, Azure Databricks en Azure Synapse Analytics hebben in feite alle toegang tot gegevens die zijn opgeslagen in ADLS Gen2.In fact, Azure HDInsight, Azure Databricks, and Azure Synapse Analytics can all access data stored in ADLS Gen2. Het is dus een goede keuze om onbewerkte brongegevens, semi-verwerkte of gefaseerde gegevens en productie-klare gegevens in een BI-platform op te slaan.So, in a BI platform, it's a good choice to store raw source data, semi-processed or staged data, and production-ready data. We gebruiken het om al onze bedrijfsgegevens op te slaan.We use it to store all our business data.
  • Azure Synapse Analytics is een analyseservice die datawarehousing voor ondernemingen en big data-analyses combineert.Azure Synapse Analytics is an analytics service that brings together enterprise data warehousing and Big Data analytics. Deze geeft u de vrijheid om op schaal gegevens op te vragen over uw voorwaarden, met behulp van serverloze on-demand of ingerichte resources.It gives you the freedom to query data on your terms, using either serverless on-demand or provisioned resources—at scale. Synapse SQL, een onderdeel van Azure Synapse Analytics, biedt ondersteuning voor volledige op T-SQL gebaseerde analyses. Het is dus ideaal voor het hosten van bedrijfsmodellen die bestaan uit uw dimensie- en feitentabellen.Synapse SQL, a component of Azure Synapse Analytics, supports complete T-SQL-based analytics, so it's ideal to host enterprise models comprising your dimension and fact tables. Tabellen kunnen efficiënt worden geladen vanuit ADLS Gen2 met behulp van eenvoudige Polybase T-SQL--query's.Tables can be efficiently loaded from ADLS Gen2 using simple Polybase T-SQL queries. U hebt vervolgens het vermogen van MPP voor het uitvoeren van hoogwaardige analyses.You then have the power of MPP to run high-performance analytics.

Framework bedrijfsregelengineBusiness Rules Engine framework

We hebben een BRE-Framework (Business Rules engine) ontwikkeld voor het catalogiseren van bedrijfslogica die in de datawarehouselaag kan worden geïmplementeerd.We developed a Business Rules Engine (BRE) framework to catalog any business logic that can be implemented in the data warehouse layer. Een BRE kan veel dingen betekenen, maar in de context van een datawarehouse is het handig voor het maken van berekende kolommen in relationele tabellen.A BRE can mean many things, but in the context of a data warehouse it's useful for creating calculated columns in relational tables. Deze berekende kolommen worden meestal weergegeven als wiskundige berekeningen of expressies met behulp van voorwaardelijke instructies.These calculated columns are usually represented as mathematical calculations or expressions using conditional statements.

De bedoeling is om bedrijfslogica te splitsen van de BI-basiscode.The intention is to split business logic from core BI code. Normaal gesproken worden bedrijfsregels vastgelegd in-procedures die zijn opgeslagen in SQL, waardoor het vaak veel moeite kost om ze te onderhouden wanneer de bedrijfsbehoeften veranderen.Traditionally, business rules are hard-coded into SQL stored procedures, so it often results in much effort to maintain them when business needs change. In een BRE worden bedrijfsregels eenmalig gedefinieerd en meermaals gebruikt wanneer ze worden toegepast op verschillende datawarehouse-entiteiten.In a BRE, business rules are defined once and used multiple times when applied to different data warehouse entities. Als de berekeningslogica moet worden gewijzigd, hoeft deze alleen op één plek te worden bijgewerkt en niet in talloze opgeslagen procedures.If calculation logic needs to change, it only needs to be updated in one place and not in numerous stored procedures. Er is ook een bijkomend voordeel: een BRE-framework biedt meer transparantie en inzicht in geïmplementeerde bedrijfslogica, die kan worden weergegeven via een set rapporten waarmee documentatie voor het automatisch bijwerken wordt gemaakt.There's a side benefit, too: a BRE framework drives transparency and visibility into implemented business logic, which can be exposed via a set of reports that create self-updating documentation.

GegevensbronnenData sources

Een datawarehouse kan gegevens uit vrijwel elke gegevensbron consolideren.A data warehouse can consolidate data from practically any data source. Het is voornamelijk gebaseerd op LOB-gegevensbronnen, die vaak relationele databases zijn waarin onderwerpspecifieke gegevens worden opgeslagen voor verkoop, marketing, financiën, enzovoort. Deze databases kunnen worden gehost in de cloud of kunnen zich on-premises bevinden.It's mostly built over LOB data sources, which are commonly relational databases storing subject-specific data for sales, marketing, finance, etc. These databases can be cloud-hosted or they can reside on-premises. Andere gegevensbronnen kunnen op bestanden zijn gebaseerd, met name weblogboeken of IOT-gegevens die afkomstig zijn van apparaten.Other data sources can be file-based, especially web logs or IOT data sourced from devices. Er kunnen bovendien gegevens worden geput van SaaS-leveranciers (Software-as-a-Service).What's more, data can be sourced from Software-as-a-Service (SaaS) vendors.

Bij Microsoft worden de operationele gegevens rechtstreeks uit een aantal van onze interne systemen in onbewerkte bestandsindelingen naar ADLS Gen2 overgebracht.At Microsoft, some of our internal systems output operational data direct to ADLS Gen2 using raw file formats. Naast onze data lake bestaan andere bronsystemen uit relationele LOB-toepassingen, Excel-werkmappen, andere op bestanden gebaseerde bronnen en opslagplaatsen voor beheer van hoofdgegevens (MDM) en aangepaste gegevens.In addition to our data lake, other source systems comprise relational LOB applications, Excel workbooks, other file-based sources, and Master Data Management (MDM) and custom data repositories. Met MDM-opslagplaatsen kunnen we onze hoofdgegevens beheren, zodat de gezaghebbende, gestandaardiseerde en gevalideerde versies van gegevens zijn gewaarborgd.MDM repositories allow us to manage our master data to ensure authoritative, standardized, and validated versions of data.

GegevensopnameData ingestion

Op periodieke basis en volgens de ritmiek van het bedrijf worden gegevens uit de bronsystemen opgenomen en in het datawarehouse geladen.On a periodic basis, and according to the rhythms of the business, data is ingested from source systems and loaded into the data warehouse. Dit kan één keer per dag of vaker worden uitgevoerd.It could be once a day or at more frequent intervals. Gegevensopname vindt plaats bij het extraheren, transformeren en laden van gegevens.Data ingestion is concerned with extracting, transforming, and loading data. Mogelijk kan dit ook in omgekeerde richting: gegevens extraheren, laden en vervolgens transformeren.Or, perhaps the other way round: extracting, loading, and then transforming data. Het verschil zit in de locatie waar de transformatie plaatsvindt.The difference comes down to where the transformation takes place. Transformaties worden toegepast om gegevens op te schonen, te conformeren, te integreren en te standaardiseren.Transformations are applied to cleanse, conform, integrate, and standardize data. Zie Extraheren, transformeren en laden (ETL) voor meer informatie.For more information, see Extract, transform, and load (ETL).

Uiteindelijk is het doel om de juiste gegevens zo snel en efficiënt mogelijk in uw bedrijfsmodel te laden.Ultimately, the goal is to load the right data into your enterprise model as quickly and efficiently as possible.

Bij Microsoft gebruiken we Azure Data Factory (ADF).At Microsoft, we use Azure Data Factory (ADF). De services worden gebruikt voor het plannen en organiseren van validaties, transformaties en bulksgewijs laden van gegevens uit externe bronsystemen in onze data lake.The services is used to schedule and orchestrate data validations, transformations, and bulk loads from external source systems into our data lake. Dit wordt beheerd door aangepaste frameworks om gegevens parallel en op schaal te verwerken.It's managed by custom frameworks to process data in parallel and at scale. Daarnaast wordt een uitgebreide logboekregistratie uitgevoerd ter ondersteuning van probleemoplossing, het controleren van de prestaties en het activeren van waarschuwingsmeldingen wanneer aan bepaalde voorwaarden wordt voldaan.In addition, comprehensive logging is undertaken to support troubleshooting, performance monitoring, and to trigger alert notifications when specific conditions are met.

Ondertussen worden in Azure Databricks, een op Apache Spark gebaseerd analyseplatform dat is geoptimaliseerd voor het Azure Cloud Services-platform, transformaties uitgevoerd speciaal voor gegevenswetenschap.Meanwhile, Azure Databricks—an Apache Spark-based analytics platforms optimized for the Azure cloud services platform—performs transformations specifically for data science. Daarnaast worden ML-modellen ontwikkeld en uitgevoerd met behulp van Python-notebooks.It also builds and executes ML models using Python notebooks. Scores uit deze ML-modellen worden in de datawarehouse geladen om voorspellingen te integreren met bedrijfstoepassingen en -rapporten.Scores from these ML models are loaded into the data warehouse to integrate predictions with enterprise applications and reports. Omdat Azure Databricks de data lake-bestanden rechtstreeks opent, is er (bijna) geen noodzaak om gegevens te kopiëren of te verkrijgen.Because Azure Databricks accesses the data lake files directly, it eliminates or minimizes the need to copy or acquire data.

Een afbeelding toont hoe in Azure Data Factory gegevens worden verkregen en gegevenspijplijnen worden georganiseerd met Azure Databricks via Azure Data Lake Storage Gen2.

OpnameframeworkIngestion framework

Er is een opnameframework ontwikkeld als een reeks configuratietabellen en -procedures.We developed an ingestion framework as a set of configuration tables and procedures. Dit ondersteunt een gegevensgestuurde benadering om op hoge snelheid grote hoeveelheden gegevens te verkrijgen, en met minimale code.It supports a data-driven approach to acquiring large volumes of data at high speed and with minimal code. Kortom, dit framework vereenvoudigt het proces van gegevensverwerving voor het laden van de datawarehouse.In short, this framework simplifies the process of data acquisition to load the data warehouse.

Het framework is afhankelijk van configuratietabellen waarop informatie over gegevensbrongegevens en bestemmingsgerelateerde gegevens worden opgeslagen, zoals brontype, server, database, schema en tabelgerelateerde informatie.The framework depends on configuration tables that store data source and data destination-related information such as source type, server, database, schema, and table-related details. Deze ontwerpbenadering houdt in dat we geen specifieke ADF-pijplijnen of SSIS-pakketten (SQL Server Integration Services) hoeven te ontwikkelen.This design approach means we don't need to develop specific ADF pipelines or SQL Server Integration Services (SSIS) packages. In plaats daarvan worden procedures geschreven in de taal van onze keuze om ADF-pijplijnen te maken die dynamisch worden gegenereerd en uitgevoerd tijdens de uitvoering.Instead, procedures are written in the language of our choice to create ADF pipelines that are dynamically generated and executed at run time. Het ophalen van gegevens wordt dus een configuratie-oefening die eenvoudig operationeel kan worden gemaakt.So, data acquisition becomes a configuration exercise that's easily operationalized. Normaal gesproken zijn er uitgebreide ontwikkelingsbronnen nodig voor het maken van in code vastgelegde ADF-of SSIS-pakketten.Traditionally, it would require extensive development resources to create hard-coded ADF or SSIS packages.

Het opnameframework is zo ontworpen dat het proces van het verwerken van upstream wijzigingen in het bronschema ook wordt vereenvoudigd.The ingestion framework was designed to simplify the process of handling upstream source schema changes, too. Het is eenvoudig om configuratiegegevens handmatig of automatisch bij te werken wanneer er schemawijzigingen worden gedetecteerd voor het verkrijgen van onlangs toegevoegde kenmerken in het bronsysteem.It's easy to update configuration data—manually or automatically, when schema changes are detected to acquire newly added attributes in the source system.

IndelingsframeworkOrchestration framework

We hebben een indelingsframework ontwikkeld om onze gegevenspijplijnen operationeel te maken en te organiseren.We developed an orchestration framework to operationalize and orchestrate our data pipelines. Hierin wordt gebruikgemaakt van een gegevensgestuurd ontwerp dat afhankelijk is van een reeks configuratietabellen.It uses a data-driven design that depends on a set of configuration tables. Deze tabellen slaan metagegevens op die afhankelijkheden van pijplijnen beschrijven en de wijze waarop brongegevens worden toegewezen aan doelgegevensstructuren.These tables store metadata describing pipeline dependencies and how to map source data to target data structures. De investering in het ontwikkelen van dit adaptieve framework heeft zichzelf sindsdien uitbetaald. Het is niet meer nodig om elke gegevensverplaatsing in code vast te leggen.The investment in developing this adaptive framework has since paid for itself; there's no longer a requirement to hard-code each data movement.

GegevensopslagData storage

Met een data lake kunt u grote hoeveelheden onbewerkte gegevens opslaan voor later gebruik en transformaties van gegevens faseren.A data lake can store large volumes of raw data for later use along with staging data transformations.

Bij Microsoft gebruiken we ADLS Gen2 als onze enige bron van waarheid.At Microsoft, we use ADLS Gen2 as our single source of truth. Er worden naast gefaseerde gegevens en voor productie geschikte gegevens onbewerkte gegevens opgeslagen.It stores raw data alongside staged data and production-ready data. Dit biedt een zeer schaalbare en rendabele data lake-oplossing voor de analyse van big data.It provides a highly scalable and cost-effective data lake solution for big data analytics. Door de combinatie met het vermogen van een hoogwaardig, uiterst grootschalig bestandssysteem, is deze oplossing optimaal voor gegevensanalyseworkloads, zodat inzichten sneller voorhanden zijn.Combining the power of a high-performance file system with massive scale, it's optimized for data analytic workloads, accelerating time to insight.

ADLS Gen2 biedt het beste van twee werelden: het biedt BLOB-opslag en naamruimte voor een hoogwaardig bestandssysteem, die we configureren met verfijnde toegangsmachtigingen.ADLS Gen2 provides the best of two worlds: it's BLOB storage and a high-performance file system namespace, which we configure with fine-grained access permissions.

Verfijnde gegevens worden vervolgens opgeslagen in een relationele database om een hoogwaardige, zeer schaalbare gegevensopslag te bieden voor bedrijfsmodellen, voorzien van beveiliging, governance en beheersbaarheid.Refined data is then stored in a relational database to deliver a high-performance, highly scalable data store for enterprise models, with security, governance, and manageability. Onderwerpspecifieke datamarts worden opgeslagen in Azure Synapse Analytics, die worden geladen door Azure Databricks of Polybase T-SQL-query's.Subject-specific data marts are stored in Azure Synapse Analytics, which are loaded by Azure Databricks or Polybase T-SQL queries.

GegevensverbruikData consumption

Op de rapportagelaag gebruiken bedrijfsservices bedrijfsgegevens die afkomstig zijn uit de datawarehouse.At the reporting layer, business services consume enterprise data sourced from the data warehouse. Ze kunnen ook rechtstreeks toegang krijgen tot gegevens in de data lake voor een ad-hoc analyse of voor taken ten aanzien van de gegevenswetenschap.They also access data directly in the data lake for ad hoc analysis or data science tasks.

Fijnmazige machtigingen zijn op alle lagen doorgevoerd: in de data lake, bedrijfsmodellen en semantische BI-modellen.Fine-grained permissions are enforced at all layers: in the data lake, enterprise models, and BI semantic models. De machtigingen zorgen ervoor dat gegevensgebruikers alleen de gegevens kunnen zien waartoe ze toegang hebben.The permissions ensure data consumers can only see the data they have rights to access.

Bij Microsoft maken we gebruik van Power BI-rapporten en -dashboards en gepagineerde rapporten in Power BI.At Microsoft, we use Power BI reports and dashboards, and Power BI paginated reports. Sommige rapporten en ad-hoc analyses worden uitgevoerd in Excel, met name bij financiële rapportage.Some reporting and ad hoc analysis is done in Excel—particularly for financial reporting.

We publiceren gegevenswoordenboeken, die naslaginformatie over onze gegevensmodellen bieden.We publish data dictionaries, which provide reference information about our data models. Ze worden beschikbaar gesteld aan onze gebruikers, zodat ze informatie kunnen krijgen over ons BI-platform.They're made available to our users so they can discover information about our BI platform. In woordenlijsten worden ontwerpen van modellen gedocumenteerd, met beschrijvingen van entiteiten, indelingen, structuur, gegevensherkomst, relaties en berekeningen.Dictionaries document model designs, providing descriptions about entities, formats, structure, data lineage, relationships, and calculations. We gebruiken Azure Data Catalog om ervoor te zorgen dat onze gegevensbronnen gemakkelijk kunnen worden gedetecteerd en begrijpelijk zijn.We use Azure Data Catalog to make our data sources easily discoverable and understandable.

Patronen van gegevensverbruik variëren doorgaans op basis van de rol:Typically, data consumption patterns differ based on role:

  • Gegevensanalisten maken rechtstreeks verbinding met de semantische BI-basismodellen.Data analysts connect directly to core BI semantic models. Wanneer semantische BI-basismodellen alle gegevens en logica bevatten die ze nodig hebben, gebruiken ze live-verbindingen om Power BI-rapporten en -dashboards te maken.When core BI semantic models contain all data and logic they need, they use live connections to create Power BI reports and dashboards. Wanneer de modellen moeten worden uitgebreid met afdelingsgegevens, maken ze samengestelde Power BI-modellen.When they need to extend the models with departmental data, they create Power BI composite models. Als er rapporten nodig zijn in werkbladstijl, gebruiken ze Excel om rapporten te produceren op basis van semantische BI-basismodellen of semantische BI-modellen voor afdelingen.If there's a need for spreadsheet-style reports, they use Excel to produce reports based on core BI semantic models or departmental BI semantic models.
  • BI-ontwikkelaars en auteurs van operationele rapporten maken rechtstreeks verbinding met bedrijfsmodellen.BI developers and operational report authors connect directly to enterprise models. Ze gebruiken Power BI Desktop voor het maken van analyserapporten met een live-verbinding.They use Power BI Desktop to create live connection analytic reports. Ze kunnen ook BI-rapporten van een operationeel type opstellen als gepagineerde Power BI-rapporten, systeemeigen SQL-query's schrijven om toegang te krijgen tot gegevens uit de Azure Synapse Analytics-bedrijfsmodellen (met behulp van T-SQL) of semantische Power BI-modellen (met behulp van DAX of MDX).They can also author operational-type BI reports as Power BI paginated reports, writing native SQL queries to access data from the Azure Synapse Analytics enterprise models by using T-SQL, or Power BI semantic models by using DAX or MDX.
  • Gegevenswetenschappers maken rechtstreeks verbinding met gegevens in de data lake.Data scientists connect directly to data in the data lake. Ze maken gebruik van Azure Databricks en Python-notebooks voor het ontwikkelen van ML-modellen, die vaak experimenteel zijn en speciale vaardigheden vereisen voor productiegebruik.They use Azure Databricks and Python notebooks to develop ML models, which are often experimental and require specialty skills for production use.

Een afbeelding toont het gebruik van Azure Synapse Analytics met Power BI, Excel en Azure Machine Learning.

Volgende stappenNext steps

Bekijk de volgende bronnen voor meer informatie over dit artikel:For more information about this article, check out the following resources:

Professionele servicesProfessional services

Gecertificeerde Power BI-partners zijn beschikbaar om uw organisatie te helpen slagen met het instellen van een COE.Certified Power BI partners are available to help your organization succeed when setting up a COE. Ze kunnen u een kosteneffectieve training of een audit van uw gegevens bieden.They can provide you with cost-effective training or an audit of your data. Als u een Power BI-partner wilt inschakelen, gaat u naar de Power BI-partnerportal.To engage a Power BI partner, visit the Power BI partner portal.

U kunt ook contact opnemen met ervaren adviespartners.You can also engage with experienced consulting partners. Ze kunnen u helpen bij het beoordelen, evalueren of implementeren van Power BI.They can help you assess, evaluate, or implement Power BI.