Wat is datawarehousing in Microsoft Fabric?
Van toepassing op:
SQL Analytics-eindpunt en -magazijn in Microsoft Fabric
Microsoft Fabric biedt klanten een geïntegreerd product dat elk aspect van hun gegevensdomein aanpakt door een volledig SaaS-ified Data-, Analytics- en AI-platform aan te bieden, dat gericht is op lake en open. De basis van Microsoft Fabric stelt de beginnende gebruiker in staat gebruik te maken van database-, analyse-, berichten-, Data-Integratie- en Business Intelligence-workloads via een rijke, gebruiksvriendelijke, gedeelde SaaS-ervaring met Microsoft OneLake als middelpunt.
Een meergerichte SaaS-ervaring die is gebouwd voor elk vaardigheidsniveau
Microsoft Fabric introduceert een lake-gericht datawarehouse dat is gebouwd op een gedistribueerde verwerkingsengine op bedrijfsniveau die toonaangevende prestaties op schaal mogelijk maakt en tegelijkertijd de behoefte aan configuratie en beheer elimineert. Dankzij een gebruiksvriendelijke SaaS-ervaring die nauw is geïntegreerd met Power BI voor eenvoudige analyse en rapportage, convergeert Warehouse in Microsoft Fabric de wereld van data lakes en warehouses met als doel een organisatie-investering in hun analyseomgeving aanzienlijk te vereenvoudigen. Datawarehousingworkloads profiteren van de uitgebreide mogelijkheden van de SQL-engine via een open gegevensindeling, zodat klanten zich kunnen richten op gegevensvoorbereiding, analyse en rapportage via één kopie van hun gegevens die zijn opgeslagen in hun Microsoft OneLake.
Het magazijn is gebouwd voor elk vaardigheidsniveau: van de burgerontwikkelaar tot de professionele ontwikkelaar, DBA of data engineer. Dankzij de uitgebreide set ervaringen die zijn ingebouwd in microsoft Fabric-werkruimte, kunnen klanten hun tijd tot inzichten verminderen door een eenvoudig te gebruiken, altijd verbonden semantisch model dat is geïntegreerd met Power BI in de DirectLake-modus. Dit maakt ongeëvenaarde prestaties mogelijk die ervoor zorgen dat het rapport van een klant altijd beschikt over de meest recente gegevens voor analyse en rapportage. Query's op meerdere databases kunnen worden gebruikt om snel en naadloos meerdere gegevensbronnen te gebruiken die meerdere databases omvatten voor snelle inzichten en nul gegevensduplicatie.
Virtuele magazijnen met query's op meerdere databases
Microsoft Fabric biedt klanten de mogelijkheid om virtuele magazijnen op te staan die gegevens uit vrijwel elke bron bevatten met behulp van snelkoppelingen. Klanten kunnen een virtueel magazijn bouwen door snelkoppelingen naar hun gegevens te maken, waar ze zich ook bevinden. Een virtueel magazijn kan bestaan uit gegevens uit OneLake, Azure Data Lake Storage of een andere cloudleverancieropslag binnen één grens en zonder gegevensduplicatie.
Ontgrendel naadloos de waarde van een verscheidenheid aan gegevensbronnen door de rijkdom van query's op meerdere databases in Microsoft Fabric. Met query's op meerdere databases kunnen klanten snel en naadloos meerdere gegevensbronnen gebruiken voor snelle inzichten en zonder gegevensduplicatie. Gegevens die in verschillende bronnen zijn opgeslagen, kunnen eenvoudig worden samengevoegd, zodat klanten uitgebreide inzichten kunnen leveren die eerder aanzienlijke inspanningen van data-integratie- en engineeringteams vergden.
Query's tussen databases kunnen worden gemaakt via de Visual Query-editor, die een no-code-pad naar inzichten biedt voor meerdere tabellen. De SQL Query-editor of andere bekende hulpprogramma's, zoals SQL Server Management Studio (SSMS), kunnen ook worden gebruikt om query's voor meerdere databases te maken.
Autonome workloadbeheer
Magazijnen in Microsoft Fabric maken gebruik van een toonaangevende engine voor gedistribueerde queryverwerking, die klanten workloads biedt die een natuurlijke isolatiegrens hebben. Er zijn geen knoppen om te draaien met de autonome toewijzing en het wegwerken van resources om de beste prestaties te bieden met automatische schaal en gelijktijdigheid ingebouwd. Echte isolatie wordt bereikt door workloads met verschillende kenmerken te scheiden, zodat ETL-taken hun ad-hocanalyse- en rapportageworkloads nooit verstoren.
Open-indeling voor naadloze engine-interoperabiliteit
Gegevens in het magazijn worden opgeslagen in de parquet-bestandsindeling en gepubliceerd als Delta Lake Logs, waardoor ACID-transacties en cross-engine-interoperabiliteit mogelijk zijn die kunnen worden gebruikt via andere Microsoft Fabric-workloads, zoals Spark, Pijplijnen, Power BI en Azure Data Explorer. Klanten hoeven niet langer meerdere kopieën van hun gegevens te maken om dataprofessionals met verschillende vaardighedensets in staat te stellen. Data engineers die gewend zijn aan het werken in Python, kunnen eenvoudig dezelfde gegevens gebruiken die zijn gemodelleerd en geleverd door een datawarehouse-professional die gewend is aan het werken in SQL. Bi-professionals kunnen parallel snel en eenvoudig dezelfde gegevens gebruiken om een uitgebreide set visualisaties in Power BI te maken met recordprestaties en geen gegevensduplicatie.
Scheiding van opslag en berekening
Compute en opslag worden losgekoppeld in een magazijn, waardoor klanten vrijwel onmiddellijk kunnen schalen om te voldoen aan de vereisten van hun bedrijf. Hierdoor kunnen meerdere berekeningsengines lezen uit elke ondersteunde opslagbron met robuuste beveiliging en volledige ACID-transactionele garanties.
Eenvoudig op schaal opnemen, laden en transformeren
Gegevens kunnen worden opgenomen in het magazijn via pijplijnen, gegevensstromen, query's op meerdere databases of de opdracht COPY INTO. Zodra ze zijn opgenomen, kunnen gegevens door meerdere bedrijfsgroepen worden geanalyseerd via functionaliteit zoals delen en query's voor meerdere databases. Time to insights wordt versneld via een volledig geïntegreerde BI-ervaring via grafische gegevensmodellering, eenvoudig te gebruiken webervaring voor het uitvoeren van query's in de warehouse-editor.
Datawarehousingitems in Microsoft Fabric
Er zijn twee afzonderlijke datawarehousingitems: het SQL-analyse-eindpunt van lakehouse en het warehouse.
SQL-analyse-eindpunt van Lakehouse
Een SQL-analyse-eindpunt is een magazijn dat automatisch wordt gegenereerd vanuit een Lakehouse in Microsoft Fabric. Een klant kan overstappen van de 'Lake'-weergave van Lakehouse (die data engineering en Apache Spark ondersteunt) naar de SQL-weergave van hetzelfde Lakehouse. Het SQL-analyse-eindpunt heeft het kenmerk Alleen-lezen en gegevens kunnen alleen worden gewijzigd via de 'Lake'-weergave van Lakehouse met behulp van Spark.
Via het SQL-analyse-eindpunt van Lakehouse heeft de gebruiker een subset VAN SQL-opdrachten waarmee gegevensobjecten kunnen worden gedefinieerd en opgeslagen, maar de gegevens niet kunnen worden bewerkt. U kunt de volgende acties uitvoeren in het SQL Analytics-eindpunt:
- Voer een query uit op de tabellen die verwijzen naar gegevens in uw Delta Lake-mappen in het lake.
- Maak weergaven, inline-TVF's en procedures voor het inkapselen van uw semantiek en bedrijfslogica in T-SQL.
- Machtigingen voor de objecten beheren.
In een Microsoft Fabric-werkruimte wordt een SQL-analyse-eindpunt aangeduid met het label SQL Analytics-eindpunt onder de kolom Type . Elk Lakehouse heeft een automatisch gegenereerd SQL-analyse-eindpunt dat kan worden gebruikt via vertrouwde SQL-hulpprogramma's zoals SQL Server Management Studio, Azure Data Studio, de Microsoft Fabric SQL-Power Query-editor.
Synapse Data Warehouse
In een Microsoft Fabric-werkruimte wordt een Synapse Data Warehouse of Warehouse gelabeld als 'Warehouse' onder de kolom Type . Een warehouse ondersteunt transacties, DDL- en DML-query's.
In tegenstelling tot een SQL-analyse-eindpunt dat alleen-lezenquery's ondersteunt en het maken van weergaven en TVF's ondersteunt, heeft een warehouse volledige transactionele DDL- en DML-ondersteuning en wordt deze gemaakt door een klant. Een magazijn wordt gevuld met een van de ondersteunde methoden voor gegevensopname, zoals COPY INTO, Pipelines, Dataflows of opties voor opname tussen databases, zoals CREATE TABLE AS SELECT (CTAS), INSERT.. SELECTEER OF SELECTEER IN.
Zie Een magazijn maken in Microsoft Fabric om aan de slag te gaan met het magazijn.
Het warehouse en het SQL-analyse-eindpunt van Lakehouse vergelijken
In deze sectie worden de verschillen tussen het eindpunt Warehouse en SQL Analytics in Microsoft Fabric beschreven.
Het SQL Analytics-eindpunt is een alleen-lezen magazijn dat automatisch wordt gegenereerd bij het maken vanuit een Lakehouse in Microsoft Fabric. Delta-tabellen die worden gemaakt via Spark in een Lakehouse, kunnen automatisch worden gedetecteerd in het SQL Analytics-eindpunt als tabellen. Met het SQL Analytics-eindpunt kunnen data engineers een relationele laag bouwen op fysieke gegevens in Lakehouse en deze beschikbaar maken voor analyse- en rapportagehulpprogramma's met behulp van de SQL-verbindingsreeks. Gegevensanalisten kunnen vervolgens T-SQL gebruiken om toegang te krijgen tot Lakehouse-gegevens met behulp van Synapse Data Warehouse. Gebruik sql-analyse-eindpunt om uw magazijn te ontwerpen voor BI-behoeften en om gegevens te leveren.
Het Synapse Data Warehouse of Warehouse is een 'traditioneel' datawarehouse en biedt ondersteuning voor de volledige transactionele T-SQL-mogelijkheden, zoals een datawarehouse voor ondernemingen. In tegenstelling tot sql-analyse-eindpunt, waarbij tabellen en gegevens automatisch worden gemaakt, hebt u volledig de controle over het maken van tabellen, het laden, transformeren en opvragen van uw gegevens in het datawarehouse met behulp van de Microsoft Fabric-portal of T-SQL-opdrachten.
Zie Query's uitvoeren op het SQL Analytics-eindpunt of warehouse in Microsoft Fabric voor meer informatie over het uitvoeren van query's op uw gegevens in Microsoft Fabric.
Verschillende magazijnmogelijkheden vergelijken
Om uw analysegebruiksvoorbeelden het beste te kunnen bedienen, zijn er verschillende mogelijkheden beschikbaar voor u. Over het algemeen kan het magazijn worden beschouwd als een superset van alle andere mogelijkheden, waardoor een synergetische relatie wordt geboden tussen alle andere analyseaanbiedingen die T-SQL bieden.
Binnen infrastructuur zijn er gebruikers die mogelijk moeten beslissen tussen een magazijn, Lakehouse en zelfs een Power BI-datamart.
Microsoft Fabric-aanbieding
Magazijn
SQL-analyse-eindpunt van Lakehouse
Power BI Datamart
Licenties
Fabric of Power BI Premium
Fabric of Power BI Premium
Alleen Power BI Premium
Primaire mogelijkheden
ACID-compatibele, volledige datawarehousing met ondersteuning voor transacties in T-SQL.
Alleen-lezen, door het systeem gegenereerd SQL Analytics-eindpunt voor Lakehouse voor T-SQL-query's en -servers. Ondersteunt analyses op de Lakehouse Delta-tabellen en de Delta Lake-mappen waarnaar wordt verwezen via snelkoppelingen.
Datawarehousing zonder code en T-SQL-query's
Ontwikkelaarsprofiel
SQL-ontwikkelaars of burgerontwikkelaars
Data-engineer s of SQL-ontwikkelaars
Alleen burgerontwikkelaar
Aanbevolen use case
- Databeheersysteem voor zakelijk gebruik
- Databeheersysteem ondersteunend afdelings-, bedrijfsonderdeel- of selfservicegebruik
- Gestructureerde gegevensanalyse in T-SQL met tabellen, weergaven, procedures en functies en geavanceerde SQL-ondersteuning voor BI
- Deltatabellen verkennen en er query's op uitvoeren vanuit het lakehouse
- Faseringsgegevens en archiveringszone voor analyse
- Medal medal lakehouse architectuur met zones voor brons, zilver en goud analyse
- Koppelen met Warehouse voor zakelijke analysegebruiksscenario's
- Use cases voor kleine afdelings- of business unitwarehousing
- Use cases voor selfservice voor datawarehousing
- Landingszone voor Power BI-gegevensstromen en eenvoudige SQL-ondersteuning voor BI
Ontwikkelervaring
- Warehouse Editor met volledige ondersteuning voor T-SQL-gegevensopname, modellering, ontwikkeling en query's op ui-ervaringen voor gegevensopname, modellering en query's
- Ondersteuning voor lezen/schrijven voor hulpprogramma's van derden
- Lakehouse SQL-analyse-eindpunt met beperkte T-SQL-ondersteuning voor weergaven, tabelwaardefuncties en SQL-query's
- Ui-ervaringen voor modellering en query's
- Beperkte T-SQL-ondersteuning voor hulpprogramma's van derden en hulpprogramma's van derden
- Datamart-editor met ui-ervaringen en query's ondersteunen
- Gebruikersinterface-ervaringen voor gegevensopname, modellering en query's
- Alleen-lezenondersteuning voor hulpprogramma's van derden en derden
T-SQL-mogelijkheden
Volledige DQL-, DML- en DDL T-SQL-ondersteuning, volledige transactieondersteuning
Volledige DQL, Geen DML, beperkte DDL T-SQL-ondersteuning, zoals SQL-weergaven en TVF's
Alleen volledige DQL
Gegevens laden
SQL, pijplijnen, gegevensstromen
Spark, pijplijnen, gegevensstromen, snelkoppelingen
Alleen gegevensstromen
Ondersteuning voor Delta-tabellen
Delta-tabellen lezen en schrijven
Delta-tabellen lezen
N.v.t.
Opslaglaag
Open Data Format - Delta
Open Data Format - Delta
N.v.t.
Automatisch gegenereerd schema in het SQL Analytics-eindpunt van Lakehouse
Het SQL Analytics-eindpunt beheert de automatisch gegenereerde tabellen, zodat de werkruimtegebruikers ze niet kunnen wijzigen. Gebruikers kunnen het databasemodel verrijken door hun eigen SQL-schema's, weergaven, procedures en andere databaseobjecten toe te voegen.
Voor elke Delta-tabel in uw Lakehouse genereert het SQL Analytics-eindpunt automatisch één tabel.
Tabellen in het SQL Analytics-eindpunt worden met een vertraging gemaakt. Zodra u een Delta Lake-map/-tabel in het lake hebt gemaakt of bijgewerkt, wordt de magazijntabel die verwijst naar de lake-gegevens niet onmiddellijk gemaakt/vernieuwd. De wijzigingen worden na 5-10 seconden in het magazijn toegepast.
Zie Gegevenstypen in Microsoft Fabric voor automatisch gegenereerde schemagegevenstypen voor het SQL-analyse-eindpunt.
Gerelateerde inhoud
Feedback
Binnenkort beschikbaar: In de loop van 2024 zullen we GitHub-problemen geleidelijk uitfaseren als het feedbackmechanisme voor inhoud en deze vervangen door een nieuw feedbacksysteem. Zie voor meer informatie: https://aka.ms/ContentUserFeedback.
Feedback verzenden en weergeven voor