Neuerungen und Planungen für Synapse-Technische Fachkraft für Daten ing in Microsoft Fabric
Wichtig
Die Releasepläne beschreiben funktionen, die möglicherweise noch nicht veröffentlicht wurden. Die Lieferung Zeitleiste und der projizierten Funktionalität kann sich ändern oder nicht versenden. Weitere Informationen finden Sie in der Microsoft-Richtlinie .
Synapse Technische Fachkraft für Daten ing ermöglicht Datentechnikern, ihre Daten mithilfe von Spark zu transformieren und ihre Lakehouse-Architektur zu erstellen.
Lakehouse für alle Ihre Organisationsdaten: Das Lakehouse kombiniert das Beste aus dem Data Lake und dem Data Warehouse in einer einzigen Erfahrung. Sie ermöglicht es Benutzern, Organisationsdaten in einem offenen Format im See aufzunehmen, vorzubereiten und freizugeben. Später können Sie über mehrere Module wie Spark, T-SQL und Power BI darauf zugreifen. Es bietet verschiedene Optionen für die Datenintegration, z. B. Datenflüsse und Pipelines, Verknüpfungen zu externen Datenquellen und Datenproduktfreigabefunktionen.
Performant Spark Engine & Runtime: Synapse Data Engineering bietet Kunden eine optimierte Spark-Runtime mit den neuesten Versionen von Spark, Delta und Python.. Es verwendet Delta Lake als gemeinsames Tabellenformat für alle Engines und ermöglicht eine einfache Datenfreigabe und -berichterstellung ohne Datenverschiebung. Die Laufzeit enthält Spark-Optimierungen und verbessert die Abfrageleistung ohne Konfigurationen. Es bietet auch Startpools und Modus mit hoher Parallelität, um Ihre Spark-Sitzungen zu beschleunigen und wiederzuverwenden, wodurch Sie Zeit und Kosten sparen.
Spark Admin & Configurations: Arbeitsbereichsadministratoren mit entsprechenden Berechtigungen können benutzerdefinierte Pools erstellen und konfigurieren, um die Leistung und Kosten ihrer Spark-Workloads zu optimieren. Ersteller können Umgebungen für die Installation von Bibliotheken konfigurieren, die Laufzeitversion auswählen und Spark-Eigenschaften für ihre Notizbücher und Spark-Aufträge festlegen.
Entwicklererfahrung: Entwickler können Notizbücher, Spark-Aufträge oder ihre bevorzugte IDE verwenden, um Spark-Code in Fabric zu erstellen und auszuführen. Sie können nativ auf die Lakehouse-Daten zugreifen, mit anderen zusammenarbeiten, Bibliotheken installieren, Verlauf nachverfolgen, Inlineüberwachung durchführen und Empfehlungen vom Spark Advisor erhalten. Sie können data Wrangler auch verwenden, um Daten einfach mit einer Ui mit geringem Code vorzubereiten.
Plattformintegration: Alle Synapse-Datentechnikelemente, einschließlich Notizbüchern, Spark-Aufträgen, Umgebungen und Lakehouses, werden tief in die Fabric-Plattform integriert (Enterprise Information Management-Funktionen, Lineage, Vertraulichkeitsbezeichnungen und Bestätigungen).
Schwerpunkte
| Funktion | Geschätzte Release-Zeitachse |
|---|---|
| Daten-APIs für GraphQL in Fabric | Q2 2024 |
| Spark Native Execution Engine | Q2 2024 |
| Erstellen und Anfügen von Umgebungen | Q2 2024 |
| Hohe Parallelität in Pipelines | Q2 2024 |
| Schemaunterstützung und Arbeitsbereich im Namespace in Lakehouse | Q2 2024 |
| Benutzerdatenfunktionen in Fabric | Q3 2024 |
| VSCode Core Extension für Fabric | Q3 2024 |
| VSCode-Satellitenerweiterung für Benutzerdatenfunktionen in Fabric | Q3 2024 |
| VS-Code für das Web – Debuggingunterstützung | Q3 2024 |
| Möglichkeit zum Sortieren und Filtern von Tabellen und Ordnern in Lakehouse | Q3 2024 |
| Spark Verbinden or für Fabric Data Warehouse | Q3 2024 |
| Öffentliche Überwachungs-APIs | Q4 2024 |
| Lakehouse Datensicherheit | Q4 2024 |
| Spark Autotune | Versand (Q1 2024) |
| Optimistische Auftragsaufnahme für Fabric Spark | Ausgeliefert (Q2 2024) |
| Auftragswarteschlange für Notizbuchaufträge | Ausgeliefert (Q2 2024) |
Daten-APIs für GraphQL in Fabric
Geschätzte Veröffentlichung Zeitleiste: Q2 2024
Versionstyp: Öffentliche Vorschau
Mit Daten-APIs für GraphQL können Fabric-Datentechniker, Wissenschaftler, Datenlösungsarchitekten Fabric-Daten mühelos verfügbar machen und integrieren, um reaktionsfähigere, leistungsfähigere und umfangreiche analytische Anwendungen zu nutzen, die die Leistungsfähigkeit und Flexibilität von GraphQL nutzen.
Spark Native Execution Engine
Geschätzte Veröffentlichung Zeitleiste: Q2 2024
Versionstyp: Öffentliche Vorschau
Das systemeigene Ausführungsmodul ist eine bahnbrechende Erweiterung für Apache Spark-Auftragsausführungen in Microsoft Fabric. Dieses vektorisierte Modul optimiert die Leistung und Effizienz Ihrer Spark-Abfragen, indem sie direkt in Ihrer Lakehouse-Infrastruktur ausgeführt werden. Die nahtlose Integration des Moduls bedeutet, dass keine Codeänderungen erforderlich sind und die Anbietereinsperrung vermieden wird. Es unterstützt Apache Spark-APIs und ist mit Runtime 1.2 (Spark 3.4) kompatibel und funktioniert sowohl mit Dempark- als auch mit Delta-Formaten. Unabhängig vom Standort Ihrer Daten in OneLake oder wenn Sie über Verknüpfungen auf Daten zugreifen, maximiert das systemeigene Ausführungsmodul die Effizienz und Leistung.
Erstellen und Anfügen von Umgebungen
Geschätzte Veröffentlichung Zeitleiste: Q2 2024
Versionstyp: Allgemeine Verfügbarkeit
Um Ihre Spark-Oberflächen präziser anzupassen, können Sie Umgebungen mit Ihren Notizbüchern und Spark-Aufträgen erstellen und anfügen. In einer Umgebung können Sie Bibliotheken installieren, einen neuen Pool konfigurieren, Spark-Eigenschaften festlegen und Skripts in ein Dateisystem hochladen. Dadurch erhalten Sie mehr Flexibilität und Kontrolle über Ihre Spark-Workloads, ohne die Standardeinstellungen des Arbeitsbereichs zu beeinträchtigen. Im Rahmen der GA werden verschiedene Verbesserungen an Umgebungen vorgenommen, einschließlich API-Unterstützung und CI/CD-Integration.
Hohe Parallelität in Pipelines
Geschätzte Veröffentlichung Zeitleiste: Q2 2024
Versionstyp: Allgemeine Verfügbarkeit
Zusätzlich zur hohen Parallelität in Notizbüchern aktivieren wir auch hohe Parallelität in Pipelines. Mit dieser Funktion können Sie mehrere Notizbücher in einer Pipeline mit einer einzigen Sitzung ausführen.
Schemaunterstützung und Arbeitsbereich im Namespace in Lakehouse
Geschätzte Veröffentlichung Zeitleiste: Q2 2024
Versionstyp: Öffentliche Vorschau
Auf diese Weise können Tabellen mithilfe von Schemas und Abfragedaten in Arbeitsbereichen organisiert werden.
Benutzerdatenfunktionen in Fabric
Geschätzte Veröffentlichung Zeitleiste: Q3 2024
Versionstyp: Öffentliche Vorschau
Benutzerdatenfunktionen bieten einen leistungsstarken Mechanismus für die Implementierung und erneute Verwendung von benutzerdefinierten, spezialisierten Geschäftslogik in Fabric Data Science- und Data Engineering-Workflows, wodurch Effizienz und Flexibilität erhöht werden.
VSCode Core Extension für Fabric
Geschätzte Veröffentlichung Zeitleiste: Q3 2024
Versionstyp: Öffentliche Vorschau
Die Core VSCode-Erweiterung für Fabric bietet allgemeine Entwicklerunterstützung für Fabric-Dienste.
VSCode-Satellitenerweiterung für Benutzerdatenfunktionen in Fabric
Geschätzte Veröffentlichung Zeitleiste: Q3 2024
Versionstyp: Öffentliche Vorschau
Die VSCode-Satellitenerweiterung für Benutzerdatenfunktionen bietet Entwicklerunterstützung (Bearbeiten, Erstellen, Debuggen, Veröffentlichen) für Benutzerdatenfunktionen in Fabric.
VS-Code für das Web – Debuggingunterstützung
Geschätzte Veröffentlichung Zeitleiste: Q3 2024
Versionstyp: Öffentliche Vorschau
Visual Studio Code für das Web wird derzeit in der Vorschau für Erstellungs- und Ausführungsszenarien unterstützt. Wir fügen der Liste der Funktionen die Möglichkeit hinzu, Code mithilfe dieser Erweiterung für Notizbuch zu debuggen.
Möglichkeit zum Sortieren und Filtern von Tabellen und Ordnern in Lakehouse
Geschätzte Veröffentlichung Zeitleiste: Q3 2024
Versionstyp: Allgemeine Verfügbarkeit
Mit dieser Funktion können Kunden ihre Tabellen und Ordner im Lakehouse nach verschiedenen Methoden sortieren und filtern, einschließlich alphabetisch, erstellungsdatum und vieles mehr.
Spark Verbinden or für Fabric Data Warehouse
Geschätzte Veröffentlichung Zeitleiste: Q3 2024
Versionstyp: Öffentliche Vorschau
Spark Verbinden or für Fabric DW (Data Warehouse) ermöglicht es einem Spark-Entwickler oder Data Scientist, mit einer vereinfachten Spark-API auf Daten aus Fabric Data Warehouse zuzugreifen und diese zu bearbeiten, was buchstäblich mit nur einer Codezeile funktioniert. Es bietet eine Möglichkeit, die Daten parallel aus Fabric Data Warehouse abzufragen, sodass sie mit steigendem Datenvolumen skaliert wird und das Sicherheitsmodell (OLS/RLS/CLS) auf Der Data Warehouse-Ebene definiert ist, während sie auf die Tabelle oder Ansicht zugreifen. Diese erste Version unterstützt nur das Lesen von Daten, und die Unterstützung für das Schreiben von Daten wird in Kürze verfügbar sein.
Öffentliche Überwachungs-APIs
Geschätzte Version Zeitleiste: Q4 2024
Versionstyp: Allgemeine Verfügbarkeit
Mit den öffentlichen Überwachungs-APIs können Sie programmgesteuert den Status von Spark-Aufträgen, Auftragszusammenfassungen und den entsprechenden Treiber- und Executorprotokollen abrufen.
Lakehouse Datensicherheit
Geschätzte Version Zeitleiste: Q4 2024
Versionstyp: Öffentliche Vorschau
Sie haben die Möglichkeit, die Sicherheit von Dateien, Ordnern und Tabellen (oder Objektebenen) im Seehaus anzuwenden. Sie können auch steuern, wer auf Daten im Seehaus zugreifen kann, und die Berechtigungsstufe, über die sie verfügen. Sie können beispielsweise Leseberechtigungen für Dateien, Ordner und Tabellen erteilen. Sobald Berechtigungen angewendet wurden, werden sie automatisch über alle Module hinweg synchronisiert. Dies bedeutet, dass Berechtigungen für Spark-, SQL-, Power BI- und externe Module konsistent sind.
Gelieferte Features
Spark Autotune
Versand (Q1 2024)
Versionstyp: Öffentliche Vorschau
Autotune verwendet maschinelles Lernen, um vorherige Ausführung Ihrer Spark-Aufträge automatisch zu analysieren und die Konfigurationen zu optimieren, um die Leistung zu optimieren. Sie konfiguriert, wie Ihre Daten partitioniert, verknüpft und von Spark gelesen werden. Auf diese Weise wird die Leistung erheblich verbessert. Wir haben gesehen, dass Kundenaufträge mit dieser Funktion 2x schneller ausgeführt werden.
Optimistische Auftragsaufnahme für Fabric Spark
Ausgeliefert (Q2 2024)
Versionstyp: Allgemeine Verfügbarkeit
Mit der optimistischen Auftragsaufnahme reserviert Fabric Spark nur die Mindestanzahl der Kerne, die ein Auftrag starten muss, basierend auf der Mindestanzahl der Knoten, auf die der Auftrag herunterskalieren kann. Dadurch können mehr Arbeitsplätze zugelassen werden, wenn genügend Ressourcen vorhanden sind, um die Mindestanforderungen zu erfüllen. Wenn ein Auftrag später skaliert werden muss, werden die Skalierungsanforderungen basierend auf den verfügbaren Kernen in der Kapazität genehmigt oder abgelehnt.
Auftragswarteschlange für Notizbuchaufträge
Ausgeliefert (Q2 2024)
Versionstyp: Allgemeine Verfügbarkeit
Mit diesem Feature können geplante Spark-Notizbücher in die Warteschlange gestellt werden, wenn die Spark-Verwendung die maximale Anzahl von Aufträgen aufweist, die parallel ausgeführt werden können, und dann ausgeführt werden, nachdem die Verwendung unter der maximalen Anzahl paralleler Aufträge zurückgesetzt wurde.