Dieser Artikel enthält Antworten auf häufig gestellte Fragen zu Data Factory in Microsoft Fabric.
Wie sieht die Zukunft von Azure Data Factory (ADF) und Synapse Pipelines aus?
Azure Data Factory (ADF) und Azure Synapse-Pipelines verwalten eine separate Platform as a Service (PaaS)-Roadmaps. Diese beiden Lösungen sind weiterhin zusammen mit Fabric Data Factory vorhanden, die als SaaS-Angebot (Software as a Service) dient. ADF- und Synapse-Pipelines bleiben vollständig unterstützt, und es gibt keine Pläne für eine Abschreibung. Es ist wichtig zu betonen, dass wir Fabric Data Factory für alle anstehenden Projekte empfehlen. Darüber hinaus haben wir Strategien, um den Übergang von ADF- und Synapse-Pipelines zu Fabric Data Factory zu erleichtern, sodass sie neue Fabric-Funktionen nutzen können.
Welche Gründe sprechen angesichts der erheblichen Funktionslücken in der öffentlichen Vorschau der Fabric Data Factory dafür, diese den ADF/Synapse-Pipelines vorzuziehen?
Da wir uns bemühen, Funktionslücken zu schließen und die robusten Datenpipeline-Orchestrierungs- und Workflow-Funktionen, die in ADF / Azure Synapse-Pipelines zu finden sind, in Fabric Data Factory zu integrieren, berücksichtigen wir, dass bestimmte Funktionen, die in ADF / Synapse-Pipelines vorhanden sind, für Ihre Bedürfnisse von wesentlicher Bedeutung sein könnten. Sie können zwar weiterhin ADF/Synapse-Pipelines verwenden, wenn diese Funktionen erforderlich sind, aber wir empfehlen Ihnen, zunächst Ihre neuen Datenintegrationsmöglichkeiten in Fabric zu erkunden. Ihr Feedback darüber, welche Features für Ihren Erfolg von entscheidender Bedeutung sind, ist von unschätzbarem Wert. Um dies zu erleichtern, arbeiten wir aktiv an der Einführung einer neuen Funktion, wodurch auch die Migration Ihrer vorhandenen Datenfabriken von Azure in Fabric-Arbeitsbereiche ermöglicht wird.
Sind neue Features in Fabric Data Factory auch in ADF/Synapse verfügbar?
Wir portieren keine neuen Features aus Fabric-Pipelines in ADF-/Synapse-Pipelines zurück. Wir pflegen zwei separate Roadmaps für Fabric Data Factory und ADF/Synapse. Wir bewerten Rückportanfragen als Reaktion auf eingehendes Feedback.
Entspricht Fabric Pipeline der Azure Synapse-Pipeline?
Die Hauptfunktion der Fabric-Pipeline ähnelt der Azure Synapse-Pipeline, aber mithilfe der Fabric-Pipeline können Benutzer alle Datenanalysefunktionen auf der Fabric-Plattform anwenden. Wichtige Unterschiede und Featurezuordnungen zwischen Fabric-Pipeline und Azure Synapse-Pipeline finden Sie hier: Unterschiede zwischen Data Factory in Fabric und Azure.
Was ist der Unterschied zwischen der Registerkarte Data Factory und Data Engineering in Fabric?
Data Factory unterstützt Sie bei der Lösung komplexer Datenintegrations- und ETL-Szenarien mit Datenverschiebungs- und Datentransformationsdiensten im Cloud-Maßstab, während Data Engineering Sie bei der Erstellung von Lake Houses und der Verwendung von Apache Spark zur Transformation und Aufbereitung Ihrer Daten unterstützt. Unterschiede zwischen den einzelnen Fabric-Terminologien/Erfahrungen stehen unter Microsoft Fabric-Terminologie zur Verfügung.
Wo finde ich monatliche Updates in Fabric?
Monatliche Fabric-Updates sind im Microsoft Fabric-Blog verfügbar.
Wie kann ich vorhandene Pipelines aus dem Azure Data Factory (oder) Azure Synapse-Arbeitsbereich zu Fabric Data Factory migrieren?
Mit Fabric Data Factory in der öffentlichen Vorschau besteht derzeit die einzige verfügbare Methode darin, die Pipelines in Fabric Data Factory neu zu erstellen. Wir entwickeln fleißig eine neue Funktion, die es Benutzern ermöglicht, sowohl Fabric- als auch ADF-Pipelines innerhalb der Fabric-Plattform effektiv zu überwachen und zu verwalten. Diese innovative neue Funktion garantiert nicht nur die nahtlose Erhaltung der Produktkontinuität, sondern bietet den Benutzern auch die Möglichkeit, in die erweiterten Funktionen der Fabric-Datenintegration einzutauchen.
Wie kann ich die Kapazität von Fabric nachverfolgen und überwachen, die mit den Pipelines verwendet wird?
Microsoft Fabric-Kapazitätsadministratoren können die Microsoft Fabric-Kapazitätsmetriken-App verwenden, die auch als Metrik-App bezeichnet wird, um Einblicke in Kapazitätsressourcen zu erhalten. Mit dieser App können Administratoren sehen, wie viel CPU-Auslastung, Verarbeitungszeit und Arbeitsspeicher von Datenpipelines, Datenflüssen und anderen Elementen in ihren Fabric-Arbeitsbereichen genutzt werden. Verschaffen Sie sich einen Überblick über Überlastungsursachen, Spitzenbedarfszeiten, Ressourcenverbrauch und mehr und identifizieren Sie einfach die anspruchsvollsten oder beliebtesten Elemente.
Ähnelt Fabric Dataflow Gen2 der in Azure Data Factory eingebetteten Power Query?
Die Power Query-Aktivität in ADF hat Ähnlichkeiten mit Dataflow Gen2, verfügt aber über zusätzliche Funktionen, die Aktionen wie das Schreiben in bestimmte Datenziele usw. ermöglichen. Dieser Vergleich ist eher mit Dataflows Gen1 (Power BI Dataflows oder Power Apps-Dataflows) zu vergleichen. Weitere Details erhalten Sie hier: Unterschiede zwischen Dataflows Gen1 und Dataflow Gen2.
Wie kann ich eine Verbindung mit lokalen Datenquellen in Fabric Data Factory herstellen?
Unser aktueller Schwerpunkt liegt auf der aktiven Entwicklung der Fabric-Pipeline-Unterstützung innerhalb des lokalen Daten-Gateways. Diese bevorstehende Funktionalität ermöglicht es Ihnen, Fabric-Pipelines nahtlos für den direkten Datenzugriff vor Ort zu nutzen. Bis diese Funktion verfügbar ist, ist eine praktikable Problemumgehung möglich: Sie können Fabric Dataflow verwenden, um Daten in Cloudspeicher zu übertragen und dann Fabric-Pipeline zu verwenden, um die Übertragung von Daten an Ihr gewünschtes Ziel zu erleichtern. Dadurch wird ein reibungsloser Übergang sichergestellt, bis die lokale Datengatewayintegration verfügbar ist.
Ist es möglich, eine Verbindung zu bestehenden Private Endpoint (PE)-fähigen Ressourcen in der Fabric Data Factory herzustellen?
Derzeit bietet das VNet-Gateway eine Injektionsmethode zur nahtlosen Integration in Ihr virtuelles Netzwerk, die eine robuste Möglichkeit zur Nutzung privater Endpunkte bietet, um sichere Verbindungen zu Ihren Datenspeichern herzustellen. Es ist wichtig zu beachten, dass das VNet-Gateway derzeit nur Fabric-Datenfluss aufnehmen kann. Unsere bevorstehenden Initiativen umfassen jedoch die Erweiterung seiner Fähigkeiten auf Fabric-Pipelines.
Wie schnell kann ich Daten in Fabric Data Pipelines erfassen?
Fabric Data Factory ermöglicht es Ihnen, Pipelines zu entwickeln, die den Datenverschiebungsdurchsatz für Ihre Umgebung maximieren. Diese Pipelines nutzen die folgenden Ressourcen vollständig:
- Netzwerkbandbreite zwischen den Quell- und Zieldatenspeichern
- Quell- oder Zieldatenspeicher-Eingabe-/Ausgabevorgänge pro Sekunde (IOPS) und Bandbreite. Diese volle Auslastung bedeutet, dass Sie den Gesamtdurchsatz durch Messung des Mindestdurchsatzes einschätzen können, der mit den folgenden Ressourcen zur Verfügung steht:
- Quelldatenspeicher
- Zieldatenspeicher
- Netzwerkbandbreite zwischen den Quell- und Zieldatenspeichern Inzwischen arbeiten wir kontinuierlich an Innovationen, um den bestmöglichen Durchsatz zu erzielen, den Sie erreichen können. Heute kann der Dienst 1 TB TPC-DI-Datensatz (Parkettdateien) innerhalb von 5 Minuten sowohl in die Fabric Lakehouse-Tabelle als auch in das Data Warehouse verschieben - 1B Zeilen werden in weniger als 1 Minute verschoben; bitte beachten Sie, dass diese Leistung nur ein Referenzwert ist, indem der oben genannte Testdatensatz ausgeführt wird. Der tatsächliche Durchsatz hängt weiterhin von den zuvor aufgeführten Faktoren ab. Darüber hinaus können Sie Ihren Durchsatz jederzeit vervielfachen, indem Sie mehrere Kopiervorgänge parallel ausführen. Verwenden Sie z. B. die ForEach-Schleife.
Welcher Ansatz wird für das Zuweisen von Rollen in Fabric Data Factory empfohlen?
Sie können die verschiedenen Arbeitslasten zwischen Arbeitsbereichen trennen und die Rollen wie Mitglied und Betrachter verwenden, um einen Arbeitsbereich für Data Engineering zu haben, der Daten für einen Arbeitsbereich vorbereitet, der für Berichte oder KI-Training verwendet wird. Mit der Viewerrolle können Sie dann Daten aus dem Data Engineering-Arbeitsbereich nutzen.