Was ist eine Apache Spark-Auftragsdefinition?

Eine Apache Spark-Auftragsdefinition ist ein Microsoft Fabric-Codeelement, mit dem Sie Batch- oder Streamingaufträge an einen Spark-Cluster übermitteln können. Indem Sie die Binärdateien aus der Kompilierungsausgabe verschiedener Sprachen hochladen (z. B. JAR aus Java), können Sie eine andere Transformationslogik auf die in einem Lakehouse gehosteten Daten anwenden. Über die Binärdatei hinaus können Sie das Verhalten des Auftrags weiter anpassen, indem Sie zusätzliche Bibliotheken und Befehlszeilenargumente hochladen.

Zum Ausführen einer Spark-Auftragsdefinition muss ihr mindestens ein Lakehouse zugeordnet sein. Dieser standardmäßige Lakehouse-Kontext dient als Standarddateisystem für die Spark-Runtime. Für jeden Spark-Code, der einen relativen Pfad zum Lesen/Schreiben von Daten verwendet, werden die Daten aus dem Standard-Lakehouse bereitgestellt.

Tipp

Zum Ausführen des Spark-Auftragsdefinitionselements sind die Hauptdefinitionsdatei und der Lakehouse-Standardkontext erforderlich. Wenn Sie kein Lakehouse haben, können Sie eins erstellen, indem Sie die Schritte unter Erstellen eines Lakehouse ausführen.

Zugehöriger Inhalt

• Erstellen einer Apache Spark-Auftragsdefinition in Fabric