Spark Klasse

Basisklasse für den Spark-Knoten, die für die Verwendung der Spark-Komponentenversion verwendet wird.

Sie sollten diese Klasse nicht direkt instanziieren. Stattdessen sollten Sie sie über die Generatorfunktion spark erstellen.

] :p aram-Ausgaben: Eine Zuordnung von Ausgabenamen zu ausgabedatenquellen, die im Auftrag verwendet werden. :type outputs: Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args: Die Argumente für den Auftrag. :type args: str :p aram compute: Die Computeressource, auf der der Auftrag ausgeführt wird. :type compute: str :p aram resources: Die Computeressourcenkonfiguration für den Auftrag. :type resources: Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p aram-Eintrag: Der Datei- oder Klasseneinstiegspunkt. :type entry: Dict[str, str] :p aram py_files: Die Liste der .zip-, EGG- oder PY-Dateien, die in pythonPATH für Python-Apps platziert werden sollen. :type py_files: List[str] :p aram jars: Die Liste von . JAR-Dateien, die in treiber- und executor-Klassenpfade eingeschlossen werden sollen. :type jars: List[str] :p aram-Dateien: Die Liste der Dateien, die im Arbeitsverzeichnis jedes Executors abgelegt werden sollen. :type files: List[str] :p aram archives: Die Liste der Archive, die in das Arbeitsverzeichnis jedes Executors extrahiert werden sollen. :type archives: List[str]

Vererbung

azure.ai.ml.entities._builders.base_node.BaseNode

Spark

azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin

Spark

Konstruktor

Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)

Parameter

component

Union[str, SparkComponent]

Erforderlich

Die ID oder instance der Spark-Komponente oder des Spark-Auftrags, die während des Schritts ausgeführt werden soll.

identity

Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

Erforderlich

Die Identität, die der Spark-Auftrag während der Ausführung auf Compute verwendet.

driver_cores

int

Erforderlich

Die Anzahl der Kerne, die nur im Clustermodus für den Treiberprozess verwendet werden sollen.

driver_memory

str

Erforderlich

Die Menge des Arbeitsspeichers, der für den Treiberprozess verwendet werden soll, formatiert als Zeichenfolgen mit einem Größeneinheitssuffix ("k", "m", "g" oder "t") (z. B. "512m", "2g").

executor_cores

int

Erforderlich

Die Anzahl von Kernen, die für jeden Executor verwendet werden soll.

executor_memory

str

Erforderlich

Die Menge an Arbeitsspeicher, der pro Executorprozess verwendet werden soll, formatiert als Zeichenfolgen mit einem Größeneinheitssuffix ("k", "m", "g" oder "t") (z. B. "512m", "2g").

executor_instances

int

Erforderlich

Die anfängliche Anzahl von Executors.

dynamic_allocation_enabled

bool

Erforderlich

Gibt an, ob die dynamische Ressourcenzuordnung verwendet werden soll, wodurch die Anzahl der bei dieser Anwendung registrierten Executors basierend auf der Workload hoch- und herunterskaliert wird.

dynamic_allocation_min_executors

int

Erforderlich

Die Untergrenze für die Anzahl der Executors, wenn die dynamische Zuordnung aktiviert ist.

dynamic_allocation_max_executors

int

Erforderlich

Die Obergrenze für die Anzahl der Executors, wenn die dynamische Zuordnung aktiviert ist.

conf

Dict[str, str]

Erforderlich

Ein Wörterbuch mit vordefinierten Spark-Konfigurationsschlüsseln und -Werten.

inputs

Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]

Erforderlich

Eine Zuordnung von Eingabenamen zu Eingabedatenquellen, die im Auftrag verwendet werden.

Methoden

clear
copy
dump	Gibt den Auftragsinhalt in einer Datei im YAML-Format ab.
fromkeys	Erstellen Sie ein neues Wörterbuch mit Schlüsseln aus iterierbar und Werten, die auf Wert festgelegt sind.
get	Gibt den Wert für key zurück, wenn key im Wörterbuch vorhanden ist, andernfalls standard.
items
keys
pop	Wenn der Schlüssel nicht gefunden wird, geben Sie den Standardwert zurück, sofern angegeben. Lösen Sie andernfalls einen KeyError aus.
popitem	Entfernen Sie ein Paar (Schlüssel, Wert) und geben Sie es als 2-Tupel zurück. Paare werden in LIFO-Reihenfolge (last-in, first-out) zurückgegeben. Löst KeyError aus, wenn das Diktat leer ist.
setdefault	Fügen Sie einen Schlüssel mit dem Standardwert ein, wenn der Schlüssel nicht im Wörterbuch enthalten ist. Gibt den Wert für key zurück, wenn key im Wörterbuch vorhanden ist, andernfalls standard.
update	Wenn E vorhanden ist und über eine .keys()-Methode verfügt, dann: für k in E: D[k] = E[k] Wenn E vorhanden ist und keine .keys()-Methode vorhanden ist, dann: für k, v in E: D[k] = v In beiden Fällen folgt: für k in F: D[k] = F[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Gibt den Auftragsinhalt in einer Datei im YAML-Format ab.

dump(dest: str | PathLike | IO, **kwargs) -> None

Parameter

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Erforderlich

Der lokale Pfad oder Dateistream, in den der YAML-Inhalt geschrieben werden soll. Wenn dest ein Dateipfad ist, wird eine neue Datei erstellt. Wenn dest eine geöffnete Datei ist, wird die Datei direkt in geschrieben.

kwargs

dict

Zusätzliche Argumente, die an das YAML-Serialisierungsprogramm übergeben werden sollen.

Ausnahmen

FileExistsError

Wird ausgelöst, wenn dest ein Dateipfad ist und die Datei bereits vorhanden ist.

IOError

Wird ausgelöst, wenn dest eine geöffnete Datei ist und die Datei nicht beschreibbar ist.

fromkeys

Erstellen Sie ein neues Wörterbuch mit Schlüsseln aus iterierbar und Werten, die auf Wert festgelegt sind.

fromkeys(value=None, /)

Parameter

type

Erforderlich

iterable

Erforderlich

value

Standardwert: None

get

Gibt den Wert für key zurück, wenn key im Wörterbuch vorhanden ist, andernfalls standard.

get(key, default=None, /)

Parameter

key

Erforderlich

default

Standardwert: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Wenn der Schlüssel nicht gefunden wird, geben Sie den Standardwert zurück, sofern angegeben. Lösen Sie andernfalls einen KeyError aus.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Entfernen Sie ein Paar (Schlüssel, Wert) und geben Sie es als 2-Tupel zurück.

Paare werden in LIFO-Reihenfolge (last-in, first-out) zurückgegeben. Löst KeyError aus, wenn das Diktat leer ist.

popitem()

setdefault

Fügen Sie einen Schlüssel mit dem Standardwert ein, wenn der Schlüssel nicht im Wörterbuch enthalten ist.

Gibt den Wert für key zurück, wenn key im Wörterbuch vorhanden ist, andernfalls standard.

setdefault(key, default=None, /)

Parameter

key

Erforderlich

default

Standardwert: None

update

Wenn E vorhanden ist und über eine .keys()-Methode verfügt, dann: für k in E: D[k] = E[k] Wenn E vorhanden ist und keine .keys()-Methode vorhanden ist, dann: für k, v in E: D[k] = v In beiden Fällen folgt: für k in F: D[k] = F[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Attribute

base_path

Der Basispfad der Ressource.

Gibt zurück

Der Basispfad der Ressource.

Rückgabetyp

str

code

Der lokale Pfad oder der Remotepfad, der auf den Quellcode verweist.

Rückgabetyp

Union[str, <xref:PathLike>]

component

Die ID oder instance der Spark-Komponente oder des Spark-Auftrags, die während des Schritts ausgeführt werden soll.

Rückgabetyp

SparkComponent

creation_context

Der Erstellungskontext der Ressource.

Gibt zurück

Die Erstellungsmetadaten für die Ressource.

Rückgabetyp

Optional[SystemData]

entry

id

Die Ressourcen-ID.

Gibt zurück

Die globale ID der Ressource, eine Arm-ID (Azure Resource Manager).

Rückgabetyp

Optional[str]

identity

Die Identität, die der Spark-Auftrag während der Ausführung auf Compute verwendet.

Rückgabetyp

Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

inputs

Rufen Sie die Eingaben für das -Objekt ab.

Gibt zurück

Ein Wörterbuch, das die Eingaben für das -Objekt enthält.

Rückgabetyp

Dict[str, Union[Input, str, bool, int, float]]

log_files

Auftragsausgabedateien.

Gibt zurück

Das Wörterbuch der Protokollnamen und URLs.

Rückgabetyp

Optional[Dict[str, str]]

name

Rufen Sie den Namen des Knotens ab.

Gibt zurück

Der Name des Knotens.

Rückgabetyp

str

outputs

Rufen Sie die Ausgaben des -Objekts ab.

Gibt zurück

Ein Wörterbuch, das die Ausgaben für das -Objekt enthält.

Rückgabetyp

Dict[str, Union[str, Output]]

resources

Die Computeressourcenkonfiguration für den Auftrag.

Rückgabetyp

SparkResourceConfiguration

status

Der Status des Auftrags.

Zu den häufig zurückgegebenen Werten zählen „Running“ (Wird ausgeführt), „Completed“ (Abgeschlossen) und „Failed“ (Fehlgeschlagen). Alle möglichen Werte sind:

• NotStarted: Dies ist ein temporärer Zustand, in dem sich clientseitige Run-Objekte vor der Cloudübermittlung befinden.

• Starting: Die Verarbeitung der Ausführung in der Cloud hat begonnen. Die aufrufende Funktion besitzt zu diesem Zeitpunkt eine Ausführungs-ID.

• Bereitstellung: Bedarfsgesteuerte Computeressourcen werden für eine bestimmte Auftragsübermittlung erstellt.

• Vorbereiten: Die Ausführungsumgebung wird vorbereitet und befindet sich in einer von zwei Phasen:

  • Docker-Imagebuild

  • Einrichten der Conda-Umgebung

• In die Warteschlange: Der Auftrag wird auf dem Computeziel in die Warteschlange gestellt. In BatchAI befindet sich der Auftrag beispielsweise in der Warteschlange.

  während darauf gewartet wird, dass alle angeforderten Knoten bereit sind.

• Wird ausgeführt: Der Auftrag wurde auf dem Computeziel ausgeführt.

• Abgeschlossen: Die Ausführung des Benutzercodes wurde abgeschlossen, und die Ausführung befindet sich in den Phasen nach der Verarbeitung.

• CancelRequested: Für den Auftrag wurde ein Abbruch angefordert.

• Abgeschlossen: Die Ausführung wurde erfolgreich abgeschlossen. Dies schließt sowohl die Ausführung von Benutzercode als auch die Ausführung ein.

  Nachbearbeitungsphasen der Ausführung ein.

• Failed: Die Ausführung ist fehlgeschlagen. In der Regel liefert die Eigenschaft „Error“ einer Ausführung Details zur Ursache.

• Canceled: Folgt einer Abbruchanforderung und gibt an, dass die Ausführung jetzt erfolgreich abgebrochen wurde.

• „NotResponding“ (Reagiert nicht): Für eine Ausführung, für die Heartbeats aktiviert ist, wurde vor Kurzem kein Heartbeat gesendet.

Gibt zurück

Status des Auftrags.

Rückgabetyp

Optional[str]

studio_url

Azure ML Studio-Endpunkt.

Gibt zurück

Die URL zur Auftragsdetailseite.

Rückgabetyp

Optional[str]

type

Der Typ des Auftrags.

Gibt zurück

Der Typ des Auftrags.

Rückgabetyp

Optional[str]

CODE_ID_RE_PATTERN

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)