Spark Класс

Базовый класс для узла Spark, используемый для использования версии компонента Spark.

Не следует создавать экземпляр этого класса напрямую. Вместо этого его следует создать из функции построителя spark.

] :p выходные данные: сопоставление имен выходных данных с источниками выходных данных, используемыми в задании. :type outputs: Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args: Аргументы для задания. :type args: str :p aram compute: вычислительный ресурс, на котором выполняется задание. :type compute: str :p aram resources: конфигурация вычислительного ресурса для задания. :type resources: Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p записьaram: точка входа в файл или класс. :type entry: Dict[str, str] :p aram py_files: список файлов .zip, .egg или PY для размещения в PYTHONPATH для приложений Python. :type py_files: List[str] :p aram JARS: список . JAR-файлы для включения в пути к классам драйвера и исполнителя. :type jars: List[str] :p aram files: список файлов, которые необходимо поместить в рабочий каталог каждого исполнителя. :type files: List[str] :p aram archives: список архивов, извлекаемых в рабочий каталог каждого исполнителя. :type archives: List[str]

Наследование

azure.ai.ml.entities._builders.base_node.BaseNode

Spark

azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin

Spark

Конструктор

Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)

Параметры

component

Union[str, SparkComponent]

Обязательно

Идентификатор или экземпляр компонента Или задания Spark, которые будут выполняться на этом шаге.

identity

Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

Обязательно

Удостоверение, которое будет использоваться заданием Spark при выполнении на вычислительных ресурсах.

driver_cores

int

Обязательно

Количество ядер, используемых для процесса драйвера, только в режиме кластера.

driver_memory

str

Обязательно

Объем памяти, используемой для процесса драйвера, отформатированный в виде строк с суффиксом единицы размера ("k", "m", "g" или "t") (например, "512m", "2g").

executor_cores

int

Обязательно

Число ядер, используемых для каждого исполнителя.

executor_memory

str

Обязательно

Объем памяти для каждого процесса исполнителя, отформатированный в виде строк с суффиксом единицы размера ("k", "m", "g" или "t") (например, "512m", "2g").

executor_instances

int

Обязательно

Начальное число исполнителей.

dynamic_allocation_enabled

bool

Обязательно

Следует ли использовать динамическое выделение ресурсов, которое масштабирует количество исполнителей, зарегистрированных в этом приложении, в зависимости от рабочей нагрузки.

dynamic_allocation_min_executors

int

Обязательно

Нижняя граница числа исполнителей, если включено динамическое выделение.

dynamic_allocation_max_executors

int

Обязательно

Верхняя граница количества исполнителей, если включено динамическое выделение.

conf

Dict[str, str]

Обязательно

Словарь с предварительно определенным ключом и значениями конфигураций Spark.

inputs

Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]

Обязательно

Сопоставление входных имен с источниками входных данных, используемыми в задании.

Методы

clear
copy
dump	Создает дампы содержимого задания в файл в формате YAML.
fromkeys	Создайте новый словарь с ключами из итерируемых значений и значениями со значением value.
get	Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.
items
keys
pop	Если ключ не найден, верните значение по умолчанию, если оно задано. в противном случае создайте keyError.
popitem	Удалите и верните пару (ключ, значение) в виде двух кортежей. Пары возвращаются в порядке LIFO (последний вход, первый выход). Вызывает ошибку keyError, если дикт пуст.
setdefault	Вставьте ключ со значением по умолчанию, если ключ отсутствует в словаре. Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.
update	Если E присутствует и имеет метод .keys(), то выполняет: для k в E: D[k] = E[k] Если E присутствует и отсутствует метод .keys(), то выполняет: для k, v в E: D[k] = v В любом случае за этим следует: для k в F: D[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Создает дампы содержимого задания в файл в формате YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Параметры

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Обязательно

Локальный путь или файловый поток для записи содержимого YAML. Если dest — это путь к файлу, будет создан новый файл. Если dest является открытым файлом, файл будет записан напрямую.

kwargs

dict

Дополнительные аргументы для передачи в сериализатор YAML.

Исключения

FileExistsError

Возникает, если dest — это путь к файлу, а файл уже существует.

IOError

Возникает, если dest является открытым файлом и файл не поддерживает запись.

fromkeys

Создайте новый словарь с ключами из итерируемых значений и значениями со значением value.

fromkeys(value=None, /)

Параметры

type

Обязательно

iterable

Обязательно

value

значение по умолчанию: None

get

Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.

get(key, default=None, /)

Параметры

key

Обязательно

default

значение по умолчанию: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Если ключ не найден, верните значение по умолчанию, если оно задано. в противном случае создайте keyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Удалите и верните пару (ключ, значение) в виде двух кортежей.

Пары возвращаются в порядке LIFO (последний вход, первый выход). Вызывает ошибку keyError, если дикт пуст.

popitem()

setdefault

Вставьте ключ со значением по умолчанию, если ключ отсутствует в словаре.

Возвращает значение для ключа, если ключ находится в словаре, в противном случае значение по умолчанию.

setdefault(key, default=None, /)

Параметры

key

Обязательно

default

значение по умолчанию: None

update

Если E присутствует и имеет метод .keys(), то выполняет: для k в E: D[k] = E[k] Если E присутствует и отсутствует метод .keys(), то выполняет: для k, v в E: D[k] = v В любом случае за этим следует: для k в F: D[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Атрибуты

base_path

Базовый путь к ресурсу.

Возвращаемое значение

Базовый путь к ресурсу.

Возвращаемый тип

str

code

Локальный или удаленный путь, указывающий на исходный код.

Возвращаемый тип

Union[str, <xref:PathLike>]

component

Идентификатор или экземпляр компонента Или задания Spark, которые будут выполняться на этом шаге.

Возвращаемый тип

SparkComponent

creation_context

Контекст создания ресурса.

Возвращаемое значение

Метаданные создания для ресурса.

Возвращаемый тип

Optional[SystemData]

entry

id

Идентификатор ресурса.

Возвращаемое значение

Глобальный идентификатор ресурса, идентификатор Resource Manager Azure (ARM).

Возвращаемый тип

Optional[str]

identity

Удостоверение, которое будет использоваться заданием Spark при выполнении на вычислительных ресурсах.

Возвращаемый тип

Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

inputs

Получение входных данных для объекта .

Возвращаемое значение

Словарь, содержащий входные данные для объекта .

Возвращаемый тип

Dict[str, Union[Input, str, bool, int, float]]

log_files

Выходные файлы задания.

Возвращаемое значение

Словарь имен и URL-адресов журналов.

Возвращаемый тип

Optional[Dict[str, str]]

name

Получение имени узла.

Возвращаемое значение

Имя узла.

Возвращаемый тип

str

outputs

Получение выходных данных объекта .

Возвращаемое значение

Словарь, содержащий выходные данные для объекта .

Возвращаемый тип

Dict[str, Union[str, Output]]

resources

Конфигурация вычислительного ресурса для задания.

Возвращаемый тип

SparkResourceConfiguration

status

Состояние задания.

Обычно возвращаются значения Running (Выполняется), Completed (Завершено) и Failed (Сбой). Все возможные значения:

• NotStarted — это временное состояние, в которое клиентские объекты Run находятся перед отправкой в облако.

• Starting — началась обработка запуска в облаке. На этом этапе вызывающий объект имеет идентификатор запуска.

• Подготовка — вычислительные ресурсы по запросу создаются для заданной отправки задания.

• Подготовка — среда выполнения подготавливается и находится в одном из двух этапов:

  • Сборка образа Docker

  • настройка среды conda.

• В очереди— задание помещается в очередь в целевом объекте вычислений. Например, в BatchAI задание находится в состоянии очереди.

  ожидая готовности всех запрошенных узлов.

• Выполнение — задание запущено для целевого объекта вычислений.

• Завершение — выполнение пользовательского кода завершено, и выполнение выполняется на этапах постобработки.

• CancelRequested — для задания запрошена отмена.

• Завершено — выполнение успешно завершено. Сюда входит выполнение пользовательского кода и выполнение.

  пользовательского кода и запуска.

• Failed — сбой запуска. Подробное описание причины как правило предоставляет свойство Error.

• Canceled — применяется после запроса отмены и указывает, что выполнение теперь успешно отменено.

• NotResponding — для запусков с включенными пульсами недавно не отправлялся пульс.

Возвращаемое значение

Состояние задания.

Возвращаемый тип

Optional[str]

studio_url

Конечная точка Студии машинного обучения Azure.

Возвращаемое значение

URL-адрес страницы сведений о задании.

Возвращаемый тип

Optional[str]

type

Тип задания.

Возвращаемое значение

Тип задания.

Возвращаемый тип

Optional[str]

CODE_ID_RE_PATTERN

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)