TextNerJob Класс

  • Ссылка

Конфигурация для задания NER для текста AutoML.

Инициализирует новую задачу AutoML Text NER.

Наследование
azure.ai.ml.entities._job.automl.nlp.automl_nlp_job.AutoMLNLPJob
TextNerJob

Конструктор

TextNerJob(*, training_data: Input | None = None, validation_data: Input | None = None, primary_metric: str | None = None, log_verbosity: str | None = None, **kwargs)

Параметры

training_data
Обязательно

Обучающие данные, используемые для обучения

validation_data
Обязательно

Данные проверки, используемые для оценки обученной модели

primary_metric
Обязательно

Основная отображаемая метрика.

log_verbosity
Обязательно

Уровень детализации журнала

kwargs
Обязательно

Аргументы, относящиеся к заданию

Методы

dump

Создает дампы содержимого задания в файл в формате YAML.
extend_search_space

Добавьте (а) пространства поиска для этого задания NLP AutoML.
set_data
set_featurization
set_limits
set_sweep

Параметры очистки для всех задач NLP AutoML.
set_training_parameters

Исправьте определенные параметры обучения на протяжении всей процедуры обучения для всех кандидатов.

Пройти. Это должно быть положительное целое число. :ключевое слово learning_rate: начальная скорость обучения. Должен быть типом float in (0, 1). :ключевое слово learning_rate_scheduler: тип планировщика скорости обучения. Необходимо выбрать варианты "linear", "cosine", "cosine_with_restarts", "polynomial", "constant" и "constant_with_warmup". :ключевое слово model_name: имя модели, используемое во время обучения. Необходимо выбрать один из вариантов : "bert-base-cased", "bert-base-uncased", "bert-base-multilingual-cased", "bert-base-german-cased", "bert-large-cased", 'bert-large-uncased', 'distilbert-base-cased', 'distilbert-base-uncased', 'roberta-base', 'roberta-large', 'distilroberta-base', 'xlm-roberta-base', 'xlm-roberta-large', xlnet-base-cased и 'xlnet-large-cased'. :ключевое слово number_of_epochs: количество эпох для обучения. Принимаются только положительные целые числа. :ключевое слово training_batch_size: размер пакета во время обучения. Принимаются только положительные целые числа. :ключевое слово validation_batch_size: размер пакета во время проверки. Принимаются только положительные целые числа. :ключевое слово warmup_ratio: отношение общего числа шагов обучения, используемых для линейной прогрева, от 0 до learning_rate. Должен быть float в [0, 1]. :ключевое слово weight_decay: значение затухания веса, если оптимизатор имеет значение sgd, adam или adamw. Это должно быть число с плавающей точкой в диапазоне [0, 1]. :return: нет.

dump

Создает дампы содержимого задания в файл в формате YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Параметры

dest
Union[<xref:PathLike>, str, IO[AnyStr]]
Обязательно

Локальный путь или файловый поток для записи содержимого YAML. Если dest — это путь к файлу, будет создан новый файл. Если dest является открытым файлом, файл будет записан напрямую.

kwargs
dict

Дополнительные аргументы для передачи в сериализатор YAML.

Исключения

FileExistsError

Возникает, если dest — это путь к файлу, а файл уже существует.

IOError

Возникает, если dest является открытым файлом и файл не поддерживает запись.

extend_search_space

Добавьте (а) пространства поиска для этого задания NLP AutoML.

extend_search_space(value: SearchSpace | List[SearchSpace]) -> None

Параметры

value
Union[SearchSpace, List[SearchSpace]]
Обязательно

либо объект SearchSpace, либо список объектов SearchSpace с параметрами, характерными для nlp.

Возвращаемое значение

Нет.

Исключения

FileExistsError

Возникает, если dest — это путь к файлу, а файл уже существует.

IOError

Возникает, если dest является открытым файлом и файл не поддерживает запись.

set_data 

set_data(*, training_data: Input, target_column_name: str, validation_data: Input) -> None

Исключения

FileExistsError

Возникает, если dest — это путь к файлу, а файл уже существует.

IOError

Возникает, если dest является открытым файлом и файл не поддерживает запись.

set_featurization 

set_featurization(*, dataset_language: str | None = None) -> None

Исключения

FileExistsError

Возникает, если dest — это путь к файлу, а файл уже существует.

IOError

Возникает, если dest является открытым файлом и файл не поддерживает запись.

set_limits 

set_limits(*, max_trials: int = 1, max_concurrent_trials: int = 1, max_nodes: int = 1, timeout_minutes: int | None = None, trial_timeout_minutes: int | None = None) -> None

Исключения

FileExistsError

Возникает, если dest — это путь к файлу, а файл уже существует.

IOError

Возникает, если dest является открытым файлом и файл не поддерживает запись.

set_sweep

Параметры очистки для всех задач NLP AutoML.

set_sweep(*, sampling_algorithm: str | SamplingAlgorithmType, early_termination: EarlyTerminationPolicy | None = None)

Параметры

sampling_algorithm

Обязательный. Указывает тип алгоритма выборки гиперпараметров. Возможные значения: "Grid", "Random" и "Bayesian".

early_termination

Необязательная политика досрочного завершения для прекращения плохой работы кандидатов на обучение.

Возвращаемое значение

Нет

Исключения

FileExistsError

Возникает, если dest — это путь к файлу, а файл уже существует.

IOError

Возникает, если dest является открытым файлом и файл не поддерживает запись.

set_training_parameters

Исправьте определенные параметры обучения на протяжении всей процедуры обучения для всех кандидатов.

Пройти. Это должно быть положительное целое число. :ключевое слово learning_rate: начальная скорость обучения. Должен быть типом float in (0, 1). :ключевое слово learning_rate_scheduler: тип планировщика скорости обучения. Необходимо выбрать варианты "linear", "cosine", "cosine_with_restarts", "polynomial", "constant" и "constant_with_warmup". :ключевое слово model_name: имя модели, используемое во время обучения. Необходимо выбрать один из вариантов : "bert-base-cased", "bert-base-uncased", "bert-base-multilingual-cased", "bert-base-german-cased", "bert-large-cased", 'bert-large-uncased', 'distilbert-base-cased', 'distilbert-base-uncased', 'roberta-base', 'roberta-large', 'distilroberta-base', 'xlm-roberta-base', 'xlm-roberta-large', xlnet-base-cased и 'xlnet-large-cased'. :ключевое слово number_of_epochs: количество эпох для обучения. Принимаются только положительные целые числа. :ключевое слово training_batch_size: размер пакета во время обучения. Принимаются только положительные целые числа. :ключевое слово validation_batch_size: размер пакета во время проверки. Принимаются только положительные целые числа. :ключевое слово warmup_ratio: отношение общего числа шагов обучения, используемых для линейной прогрева, от 0 до learning_rate. Должен быть float в [0, 1]. :ключевое слово weight_decay: значение затухания веса, если оптимизатор имеет значение sgd, adam или adamw. Это должно быть число с плавающей точкой в диапазоне [0, 1]. :return: нет.

set_training_parameters(*, gradient_accumulation_steps: int | None = None, learning_rate: float | None = None, learning_rate_scheduler: str | NlpLearningRateScheduler | None = None, model_name: str | None = None, number_of_epochs: int | None = None, training_batch_size: int | None = None, validation_batch_size: int | None = None, warmup_ratio: float | None = None, weight_decay: float | None = None) -> None

Параметры

gradient_accumulation_steps

количество шагов, по которым накапливаются градиенты перед обратным

Исключения

FileExistsError

Возникает, если dest — это путь к файлу, а файл уже существует.

IOError

Возникает, если dest является открытым файлом и файл не поддерживает запись.

Атрибуты

base_path

Базовый путь к ресурсу.

Возвращаемое значение

Базовый путь к ресурсу.

Возвращаемый тип

str

creation_context

Контекст создания ресурса.

Возвращаемое значение

Метаданные создания для ресурса.

Возвращаемый тип

Optional[SystemData]

featurization

id

Идентификатор ресурса.

Возвращаемое значение

Глобальный идентификатор ресурса, идентификатор Resource Manager Azure (ARM).

Возвращаемый тип

Optional[str]

inputs

limits

log_files

Выходные файлы задания.

Возвращаемое значение

Словарь имен и URL-адресов журналов.

Возвращаемый тип

Optional[Dict[str, str]]

log_verbosity

outputs

primary_metric

search_space

status

Состояние задания.

Обычно возвращаются значения Running (Выполняется), Completed (Завершено) и Failed (Сбой). Все возможные значения:

  • NotStarted — это временное состояние, в которое клиентские объекты Run находятся перед отправкой в облако.

  • Starting — началась обработка запуска в облаке. На этом этапе вызывающий объект имеет идентификатор запуска.

  • Подготовка — вычислительные ресурсы по запросу создаются для заданной отправки задания.

  • Подготовка — среда выполнения подготавливается и находится в одном из двух этапов:

    • Сборка образа Docker

    • настройка среды conda.

  • В очереди— задание помещается в очередь в целевом объекте вычислений. Например, в BatchAI задание находится в состоянии очереди.

    ожидая готовности всех запрошенных узлов.

  • Выполнение — задание запущено для целевого объекта вычислений.

  • Завершение — выполнение пользовательского кода завершено, и выполнение выполняется на этапах постобработки.

  • CancelRequested — для задания запрошена отмена.

  • Завершено — выполнение успешно завершено. Сюда входит выполнение пользовательского кода и выполнение.

    пользовательского кода и запуска.

  • Failed — сбой запуска. Подробное описание причины как правило предоставляет свойство Error.

  • Canceled — применяется после запроса отмены и указывает, что выполнение теперь успешно отменено.

  • NotResponding — для запусков с включенными пульсами недавно не отправлялся пульс.

Возвращаемое значение

Состояние задания.

Возвращаемый тип

Optional[str]

studio_url

Конечная точка Студии машинного обучения Azure.

Возвращаемое значение

URL-адрес страницы сведений о задании.

Возвращаемый тип

Optional[str]

sweep

task_type

Получение типа задачи.

Возвращаемое значение

Тип выполняемой задачи. Возможные значения: "classification", "regression", "forecasting".

Возвращаемый тип

str

test_data

Получение тестовых данных.

Возвращаемое значение

Тестирование входных данных

Возвращаемый тип

Input

training_data

Получение обучающих данных.

Возвращаемое значение

Входные данные для обучения

Возвращаемый тип

Input

training_parameters

type

Тип задания.

Возвращаемое значение

Тип задания.

Возвращаемый тип

Optional[str]

validation_data

Получение проверочных данных.

Возвращаемое значение

Входные данные проверки

Возвращаемый тип

Input