Краткое руководство. Создание, публикация и перевод с помощью пользовательских моделей

Переводчик — это облачная служба нейронного машинного перевода, которая входит в семейство служб ИИ Azure REST API, которое можно использовать с любой операционной системой. Переводчик позволяет многим продуктам и службам Майкрософт, используемым тысячами компаний по всему миру, выполнять перевод языка и другие операции, связанные с языком. Из этого краткого руководства вы узнаете, как создавать пользовательские решения для приложений на всех поддерживаемых языках.

Предварительные требования

Чтобы использовать портал Пользовательского переводчика , вам потребуются следующие ресурсы:

• Учетная запись Майкрософт.

• Подписка Azure — создайте бесплатную учетную запись.

• Оформив подписку Azure, создайте ресурс "Переводчик" на портале Azure, чтобы получить ключ и конечную точку. После развертывания ресурса выберите элемент Перейти к ресурсу.

  • Для подключения приложения к службе "Переводчик" требуется ключ и конечная точка из ресурса. Вставьте ключ и конечную точку в код далее в кратком руководстве. Эти значения находятся на странице Ключи и конечная точка портала Azure:

    

Дополнительные сведения см. в статьеСоздание ресурса Переводчика.

Портал "Пользовательский переводчик"

Выполнив указанные выше предварительные требования, войдите на портал Пользовательского переводчика для создания рабочих областей, сборки проектов, отправки файлов, обучения моделей и публикации пользовательского решения.

Вы можете ознакомиться с возможностями перевода и Пользовательского переводчика, получить советы и просмотреть видео о начале работы в блоге, посвященном ИИ Azure.

Панель сводных данных о процессах

1. Создайте рабочую область. Рабочая область — это рабочая зона для создания и построения пользовательской системы перевода. Рабочая область может содержать несколько проектов, моделей и документов. Все действия в Пользовательском переводчике выполняются в пределах конкретной рабочей области.

2. Создайте проект. Проект — это программа-оболочка для модели, документов и тестов. Каждый проект включает все документы, отправленные в рабочую область, с правильной языковой парой. Например, если у вас есть проект с английского на испанский и с испанского на английский, в оба проекта будут включены одни и те же документы.

3. Отправьте параллельные документы. Параллельные документы — это пары документов, в которых один (целевой документ) является переводом другого (исходного документа). Один документ в паре содержит предложения на исходном языке, а другой — предложения, переведенные на целевой язык. Не имеет значения, какой язык помечен как исходный, а какой — как целевой. Параллельный документ можно использовать для обучения системы перевода в любом направлении.

4. Обучите модель. Моделью называется система, которая предоставляет перевод для определенной языковой пары. Модель создается в результате успешного обучения. При обучении модели требуются три взаимоисключающих типа документов: учебный, настроечный и тестовый. Если при постановке в очередь обучения предоставляются только обучающие данные, Пользовательский переводчик автоматически собирает данные настройки и тестирования. Он использует случайное подмножество предложений из учебных документов и исключает эти предложения из самих обучающих данных. Минимальное требование для обучения модели: 10 000 параллельных предложений.

5. Протестируйте модель (оценку должен провести человек). Тестовый набор используется для расчета оценки BLEU. Она позволяет проверить качество системы перевода.

6. Опубликуйте (разверните) обученную модель. Теперь пользовательская модель доступна для запросов перевода в среде выполнения.

7. Переведите текст. Используйте облачный, безопасный, высокопроизводительный и высокомасштабируемыйAPI перевода текстов версии 3 от Майкрософт, чтобы выполнять запросы на перевод.

Создание рабочей области

1. После входа в Пользовательский переводчик система запросит разрешение на чтение вашего профиля на платформе удостоверений Майкрософт, чтобы запросить маркер доступа пользователя и маркер обновления. Оба маркера необходимы для проверки подлинности и чтобы предотвратить выход из сеанса, если он активен или идет обучение моделей.
   Выберите Да.

   

2. Выберите Мои рабочие области.

3. Выберите Создать рабочую область.

4. Введите Contoso MT models (Модели MT Contoso ) в поле Имя рабочей области и нажмите кнопку Далее.

5. В раскрывающемся списке щелкните "Глобальный" в разделе Выбрать регион ресурса.

6. Скопируйте и вставьте ключ служб Переводчика.

7. Выберите Далее.

8. Нажмите кнопку Готово.

   Примечание

   Регион должен соответствовать региону, выбранному при создании ресурса. Можно использовать КЛЮЧ 1 или КЛЮЧ 2.

   

   

Создание проекта

После успешного создания рабочей области вы перейдете на страницу Проекты .

Вы создаете проект с английского на немецкий язык, чтобы обучить пользовательскую модель только с типом документа для обучения .

1. Щелкните Создать проект.

2. Введите Английский–немецкий в поле Имя проекта.

3. В раскрывающемся списке выберите Английский (EN) в качестве Исходного языка.

4. В раскрывающемся списке выберите Немецкий (DE) в качестве Целевого языка.

5. В раскрывающемся списке выберите Общая в качестве Предметной области.

6. Щелкните Создать проект.

   

Отправка документов

Чтобы создать пользовательскую модель, необходимо отправить все документы или сочетание типов документов для обучения, настройки, тестирования и словаря.

В этом кратком руководстве мы отправим учебные документы для настройки.

Примечание

Для работы с этим кратким руководством можно использовать наш пример набора данных для обучения, а также для словарей фраз и предложений под названием Предоставленный клиентами пример с наборами данных для перевода с английского на немецкий язык. Однако для рабочей среды вам лучше отправить собственный набор данных для обучения.

1. Выберите имя проекта Английский–немецкий.

2. Выберите Управление документами в меню навигации слева.

3. Выберите Добавить набор документов.

4. Установите флажок Обучающий набор и нажмите кнопку Далее.

5. Убедитесь, что флажок Параллельные документы установлен, и введите Пример: Английский–немецкий.

6. В поле Исходный файл (английский, EN) выберите Обзор файлов и выберите sample-English-German-Training-en.txt.

7. В поле Целевой файл (немецкий, DE) выберите Обзор файлов и выберите sample-English-German-Training-de.txt.

8. Щелкните Отправить.

   Примечание

   Можно отправить пример набора данных со словарями фраз и предложений. Этот шаг вы выполните самостоятельно.

   

Обучение модели

Теперь все готово для обучения модели перевода с английского на немецкий язык.

1. Выберите Обучить модель в меню навигации слева.

2. Введите Английский— немецкий с примерами данных в поле Имя модели.

3. Убедитесь, что флажок Полное обучение установлен.

4. В разделе Выбор документов выберите Пример: Английский–немецкий и просмотрите стоимость обучения для выбранного количества предложений.

5. Щелкните Обучить.

6. Для подтверждения щелкните Обучить.

   Примечание

   В уведомлениях отображается ход обучения модели, например состояние Отправка данных. Обучение модели занимает несколько часов в зависимости от количества выбранных предложений.

   

7. После успешного обучения модели выберите Сведения о модели в меню навигации слева.

8. Выберите имя модели en-de с примерами данных. Просмотрите дату и время обучения, общее время обучения, количество предложений, используемых для обучения, настройки, тестирования и словаря. Проверьте, создали ли система наборы тестирования и настройки. Для выполнения запросов на Category ID перевод используется .

9. Проанализируйте оценку BLEU. Оценка BLEU набора тестов — это оценка пользовательской модели, а базовая blEU — предварительно обученная базовая модель, используемая для настройки. Чем выше оценка BLEU, тем лучше качество перевода у пользовательской модели.

   Примечание

   Если вы использовали для обучения наши общие примеры наборов данных, предоставленные клиентами, оценка BLEU будет отличаться от приведенной на иллюстрации.

   

Тестирование модели

Когда обучение будет успешно завершено, проверьте переведенные предложения тестового набора.

1. Выберите Тестировать модель в меню навигации слева.
2. Выберите "Английский–немецкий с примерами данных".
3. Человек оценивает перевод из новой модели (настраиваемая модель) и базовой модели (наши предварительно обученные базовые показатели, используемые для настройки) для ссылок (целевой перевод из тестового набора)

Публикация модели

Публикация модели делает ее доступной для использования с помощью API Переводчика. В проекте может быть одна или несколько успешно обученных моделей. Для проекта можно опубликовать только одну модель, зато это можно сделать в нескольких регионах в зависимости от ваших потребностей. Дополнительные сведения см. на странице цен на Переводчик.

1. Выберите Опубликовать модель в меню навигации слева.

2. Выберите Английский-немецкий с примерами данных и щелкните Опубликовать.

3. Проверьте нужные регионы.

4. Нажмите Публиковать. Состояние должно измениться с Развертывается на Развернуто.

   

Перевод текста

1. Разработчики должны использовать Category ID при выполнении запросов на перевод с помощью API перевода текстов версии 3 от Майкрософт. Дополнительные сведения об API перевода текстов можно найти на этой веб-странице.

2. Бизнес-пользователям, возможно, придется скачать и установить бесплатное приложение DocumentTranslator для Windows.

Дальнейшие действия

Узнайте, как управлять рабочими областями