Часто задаваемые вопросы об использовании ИИ с Windows

WinML или Windows Машинное обучение — это высокоуровневый API для развертывания моделей машинного обучения с аппаратным ускорением на устройствах Windows, позволяющих разработчикам использовать возможности устройства для вывода модели. Основное внимание уделяется загрузке, привязке и оценке модели. WinML использует формат модели ONNX.

DirectML — это низкоуровневый API для машинного обучения, который обеспечивает ускорение GPU для распространенных задач машинного обучения в широком спектре поддерживаемых аппаратных и драйверов, включая все gpu с поддержкой DirectX 12 от поставщиков, таких как AMD, Intel, NVIDIA и Qualcomm. DirectML — это компонент WinML.

Open Network Neural Exchange или ONNX — это открытый стандартный формат для представления моделей машинного обучения. Популярные платформы модели машинного обучения, такие как PyTorch, TensorFlow, SciKit-Learn, Keras, Chainer, MATLAB и т. д., можно экспортировать или преобразовать в стандартный формат ONNX. В формате ONNX модель может работать на различных платформах и устройствах. ONNX хорошо подходит для использования модели машинного обучения в другом формате, чем обучено.

Среда выполнения ONNX или ORT — это унифицированное средство выполнения для выполнения моделей в разных платформах (PyTorch, TensorFlow и т. д.), которое поддерживает аппаратные акселераторы (ЦП устройств, gpuus или NPUs).

PyTorch и TensorFlow используются для разработки, обучения и запуска моделей глубокого обучения, используемых в приложениях ИИ. PyTorch часто используется для исследований, TensorFlow часто используется для промышленного развертывания, и ONNX — это стандартизованный формат обмена моделями, который мостит разрыв, что позволяет переключаться между платформами по мере необходимости и совместимости между платформами.

Модуль нейронной обработки или NPU — это выделенный чип искусственного интеллекта, разработанный специально для выполнения задач ИИ. Фокус NPU отличается от значения ЦП или GPU. Центральный процессор или ЦП является основным процессором на компьютере, ответственным за выполнение инструкций и вычислений общего назначения. Единица обработки графики или GPU — это специализированный процессор, предназначенный для отрисовки графики и оптимизированного для параллельной обработки. Он может отрисовка сложных изображений для задач редактирования видео и игровых задач.

NPUs предназначены для ускорения алгоритмов глубокого обучения и могут удалять некоторые работы с ЦП или GPU компьютера, чтобы устройство работало более эффективно. NPUs создаются специально для ускорения задач нейронной сети. Они выполняют обработку больших объемов данных параллельно, что делает их идеальными для распространенных задач ИИ, таких как распознавание изображений или обработка естественного языка. Например, во время задачи распознавания изображений NPU может отвечать за обнаружение объектов или ускорение изображений, а GPU отвечает за отрисовку изображений.

Чтобы проверка тип ЦП, GPU или NPU на устройстве с Windows, а также как он выполняется, откройте диспетчер задач (CTRL+ALT+ Удалить), а затем перейдите на вкладку "Производительность", и вы сможете видеть ЦП, память, Wi-Fi, GPU и (или) NPU, а также сведения о скорости, скорости использования и других данных.

LLM — это тип модели Машинное обучение (ML), известной для достижения генерации и понимания языка общего назначения. LLM — это искусственные нейронные сети, которые получают возможности путем обучения статистических связей из огромных объемов текстовых документов во время вычислительно интенсивного самозащищенного и полузащищенного процесса обучения. LLM часто используются для создания текста, формы генерированного искусственного интеллекта, который, учитывая некоторый входной текст, создает слова (или маркеры), которые, скорее всего, создают последовательные и контекстно релевантные предложения в ответ. Существуют также небольшие языковые модели (SLM), которые имеют меньше параметров и более ограниченную емкость, но могут быть более эффективными (требующими меньше вычислительных ресурсов), экономически эффективными и идеально подходят для конкретных доменов.

В Машинное обучение обучение модели включает в себя кормление набора данных в модель (LLM или SLM), позволяя ей учиться на основе данных, чтобы модель могли принимать прогнозы или решения на основе данных, распознавая шаблоны. Он также может включать настройку параметров модели итеративно для оптимизации производительности.

Процесс использования обученной модели машинного обучения для создания прогнозов или классификаций на новых невидимых данных называется "Вывод". Когда языковая модель была обучена в наборе данных, изучая свои базовые шаблоны и связи, она готова применить эти знания к реальным сценариям. Вывод — это момент истины модели искусственного интеллекта, проверка того, насколько хорошо она может применять информацию во время обучения, чтобы сделать прогноз или решить задачу. Процесс использования существующей модели вывода отличается от этапа обучения, который требует использования данных обучения и проверки для разработки модели и точной настройки параметров.

Предварительная настройка — это важный шаг в машинном обучении, где предварительно обученная модель адаптирована для выполнения конкретной задачи. Вместо обучения модели с нуля настройка начинается с существующей модели (обычно обученной на большом наборе данных) и настраивает его параметры с помощью меньшего набора данных для конкретной задачи. Путем точной настройки модель изучает функции, связанные с задачами, сохраняя общие знания, полученные во время предварительного обучения, что приводит к повышению производительности для конкретных приложений.

Проектирование запросов — это стратегический подход, используемый с генерируемым ИИ для формирования поведения и ответов языковой модели. Он включает в себя тщательное создание входных запросов или запросов для достижения желаемого результата из языковой модели (например, GPT-3 или GPT-4). Создав эффективный запрос, вы можете управлять моделью машинного обучения, чтобы создать нужный тип ответа. Методы включают настройку слов, указание контекста или использование кодов элементов управления для влияния на выходные данные модели.

Аппаратное ускорение относится к использованию специализированного компьютерного оборудования, предназначенного для ускорения приложений ИИ за пределами того, что достижимо с ЦП общего назначения. Аппаратное ускорение повышает скорость, энергоэффективность и общую производительность задач машинного обучения, таких как модели обучения, создание прогнозов или разгрузка вычислений на выделенные аппаратные компоненты, которые выполняют параллельную обработку для рабочих нагрузок глубокого обучения. Графические процессоры и NPUs являются примерами аппаратных акселераторов.