Galería de ejemplos de IA en Windows

Una colección de ejemplos en los que se muestra una variedad de formas de mejorar las aplicaciones de Windows mediante las API locales y los modelos de Machine Learning (ML), la aceleración de hardware local mediante DirectML y las API basadas en la nube.

Mejorar las aplicaciones de Windows con IA mediante API locales y modelos de ML

Estos ejemplos le ayudarán a mejorar las aplicaciones de Windows con IA mediante las API locales y los modelos de Machine Learning.

Editor de audio con tecnología de IA

Repositorio de GitHub: ejemplo de editor de audio con IA

Descripción: el Editor de audio con tecnología de IA muestra la creación de una aplicación de edición de audio WinUI 3 que usa la IA para hacer buscar coincidencias entre los recortes de audio y la consulta pertinente. Un ejemplo de caso de uso podría ser un creador de podcasts que quiera crear clips de audio cortos de su contenido para promocionarlo en redes sociales. En el ejemplo se usa la inferencia del modelo de ML local para controlar la transcripción y la búsqueda semántica.

Características: inferencia de modelos locales con ONNX Runtime, modelo Whisper, Modelo de inserción

Tipo de aplicación: C#, WinUI 3

Aplicación de notas con tecnología de IA

Repositorio de GitHub: aplicación de ejemplo de notas con tecnología de IA

Descripción: esta aplicación de toma de notas con tecnología de IA muestra el uso de las API, como el reconocimiento de texto mediante OCR, la transcripción de audio a través del modelo de ML local, la búsqueda semántica a través de un modelo de inserción local, el uso del modelo de lenguaje local con Phi3 para resumir, autocompletar y razonar texto, y la generación aumentada de recuperación (RAG) para fundamentar modelos de lenguaje en datos reales.

Características: búsqueda semántica con modelo local, transcripción de audio con modelo local, generación aumentada de recuperación local (RAG) con Phi3, resumen de texto local y razonamiento con Phi3, extracción de texto de imágenes con API de OCR

Tipo de aplicación: C#, WinUI 3

Generación aumentada de recuperación (RAG) con archivos PDF y Phi3

Repositorio de GitHub: aplicación de ejemplo WPF de analizador de PDF RAG

Descripción: esta aplicación de ejemplo de WPF muestra cómo crear una experiencia con un modelo de lenguaje local (como Phi3) para responder a preguntas sobre el contenido de un documento PDF. El ejemplo busca respuestas haciendo referencia a una base de conocimiento ajena a los propios datos de entrenamiento del modelo antes de generar una respuesta. Este patrón, denominado Generación aumentada de recuperación (RAG), es un ejemplo de cómo fundamentar un modelo de lenguaje en datos autoritativos reales.

Características: generación aumentada de recuperación (RAG), IA generativa de ONNX Runtime, DirectML

Tipo de aplicación: C#, WPF

Chat de IA generativa de Phi3

Repositorio de GitHub: ejemplo de WinUI 3 de chat de Phi3

Descripción: en esta aplicación WinUI 3 de ejemplo se muestra cómo usar la biblioteca de IA generativa de ONNX Runtime para crear una experiencia de chat con un modelo de lenguaje local, en concreto el modelo de lenguaje pequeño Phi3 (SLM).

Características: Phi3, IA generativa de ONNX Runtime, DirectML

Tipo de aplicación: C#, WinUI 3

Ejemplo de Efectos de Windows Studio

Repositorio de GitHub: aplicación de ejemplo de Efectos de Windows Studio

Descripción: obtenga información sobre cómo controlar Efectos de Studio para la cámara desde la aplicación Windows en este ejemplo de código. Comprueba si hay disponible alguna cámara compatible en el sistema (requiere un dispositivo con una NPU y una cámara integrada), obtiene y establece controles de cámara ampliados asociados a Efectos de Windows Studio, como desenfoque del fondo, corrección de la mirada y encuadre automático.

Características: Efectos de Windows Studio

Tipo de aplicación: C#, WPF

Aceleración de hardware local a través de DirectML

Difusión estable acelerada por hardware en la web

Repositorio de GitHub: difusión estable de WebNN Turbo

Descripción: en este ejemplo se muestra cómo usar WebNN con ONNX Runtime web para ejecutar la difusión estable localmente en la GPU con DirectML. SD-Turbo es un modelo de texto a imagen generativo rápido capaz de sintetizar imágenes fotorrealistas a partir de un mensaje de texto en una única evaluación de red. En la demostración, puede generar una imagen en 2 s en dispositivos PC con IA utilizando la API de WebNN, una API dedicada de bajo nivel para la aceleración de hardware de inferencia de red neuronal.

Características: generación local de imágenes, WebNN, DirectML

Tipo de aplicación: JavaScript, aplicaciones web

Segment Anything acelerado por hardware en la web

Repositorio de GitHub: WebNN Segment Anything

Descripción: en este ejemplo se muestra cómo usar WebNN con ONNX Runtime web para ejecutar Segment Anything localmente en la GPU con DirectML. Segment Anything es un nuevo modelo de IA de Meta AI capaz de "cortar" cualquier objeto. En la demostración, puede segmentar cualquier objeto de las imágenes cargadas.

Características: segmentación de imágenes locales, WebNN, DirectML

Tipo de aplicación: JavaScript, aplicaciones web

Whisper acelerado por hardware en la web

Repositorio de GitHub: WebNN Whisper Base

Descripción: en este ejemplo se muestra cómo usar WebNN con ONNX Runtime web para ejecutar localmente las funcionalidades de conversión de voz en texto del modelo Whisper en la GPU o NPU con DirectML. Whisper Base es un modelo previamente entrenado para el reconocimiento de voz automático (ASR) y la traducción de voz. En la demostración, puede probar la característica de conversión de voz en texto mediante la inferencia en el dispositivo con tecnología de la API de WebNN y DirectML, especialmente la aceleración de NPU.

Características: conversión de voz en texto local, WebNN, DirectML

Tipo de aplicación: JavaScript, aplicaciones web

Modelos de lenguaje ONNX Runtime acelerados y optimizados previamente por hardware (Phi3, Llama3, etc.) con DirectML

Repositorio de GitHub: ejemplos de DirectML en el repositorio Olive

Descripción: en este ejemplo se muestra cómo ejecutar localmente un modelo de lenguaje ONNX Runtime (ORT) optimizado previamente en la GPU con DirectML. En el ejemplo se incluyen instrucciones sobre cómo configurar el entorno, descargar los modelos de lenguaje entrenados previamente más recientes mediante la API de generación de ORT y ejecutar el modelo en una aplicación de Gradio.

Características: aceleración de hardware, GenAI, ONNX, ONNX Runtime, DirectML

Tipo de aplicación: Python, Gradio

Modelos de PyTorch acelerados por hardware (Phi3, Llama3, etc.) con DirectML

Repositorio de GitHub: ejemplos de PyTorch de DirectML

Descripción: en este ejemplo se muestra cómo ejecutar un modelo de lenguaje de Pytorch localmente en la GPU con DirectML. En el ejemplo se incluyen instrucciones sobre cómo configurar el entorno, descargar los modelos de lenguaje entrenados previamente más recientes y ejecutar el modelo en una aplicación de Gradio. Este ejemplo admite varios modelos de lenguaje de código abierto, como modelos Llama, Phi3-mini, Phi2 y Mistral-7B.

Características: aceleración de hardware, PyTorch, DirectML

Tipo de aplicación: Python, Gradio

Mejora de las aplicaciones de Windows con IA mediante las API en la nube

Puede encontrar más ejemplos de API basadas en la nube en la documentación de los servicios de Azure AI.

Incorporación de finalizaciones de chat de OpenAI a la aplicación winUI 3 o al SDK de Aplicaciones para Windows

Tutorial: Incorporación de finalizaciones de chat de OpenAI a la aplicación winUI 3 o al SDK de Aplicaciones para Windows

Descripción: integre las funcionalidades de finalización de chat de OpenAI en una aplicación de escritorio WinUI 3 o SDK de Aplicaciones para Windows.

Características: finalización de chat de OpenAI

Tipo de aplicación: C#, WinUI 3

Adición de DALL-E a la aplicación de escritorio del SDK de Aplicaciones para Windows o WinUI 3

Tutotial: Adición de DALL-E a la aplicación de escritorio del SDK de Aplicaciones para Windows o WinUI 3

Descripción: integre las funcionalidades de generación de imágenes de OpenAI DALL-E en una aplicación de escritorio WinUI 3 o SDK de Aplicaciones para Windows.

Características: generación de imágenes

Tipo de aplicación: C#, WinUI 3

Creación de una aplicación de recomendación con .NET MAUI y ChatGPT

Tutorial: Creación de una aplicación de recomendación con .NET MAUI y ChatGPT

Descripción: integre las funcionalidades de finalización de chat de OpenAI en una aplicación de escritorio .NET MAUI.

Características: generación de imágenes

Tipo de aplicación: C#, .NET MAUI

Añadir DALL-E a la aplicación de escritorio .NET MAUI para Windows

Tutorial: Añadir DALL-E a la aplicación de escritorio .NET MAUI para Windows

Descripción: integre las funcionalidades de generación de imágenes de OpenAI DALL-E en una aplicación de escritorio .NET MAUI.

Características: generación de imágenes

Tipo de aplicación: C#, .NET MAUI

Ejemplos de WinML antiguos

Repositorio de GitHub: ejemplos de WinML en GitHub

Descripción: WinML sigue siendo compatible, pero estos ejemplos no se han actualizado para reflejar el uso moderno de la IA.