Compartir a través de

¿Qué es Windows ML?

Windows Machine Learning (ML) permite a los desarrolladores de C#, C++y Python ejecutar modelos de IA de ONNX localmente en equipos Windows a través de ONNX Runtime, con administración automática del proveedor de ejecución para diferentes hardware (CPU, GPU, NPUs). ONNX Runtime se puede usar con modelos de PyTorch, Tensorflow/Keras, TFLite, scikit-learn y otros marcos.

Diagrama que ilustra un modelo ONNX que pasa a través de Windows ML para llegar a NPUs, GPU y CPU.

Si aún no está familiarizado con el entorno de ejecución de ONNX, se recomienda leer los documentos de ONNX Runtime. En resumen, Windows ML proporciona una copia compartida de Windows en tiempo de ejecución de ONNX, además de la capacidad de descargar dinámicamente proveedores de ejecución (EP).

Ventajas clave

  • Obtención dinámica de las direcciones IP más recientes : descarga y administra automáticamente los proveedores de ejecución específicos del hardware más recientes.
  • Entorno de ejecución de ONNX compartido: usa el entorno de ejecución de todo el sistema en lugar de agrupar el suyo propio, lo que reduce el tamaño de la aplicación.
  • Descargas e instalaciones más pequeñas : no es necesario llevar direcciones IP grandes y el entorno de ejecución de ONNX en la aplicación
  • Amplia compatibilidad con hardware : se ejecuta en equipos Windows (x64 y ARM64) y Windows Server con cualquier configuración de hardware

Requisitos del sistema

  • SO: versión de Windows compatible con Windows App SDK
  • Arquitectura: x64 o ARM64
  • Hardware: cualquier configuración de PC (CPU, GPU integradas o discretas, NPUs)

¿Qué es un proveedor de ejecución?

Un proveedor de ejecución (EP) es un componente que permite optimizaciones específicas del hardware para las operaciones de aprendizaje automático (ML). Los proveedores de ejecución abstraen diferentes back-end de proceso (CPU, GPU, aceleradores especializados) y proporcionan una interfaz unificada para la creación de particiones de grafos, el registro del kernel y la ejecución del operador. Para más información, consulte la documentación de ONNX Runtime.

Puedes ver la lista de direcciones IP que admite Windows ML aquí.

Cómo funciona

Windows ML incluye una copia del entorno de ejecución de ONNX y permite descargar dinámicamente proveedores de ejecución específicos del proveedor (EP), por lo que la inferencia del modelo se puede optimizar en toda la variedad de CPU, GPU y NPUs en el ecosistema de Windows.

Implementación automática

  1. Instalación de aplicaciones: el programa previo de Windows App SDK inicializa Windows ML
  2. Detección de hardware : tiempo de ejecución identifica los procesadores disponibles
  3. Descarga de EP : descarga automáticamente proveedores de ejecución óptimos
  4. Listo para ejecutarse : la aplicación puede usar inmediatamente modelos de inteligencia artificial.

Esto elimina la necesidad de:

  • Proveedores de ejecución de paquetes para proveedores de hardware específicos
  • Creación de compilaciones de aplicaciones independientes para distintos proveedores de ejecución
  • Controlar manualmente las actualizaciones del proveedor de ejecución

Nota:

Todavía es responsable de optimizar los modelos para diferentes hardware. Windows ML controla la distribución del proveedor de ejecución, no la optimización del modelo. Consulte Ai Toolkit y los tutoriales de onnx runtime para obtener más información sobre la optimización.

Optimización del rendimiento

La versión más reciente de Windows ML funciona directamente con proveedores de ejecución dedicados para GPU y NPUs, lo que proporciona un rendimiento de metal a la par con SDK dedicados del pasado, como TensorRT para RTX, AI Engine Direct e Extensión de Intel para PyTorch. Hemos diseñado Windows ML para tener el mejor rendimiento de GPU y NPU de clase, a la vez que conservamos las ventajas de escritura una vez ejecutado en cualquier lugar que ofrece la solución basada en DirectML anterior.

Uso de proveedores de ejecución con Windows ML

El entorno de ejecución de Windows ML proporciona una manera flexible de acceder a los proveedores de ejecución de aprendizaje automático (EP), que pueden optimizar la inferencia del modelo de ML en distintas configuraciones de hardware. Esos EP se distribuyen como paquetes independientes que se pueden actualizar independientemente del sistema operativo. Consulte los documentos de inicialización de proveedores de ejecución con Windows ML para obtener más información sobre cómo descargar y registrar direcciones IP dinámicamente.

Conversión de modelos a ONNX

Puedes convertir modelos de otros formatos a ONNX para que puedas usarlos con Windows ML. Consulte los documentos de Visual Studio Code AI Toolkit sobre cómo convertir modelos al formato ONNX para obtener más información. Consulte también los tutoriales del entorno de ejecución de ONNX para obtener más información sobre la conversión de modelos PyTorch, TensorFlow y Hugging Face a ONNX.

Administración de modelos

Windows ML proporciona opciones flexibles para administrar modelos de IA:

  • Catálogo de modelos: descargue dinámicamente modelos de catálogos en línea sin empaquetar archivos grandes
  • Modelos locales : incluir archivos de modelo directamente en el paquete de aplicación

Integración con el ecosistema de Inteligencia artificial de Windows

Windows ML sirve como base para la plataforma de inteligencia artificial de Windows más amplia:

  • API de Windows AI : modelos integrados para tareas comunes
  • Foundry Local : modelos de IA listos para usar
  • Modelos personalizados : acceso directo a la API de Windows ML para escenarios avanzados

Proporcionar comentarios

¿Encontró un problema o tiene sugerencias? Busque o cree problemas en GitHub del SDK de aplicaciones de Windows.

Pasos siguientes

  • Last updated on