Evaluación de los sistemas de IA y toma de decisiones controladas por datos con el panel de IA responsable de Azure Machine Learning (versión preliminar)

La IA responsable requiere una ingeniería rigurosa. Sin embargo, la ingeniería rigurosa puede ser tediosa, manual y lenta si no se cuenta con las herramientas y la infraestructura adecuadas. Los científicos de datos necesitan herramientas para implementar la IA responsable en la práctica de forma eficaz y eficaz.

El panel de IA responsable ofrece una única interfaz que hace que la ingeniería de aprendizaje automático responsable sea eficaz e interoperable a lo largo del ciclo de vida general de desarrollo y evaluación de modelos. La herramienta reúne varias herramientas maduras de IA responsable en las áreas de evaluación de estadísticas de modelos, exploración de datos, interpretabilidad del aprendizaje automático, evaluación de la inequidad, análisis de errores, inferencia causal y análisis contrafactual, para una evaluación holística y depuración de modelos y tomar decisiones empresariales informadas. Con un único comando o un asistente simple de interfaz de usuario, el panel aborda los problemas de fragmentación de varias herramientas y le permite:

  1. Evaluar y depurar los modelos de Machine Learning mediante la identificación de errores del modelo, el diagnóstico de por qué se producen esos errores e información sobre los pasos de mitigación.
  2. Aumentar las capacidades de toma de decisiones controladas por datos, al abordar preguntas como "¿cuál es el cambio mínimo que el usuario final podría aplicar a las características para obtener un resultado diferente del modelo?" o "¿cuál es el efecto causal de reducir el consumo de carne roja en el avance de la diabetes?".
  3. Exportar los metadatos de IA responsable de los datos y modelos para compartirlos sin conexión con las partes interesadas de un producto y de cumplimiento.

Componentes del panel de IA responsable

El panel de IA responsable reúne, en una vista integral, varias herramientas nuevas y preexistentes, que se integran en la CLI v2 de Azure Machine Learning, el SDK v2 de Python y Studio. Estas herramientas son:

  1. Explorador de datos para comprender y explorar las distribuciones y estadísticas de los conjuntos de datos.
  2. Información general del modelo y evaluación de equidad para valorar el rendimiento del modelo y valorar los problemas de equidad de los grupos en el modelo (de qué manera los diversos grupos de personas se ven afectados por las predicciones del modelo).
  3. Análisis de errores para ver y comprender las distribuciones de los errores del modelo en un conjunto de datos a través de un mapa de árbol de decisión o una visualización de mapa térmico.
  4. Interpretabilidad del modelo (valores de importancia de las características individuales o agregadas) para comprender las predicciones del modelo y cómo se hacen esas predicciones generales e individuales.
  5. Análisis contrafactual e hipotético para observar de qué modo las alteraciones de las características afectarían a las predicciones del modelo y proporcionarle los puntos de datos más cercanos con predicciones del modelo opuestas o diferentes.
  6. Análisis causal para usar datos históricos para ver los efectos causales de las características de tratamiento en el resultado real.

Juntos, estos componentes le permitirán depurar los modelos de Machine Learning, al tiempo que informan las decisiones controladas por datos y controladas por modelos.

 Diagram of Responsible A I dashboard components for model debugging and responsible decision making.

Depuración de modelos

La evaluación y depuración de modelos de Machine Learning es fundamental para la confiabilidad, la interoperabilidad, la equidad y el cumplimiento del modelo. Ayuda a determinar cómo y por qué los sistemas de IA se comportan de la manera en que lo hacen. Después, puede usar este conocimiento para mejorar el rendimiento del modelo. Conceptualmente, la depuración de modelos consta de tres fases:

  • Identificación, para comprender y reconocer los errores del modelo al abordar las preguntas siguientes:
    • ¿Qué tipos de errores tiene el modelo?
    • ¿En qué áreas son más frecuentes los errores?
  • Diagnóstico, para explorar los motivos que subyacen a los errores identificados al abordar:
    • ¿Cuáles son las causas de estos errores?
    • ¿Dónde debo centrar los recursos para mejorar el modelo?
  • Mitigación, para usar la información de identificación y diagnóstico de las fases anteriores para dar pasos de mitigación específicos y abordar preguntas como:
    • ¿Cómo puedo mejorar el modelo?
    • ¿Qué soluciones sociales o técnicas existen para estos problemas?

Diagram of model debugging via responsible A I dashboard with the information in the table below.

A continuación se muestran los componentes del panel de IA responsable que participan en la depuración de modelos:

Fase Componente Descripción
Identificar Análisis de errores El componente Análisis de errores brinda a los profesionales de aprendizaje automático una comprensión más profunda de la distribución de los errores del modelo y ayuda a identificar rápidamente cohortes erróneas de datos.

Las funcionalidades de este componente del panel se basan en las funcionalidades del Análisis de errores para la generación de perfiles de errores del modelo.
Identificar Análisis de equidad El componente Equidad evalúa cómo se ven afectados los distintos grupos (definidos en cuanto a atributos confidenciales, como sexo, raza, edad, etc.) por las predicciones del modelo y cómo se pueden mitigar las disparidades observadas. Para evaluar el rendimiento del modelo, examina la distribución de los valores de predicción y los valores de las métricas de rendimiento del modelo entre los distintos subgrupos confidenciales. Las funcionalidades de este componente del panel se basan en las funcionalidades de Fairlearn para la generación de evaluaciones de equidad del modelo.
Identificar Introducción al modelo El componente Estadísticas de modelo agrega varias métricas de evaluación del modelo, que muestran una vista general de la distribución de las predicciones del modelo para una mejor investigación de su rendimiento. También permite la evaluación de equidad del grupo, resaltando el desglose del rendimiento del modelo en distintos grupos confidenciales.
Diagnóstico Data Explorer El componente Explorador de datos ayuda a visualizar conjuntos de datos en función de los resultados previstos y reales, los grupos de errores y las características específicas. Esto ayuda a identificar problemas de representación excesiva o insuficiente, y a ver cómo se agrupan los datos en el conjunto de datos.
Diagnóstico Interpretabilidad del modelo El componente Interpretabilidad genera explicaciones comprensibles por los humanos, de las predicciones de un modelo de Machine Learning. Ofrece varias vistas sobre el comportamiento de un modelo: explicaciones globales (por ejemplo, qué características afectan al comportamiento general de un modelo de asignación de préstamos) y explicaciones locales (por ejemplo, por qué se aprobó o rechazó la solicitud de préstamo de un solicitante).

Las funcionalidades de este componente en el panel se basan en las funcionalidades de InterpretML para la generación de explicaciones del modelo.
Diagnóstico Análisis contrafactual e hipotético El componente Análisis contrafactual e hipotético consta de dos funcionalidades para un mejor diagnóstico de errores:
- Generar un conjunto de ejemplos con cambios mínimos en un punto determinado, de modo que cambien la predicción del modelo (que muestra los puntos de datos más cercanos con precisiones de modelo opuestas).
- Permitir las perturbaciones hipotéticas interactivas y personalizadas de los puntos de datos individuales para comprender de qué manera reacciona el modelo a los cambios de las características.

Las funcionalidades de este componente en el panel se basan en el paquete DiCE, que, para brindar esta información, muestra las versiones perturbadas por las características del mismo punto de datos, que habrían recibido una predicción de modelo diferente (por ejemplo, Taylor habría recibido la predicción de aprobación del préstamo si sus ingresos anuales fueran mayores que 10 000 USD).

Los pasos de mitigación están disponibles a través de herramientas independientes, como Fairlearn (para la mitigación de la inequidad).

Toma de decisiones responsable

La toma de decisiones es una de las mayores promesas del aprendizaje automático. El panel de IA responsable le ayuda a que las decisiones empresariales controladas por modelos y controladas por datos cuenten con mayor información.

  • Información controlada por datos para comprender aún más los efectos heterogéneos de tratamiento en un resultado, usando solo datos históricos. Por ejemplo, "¿cómo afectaría un medicamento a la presión arterial de un paciente?". Esta información se proporciona a través del componente Inferencia causal del panel.
  • Información basada en modelos, para responder a las preguntas de los usuarios finales, como "¿qué puedo hacer para obtener un resultado diferente de la IA la próxima vez?" para informar sus acciones. Esta información se proporciona a los científicos de datos a través del componente Análisis contrafactual e hipotético descrito anteriormente.

Responsible A I dashboard capabilities for responsible business decision making.

El análisis exploratorio de datos, el análisis contrafactual y las funcionalidades de inferencia causal pueden ayudarle a tomar decisiones informadas controladas por modelos y controladas por datos de forma responsable.

A continuación se muestran los componentes del panel de IA responsable que sustentan la toma de decisiones responsable:

  • Data Explorer
    • El componente se puede reutilizar aquí para comprender las distribuciones de datos e identificar la representación excesiva e insuficiente. La exploración de datos es una parte fundamental de la toma de decisiones, ya que se puede concluir que no es factible tomar decisiones informadas sobre una cohorte que está subrepresentada dentro de los datos.
  • Inferencia causal
    • El componente Inferencia causal calcula cómo cambia un resultado real en presencia de una intervención. Además, ayuda a construir intervenciones prometedoras mediante la simulación de diferentes respuestas de la característica a diversas intervenciones y la creación de reglas para determinar qué cohortes de la población se beneficiarían de una intervención determinada. En conjunto, estas funcionalidades le permiten aplicar nuevas directivas y afectar al cambio en el mundo real.
    • Las funcionalidades de este componente se basan en el paquete EconML, que calcula los efectos heterogéneos de tratamiento a partir de los datos observacionales a través del aprendizaje automático.
  • Análisis contrafactual
    • El componente Análisis contrafactual descrito anteriormente podría reutilizarse aquí para ayudar a los científicos de datos a generar un conjunto de puntos de datos similares con resultados de predicción opuestos (mostrando los cambios mínimos aplicados a las características de un punto de datos que conducen a predicciones del modelo opuestas). Proporcionar ejemplos contrafactuales a los usuarios finales alimenta su perspectiva, los educa acerca de cómo pueden emprender acciones para obtener el resultado deseado del modelo en el futuro.
    • Las funcionalidades de este componente se basan en el paquete DiCE.

¿Por qué debería usar el panel de IA responsable?

Aunque la IA responsable se trata de una ingeniería rigurosa, su operacionalización es tediosa, manual y lenta sin las herramientas e infraestructura adecuadas. Hay muy pocas instrucciones, y escasas herramientas y marcos inconexos disponibles para permitir a los científicos de datos explorar y evaluar sus modelos de manera holística.

Aunque se han logrado avances en herramientas individuales para áreas específicas de la IA responsable, los científicos de datos a menudo tienen que usar juntas varias de estas herramientas para evaluar holísticamente sus modelos y datos. Por ejemplo, si un científico de datos detecta un problema de equidad con una herramienta, tiene que ir a otra herramienta para comprender qué factores de los datos o del modelo se hallan en la raíz del problema antes de emprender cualquier paso para la mitigación. Este proceso muy complejo es aún más complicado por las razones siguientes. En primer lugar, no hay ninguna ubicación central donde conocer y aprender sobre las herramientas, lo que amplía el tiempo necesario para investigar y aprender nuevas técnicas. En segundo lugar, las distintas herramientas no se comunican exactamente entre sí. Los científicos de datos tienen que reorganizar los conjuntos de datos, los modelos y otros metadatos a medida que los pasan a las distintas herramientas. En tercer lugar, las métricas y visualizaciones no se pueden comparar con facilidad, y los resultados son difíciles de compartir.

El panel de IA responsable es la primera herramienta integral, que aúna experiencias fragmentadas, lo que le permite incorporarse sin problemas en un único marco personalizable para la depuración de modelos y la toma de decisiones controladas por datos.

Personalización del panel de IA responsable

La fortaleza del panel de IA responsable radica en su capacidad de personalización. Permite a los usuarios diseñar flujos de trabajo integrales y a la medida para la depuración de modelos y la toma de decisiones, de manera que puedan abordar sus necesidades específicas. ¿Necesitas un poco de inspiración? Estos son algunos ejemplos de cómo se pueden reunir los componentes del cuadro de herramientas para analizar escenarios de diversas maneras:

Flujo del panel de IA responsable Caso de uso
Información general del modelo -> Análisis de errores -> Explorador de datos Para identificar errores del modelo y diagnosticarlos al comprender la distribución de los datos subyacentes.
Información general del modelo -> Evaluación de la equidad -> Explorador de datos Para identificar problemas de equidad del modelo y diagnosticarlos al comprender la distribución de los datos subyacentes.
Información general del modelo - > Análisis de errores - > Análisis contrafactual e hipotético Para diagnosticar errores en instancias individuales con análisis contrafactual (cambio mínimo que lleve a una predicción diferente del modelo).
Información general del modelo -> Explorador de datos Para comprender la causa principal de los errores y problemas de equidad introducidos a través de desequilibrios en los datos o falta de representación de una cohorte de datos determinada.
Información general del modelo -> Interpretabilidad Para diagnosticar errores del modelo al comprender cómo el modelo ha hecho sus predicciones.
Explorador de datos -> Inferencia causal Para distinguir entre correlaciones y causas en los datos o decidir los mejores tratamientos que se aplicarán para obtener un resultado positivo.
Interpretabilidad -> Inferencia causal Para saber si los factores que ha usado el modelo para la toma de decisiones tienen algún efecto causal en el resultado real.
Explorador de datos -> Análisis contrafactual e hipotético Para abordar las preguntas de los clientes sobre qué pueden hacer la próxima vez para obtener un resultado diferente de una inteligencia artificial.

¿Quién debería usar el panel de IA responsable?

El panel de IA responsable y su correspondiente cuadro de mandos de IA responsable podrían incorporarse mediante los siguientes roles para generar confianza con sistemas de IA.

  • Ingenieros de modelos de Machine Learning y científicos de datos interesados en depurar y mejorar sus modelos de Machine Learning antes de la implementación. Ingenieros de modelos de Machine Learning y científicos de datos interesados en compartir sus registros de estado del modelo con administradores de productos y las partes interesadas empresariales para generar confianza y recibir permisos de implementación.
  • Administradores de productos y partes interesadas empresariales que revisan los modelos de Machine Learning antes de la implementación.
  • Responsables de riesgos que revisan modelos de Machine Learning para comprender los problemas de equidad y confiabilidad.
  • Proveedores de soluciones que quieren explicar las decisiones del modelo a los usuarios finales.
  • Partes interesadas empresariales que tienen que revisar los modelos de Machine Learning con reguladores y auditores.

Modelos y escenarios admitidos de aprendizaje automático

Se admiten modelos de scikit-learn para la generación y las explicaciones contrafactuales. Los modelos de scikit-learn deben implementar métodos predict()/predict_proba(), o el modelo se debe encapsularse dentro de una clase que implemente métodos predict()/predict_proba().

Actualmente, se admite la generación y las explicaciones contrafactuales de los conjuntos de datos tabulares que tienen tipos de datos numéricos y categóricos. La generación y las explicaciones contrafactuales son compatibles con datos de texto sin formato, imágenes y datos históricos.

Pasos siguientes