¿Por qué deberían los productos digitales que diseñamos integrar algoritmos de IA que sean más interpretables, comprensibles y transparentes?

¿Por qué lo relevante, en la actualidad, no debería de ser el output del modelo de Inteligencia Artificial, sino entender el porqué un algoritmo está generando un determinado output?

¿Por qué necesitamos interfaces que nos posibiliten otra relación de mayor transparencia con los algoritmos? ¿Creéis que necesitamos productos de datos, interfaces, que nos permitan una mayor comprensión sobre nuestros patrones de comportamiento, facilitándonos una mejor, y consciente, toma de decisiones?

En la actualidad, los datos y los algoritmos de IA ya están condicionando la forma en la que pensamos, vemos y nos relacionamos con el mundo. En este nuevo escenario, vamos a necesitar nuevos patrones de diseño, nuevos productos de datos e interfaces, que nos faciliten una nueva relación con los algoritmos de Machine Learning.

Los algoritmos, que modelan nuestras vidas, deberían de ser objetos observables, abiertos, sobre los que poder, colectivamente, discutir las implicaciones de los efectos que imponen. El hecho de poder ser objetos observables nos facilitará construir nuevas formas de relación.

Mientras la mayoría de los expertos en la industria del Big Data y la Ciencia de Datos tienen como objetivo último la construcción de algoritmos que tengan la máxima precisión, al mismo tiempo, es común, que estos expertos ignoren el porqué un determinado algoritmo está generando un output en particular. Los resultados de un algoritmo de Inteligencia artificial son, con frecuencia, desplegados en entornos de producción como cajas negras (black boxes). 

Como usuarios de servicios digitales, recibimos continuamente recomendaciones de algoritmos basados en nuestros patrones de comportamiento pero, sin embargo, desconocemos cómo se están generando estas recomendaciones. Estos algoritmos de machine learning no nos están proporcionando un razonamiento. Por supuesto, no va a ser necesario mostrar el funcionamiento del algoritmo al usuario pero sí será importante transparentar qué datos están siendo usados y cómo se está generando un determinado output.

La transición hacia un entorno de Explainable Artificial Intelligence se acelerará principalmente a través de dos factores :

El primero es la demanda creciente, por parte de los usuarios, de la necesidad de transparencia en las decisiones que están imponiendo los algoritmos de inteligencia artificial.

Y el segundo, la necesidad, como usuarios, de poder tener una mayor confianza en éstos algoritmos. 

Proyectos de analítica avanzada, como son los modelos de Scoring o detección de churn, son casos de uso muy extendidos en la industria de servicios financieros, seguros y telecomunicaciones. Estos casos de uso, utilizan algoritmos de machine learning para asignar, a cada cliente, un score basado en sus datos históricos, con el objetivo, entre otros, de poder determinar la probabilidad de que un determinado cliente abandone la compañía o haga efectivo el pago de un préstamo bancario concedido.

En estos casos de uso, el algoritmo es una caja negra de la que sólo extraen valor las compañías, impidiendo al usuario poder activar sus propios datos. Si evolucionamos hacia un escenario en el que la mayoría de interacciones entre compañías y clientes estarán mediadas por algoritmos, vamos a necesitar que las compañías diseñen nuevas interfaces que nos permitan una mayor explicabilidad y confiabilidad en los algoritmos. 

Quería presentaros un servicio digital que opera en este nuevo escenario de diseñar productos digitales que proveen mayor interpretabilidad de los datos y los algoritmos y que faciliten una mayor información, y conocimiento, al cliente.

Credit Karma es una aplicación digital que provee al usuario, de forma completamente transparente, su score bancario basado en datos de su historial. A través de su producto, provee al usuario de información sobre qué tipo de datos y parámetros afectan a su credit score y sobre todo, qué puede hacer para mejorarlos. En esta solución, la explicabilidad del algoritmo hace referencia a la forma en la que éste procesa los datos y la importancia que tienen cada uno de los parámetros en la generación del score. 

Hoy, los expertos en Explicabilidad están, ya, inmersos en explorar el problema de los algoritmos de Inteligencia artificial como cajas negras. Este nuevo campo de investigación pone su foco en el diseño de IAs, más transparentes, que nos permitan entender mejor cuál ha sido el proceso de razonamiento seguido por el algoritmo.

A continuación, describiré diferentes técnicas de Explicabilidad que nos ayuden a entender mejor el funcionamiento de diferentes inteligencias artificiales :

Activation atlases.

Imagen Open AI & Google

Activation atlases es una tecnología desarrollada por Open AI & Google y cuyo objetivo es entender cómo un algoritmo de IA clasifica imágenes, además de poder, visualmente, identificar qué características tienen una mayor relevancia en la clasificación de una determinada imagen. Esta tecnología es, extremadamente, útil para identificar pequeños errores en los algoritmos de clasificación. En el ejemplo (imagen arriba), podéis ver cómo el sistema de visualización desvela que el modelo de IA, que fue diseñado para distinguir, diferenciar un wok de una sartén plana, correlaciona de forma errónea, la presencia de noodles con un wok. La técnica de visualización lo que explicita es la necesidad de enriquecer el dataset para reconocer otras características, como la profundidad del bowl o el mango corto, en la identificación, o clasificación, correcta de un wok.

La visualización desvela la necesidad de re-entrenar el modelo con otro tipo de imágenes que nos permitan captar mejor las características físicas de estos productos y posibilitar una mejora en el algoritmo de clasificación.

Saliency maps.

Imagen Saliency maps

Saliency maps es otra técnica de visualización avanzada diseñada para conseguir que los sistemas de IA expliquen, o al menos parcialmente, sus decisiones, es decir, poder describir de forma más detallada qué variables son las que tienen una mayor relevancia en la generación del output del modelo.

El sistema de visualización generará un mapa de calor que mostrará cuánto contribuyó cada uno de los píxeles en la clasificación de la imagen. En el ejemplo (imagen arriba), se demuestra cómo un modelo de clasificación de imágenes examinó cada uno de los pixeles de una fotografía de una oveja blanca y otra negra y determinó que la oveja blanca era importante en la clasificación del objeto como una oveja, sin embargo el algoritmo de clasificación determinó que la oveja negra probablemente era una vaca. Este resultado lo que desvela es la escasez de ovejas negras en el conjunto de datos de entrenamiento, para identificar correctamente la oveja de color negro. 

Counterfactual explanations.

Imagen https://www.noemamag.com/ai-must-explain-itself/

Otro método utilizado, con mucha frecuencia, para explicar los outputs de los modelos de aprendizaje automático son los counterfactual explanations.

Esta técnica revela una comprensión basada en cómo los cambios mínimos en los datos de entrada, en el modelo, generan un resultado diferente, lo que permite entender, de manera efectiva, cómo habría cambiado el resultado de un algoritmo si ciertas condiciones iniciales fueran diferentes. Por ejemplo, como veíamos, si una persona a la que se le niega un préstamo pudiese recibir una explicación sobre las variables que tienen una mayor influencia en la concesión del préstamo, esta información sería de gran valor para el usuario.

Explicaciones normativas vs explicaciones comparativas.

Imagen Quick Draw

Carrie Cai, investigadora de Google Brain, descubrió que diferentes tipos de explicaciones pueden llevar a los usuarios a diferentes conclusiones sobre la capacidad de los algoritmos de Inteligencia Artificial. Quick Draw es una red neuronal artificial que tiene como objetivo identificar, en tiempo real, bocetos. Si la red neuronal no puede identificar el boceto, imaginad por ejemplo, un dibujo de un aguacate, el sistema ofrece dos tipos de explicaciones :

Las explicaciones normativas muestran al usuario imágenes de bocetos de otros aguacates que el modelo identificó correctamente, para que el usuario pueda entender, de forma muy visual, cuáles son los principales atributos en la identificación del dibujo.

Las explicaciones comparativas, sin embargo, se muestran cuando el modelo no reconoce el boceto, y en este caso, muestra imágenes de otros dibujos con formas similares (como una pera o una patata, ver imagen arriba).

Ambos tipos de explicaciones permitirán a los usuarios entender, en tiempo real, el funcionamiento de estos algoritmos de inteligencia artificial, comprendiendo que características son las que tienen una mayor relevancia en los resultados de los modelos. Diseñar estos niveles de información, de explicabilidad, será muy relevante para generar una mayor confianza, por parte de los usuarios, en los resultados que proveen estos algoritmos.

Este artículo ha sido inspirado por este maravilloso artículo de NICOLE RIGILLO, AI Must Explain Itself.

¿Te gustaría tener acceso a los artículos que publiquemos? Suscríbete a la newsletter!

Referencias.

Open AI.

Técnicas de visualización avanzada.

Activation Atlas

Quick draw

Avatar
Posted by:Fran Castillo

@francastillo