Ponerse en los zapatos del human-in-the-loop

laboratorio de Exploración e Investigación

laboratorio de Exploración e Investigación

¿Qué ha pasado?

Todos habéis recibido el soporte incorrecto por parte de una IA

laboratorio de Exploración e Investigación

¿Qué ha pasado?

Unos habéis juzgado el caso antes de recibir el soporte de la IA

laboratorio de Exploración e Investigación

¿Qué ha pasado?

... pero otros habéis recibido el soporte erróneo de la IA desde el inicio

laboratorio de Exploración e Investigación

Algunos interrogantes

• ¿Ha podido afectar esto a vuestros juicios?
   
• ¿Y a vuestra confianza?
   
• ¿El orden en el que habéis recibido la información ha podido tener un efecto en vuestras decisiones?

laboratorio de Exploración e Investigación

Algunos interrogantes

• ¿Hubiérais juzgado el caso igual si los botones de decisión, en vez de ser "Inocente" o "Culpable", hubieran sido "Validar" la evaluación de la IA o "Rechazarla"?

laboratorio de Exploración e Investigación

Porque lo llaman IA, cuando quieren decir...

laboratorio de Exploración e Investigación

laboratorio de Exploración e Investigación

laboratorio de Exploración e Investigación

Definimos Inteligencia Artificial como cualquier invención que de alguna manera imita la inteligencia humana

INTELIGENCIA ARTIFICIAL

Inteligencia artificial

Machine learning

Redes neuronales

Deep learning

IA generativa

laboratorio de Exploración e Investigación

LABORATORIO DE EXPLORACIÓN E INVESTIGACIÓN

• Clasificación, como detección de correo basura o “spam”.
   

• Clustering y recomendación, como sugerir un libro en base a compras anteriores.
   

• Soporte a la decisión, como sistemas de diagnóstico.
   

• Regresión-predicción, como predecir el uso de un servicio, o la reincidencia de un preso.
   

• Interpretación y generación de texto (procesamiento de lenguaje natural).
   

• Generación creativa y artística.

Usos de la IA

LABORATORIO DE EXPLORACIÓN E INVESTIGACIÓN

Algunas cosas que quizá no sabías de ella...

Philipp Schmitt / Better Images of AI / Neural network diagram / CC-BY 4.0

laboratorio de Exploración e Investigación

Son cajas negras: interpretabilidad

laboratorio de Exploración e Investigación

Bikolabs (2020). Sesgo en la IA de reconocimiento de objetos

Son cajas negras: interpretabilidad

laboratorio de Exploración e Investigación

Riesgo de sesgo en todo el ciclo de vida

Catherina Xu & Tulsee Doshi (2019). Fairness Indicators: Scalable Infrastructure for Fair ML Systems.

laboratorio de Exploración e Investigación

Devries et al. (2019). Does Object Recognition Work for Everyone?

Riesgo de sesgo en todo el ciclo de vida

laboratorio de Exploración e Investigación

Angwin et al. (2017). Facebook (Still) Letting Housing Advertisers Exclude Users by Race​

Riesgo de sesgo en todo el ciclo de vida

laboratorio de Exploración e Investigación

Riesgo de sesgos propios

Pérez Colome, J. (2023, 10 Febrero). “No estoy como una chota, Pedro Sánchez tiene barba”. La inteligencia artificial de Bing pierde los papeles. El País.

laboratorio de Exploración e Investigación

Bikolabs (2023). Pretty Woman y la empanada de ChatGPT. Bikolabs.io

Riesgo de sesgos propios - alucinaciones

laboratorio de Exploración e Investigación

Bikolabs (2023). Pretty Woman y la empanada de ChatGPT. Bikolabs.io

Riesgo de sesgos propios- alucinaciones

laboratorio de Exploración e Investigación

Datos sintéticos

Del amo, M. (2024). Y cuando no queden más datos, ¿cómo entrenarás a tu inteligencia artificial?. Retina.

laboratorio de Exploración e Investigación

Datos sintéticos - el fake de los datos

laboratorio de Exploración e Investigación

Escala masiva

La investigadora Buolamwini

laboratorio de Exploración e Investigación

Escala masiva

laboratorio de Exploración e Investigación

No son videntes ni mentalistas

laboratorio de Exploración e Investigación

No nos librarán de las tareas 3Ds

laboratorio de Exploración e Investigación

La decisión humana final no es una garantía

 Saura, G., & Aragó, L. (2021). Un algoritmo impreciso condiciona la libertad de los presos. La Vanguardia

laboratorio de Exploración e Investigación

La decisión humana final no es una garantía

laboratorio de Exploración e Investigación

La decisión humana final no es una garantía

La decisión humana final no es una garantía

Procedimiento

laboratorio de Exploración e Investigación

Paso 0

Descripción de un caso criminal y testimonios de testigos

Álvarez, M., Martínez, N., Agudo, U., & Matute, H. (2023, September 28). ForenPsy 1.0. Retrieved from osf.io/detn4

Procedimiento

laboratorio de Exploración e Investigación

Paso 1.

Confirmar o modificar la evaluación de la IA

Grupo AIsupport → Judgment

Procedimiento

laboratorio de Exploración e Investigación

Paso 1.

Confirmar o modificar la evaluación de la IA

Grupo AIsupport → Judgment

Procedimiento

laboratorio de Exploración e Investigación

Paso 2.

Juicio sin el soporte de la IA

Grupo AIsupport → Judgment

laboratorio de Exploración e Investigación

Grupo Judgment→AISupport acertaban más

¿Acertaban más al juzgar al inicio que al final?

laboratorio de Exploración e Investigación

Poca conformidad... pero reducción del acierto

• No se encontraron diferencias estadísticamente significativas en la conformidad entre grupos.
   
• El soporte erróneo afectó negativamente al acierto de los participantes que modificaron la evaluación de la IA.

¿La conformidad (automation bias) era menor al final?

laboratorio de Exploración e Investigación

laboratorio de Exploración e Investigación