LABORATORIO DE EXPLORACIÓN E INVESTIGACIÓN

Hoy hablaremos de

IA Sí/No en las decisiones

Bucles infinitos

Máquinas trucadas

Sistemas automatizados en
todo tipo de decisiones

laboratorio de Exploración e Investigación

• Decisiones totalmente automatizadas

• Decisiones con algoritmos de recomendación

• Decisiones cuasi-automatizadas (supervisión humana)

Decisiones cuasi-automatizadas (supervisión humana)

laboratorio de Exploración e Investigación

Supervisión humana: Human-in-the-loop

laboratorio de Exploración e Investigación

European Commission (2019). Ethics Guidelines for Trustworthy AI.

Ponerse en los zapatos del human-in-the-loop

Ponerse en los zapatos del human-in-the-loop

laboratorio de Exploración e Investigación

¿Qué ha pasado?

laboratorio de Exploración e Investigación

Todos habéis recibido el soporte incorrecto por parte de una IA

¿Qué ha pasado?

laboratorio de Exploración e Investigación

Unos habéis juzgado el caso antes de recibir el soporte de la IA

¿Qué ha pasado?

laboratorio de Exploración e Investigación

... pero otros habéis recibido el soporte erróneo de la IA desde el inicio

Algunos interrogantes

laboratorio de Exploración e Investigación

• ¿Ha podido afectar esto a vuestros juicios?
   
• ¿Y a vuestra confianza?
   
• ¿El orden en el que habéis recibido la información ha podido tener un efecto en vuestras decisiones?

laboratorio de Exploración e Investigación

Muestra de interfaz de decisión en RisCanvi

Algunos interrogantes

• ¿Hubiérais juzgado el caso igual si los botones de decisión, en vez de ser "Inocente" o "Culpable", hubieran sido "Validar" la evaluación de la IA o "Rechazarla"?

La interfaz y el proceso (loop) de decisión (ej. RisCanvi)

laboratorio de Exploración e Investigación

laboratorio de Exploración e Investigación

La interfaz y el proceso (loop) de decisión (ej. RisCanvi)

laboratorio de Exploración e Investigación

La interfaz y el proceso (loop) de decisión (ej. RisCanvi)

laboratorio de Exploración e Investigación

La interfaz y el proceso (loop) de decisión (ej. RisCanvi)

laboratorio de Exploración e Investigación

La interfaz y el proceso (loop) de decisión (ej. RisCanvi)

¿Conformidad excesiva? (Automation bias)

laboratorio de Exploración e Investigación

 Saura, G., & Aragó, L. (2021). Un algoritmo impreciso condiciona la libertad de los presos. La Vanguardia

laboratorio de Exploración e Investigación

Poner a prueba el proceso estándar

Un par de experimentos
para testarlo

laboratorio de Exploración e Investigación

Manipular el momento en que se presenta la evaluación del sistema y obligar a los humanos a emitir explícitamente su juicio...

Nuestra hipótesis:

(a) aumentará el acierto cuando el sistema comete errores.

(b) reducirá la conformidad excesiva.

Diseño de los dos experimentos

laboratorio de Exploración e Investigación

Grupo

Paso 0

Paso 1

Paso 2

AISupport→Judgment

Judgment→AISupport

Descripción de un caso criminal y testimonios de testigos

Confirmar o modificar la evaluación de la IA

Juicio sin el soporte de la IA

Juicio sin el soporte de la IA

Confirmar o modificar la evaluación de la IA

Procedimiento

laboratorio de Exploración e Investigación

Paso 0

Descripción de un caso criminal y testimonios de testigos

Álvarez, M., Martínez, N., Agudo, U., & Matute, H. (2023, September 28). ForenPsy 1.0. Retrieved from osf.io/detn4

Procedimiento

laboratorio de Exploración e Investigación

Paso 1.

Confirmar o modificar la evaluación de la IA

Grupo AIsupport → Judgment

Procedimiento

laboratorio de Exploración e Investigación

Paso 1.

Confirmar o modificar la evaluación de la IA

Grupo AIsupport → Judgment

Procedimiento

laboratorio de Exploración e Investigación

Paso 2.

Juicio sin el soporte de la IA

Grupo AIsupport → Judgment

Orden cambiado por grupo

laboratorio de Exploración e Investigación

Grupo

Paso 0

Paso 1

Paso 2

AISupport→Judgment

Judgment→AISupport

Descripción de un caso criminal y testimonios de testigos

Confirmar o modificar la evaluación de la IA

Juicio sin el soporte de la IA

Juicio sin el soporte de la IA

Confirmar o modificar la evaluación de la IA

¿Acertaban más al juzgar al inicio que al final?

laboratorio de Exploración e Investigación

Grupo

Paso 0

Paso 1

Paso 2

AISupport→Judgment

Judgment→AISupport

Descripción de un caso criminal y testimonios de testigos

Confirmar o modificar la evaluación de la IA

Juicio sin el soporte de la IA

Juicio sin el soporte de la IA

Confirmar o modificar la evaluación de la IA

laboratorio de Exploración e Investigación

Grupo Judgment→AISupport acertaban más

¿Acertaban más al juzgar al inicio que al final?

¿La conformidad (automation bias) era menor al final?

laboratorio de Exploración e Investigación

Grupo

Paso 0

Paso 1

Paso 2

AISupport→Judgment

Judgment→AISupport

Descripción de un caso criminal y testimonios de testigos

Confirmar o modificar la evaluación de la IA

Juicio sin el soporte de la IA

Juicio sin el soporte de la IA

Confirmar o modificar la evaluación de la IA

laboratorio de Exploración e Investigación

Poca conformidad... pero reducción del acierto

• No se encontraron diferencias estadísticamente significativas en la conformidad entre grupos.
   
• El soporte erróneo afectó negativamente al acierto de los participantes que modificaron la evaluación de la IA.

¿La conformidad (automation bias) era menor al final?

laboratorio de Exploración e Investigación