
Cuando las decisiones humanas se cruzan con los sistemas automatizados


LABORATORIO DE EXPLORACIÓN E INVESTIGACIÓN
Hoy hablaremos de
IA Sí/No en las decisiones
Bucles infinitos
Máquinas trucadas




Sistemas automatizados en
todo tipo de decisiones
laboratorio de Exploración e Investigación





-
Decisiones totalmente automatizadas
-
Decisiones con algoritmos de recomendación

-
Decisiones cuasi-automatizadas (supervisión humana)
Decisiones cuasi-automatizadas (supervisión humana)
laboratorio de Exploración e Investigación



Supervisión humana: Human-in-the-loop
laboratorio de Exploración e Investigación

European Commission (2019). Ethics Guidelines for Trustworthy AI.
Ponerse en los zapatos del human-in-the-loop

Ponerse en los zapatos del human-in-the-loop


laboratorio de Exploración e Investigación

¿Qué ha pasado?
laboratorio de Exploración e Investigación
Todos habéis recibido el soporte incorrecto por parte de una IA

¿Qué ha pasado?
laboratorio de Exploración e Investigación
Unos habéis juzgado el caso antes de recibir el soporte de la IA


¿Qué ha pasado?
laboratorio de Exploración e Investigación
... pero otros habéis recibido el soporte erróneo de la IA desde el inicio

Algunos interrogantes
laboratorio de Exploración e Investigación
-
¿Ha podido afectar esto a vuestros juicios?
-
¿Y a vuestra confianza?
- ¿El orden en el que habéis recibido la información ha podido tener un efecto en vuestras decisiones?


laboratorio de Exploración e Investigación
Muestra de interfaz de decisión en RisCanvi
Algunos interrogantes
- ¿Hubiérais juzgado el caso igual si los botones de decisión, en vez de ser "Inocente" o "Culpable", hubieran sido "Validar" la evaluación de la IA o "Rechazarla"?

La interfaz y el proceso (loop) de decisión (ej. RisCanvi)
laboratorio de Exploración e Investigación

laboratorio de Exploración e Investigación
La interfaz y el proceso (loop) de decisión (ej. RisCanvi)

laboratorio de Exploración e Investigación
La interfaz y el proceso (loop) de decisión (ej. RisCanvi)

laboratorio de Exploración e Investigación
La interfaz y el proceso (loop) de decisión (ej. RisCanvi)

laboratorio de Exploración e Investigación
La interfaz y el proceso (loop) de decisión (ej. RisCanvi)
¿Conformidad excesiva? (Automation bias)
laboratorio de Exploración e Investigación

Saura, G., & Aragó, L. (2021). Un algoritmo impreciso condiciona la libertad de los presos. La Vanguardia

laboratorio de Exploración e Investigación
Poner a prueba el proceso estándar

Un par de experimentos
para testarlo
laboratorio de Exploración e Investigación
Manipular el momento en que se presenta la evaluación del sistema y obligar a los humanos a emitir explícitamente su juicio...
Nuestra hipótesis:
(a) aumentará el acierto cuando el sistema comete errores.
(b) reducirá la conformidad excesiva.
Diseño de los dos experimentos
laboratorio de Exploración e Investigación
Grupo
Paso 0
Paso 1
Paso 2
AISupport→Judgment
Judgment→AISupport

Descripción de un caso criminal y testimonios de testigos
Confirmar o modificar la evaluación de la IA
Juicio sin el soporte de la IA
Juicio sin el soporte de la IA
Confirmar o modificar la evaluación de la IA




Procedimiento
laboratorio de Exploración e Investigación
Paso 0

Descripción de un caso criminal y testimonios de testigos

Álvarez, M., Martínez, N., Agudo, U., & Matute, H. (2023, September 28). ForenPsy 1.0. Retrieved from osf.io/detn4
Procedimiento
laboratorio de Exploración e Investigación
Paso 1.
Confirmar o modificar la evaluación de la IA


Grupo AIsupport → Judgment
Procedimiento
laboratorio de Exploración e Investigación
Paso 1.
Confirmar o modificar la evaluación de la IA


Grupo AIsupport → Judgment
Procedimiento
laboratorio de Exploración e Investigación
Paso 2.
Juicio sin el soporte de la IA


Grupo AIsupport → Judgment
Orden cambiado por grupo
laboratorio de Exploración e Investigación
Grupo
Paso 0
Paso 1
Paso 2
AISupport→Judgment
Judgment→AISupport

Descripción de un caso criminal y testimonios de testigos
Confirmar o modificar la evaluación de la IA
Juicio sin el soporte de la IA
Juicio sin el soporte de la IA
Confirmar o modificar la evaluación de la IA




¿Acertaban más al juzgar al inicio que al final?
laboratorio de Exploración e Investigación
Grupo
Paso 0
Paso 1
Paso 2
AISupport→Judgment
Judgment→AISupport

Descripción de un caso criminal y testimonios de testigos
Confirmar o modificar la evaluación de la IA
Juicio sin el soporte de la IA
Juicio sin el soporte de la IA
Confirmar o modificar la evaluación de la IA





laboratorio de Exploración e Investigación
Grupo Judgment→AISupport acertaban más

¿Acertaban más al juzgar al inicio que al final?
¿La conformidad (automation bias) era menor al final?
laboratorio de Exploración e Investigación
Grupo
Paso 0
Paso 1
Paso 2
AISupport→Judgment
Judgment→AISupport

Descripción de un caso criminal y testimonios de testigos
Confirmar o modificar la evaluación de la IA
Juicio sin el soporte de la IA
Juicio sin el soporte de la IA
Confirmar o modificar la evaluación de la IA




laboratorio de Exploración e Investigación
Poca conformidad... pero reducción del acierto
-
No se encontraron diferencias estadísticamente significativas en la conformidad entre grupos.
- El soporte erróneo afectó negativamente al acierto de los participantes que modificaron la evaluación de la IA.
¿La conformidad (automation bias) era menor al final?


laboratorio de Exploración e Investigación

LABORATORIO DE EXPLORACIÓN E INVESTIGACIÓN
¿Entonces?
Abrazar la complejidad
Human-in-the-loop eres tú
La banca siempre gana




@patxangas
@ujue
Muchas gracias


BilboStack. Cuando las decisiones humanas se cruzan con los sistemas automatizados
By Bikolabs
BilboStack. Cuando las decisiones humanas se cruzan con los sistemas automatizados
- 256