La Ley de la Inteligencia Artificial de la UE, cuyo texto definitivo se espera que se aprobará a finales de 2023, se está desarrollando en el marco de la negociación tripartita de la UE (Comisión, Consejo y Parlamento). A la propuesta original de la Comisión, se le añadieron (noviembre 2022) las posiciones del Consejo («orientaciones generales«) y, más recientemente (junio 2023), la posición común del Parlamento.
Esta última ha añadido algunas enmiendas importantes. Algunas de ellas se refieren a sistemas de IA que condicionen el comportamiento por debajo del nivel consciente; y, precisamente (a mi entender), en términos profundamente regresivos para los intereses de los ciudadanos (extremo que analicé en la entrada «Preocupante regresión de la propuesta de Reglamento de Inteligencia Artificial: la mente inconsciente profundamente amenazada«).
Esta inquietud, no obstante, no es extrapolable a todas las enmiendas propuestas por el Parlamento. También ha introducido otras cuya valoración, en mi opinión, debe ser calificada como positiva. Una de ellas es la relativa a los «sistemas de reconocimento de las emociones».
Precisamente, el uso de la biometría para el reconocimiento de emociones en el ámbito laboral es el objeto del libro publicado recientemente por la profesora (y querida amiga) Ana Belén MUÑOZ RUIZ. Se trata de una aportación pionera muy interesante, que delimita, con aguda precisión y exhaustividad, un ámbito de investigación sumamente relevante y apasionante.
En la propuesta original de la Ley de IA, un «Sistema de reconocimiento de emociones» es definido como «un sistema de IA destinado a detectar o deducir las emociones o las intenciones de personas físicas a partir de sus datos biométricos».
El propósito de esta entrada es exponerles sintéticamente las importantes y oportunas enmiendas del Parlamento sobre esta cuestion. Para comprender el sentido de esta propuesta es imprescindible exponerles lo que en la neurociencia se conoce como la «teoría de la emoción construida» (aunque la propuesta del Parlamento no la cite).
La teoría de la emoción construida
Según la visión clásica de la emoción, como expone Lisa FELDMAN BARRETT (13), tenemos muchos circuitos emocionales en el cerebro y cada uno da lugar a un conjunto característico de cambios, es decir, a una «huella dactilar». De modo que, según esta concepción, estímulos externos a las personas son los responsables de activar las «neuronas de la ira» y que nuestra «presión sanguínea aumente, frunzamos el ceño, gritemos y sintamos un arranque de ira».
Desde esta visión clásica, las emociones son productos de la evolución y, dado que fueron positivos para la supervivencia, ahora son un componente fijo de nuestra naturaleza biológica. Por este motivo, durante mucho tiempo se ha entendido que son universales:
«personas de todas las edades y culturas, y de cualquier parte del mundo, deberían experimentar la tristeza más o menos como nosotros, igual que hicieron nuestros antepasados homininos que deambulaban por la sabana africana hace un millón de años».
La influencia de Charles DARWIN (La expresión de las emociones en el hombre y en los animales) y de William JAMES (La base física de la emoción), han sido en este sentido determinantes.
No obstante, la denominada «teoría de la emoción construida» propuesta por la citada autora está cuestionando esta concepción tan arraigada (y, aunque existe aceptación en muchos de los avances que han descubierto los construccionistas, como expone MLODINOW [131], todavía no hay unanimidad).
En virtud de esta sugerente aproximación, diversos estudios neurocientíficos han evidenciado que el cerebro no tiene una huella dactilar física, única y universal para cada emoción (como si fuera un fichero estático cargado de serie en nuestro hardware al nacer), que se activa a consecuencia de una percepción externa a nosotros.
Como evidencian numerosos experimentos con grupos sociales y etnias de todo el mundo, no es posible identificar un patrón emocional, por ejemplo, a partir de una expresión facial. Como apunta FELDMAN BARRETT (31), «si reunimos todas las pruebas científicas no podemos afirmar, con una certeza razonable, que cada emoción tiene una expresión facial diagnosticada».
Son muchas las evidencias que muestran que este patrón universal no existe. Por consiguiente, no son los estímulos externos los que precipitan las emociones precargadas de las personas. Las emociones «no son reacciones al mundo, son nuestras construcciones del mundo».
O, como lo expresa FELDMAN BARRETT (65):
«nuestras emociones no son algo intrínseco que espera ser revelado. Las emociones están construidas. Por nosotros. No reconocemos emociones ni identificamos emociones, sino que construimos nuestras experiencias emocionales y las percepciones de las emociones ajenas en el acto, según se necesite, mediante una compleja interacción de sistemas. Los seres humanos no estamos a merced de unos circuitos de emociones míticos sepultados profundamente en las partes animales de nuestro cerebro tan evolucionado, sino que somos los arquitectos de nuestra propia experiencia»
Permítanme un par de ejemplos para ilustrarlo.
– Si alguien profiere un insulto en un idioma que no conocemos, sólo percibimos un sonido. Empero, si compartimos el concepto y el contexto, nos sentiremos heridos (y también podríamos llegar a estarlo si, sin conocer el idioma, grita y gesticula ostensiblemente y compartimos el concepto anudado a tales reacciones corporales). En otras ocasiones, a pesar de compartir los conceptos, los insultos (en contra del propósito del que lo dice) no son ofensivos. O, incluso, si el improperio es de una persona con la que compartimos el concepto de amistad y, además, va acompañado de un gesto que también interpretamos como amistoso, puede causarnos otra emoción radicalmente opuesta (y un tercero que observe la escena, sin compartir estos conceptos y contexto, puede percibir una emoción muy distinta); o,
– Para que nuestros hijos puedan percibir que mi mujer y yo estamos enfadados, necesitamos una comprensión compartida del concepto ira; y sin este concepto, no cabe experimentar esta emoción. De hecho, aunque (desde hace años) ya perciben nuestros enfados, últimamente, disentimos sobre el concepto de «frecuencia» a la hora de recoger su habitación (creo que nuestras posturas están todavía muy lejos… y no entienden nuestros gritos desgarradores cada mañana);
Así pues, la idea del cerebro basado en estímulos-respuestas es un mito. Lejos de este enfoque, la actividad cerebral es predicción y corrección y esta construcción de experiencias emocionales se lleva a cabo de forma invisible, fuera de la conciencia (quedando dentro del 95% de nuestra actividad cerebral inconsciente que les he hablado en otro momento). Aunque no seamos conscientes de ello, somos los arquitectos de nuestras emociones. No son provocadas.
Aunque creamos que el enfado con nuestros hijos está causado por el desorden crónico de su habitación y su persistente resistencia a aceptar nuestro concepto de frecuencia, es probable que internamente podamos reformular el «problema-desorden-frecuencia-desobediencia», sin convertirnos en una bola de fuego cada mañana… (por ejemplo, descalificándolo de la categoria de «problema»).
Las implicaciones de esta teoría son profundas. Si nuestras emociones no son meramente reactivas y no responden a un patrón neuronal predeterminado, sino que son construidas, se colige que los conceptos emocionales son un producto cultural, fruto del consenso humano. Por esta razón, son variables entre grupos sociales y mutables en el tiempo.
Esto significa que el uso de datos biométricos para medir emociones puede tener un margen de error extraordinario.
No obstante, como expone MUÑOZ RUIZ (114 y 115; y 158 y ss.), el mercado ya ofrece productos que afirman que pueden identificar emociones a partir de datos biométricos.
En cambio, desde el punto de vista neurocientífico, la propuesta de FELDMAN BARRETT sugiere que no son instrumentos de medición fiables. Lo que significa que, en estos momentos, el valor de esta parametrización debería ser escaso o nulo; pues, estan midiendo cosas con una desviación muy superior a la que sería deseable.
Esto no significa que las emociones no puedan ser parametrizadas, sino que, probablemente, exigen una sofisticación y granularidad muy superior a la que estos métodos atesoran en la actualidad.
Las implicaciones jurídicas de todo lo anterior son evidentes.
Las enmiendas del Parlamento sobre los sistemas de reconocimiento de emociones
Las enmiendas del Parlamento europeo sobre los «sistemas de reconocimiento de emociones» se nutren de la expuesta «teoría de la emoción construida» (aunque no la citan).
Sin perjuicio de los cambios en los considerandos, a los que haré referencia a continuación, es importante advertir que se propone una nueva redacción en la definición de los «sistemas de reconocimiento de emociones» (art. 3.1.34) (en negrita las novedades):
«un sistema de IA destinado a detectar o deducir las emociones, los pensamientos, los estados de ánimo o las intenciones de individuos o grupos a partir de sus datos biométricos y sus datos de base biométrica«
En cuanto a los considerandos se ha añadido una enmienda al número 26 quater:
“Existe una gran preocupación respecto a la base científica de los sistemas de IA que procuran detectar las emociones, los rasgos físicos o psicológicos, como las expresiones faciales, los movimientos, la frecuencia cardíaca o la voz. Las emociones o sus formas de expresión y su percepción varían de forma considerable entre culturas y situaciones, e incluso en una misma persona. Algunas de las deficiencias principales de estas tecnologías son la fiabilidad limitada (las categorías de emociones no se expresan de forma coherente a través de un conjunto común de movimientos físicos o psicológicos ni se asocian de forma inequívoca a estos), la falta de especificidad (las expresiones físicas o psicológicas no se corresponden totalmente con las categorías de emociones) y la limitada posibilidad de generalizar (los efectos del contexto y la cultura no se tienen debidamente en cuenta). Los problemas de fiabilidad y, por consiguiente, los principales riesgos de abuso, pueden surgir especialmente cuando se implanta el sistema en situaciones de la vida real relacionadas con la aplicación de la ley, la gestión de fronteras, el lugar de trabajo y las instituciones educativas. Por tanto, debe prohibirse la introducción en el mercado, la puesta en servicio y el uso de sistemas de IA diseñados para utilizarse en dichos contextos a fin de detectar el estado emocional de las personas físicas».
Esta valoración es la que ha llevado a que, en la propuesta del Parlamento (ver considerando 33 bis), estos sistemas, cuando no estén explícitamente prohibidos, sean calificados de alto riesgo (en cambio, en la propuesta inicial de la Comisión estaban sometidos a meras obligaciones de transparencia del Título IV). Y, por consiguiente (de acuerdo con la nueva redacción del considerando 64), no se va a permitir que el proveedor evalúe la conformidad de estos sistemas bajo su propia responsabilidad. Los sistemas de reconocimiento de emociones que no estén prohibidos (a los que se refiere el nuevo art. 5.1.d), será el organismo notificado el que participe en la evaluación de su conformidad.
Precisamente, en el listado de sistemas de inteligencia artificial prohibidos, se propone un nuevo apartado iv, al art. 5.1.d:
«La introducción el mercado, la puesta en servicio o la utilización de sistemas de IA para inferir las emociones de una persona física en los ámbitos de la aplicación de la ley y la gestión de fronteras, en lugares de trabajo y en centros educativos».
El hecho de que el lugar de trabajo esté explícitamente incluido es, en términos iuslaboralistas, importante. Especialmente porque, dada la particular convergencia de intereses y fuerzas, este ámbito es propicio para la implantación de tecnologías de esta naturaleza. De ahí que la propuesta del Parlamento merezca, en mi opinión, una valoración muy positiva.
Por otra parte, como avanzaba el considerando 64 citado, la propuesta de nueva redacción del art. 52.2 establece (en negrita las novedades):
«2. Los usuarios de un sistema de reconocimiento de emociones o de un sistema de categorización biométrica que no esté prohibido con arreglo al artículo 5 informarán de manera oportuna, clara e inteligible del funcionamiento del sistema a las personas físicas expuestas a él y obtendrán su consentimiento antes del tratamiento de sus datos biométricos y otros datos personales de conformidad con el Reglamento (UE) 2016/679, el Reglamento (UE) 2016/1725 y la Directiva (UE) 2016/280, según proceda. Esta obligación no se aplicará a los sistemas de IA utilizados para la categorización biométrica autorizados por la ley para fines de detección, prevención e investigación de infracciones penales».
Emociones, condicionamiento por debajo del nivel consciente y racionalidad
Llegados a este punto, permítanme que comparta con ustedes otra dimensión muy importante que se deriva de la «teoría de la emoción construida» (y que, de forma extensa, expongo en el libro Inteligencia artificial y neuroderechos).
En lo relativo a las emociones, a partir de los patrones emocionales construidos, el cerebro (FELDMAN BARRETT, 198) «crea una avalancha de predicciones, simula sus consecuencias como si fueran reales, y comprueba y corrige esas predicciones comparándolas con el input sensorial real». Por consiguiente, como se ha expuesto, es predictivo y no reactivo («nuestros sistemas centrales están tratando de adivinar constantemente lo que pasará a continuación para que podamos sobrevivir»). De modo que – recuerden – existe una extraordinaria actividad previa preconsciente.
Si el art. 5.1.a) de la Ley de IA, en los términos propuesto por la posición común del Parlamento (ver «Preocupante regresión de la propuesta de Reglamento de Inteligencia Artificial: la mente inconsciente profundamente amenazada«), admite cierto tipo de condicionamiento por debajo del nivel consciente, la puerta al «patio trasero neuronal» quedará mucho más abierta de lo que sería deseable. Lo que implicaría que el estadio preconsciente que alimenta nuestras emociones podría ser deliberada y subliminalmente alterado.
Para comprender la trascendencia de esta amenaza es importante advertir un aspecto que tiende a pasarse por alto. Como apunta Antonio DAMASIO (11 a 13), es frecuente pensar que las decisiones sensatas son «fruto de una mente serena, que emociones y razón no se mezclan mejor que el agua y el aceite» (decimos: «¡no te dejes llevar por las emociones!«; o «¡Piensa con la cabeza y no con el corazón!«). Es decir, tiende a pensarse que los mecanismos racionales existen «en una provincia mental separada», a la que no deben tener acceso las emociones.
No obstante, lejos de la existencia de sistemas neurales «distintos para emoción y razón», emociones y sentimientos «no son para nada intrusos en el bastión racional». Es cierto que «en ciertas circunstancias emociones y sentimientos puedan causar estragos en los procesos de razonamiento». Este influjo potencialmente dañino de los sesgos emocionales convive con otra realidad sumamente importante: la ausencia de emoción y sentimiento puede «ser igualmente perjudicial, puede comprometer la racionalidad que nos hace distintivamente humano».
O, como apunta MLODINOW (49) «en los humanos, la flexibilidad que brinda la emoción también permite contribuciones a nuestra mente racional que nos lleva a tomar mejores decisiones y reaccionar de manera más sofisticada».
A la luz de todo lo anterior (y reiterando el «grito de alarma» que expuse en la citada entrada anterior), si no exigimos que la enmienda del Parlamento al art. 5.1.a) decaiga, como en el flautista de Hamelin, los ciudadanos bailarán sin saber por qué…
Una valoración final
El Derecho no sólo lidia con normas. Aunque tendemos a olvidarlo, principalmente, está referido a las personas a las que van dirigidas estas reglas. Sin embargo, en la arquitectura del marco normativo, el conocimiento del comportamiento humano tiende a ser obviado sistemáticamente por los juristas. No es una variable de la ecuación (o, si lo es, tiende a ser marginal).
A medida que el avance científico (ayudado o no con la IA) sea capaz de empujar la frontera del conocimiento, no tendremos más remedio que aproximarnos a estas disciplinas, si no queremos que las discusiones jurídicas se asemejen a los debates de los topos sobre los colores del arco iris.
La Ley de la IA es un buen ejemplo de esta necesidad. Tendremos que estar muy pendientes del proceso de negociación que se llevará a cabo en los próximos meses.
Tarea que, en casa, tendremos que compaginar con nuestra batalla familiar en relación con el concepto de frecuencia…
Bibliografía citada
- Ignasi BELTRAN DE HEREDIA RUIZ (2023), Inteligencia artificial y neuroderechos: la protección del yo inconsciente de la persona, Aranzadi.
- Antonio DAMASIO (1997), El error de Descartes, Editorial Andrés Bello, 2ª Ed.
- Charles DARWIN (1902), La expresión de las emociones en el hombre y en los animales
- Lisa FELDMAN BARRETT (2018), La vida secreta del cerebro, Paidós
- William JAMES (1994), «The Physical Basis of Emotion», Psychological Review, Vol. 101, No. 2, 205-210.
- Leonard MLODINOW (2023), Emocional, Crítica
- Ana Belén MUÑOZ RUIZ (2023), Biometría y sistemas automatizados de reconocimiento de emociones. Implicaciones jurídico-laborales, Tirant Lo Blanch.
