Gema Marcilla Córdoba, Universidad de Castilla-La Mancha

¿Y si la próxima sentencia que decida nuestro futuro la escribiera un programa tan complejo que ni sus creadores saben explicar del todo cómo razona?

El derecho ha ido siempre de la mano de la tecnología. Muchos hitos jurídicos han sido posibles debido a previos hitos tecnológicos: la escritura hizo posible la publicidad normativa; la imprenta multiplicó el acceso a las fuentes jurídicas; la informatización y digitalización han marcado a las profesiones jurídicas desde finales del siglo pasado. Y hoy en día, la inteligencia artificial –sobre todo, los grandes modelos de lenguaje– se sienta en el estrado.

Esta nueva “colaboradora” es poderosa: resume miles de folios en segundos e identifica patrones de decisión en la legislación, ka jurisprudencia y la doctrina con un celo y rapidez extraordinarios. También puede revisar las pruebas; por ejemplo, las grabaciones de testimonios, encontrando matices que pasan desapercibidos al humano.

Pero su entrada en la sala de vistas no es inocua.

La jurisdicción es, junto al legislador, un órgano vital del Estado de derecho. Su legitimidad descansa en resolver los casos particulares sobre la base exclusiva de normas jurídicas (normas preestablecidas). “El juez es la boca que pronuncia las palabras de la ley; seres inanimados que no pueden moderar ni la fuerza ni el rigor de las leyes”, escribía Montesquieu en 1748, en su obra El espíritu de las leyes.

La inevitable subjetividad humana

Pese al ideal de juez neutral, el juez real inevitablemente adolece de subjetividad. No hablamos aquí ni de politización de la justicia, ni mucho menos de prevaricación. Por más virtuoso que sea, interpretará la realidad jurídica desde sus esquemas cognitivos.

Los juristas, teóricos y prácticos, se han esforzado por preservar el principio de legalidad, es decir, por salvaguardar la imparcialidad y la independencia de los jueces. Aunque este objetivo sea inalcanzable al cien por cien debido a la irremediable subjetividad humana.

Resulta por ello paradójico que ahora, que gracias a la IA estamos cada vez más cerca de que un ser verdaderamente inanimado e impasible (un algoritmo) pueda hacer justicia, la Unión Europea no dude en calificar de “alto riesgo” a cualquier sistema de IA que ayude a los jueces y magistrados a interpretar hechos o normas (según recoge el artículo 6 del Reglamento 2024/1689 de Inteligencia Artificial).

El mensaje es contundente: la tecnología puede asistir, jamás sustituir a la decisión de un juez humano.

Sistemas de alto riesgo

La IA genera tanto entusiasmo como inquietudes y dudas. Ya en 2014, el filósofo sueco Nick Bostrom resaltaba que la automatización del aprendizaje, aspecto clave en la IA, puede conducir a una “explosión de inteligencia”.

La “superinteligencia artificial” implicaría no solo nuevos esquemas conceptuales incomprensibles para el humano, sino algoritmos libres, desvinculados de nuestros valores, de manera que las máquinas pudieran dirigir toda su actuación a objetivos absurdos o perjudiciales para la humanidad.

Sin necesidad de plantear un escenario a largo plazo o futurista como el que indica Bostrom, los riesgos presentes son palpables. En lo que respecta a la IA jurisdiccional, los modelos, a menudo, “alucinan”, llegando a inventar resoluciones de tribunales inexistentes. Asimismo, operan como “cajas negras”, sin trazabilidad ni explicabilidad de sus respuestas. E interactúan con quien los usa sin dejar rastro del legal prompting –preguntas introducidas, aplicando el procesamiento del lenguaje natural– que haya tenido lugar.

Además, heredan sesgos ideológicos de los datos con los que fueron entrenados. Es decir, conforman sus respuestas sobre la base del aprendizaje de premisas o patrones infundados en relación con la raza, el género, las tendencias sexuales, la capacidad adquisitiva, el nivel de endeudamiento, etc.

Junto con los problemas que suponen estos sesgos, es consustancial a la IA el sesgo estadístico, entendiendo por tal la prevalencia de los datos que estadísticamente tienen más peso. En lo que respecta al derecho, ello puede suponer una suerte de “clonación” del pasado jurisprudencial, congelando la evolución en la interpretación de las normas.

La última palabra para el juez

¿La solución? Diseño consciente y responsable de tales problemas y supervisión humana. Para ello resulta esencial un marco de trabajo pluridisciplinar, de estrecha colaboración entre expertos en sistemas de IA y expertos en derecho.

El Reglamento de IA exige documentación técnica exhaustiva, auditorías de sesgo y la posibilidad de recrear cada paso del razonamiento jurídico algorítmico. La Carta de la Comisión Europea por la Eficacia en la Justicia (CEPEJ), de 2018, o el Dictamen XXIV de la Comisión Iberoamericana de Ética Judicial recuerdan que toda recomendación generada por un sistema automático debe ser revisada críticamente por el juez, quien conserva la última palabra y la carga de motivar su decisión.

Nada de esto significa demonizar la tecnología. Bien gobernada, la inteligencia artificial libera tiempo, tan necesario para que la tutela judicial sea verdaderamente efectiva. Pero si se despliega sin salvaguardas, la promesa de efectividad puede mutar en una justicia algorítmica “mecanicista” en el peor de los sentidos, pues no por ser una máquina sería objetiva, sino aleatoria y opaca en la elección de las normas que aplica.

Un cerebro sintético que nunca se cansa no es preferible a un juez de carne y hueso –con la experiencia de las complejidades de la práctica jurídica–. Más bien el juez de nuestros días debe ser tanto un experto en el derecho como en el algoritmo que le ayuda a aplicarlo.

Gema Marcilla Córdoba, Profesora Titular de Filosofía del Derecho, Universidad de Castilla-La Mancha

Este artículo fue publicado originalmente en The Conversation. Lea el original.