Riesgos de la inteligencia artificial en procesos judiciales: Casos reales y buenas prácticas para evitarlos

La irrupción de la inteligencia artificial (IA) generativa, con herramientas como ChatGPT, ha transformado numerosos sectores profesionales, y el ámbito jurídico no es la excepción. La promesa de optimizar tareas, agilizar la redacción de documentos y acelerar la investigación ha generado un notable entusiasmo. Sin embargo, su adopción acelerada también ha dejado al descubierto serios riesgos que pueden comprometer la integridad de los procesos judiciales y la responsabilidad de los profesionales del derecho. Recientes pronunciamientos de las altas cortes en Colombia, como la Sentencia T-323 de 2024 de la Corte Constitucional, han puesto de manifiesto la necesidad urgente de establecer un marco de uso ético y responsable para estas tecnologías.

Incidentes reales: cuando la IA compromete la justicia

Aunque la IA puede ser una herramienta de apoyo, su uso acrítico ha derivado en incidentes que sirven como advertencia para la comunidad jurídica. Estos casos no son hipotéticos; han ocurrido y han tenido consecuencias reales.

Incidente 1: La “alucinación” jurídica y la invención de precedentes

Uno de los riesgos más documentados de los modelos de lenguaje de gran tamaño (LLM) son las “alucinaciones”, definidas como resultados imprecisos o inexactos que pueden generar estos sistemas. La IA no “comprende” el derecho; predice secuencias de texto que parecen coherentes, pero que pueden ser completamente falsas.

El caso más emblemático es Mata vs. Avianca en Estados Unidos. En este proceso, los abogados del demandante presentaron un escrito que citaba varios precedentes judiciales para sustentar sus argumentos. Sin embargo, la aerolínea alertó al juez de que no lograba encontrar dichas sentencias. Una investigación posterior reveló que los precedentes eran inexistentes; habían sido “inventados” por ChatGPT.
La Corte Constitucional de Colombia analizó este caso, señalando que:

“[...] pueden producirse resultados que parezcan reales, pero que de hecho son fabricados o ‘alucinados’. (...) El abogado y la firma fueron sancionados al constatar que la información presentada ante la corte era falsa y había sido resultado de la consulta que efectuó dicho profesional en ChatGPT.”

Este incidente subraya una falla crítica: la IA generativa, sin una base factual sólida o un método de verificación, puede producir información falsa con apariencia de veracidad, induciendo a error a los profesionales y al propio sistema de justicia.

Incidente 2: El juez asistido y la sombra de la automatización

En Colombia, un caso revisado por la Corte Constitucional en la Sentencia T-323 de 2024 se convirtió en el catalizador para la regulación del uso de la IA en la Rama Judicial. En este proceso de tutela, el juez de segunda instancia utilizó ChatGPT para fundamentar parte de su decisión, transcribiendo las respuestas del chatbot en la providencia.

Si bien la Corte no invalidó el fondo del fallo —pues el juez argumentó haber llegado a su conclusión antes de consultar la IA—, el hecho generó serias dudas sobre una posible vulneración al debido proceso. La Sala de Revisión expresó su preocupación respecto a “si quien emitió la decisión fue un juez de la República o una IA y si la decisión fue debidamente motivada o fue producto de alucinaciones y sesgos generados por la IA”.
Este caso, aunque no resultó en una sanción, demostró el riesgo de que las labores jurisdiccionales “indelegables e irremplazables”, como la valoración de pruebas, la interpretación de normas y la motivación de las decisiones, sean sustituidas indebidamente por un algoritmo.

Riesgos sistémicos: Más allá del error puntual

Además de las “alucinaciones”, el uso de IA en el derecho presenta otros riesgos sistémicos que deben ser gestionados con rigor.

Sesgos y discriminación: Los sistemas de IA son entrenados con enormes cantidades de datos extraídos de internet, los cuales pueden reflejar y amplificar prejuicios existentes de raza, género o etnia. El uso de una herramienta con estos sesgos en la administración de justicia puede llevar a decisiones discriminatorias, violando el principio de igualdad y equidad.

Privacidad y confidencialidad: Introducir datos personales, información sensible o confidencial de un caso en herramientas de IA, especialmente en versiones gratuitas y comerciales, representa una grave amenaza a la privacidad. La Corte Constitucional ha advertido que el funcionario judicial tiene el deber de custodiar estos datos y evaluar los riesgos de filtración al usar sistemas externos a la Rama Judicial.

La responsabilidad profesional ante el algoritmo

El uso de la inteligencia artificial no exime ni diluye la responsabilidad del profesional del derecho. Tanto el Consejo Superior de la Judicatura como la Corte Constitucional han sido enfáticos en que el funcionario o abogado es el único responsable de las actuaciones y decisiones que adopte, incluso si utilizó una IA como apoyo.

Esto implica que el profesional tiene un deber ineludible de diligencia, que incluye la obligación de “realizar un estricto escrutinio sobre las actuaciones y decisiones en las cuales usen herramientas de IA”. La negligencia en la verificación de la información proporcionada por un algoritmo puede acarrear no solo sanciones disciplinarias, como en el caso Mata vs. Avianca, sino también una posible responsabilidad civil por los perjuicios causados al cliente.

Marco de actuación: Principios y deberes para un uso responsable

A raíz de la Sentencia T-323 de 2024, el Consejo Superior de la Judicatura expidió el Acuerdo PCSJA24-12243, que establece lineamientos claros para el uso de la IA en la Rama Judicial. De estos documentos se desprenden buenas prácticas esenciales para todos los profesionales del derecho:

• Principio de no sustitución de la racionalidad humana: La IA es una herramienta de apoyo, no un sustituto del juez o del abogado. Actividades como la valoración de pruebas, la interpretación de normas y la toma de decisiones son exclusivas de la racionalidad humana y no deben ser delegadas a un sistema automatizado.
• Deber de verificación y control humano: Es obligatorio contrastar la veracidad, relevancia y suficiencia de todos los resultados generados por la IA con fuentes primarias y fiables. No verificar la información es una falta grave a la diligencia profesional.
• Deber de transparencia: El uso de una herramienta de IA debe ser explícito. Se debe informar a las partes y al despacho judicial qué sistema se utilizó, para qué finalidad y qué parte de un documento fue generada o asistida por IA.
• Deber de responsabilidad y uso informado: Antes de usar una IA, el profesional debe informarse sobre sus capacidades, limitaciones, riesgos (como alucinaciones y sesgos) y políticas de tratamiento de datos.
• Deber de protección de datos: Se debe evitar el uso de chatbots generales o comerciales en sus versiones gratuitas para tratar información de casos reales. Está prohibido introducir datos personales, sensibles o confidenciales en herramientas que puedan apropiarse de dicha información o usarla para reentrenar sus modelos.

Conclusión

La inteligencia artificial ofrece oportunidades innegables para modernizar la práctica del derecho, pero su potencial viene acompañado de riesgos significativos que no pueden ser ignorados. Casos como Mata vs. Avianca y el análisis de la Corte Constitucional en la Sentencia T-323 de 2024 demuestran que la falta de rigor, verificación y transparencia puede llevar a errores graves, vulneraciones al debido proceso y sanciones profesionales.
La clave para una integración exitosa y ética de la IA en la justicia radica en comprender que es una herramienta de asistencia y no de sustitución. La responsabilidad final, el razonamiento crítico y el juicio profesional recaen —y siempre deben recaer— en el ser humano.

El contenido de este blog fue generado con ayuda de Ariel, el asistente legal de inteligencia artificial en Colombia y la supervisión humana del equipo jurídico de Ariel.

Fuentes:

• Comité Jurídico Interamericano. (2024). Informe anual 2024.
• Consejo Superior de la Judicatura. (2024). Acuerdo PCSJA24-12243 de 2024, “Por el cual se adoptan lineamientos para el uso y aprovechamiento respetuoso, responsable, seguro y ético de la inteligencia artificial en la Rama Judicial”.
• Contraloría General de la República. (2025). Concepto Jurídico CGR – OJ - 001 - 2025.
• Corte Constitucional de Colombia. (2024). Sentencia T-323-2024.
• Instituto Colombiano de Derecho Procesal. (2024). Memorias del XLV Congreso Colombiano de Derecho Procesal.
• Procuraduría General de la Nación. (2025). Directiva conjunta 007 de 2025.