Los estudiantes universitarios dependen demasiado de ChatGPT y sus consecuencias son graves

Los estudiantes universitarios que se han vuelto excesivamente dependientes de herramientas de IA están empezando a enfrentar serias consecuencias cuando salen al mundo laboral. Un caso reciente ha puesto el foco en este problema: un graduado en derecho perdió su trabajo tras usar ChatGPT para redactar un documento legal plagado de errores y citas falsas.

Cuando la IA te juega una mala pasada en el juzgado

El escándalo saltó el mes pasado cuando un tribunal de Utah ordenó sanciones después de descubrir que un escrito legal incluía la primera cita falsa generada por inteligencia artificial jamás detectada en ese estado. Un panel de tres jueces determinó que el documento contenía múltiples citas erróneas y al menos un caso judicial que no existe en ninguna base de datos legal (y que solo podía encontrarse en ChatGPT).

La situación es bastante grave, pero también previsible. Cualquiera que haya usado ChatGPT para tareas complejas sabe que tiene una tendencia a «alucinar» información. Y no, no me refiero al tipo de alucinaciones que tendrías en Woodstock, sino a inventarse datos que parecen reales pero que no existen.

Douglas Durbano, un abogado involucrado en la presentación, y Richard Bednar, el abogado que firmó y presentó el documento, deberían haber verificado independientemente la exactitud antes de desperdiciar el tiempo del tribunal, según señaló el panel judicial.

El detector de IA habría evitado el desastre

La cita falsa podría haberse detectado fácilmente si se hubiera implementado un proceso de revisión adecuado. Cuando se le pidió a ChatGPT que resumiera el caso ficticio «Royer v. Nelson, 2007 UT App 74, 156 P.3d 789», el chatbot solo proporcionó información vaga, afirmando que «este caso involucra una disputa entre dos individuos, Royer y Nelson, en la Corte de Apelaciones de Utah». Una respuesta así debería haber encendido todas las alarmas.

El bufete de abogados explicó al tribunal que el recién graduado en derecho trabajaba como pasante sin licencia y no había notificado a nadie sobre su uso de ChatGPT. En ese momento, el bufete no tenía ninguna política sobre IA que pudiera haber evitado que se incluyera el precedente legal falso en la presentación. Tras el descubrimiento, los abogados aseguraron al tribunal que se había establecido una nueva política, y el abogado de Bednar, Matthew C. Barneck, confirmó a ABC4 que el pasante fue despedido.

Las graves consecuencias de confiar ciegamente en la IA

Las citas falsas pueden causar daños significativos, incluyendo el aumento de costos para los abogados de la oposición y el tribunal, además de privar a los clientes de la mejor defensa posible. El panel señaló que otros abogados que han sido sorprendidos usando IA para citar precedentes legales falsos han desperdiciado aún más recursos al engañar al tribunal y negar el uso de IA o afirmar que las citas falsas fueron simplemente errores.

A diferencia de esos abogados, Bednar y Durbano aceptaron la responsabilidad, por lo que aunque las sanciones estaban «justificadas», el panel tuvo en cuenta que los abogados habían actuado rápidamente para resolver el error. Finalmente, se ordenó a Bednar pagar los honorarios de los abogados de la oposición, además de donar 1.000 dólares a «And Justice for All», un grupo de ayuda legal que presta servicios de bajo costo a los ciudadanos más vulnerables del estado.

La generación de imágenes IA y sus peligros similares

Este caso nos recuerda los riesgos similares que existen con los generadores de imágenes IA. Así como ChatGPT puede crear citas legales que parecen legítimas pero son falsas, herramientas como DALL-E o Midjourney pueden producir imágenes convincentes pero completamente ficticias. Ya hemos visto casos de imágenes falsas utilizadas como «evidencia» en entornos profesionales, causando confusión y malentendidos similares.

Los profesores advierten: los estudiantes confían demasiado en la IA

Y parece que los bufetes de abogados tendrán mucho trabajo por delante para educar a los recién graduados sobre los fallos bien conocidos de la IA.

Según profesores universitarios que hablaron con 404 Media, sus estudiantes confían demasiado en la IA. Según Kate Conroy, incluso los «chicos más inteligentes insisten en que ChatGPT es bueno ‘cuando se usa correctamente'», pero «no pueden responder a la pregunta ‘¿Cómo se usa correctamente entonces?'».

«Mis alumnos ya no piensan», dijo Conroy. «Intentan mostrarme la ‘información’ que les dio ChatGPT. Les pregunto: ‘¿Cómo sabes que esto es cierto?’ Y acercan su teléfono hacia mí para enfatizar, exclamando: ‘¡Mira, lo dice aquí mismo!’ No pueden entender lo que les estoy preguntando. Me rompe el corazón por ellos y, sinceramente, hace que sea difícil seguir enseñando».

La necesidad de un enfoque crítico hacia la tecnología

Esta situación pone de relieve un problema más profundo: estamos criando una generación que acepta la información sin cuestionarla, siempre que provenga de una fuente que parece legítima o tecnológicamente avanzada. Y esto no es solo un problema académico; como vemos en el caso del abogado despedido, puede tener consecuencias profesionales y legales muy reales.

Lo que me resulta particularmente preocupante es la falta de pensamiento crítico. No se trata de demonizar las herramientas de IA, que son tremendamente útiles cuando se usan con criterio, sino de recordar que son precisamente eso: herramientas, no oráculos infalibles.

Cualquier detector de IA decente habría señalado las incongruencias en ese documento legal, pero incluso sin esa tecnología, un profesional debería verificar las fuentes, especialmente en un campo tan crítico como el derecho.

La lección aquí es clara: la IA es un asistente, no un sustituto del pensamiento crítico. Y si estás estudiando o acabas de graduarte, recuerda que tu valor profesional reside precisamente en aquello que la IA no puede hacer: pensar de forma verdaderamente crítica, contextual y ética.