GPT-4, el modelo mejorado de IA lanzado esta semana por OpenAI, respaldado por Microsoft, obtuvo una puntuación de 297 en el examen de acceso a la abogacía en un experimento realizado por dos profesores de Derecho y dos empleados de la empresa de tecnología jurídica Casetext.

Eso sitúa al GPT-4 en el percentil 90 de los examinados reales y es suficiente para ser admitido a ejercer la abogacía en la mayoría de los estados, según constataron los investigadores.

El examen de acceso a la abogacía evalúa los conocimientos y el razonamiento e incluye ensayos y pruebas de rendimiento destinadas a simular el trabajo jurídico, así como preguntas de opción múltiple.

"Los grandes modelos lingüísticos pueden cumplir el estándar aplicado a los abogados humanos en casi todas las jurisdicciones de Estados Unidos al enfrentarse a tareas complejas que requieren profundos conocimientos jurídicos, comprensión lectora y capacidad de redacción", escribieron los autores.

Hace menos de cuatro meses, dos de los mismos investigadores concluyeron que el anterior gran modelo lingüístico de OpenAI, ChatGPT, no alcanzó la puntuación necesaria para aprobar el examen de abogacía, lo que pone de manifiesto la rapidez con la que está mejorando la tecnología.

El nuevo GPT-4 acertó casi el 76% de las preguntas de opción múltiple del examen de abogacía, frente al 50% de ChatGPT, superando en más de un 7% a la media de los examinados humanos.

La Conferencia Nacional de Examinadores de la Abogacía, que diseña la sección de opción múltiple, dijo en un comunicado el miércoles que los abogados tienen habilidades únicas adquiridas a través de la educación y la experiencia que "la IA no puede igualar actualmente."

El coautor del estudio, Daniel Martin Katz, profesor de la Facultad de Derecho de Chicago-Kent, dijo en una entrevista que lo que más le sorprendió fue la capacidad de la GPT-4 para producir respuestas a las pruebas de ensayo y de actuación en gran medida pertinentes y coherentes.

"He oído a mucha gente decir: 'Bueno, puede que acierte la opción múltiple, pero nunca acertará las redacciones'", dijo Katz.

La IA también ha obtenido buenos resultados en otros exámenes estandarizados, como el SAT y el GRE, pero el examen de acceso a la abogacía ha acaparado más atención. OpenAI presumió de su puntuación de aprobado cuando anunció el último modelo el martes.

El tutor del examen de abogacía, Sean Silverman, atribuyó la atención prestada al examen de abogacía a su dificultad ampliamente reconocida. Este año, la tasa de aprobados por primera vez en el examen para obtener la licencia de abogado fue del 78% entre los examinados que cursaron tres años en la facultad de Derecho.

Silverman dijo que la gente puede estar menos impresionada al saber que la IA puede aprobar un examen diseñado para estudiantes de secundaria, como el SAT, "que el examen para convertirse en abogado".