¿Se puede confiar en las herramientas de inteligencia artificial (IA)? Dicho de otro modo, ¿podrán estas sustituir pronto al ser humano? Esta es la pregunta que nos hacemos hoy en día en numerosos ámbitos. El sector financiero, evidentemente, no es una excepción.

Un estudio realizado por la consultora Reputation Age aporta al respecto una perspectiva interesante. En efecto, ha intentado medir el grado de fiabilidad de ChatGPT, Claude (versión de pago) y Gemini sobre los indicadores financieros de las empresas del índice de la bolsa francesa CAC 40. Y los resultados son asombrosos.

Preguntas sencillas

La consultora interrogó a estas herramientas de dos maneras. En primer lugar, solicitó la generación de una tabla que presentara para todos los grupos del índice parisino (excepto Pernod Ricard debido a su ejercicio fiscal desplazado) cuatro indicadores clave: facturación, beneficio neto, resultado de explotación y deuda neta.

En un segundo momento, un agente de Reputation Age interrogó a cada modelo de manera más precisa: una pregunta por cada indicador buscado para cada sociedad, lo que supone un total de 156 preguntas (4 preguntas para 39 sociedades).

Los resultados propuestos se compararon después con los indicadores financieros publicados en los comunicados de las empresas.

Resultados que invitan a la prudencia

En cuanto al primer ejercicio, resulta que ChatGPT no fue capaz de generar la tabla solicitada. Claude logró presentar una tabla pero con solo 11 indicadores correctos (es decir, una tasa de respuestas positivas del 7%). En cuanto a Gemini, aunque se sitúa a la cabeza en esta parte, su tasa de respuestas exactas se limita al 12,9% (20 de 156).

Se podrían atribuir estas imprecisiones a peticiones demasiado vagas. Sin embargo, el segundo ejercicio propuesto no muestra mejores resultados. Las tasas de respuestas correctas se sitúan en el 7,1% para Claude, el 9,6% para ChatGPT y el 12,8% para Gemini.

En detalle, si bien la tasa de respuestas correctas es muy mediocre independientemente del indicador buscado (del 8% al 17%), es sobre todo en el nivel del resultado de explotación donde más deja que desear. ChatGPT y Claude no presentaron ningún resultado de explotación válido. Y aunque Gemini sale un poco mejor parado aquí, su tasa de relevancia es solo del 11%.

La precisión, aún lejos

La conclusión de la consultora autora del estudio es tajante. «La precisión financiera sigue estando fuera del alcance de la IA», indica el estudio, señalando «aproximaciones peligrosas».

Evidentemente, cabe preguntarse por las razones de esta incapacidad para producir resultados fiables. Reputation Age nos da algunas claves. La principal debilidad de estas herramientas radica en el hecho de que no toman los sitios oficiales como única referencia. La multiplicidad de fuentes y la ausencia de jerarquización inducen necesariamente a imprecisiones. Además, este trabajo ha revelado algunas confusiones sobre los ejercicios fiscales tenidos en cuenta.

No sorprende que Reputation Age recuerde también, de manera muy oportuna, a las empresas del selectivo francés la importancia de hacerse identificar mejor por las herramientas de inteligencia artificial y la necesidad de recurrir a especialistas en este terreno. Con todo, a más corto plazo, este estudio puede verse sobre todo como una advertencia para el gran público. La IA constituye una ayuda indiscutible para buscar, ordenar y seleccionar información en un universo de datos cada vez más masivo. En cambio, confiar ciegamente en ella sin realizar unas comprobaciones mínimas sería completamente insensato, especialmente en materia de inversión. Es precisamente en este aspecto en el que la inteligencia artificial aún no está en condiciones de sustituir a profesionales capaces de aportar garantías.