¿ChatGPT podría acabar con los empleos en el sector financiero? Las pruebas indican que “no hay que preocuparse”

Los grandes modelos de lenguaje (LLM) como ChatGPT pueden funcionar bien cuando se trata de respuestas de opción múltiple en exámenes de licencias financieras, pero se quedan cortos con preguntas y proyectos más matizados.

Así lo indica un estudio dirigido por la Universidad Estatal de Washington, que analizó más de 10 000 respuestas a preguntas de exámenes de los LLM en IA: ChatGPT, Llama y BARD.

Los investigadores pidieron a los modelos que seleccionaran respuestas y explicaran las decisiones que las respaldaban. Las respuestas del texto se compararon con las de profesionales humanos.

¿Cómo se desempeñaron los modelos de IA?

Dos versiones diferentes de ChatGPT obtuvieron el mejor rendimiento, pero cuando se trató de temas más complejos y avanzados, mostraron altos niveles de inexactitud.

Esto demuestra que es necesario comprobar los hechos cuando se busca información avanzada de los LLM en la actualidad.

"Es demasiado pronto para preocuparse de que ChatGPT sustituya por completo a los puestos de trabajo en el ámbito financiero", afirmó el autor del estudio, DJ Fairhurst, de la Facultad de Negocios Carson de la WSU. "En el caso de conceptos amplios para los que ha habido buenas explicaciones en Internet durante mucho tiempo, ChatGPT puede hacer un muy buen trabajo de síntesis de esos conceptos. Si se trata de un problema específico e idiosincrásico, va a tener muchas dificultades".

Fairhurst y el coautor Daniel Greene de la Universidad de Clemson publicaron su investigación en el Financial Analysts Journal. Sus preguntas se basaron en tareas reales que los profesionales financieros podrían realizar de manera realista. Se utilizaron preguntas del examen Securities Industry Essentials, así como de los exámenes de licencia de las series 6, 7, 65 y 66.

“Aprobar los exámenes de certificación no es suficiente. Realmente necesitamos investigar más a fondo para llegar a saber qué pueden hacer realmente estos modelos”, afirmó Fairhurst.

¿Qué modelo de IA funcionó mejor?

La versión 4.0 de ChatGPT (la versión de pago) pareció tener el mejor rendimiento durante las tareas, ya que proporcionó respuestas que imitaban mejor las de los expertos financieros de la vida real. En comparación con otros modelos, su precisión fue entre 18 y 28 puntos porcentuales mayor. Cuando los investigadores proporcionaron respuestas correctas a la versión gratuita anterior de Chat GPT (versión 3.5), su rendimiento fue similar al de ChatGPT 4.0.

Al final, todos los modelos no respondieron a ciertas preguntas en comparación con los expertos financieros humanos. Ofrecieron respuestas cada vez más imprecisas para situaciones específicas, como la evaluación de la cobertura de seguros y la situación fiscal de los clientes.

Se desempeñaron bien en lo que respecta a analizar las tendencias financieras del mercado y las transacciones de valores. Aunque los humanos también pueden tener defectos, esto sugiere que los modelos no pueden competir con el trabajo de los expertos financieros.

¿Inteligencia Artificial ciega al tiempo?

Estos modelos pueden enfrentar limitaciones en función de los datos de entrenamiento que se les proporcionan, ya que ChatGPT se entrena con datos hasta septiembre de 2021. Los coautores ahora están verificando lo que puede hacer el modelo en un proyecto que evalúa posibles acuerdos de fusión, considerando que no puede conocer los acuerdos posteriores a septiembre de 2021.

Como sugieren muchos otros profesionales, ChatGPT puede ser una herramienta útil para ayudar con algunas tareas, incluso en finanzas, como revisiones o investigaciones, siempre que se haga un seguimiento de los hechos y se verifiquen dos veces.

¿Recesión en los puestos de trabajo para analistas junior?

Los LLM no parecen ser un sustituto de los profesionales financieros. Si va a transformar drásticamente los empleos en el área en un futuro cercano, tal vez pueda alterar de alguna manera los puestos de analista de nivel inicial en los bancos, sugieren los autores.

“La práctica de incorporar a un grupo de personas como analistas junior, dejarlos competir y quedarse con los ganadores, se vuelve mucho más costosa", dijo Fairhurst.

“Esto puede significar una caída en ese tipo de trabajos, pero no es porque ChatGPT sea mejor que los analistas, es porque hemos estado pidiendo a los analistas junior que hagan tareas más sencillas”.

Tal vez en lugar de pérdidas de empleos esto podría simplemente verse como descripciones de trabajo diferentes para los candidatos principiantes, que involucren menos trabajo servil y repetitivo y análisis más profundos.

Referencia de la noticia:

How Much Does ChatGPT Know about Finance? Financial Analysts Journal. 2024. DOI: 10.1080/0015198X.2024.2411941