Las empresas de inteligencia artificial como OpenAI están tratando de superar los retrasos y retos inesperados en la búsqueda de modelos lingüísticos cada vez más grandes mediante el desarrollo de técnicas de entrenamiento que utilicen formas más parecidas a las humanas para que los algoritmos "piensen".

Una docena de científicos, investigadores e inversores en IA dijeron a Reuters que creen que estas técnicas, que están detrás del modelo o1 de OpenAI recientemente publicado, podrían remodelar la carrera armamentística de la IA y tener implicaciones para los tipos de recursos que las empresas de IA demandan insaciablemente, desde la energía hasta los tipos de chips.

OpenAI declinó hacer comentarios para este reportaje. Tras el lanzamiento del chatbot viral ChatGPT hace dos años, las empresas tecnológicas, cuyas valoraciones se han beneficiado enormemente del auge de la IA, han mantenido públicamente que "ampliar" los modelos actuales mediante la adición de más datos y potencia informática conducirá sistemáticamente a modelos de IA mejorados.

Pero ahora, algunos de los científicos más destacados en IA están hablando sobre las limitaciones de esta filosofía de "cuanto más grande, mejor".

Ilya Sutskever, cofundador de los laboratorios de IA Safe Superintelligence (SSI) y OpenAI, declaró recientemente a Reuters que los resultados de la ampliación del preentrenamiento -la fase de entrenamiento de un modelo de IA que utiliza una gran cantidad de datos sin etiquetar para comprender los patrones y las estructuras del lenguaje- se han estancado.

Sutskever es ampliamente reconocido como uno de los primeros defensores de lograr saltos masivos en el avance de la IA generativa mediante el uso de más datos y potencia informática en el preentrenamiento, lo que acabó creando ChatGPT. Sutskever abandonó OpenAI a principios de este año para fundar SSI.

"La década de 2010 fue la era del escalado, ahora estamos de nuevo en la era del asombro y el descubrimiento. Todo el mundo busca lo siguiente", dijo Sutskever. "Escalar lo correcto importa ahora más que nunca".

Sutskever declinó compartir más detalles sobre cómo su equipo está abordando la cuestión, aparte de decir que SSI está trabajando en un enfoque alternativo para ampliar la formación previa.

Entre bastidores, los investigadores de los principales laboratorios de IA se han topado con retrasos y resultados decepcionantes en la carrera por lanzar un gran modelo lingüístico que supere al modelo GPT-4 de OpenAI, que tiene casi dos años, según tres fuentes familiarizadas con asuntos privados.

Las llamadas "carreras de entrenamiento" de los grandes modelos pueden costar decenas de millones de dólares al ejecutar simultáneamente cientos de chips. Es más probable que sufran fallos inducidos por el hardware, dado lo complicado que es el sistema; los investigadores pueden no conocer el rendimiento final de los modelos hasta el final de la ejecución, lo que puede llevar meses.

Otro problema es que los grandes modelos lingüísticos engullen enormes cantidades de datos, y los modelos de IA han agotado todos los datos fácilmente accesibles del mundo. La escasez de energía también ha obstaculizado las tiradas de entrenamiento, ya que el proceso requiere grandes cantidades de energía.

Para superar estos retos, los investigadores están explorando la "computación en tiempo de prueba", una técnica que mejora los modelos de IA existentes durante la llamada fase de "inferencia", o cuando se está utilizando el modelo. Por ejemplo, en lugar de elegir inmediatamente una única respuesta, un modelo podría generar y evaluar múltiples posibilidades en tiempo real, eligiendo en última instancia el mejor camino a seguir.

Este método permite a los modelos dedicar más potencia de procesamiento a tareas desafiantes como problemas matemáticos o de codificación u operaciones complejas que exigen un razonamiento y una toma de decisiones similares a los humanos.

"Resultó que hacer que un bot pensara durante sólo 20 segundos en una mano de póquer conseguía el mismo rendimiento potenciador que ampliar el modelo 100.000 veces y entrenarlo durante 100.000 veces más", dijo Noam Brown, investigador de OpenAI que trabajó en o1, en la conferencia TED sobre IA celebrada en San Francisco el mes pasado.

OpenAI ha adoptado esta técnica en su recién estrenado modelo conocido como "o1", antes conocido como Q* y Strawberry, del que Reuters informó por primera vez en julio. El modelo O1 puede "pensar" a través de los problemas de una manera de múltiples pasos, similar al razonamiento humano. También implica el uso de datos y comentarios curados de doctores y expertos de la industria. La salsa secreta de la serie o1 es otra serie de entrenamientos realizados sobre modelos "base" como el GPT-4, y la empresa afirma que planea aplicar esta técnica con más modelos base y de mayor tamaño.

Al mismo tiempo, los investigadores de otros laboratorios punteros de IA, desde Anthropic, xAI y Google DeepMind, también han estado trabajando para desarrollar sus propias versiones de la técnica, según cinco personas familiarizadas con los esfuerzos.

"Vemos un montón de fruta madura que podemos ir arrancando para mejorar estos modelos muy rápidamente", dijo Kevin Weil, jefe de producto de OpenAI en una conferencia tecnológica en octubre. "Para cuando la gente se ponga al día, vamos a intentar estar tres pasos más por delante".

Google y xAI no respondieron a las solicitudes de comentarios y Anthropic no hizo comentarios inmediatos.

Las implicaciones podrían alterar el panorama competitivo del hardware de IA, hasta ahora dominado por la insaciable demanda de los chips de IA de Nvidia. Destacados inversores de capital riesgo, desde Sequoia hasta Andreessen Horowitz, que han invertido miles de millones para financiar el costoso desarrollo de modelos de IA en múltiples laboratorios de IA, incluidos OpenAI y xAI, están tomando nota de la transición y sopesando el impacto en sus costosas apuestas.

"Este cambio nos hará pasar de un mundo de clusters masivos de preentrenamiento a nubes de inferencia, que son servidores distribuidos y basados en la nube para la inferencia", declaró a Reuters Sonya Huang, socia de Sequoia Capital.

La demanda de los chips de IA de Nvidia, que son los más punteros, ha impulsado su ascenso hasta convertirse en la empresa más valiosa del mundo, superando a Apple en octubre. A diferencia de los chips de entrenamiento, donde Nvidia domina, el gigante de los chips podría enfrentarse a una mayor competencia en el mercado de la inferencia.

Preguntada por el posible impacto en la demanda de sus productos, Nvidia señaló las recientes presentaciones de la empresa sobre la importancia de la técnica que hay detrás del modelo o1. Su consejero delegado, Jensen Huang, ha hablado de la creciente demanda del uso de sus chips para la inferencia.

"Ahora hemos descubierto una segunda ley de escalado, y ésta es la ley de escalado en un momento de inferencia... Todos estos factores han hecho que la demanda de Blackwell sea increíblemente alta", dijo Huang el mes pasado en una conferencia en la India, refiriéndose al último chip de IA de la empresa.