“Coconut” de Meta: El Razonamiento Latente Potencia las Capacidades de los LLM

En un avance significativo hacia una inteligencia artificial más similar a la humana, investigadores de Meta han presentado “Coconut”, un novedoso marco diseñado para revolucionar cómo los Grandes Modelos de Lenguaje (LLM) procesan y resuelven problemas complejos. Oficialmente denominado “Cadena de Pensamiento Continuo”, Coconut libera a los LLM de los confines del razonamiento explícito basado en el lenguaje, permitiéndoles “pensar” en un espacio latente continuo y no verbal.

Tradicionalmente, los LLM abordan tareas intrincadas utilizando el razonamiento de “Cadena de Pensamiento” (CoT), donde articulan cada paso de su proceso de resolución de problemas en tokens de lenguaje natural. Aunque eficaz, este método a menudo resulta ineficiente. Gran parte del lenguaje generado se dedica a mantener la coherencia lingüística en lugar de avanzar en el razonamiento central, similar a un humano que necesita verbalizar cada pensamiento fugaz. Esta verbosidad no solo aumenta la sobrecarga computacional, sino que también plantea desafíos para los LLM al lidiar con pasos que exigen una planificación profunda o un retroceso. La inspiración para Coconut proviene de la observación de que la cognición humana navega frecuentemente por problemas complejos sin verbalizar cada salto lógico, lo que sugiere que el lenguaje no siempre es el medio óptimo para el razonamiento puro.

Coconut redefine fundamentalmente este proceso. En lugar de convertir las representaciones internas del modelo en tokens de palabras para el siguiente paso de razonamiento, alimenta directamente el “último estado oculto” del LLM —un vector rico y de alta dimensión denominado “pensamiento continuo”— de nuevo en sí mismo como la entrada subsiguiente. Esto permite que el modelo opere en un “modo latente”, un estado de pensamiento no verbal, cambiando a “modo de lenguaje” solo cuando se requiere una salida legible por humanos. Marcadores especiales, y , delimitan estos segmentos de razonamiento interno. El entrenamiento de Coconut implica un currículo de múltiples etapas, enseñando progresivamente al modelo a depender de estos estados latentes en lugar de un lenguaje explícito para sus pasos intermedios.

Las ventajas de este cambio de paradigma son convincentes. Al razonar en un espacio latente continuo, Coconut mejora significativamente la eficiencia, reduciendo el número de tokens generados durante la inferencia sin sacrificar la precisión. Más notablemente, este enfoque latente fomenta la aparición de patrones de razonamiento avanzados. A diferencia de CoT, que a menudo se compromete con una única ruta determinista, los pensamientos continuos de Coconut pueden codificar simultáneamente múltiples posibles pasos siguientes, lo que permite una forma de “búsqueda en amplitud”. Esta flexibilidad es particularmente beneficiosa para tareas que requieren una planificación extensa o la capacidad de retroceder y explorar soluciones alternativas. Por ejemplo, Coconut logró una sorprendente precisión del 96.6% en el conjunto de datos ProsQA, un punto de referencia diseñado para probar la planificación y el retroceso, superando significativamente el 76.7% del CoT tradicional. Además, la naturaleza continua de estos pensamientos latentes los hace totalmente diferenciables, lo que permite una optimización de extremo a extremo a través del descenso de gradiente. Esta “encadenación” de pensamientos continuos también sugiere una vía para que el marco escale y aborde problemas cada vez más complejos.

Si bien la “Cadena de Pensamiento Continuo” representa una nueva frontera prometedora en el desarrollo de LLM, persisten los desafíos. La interpretabilidad de estos pensamientos latentes, por ejemplo, es un área de investigación en curso. Además, como un enfoque fundamentalmente diferente, Coconut requerirá más tiempo e investigación dedicada para madurar en una técnica ampliamente adoptada en comparación con los métodos CoT bien establecidos. La ausencia de modelos preentrenados fácilmente disponibles y las inestabilidades de entrenamiento observadas en etapas posteriores también resaltan áreas para el desarrollo futuro. A pesar de estos desafíos incipientes, el artículo de los investigadores de Meta, publicado en diciembre de 2024, sienta una base sólida, demostrando el inmenso potencial del razonamiento latente para elevar a los LLM más allá de la mera generación de lenguaje hacia una verdadera destreza cognitiva.