RAG ha muerto: la Ingeniería de Contexto reina en sistemas de IA
El panorama de la inteligencia artificial, en rápida evolución, está presenciando un cambio de paradigma significativo, anunciado por Jeff Huber, CEO de Chroma, en una reciente entrevista en Latent.Space titulada “RAG ha muerto, la Ingeniería de Contexto es el Rey”. Esta audaz declaración señala un avance más allá de la simple generación aumentada por recuperación (RAG) hacia un enfoque más sofisticado para gestionar la información que alimenta los sistemas de IA. La discusión destaca lo que realmente importa en las bases de datos vectoriales en 2025, las demandas únicas de la búsqueda moderna de IA y las estrategias para construir sistemas resilientes que se adapten a medida que su comprensión contextual crece.
Para una audiencia general, la Generación Aumentada por Recuperación (RAG) surgió como una técnica crucial para mejorar los grandes modelos de lenguaje (LLM). Los LLM tradicionales, entrenados con conjuntos de datos vastos pero estáticos, a menudo tienen dificultades para proporcionar información actualizada, específica de un dominio o precisa, a veces incluso “alucinando” hechos. RAG abordó esto permitiendo a los LLM primero recuperar información relevante de bases de conocimiento externas —como documentos, bases de datos o la web— y luego usar estos datos frescos para aumentar sus respuestas. Este proceso tenía como objetivo reducir las inexactitudes y la necesidad de un reentrenamiento constante del modelo, permitiendo a los LLM citar fuentes y proporcionar respuestas más fundamentadas.
Sin embargo, a medida que las aplicaciones de IA maduran de simples chatbots a agentes complejos de múltiples turnos, las limitaciones de RAG se han hecho evidentes. Aunque RAG mejoró la precisión, no fue una solución mágica contra las alucinaciones, ya que los LLM aún podían malinterpretar o combinar la información recuperada de manera engañosa. Además, los sistemas RAG enfrentaron desafíos para distinguir diferencias sutiles en grandes conjuntos de datos, manejar significados ambiguos y, críticamente, operar dentro de las limitaciones fijas de la “ventana de contexto” de los LLM. Jeff Huber señala que simplemente introducir más datos en la ventana de contexto de un LLM puede degradar sus capacidades de razonamiento y su habilidad para encontrar información relevante, un fenómeno que la investigación de Chroma denomina “putrefacción del contexto”.
Aquí es donde la “Ingeniería de Contexto” toma el centro del escenario. A diferencia de la “ingeniería de prompts”, que se centra en elaborar la instrucción singular perfecta para un modelo de IA, la ingeniería de contexto es la disciplina sistemática de diseñar y gestionar toda la información que un modelo de IA ve antes de generar una respuesta. Abarca la recopilación de instrucciones del sistema, el historial de conversaciones, las preferencias del usuario, los documentos externos recuperados dinámicamente e incluso las herramientas disponibles. Huber argumenta que el éxito o fracaso de los agentes de IA avanzados de hoy en día depende cada vez más de la calidad de su contexto, lo que hace que la mayoría de los fallos de los agentes sean “fallos de contexto” en lugar de deficiencias inherentes del modelo. El objetivo de la ingeniería de contexto es preciso: encontrar, eliminar y optimizar la información relevante para el LLM, asegurando que reciba exactamente lo que necesita, cuando lo necesita. Esto implica un proceso de dos etapas de “Recopilación” (maximizando la recuperación al lanzar una red amplia para toda la información relevante posible) y “Extracción” (maximizando la precisión mediante el reordenamiento y la eliminación de datos irrelevantes).
En el corazón de la búsqueda moderna de IA y la ingeniería de contexto se encuentran las bases de datos vectoriales. Estas bases de datos especializadas almacenan e indexan representaciones numéricas, o “embeddings”, de datos no estructurados como texto, imágenes y audio. A diferencia de las bases de datos tradicionales que se basan en coincidencias exactas, las bases de datos vectoriales permiten “búsquedas por similitud” altamente eficientes, lo que permite a los sistemas de IA comprender el significado y el contexto. Chroma, cofundada por Jeff Huber, es una base de datos vectorial de código abierto líder, construida específicamente para aplicaciones de IA. Huber enfatiza el compromiso de Chroma de simplificar la experiencia del desarrollador y proporcionar soluciones escalables y distribuidas nativamente que superen el “infierno operativo” a menudo asociado con la escalabilidad de bases de datos vectoriales de nodo único.
El cambio de “RAG ha muerto” a “la Ingeniería de Contexto es el Rey” significa una maduración en el desarrollo de la IA. Reconoce que simplemente recuperar datos no es suficiente; la inteligencia reside en cómo esos datos son curados, estructurados y presentados a la IA. La búsqueda moderna para la IA ya no se trata solo de encontrar palabras clave, sino de comprender la intención y el contexto matizados, una capacidad impulsada por la interacción sofisticada de las bases de datos vectoriales y los principios de la ingeniería de contexto. A medida que los sistemas de IA se vuelven más integrales para los flujos de trabajo complejos, la capacidad de enviar sistemas que no se “pudran” a medida que el contexto crece —respetando los límites de la ventana de contexto, empleando recuperación híbrida y un reordenamiento riguroso— definirá la próxima generación de IA robusta y fiable.