Mosaic AI Vector Search: Reclasificación para RAG más Rápido y Preciso
Para muchas organizaciones que implementan agentes de inteligencia artificial, el principal obstáculo no es la sofisticación del modelo de IA en sí, sino la calidad de la información que recibe. Si un agente no logra recuperar el contexto más pertinente, incluso los modelos de lenguaje grandes más avanzados pueden pasar por alto detalles críticos, lo que lleva a respuestas incompletas o inexactas.
Para abordar este desafío, Mosaic AI Vector Search introduce una nueva función de reclasificación, ahora disponible en vista previa pública. Esta mejora promete aumentar significativamente la precisión de recuperación, demostrando una mejora promedio de 15 puntos porcentuales en los puntos de referencia empresariales internos con la simple activación de un único parámetro. El resultado es una mejora notable en la calidad de las respuestas, capacidades de razonamiento más sólidas y un rendimiento consistentemente mejor de los agentes de IA, todo ello sin requerir infraestructura adicional ni una configuración compleja.
La reclasificación es una técnica sofisticada diseñada para elevar el rendimiento del agente al garantizar que se presenten los datos más relevantes para una tarea determinada. Si bien las bases de datos vectoriales son excepcionalmente eficientes para examinar rápidamente millones de documentos potenciales y encontrar candidatos ampliamente relevantes, la reclasificación aplica una comprensión contextual más profunda y matizada. Esta segunda etapa reordena los resultados iniciales, colocando la información semánticamente más pertinente en la parte superior. Este enfoque de dos etapas, que combina la recuperación inicial rápida con la reordenación inteligente, se ha vuelto indispensable para los sistemas modernos de agentes de generación aumentada por recuperación (RAG), donde la precisión y la calidad de las respuestas son primordiales.
La decisión de integrar la reclasificación surgió directamente de los comentarios de los clientes, que destacaron dos problemas recurrentes. Primero, los agentes de IA a menudo tenían dificultades para identificar el contexto crítico enterrado en vastos conjuntos de datos no estructurados. La pieza de información verdaderamente “correcta” a menudo no se encontraba entre los resultados principales devueltos por una base de datos vectorial estándar. Segundo, si bien algunas organizaciones intentaron construir sus propios sistemas de reclasificación para mejorar la calidad del agente, estas soluciones personalizadas resultaron ser lentas de desarrollar —a menudo tardando semanas— y requerían un mantenimiento continuo sustancial. Al integrar la reclasificación directamente en Vector Search, las organizaciones ahora pueden aprovechar sus datos empresariales gobernados para mostrar la información más relevante sin incurrir en gastos generales de ingeniería adicionales.
El impacto de esta innovación ya es evidente. David Brady, Director Senior de G3 Enterprises, señaló un cambio transformador en su chatbot Lexi: “La función de reclasificación ayudó a elevar nuestro chatbot Lexi de funcionar como un estudiante de secundaria a desempeñarse como un graduado de la facultad de derecho. Hemos visto ganancias transformadoras en cómo nuestros sistemas entienden, razonan y generan contenido a partir de documentos legales, desbloqueando conocimientos que antes estaban enterrados en datos no estructurados.”
El equipo de investigación de Databricks logró este avance desarrollando un novedoso sistema de IA compuesto específicamente adaptado para cargas de trabajo de agentes. En los puntos de referencia empresariales internos, este sistema recupera con éxito la respuesta correcta dentro de sus 10 resultados principales el 89% de las veces (una métrica conocida como recall@10). Esto representa una mejora sustancial de 15 puntos sobre la línea de base anterior del 74% y es 10 puntos más alta que las alternativas líderes en la nube, que suelen alcanzar el 79%. Crucialmente, esta calidad mejorada se entrega con una velocidad notable, con latencias tan bajas como 1.5 segundos. En contraste, muchos sistemas contemporáneos a menudo requieren varios segundos, o incluso minutos, para devolver respuestas de alta calidad. El sistema está optimizado para reclasificar 50 resultados en tan solo 1.5 segundos, asegurando que las estrategias de recuperación sofisticadas no comprometan la experiencia del usuario.
Habilitar esta capacidad de reclasificación de grado empresarial es notablemente sencillo, tomando minutos en lugar de semanas. Tradicionalmente, los equipos dedicarían un tiempo significativo a investigar modelos, implementar infraestructura y escribir lógica personalizada. Con Vector Search, activar la reclasificación requiere agregar solo un parámetro adicional a una consulta, impulsando instantáneamente la calidad de recuperación para los agentes de IA. Esto elimina la necesidad de administrar puntos finales de servicio de modelos separados, mantener envoltorios personalizados o ajustar configuraciones complejas. Además, los usuarios pueden especificar varias columnas para la reclasificación, proporcionando al sistema acceso a metadatos ricos más allá del texto principal, como resúmenes de contratos o información de categorías, para mejorar aún más la comprensión contextual y la relevancia de los resultados.
La reclasificación es particularmente beneficiosa para cualquier caso de uso de agentes RAG donde la respuesta correcta está presente dentro de un conjunto más amplio de resultados iniciales pero tiene dificultades para aparecer entre los primeros. En términos técnicos, esto significa que los clientes con un recall@10 bajo pero un recall@50 alto —donde la información correcta se recupera dentro de los 50 resultados principales pero no consistentemente dentro de los 10 principales— probablemente verán las ganancias de calidad más significativas. Esta nueva característica representa un paso adelante significativo para hacer que los agentes de IA sean más precisos, eficientes y, en última instancia, más valiosos para las aplicaciones empresariales.