Cloudian: Almacenamiento listo para IA que domina la demanda de datos

La inteligencia artificial está transformando rápidamente la forma en que las empresas gestionan y acceden a los datos, exponiendo limitaciones significativas en los sistemas de almacenamiento tradicionales. Diseñadas para comandos más simples y secuenciales de un número limitado de usuarios, estas arquitecturas antiguas luchan por seguir el ritmo de la IA moderna, que exige acceso continuo y paralelo a vastos conjuntos de datos por millones de agentes. La complejidad inherente y la estructura de múltiples niveles de los sistemas heredados crean cuellos de botella, ralentizando el flujo de datos críticos a las potentes unidades de procesamiento gráfico (GPU) que impulsan los cálculos de IA.

Para abordar este desafío, Cloudian, cofundada por los exalumnos del MIT Michael Tso y Hiroshi Ohta, ha desarrollado una solución de almacenamiento escalable diseñada específicamente para la era de la IA. Su sistema agiliza el flujo de datos entre el almacenamiento y los modelos de IA aplicando computación paralela directamente al almacenamiento de datos. Este enfoque innovador consolida las funciones y los datos de IA en una única plataforma, lo que permite transferencias directas y de alta velocidad entre el almacenamiento y las GPU y CPU, reduciendo así la complejidad y la latencia que obstaculizan el rendimiento de la IA.

La plataforma integrada de almacenamiento y computación de Cloudian simplifica el desarrollo de herramientas de IA a escala comercial, proporcionando a las empresas una base de datos robusta capaz de soportar el crecimiento exponencial de la IA. Michael Tso enfatiza el papel fundamental de los datos en el avance de la IA: “Una de las cosas que la gente pasa por alto de la IA es que todo se trata de los datos. No se puede obtener una mejora del 10 por ciento en el rendimiento de la IA con un 10 por ciento más de datos o incluso 10 veces más datos; se necesitan 1.000 veces más datos”. Destaca el cambio de la industria hacia el almacenamiento de datos de formas fácilmente manejables que permiten que los cálculos se incrusten y ejecuten a medida que llegan los datos, eliminando la necesidad de mover grandes conjuntos de datos.

El camino de Tso hasta cofundar Cloudian está profundamente arraigado en su trabajo fundamental en el MIT. Como estudiante universitario en la década de 1990, se adentró en la computación paralela bajo la dirección del profesor William Dally y el profesor asociado Greg Papadopoulos. Sus estudios de posgrado con el pionero de la computación David Clark se centraron en operaciones de red desconectadas e intermitentes para sistemas distribuidos a gran escala, un concepto que Tso señala que sigue siendo fundamental para su trabajo hoy en día.

Después del MIT, Tso contribuyó a los algoritmos de sincronización de datos para BlackBerry en el Laboratorio de Arquitectura de Intel y desarrolló especificaciones para Nokia que catalizaron la industria de descarga de tonos de llamada. Luego se unió a Inktomi, una startup cofundada por el exalumno del MIT Eric Brewer, que fue pionera en la búsqueda y distribución de contenido web. En 2001, Tso cofundó Gemini Mobile Technologies, que construyó algunos de los sistemas de mensajería móvil más grandes del mundo para gestionar el crecimiento explosivo de datos de los teléfonos con cámara.

Al observar que la generación de datos superaba la velocidad de la red a finales de la década de 2000, Tso reconoció que se necesitaba un cambio fundamental. Concluyó que “los datos tienen su propia gravedad”, lo que hacía impráctico y costoso moverlos constantemente a sistemas centralizados en la nube. Esta idea llevó al giro hacia un modelo de nube distribuida, donde el poder de cómputo se acerca más a los datos, en lugar de al revés. Cloudian se lanzó oficialmente desde Gemini Mobile Technologies en 2012, centrándose inicialmente en el almacenamiento de datos escalable, distribuido y compatible con la nube, aunque Tso admite que inicialmente no previeron la IA como el caso de uso definitivo para los datos de borde.

Tso ve sorprendentes paralelismos entre su investigación inicial en el MIT y los esfuerzos actuales de Cloudian. Señala que los desafíos de las redes desconectadas, que exploró con David Clark, ahora son parte integral de cada escenario de computación de borde. De manera similar, el trabajo del profesor Dally sobre interconexiones rápidas y escalables es evidente en la arquitectura de chips modernos de NVIDIA, mientras que sus colaboraciones con el profesor Papadopoulos sobre la aceleración del software de aplicación con hardware de computación paralela sin una reescritura extensa informan directamente los esfuerzos de Cloudian para optimizar el flujo de datos para las GPU de NVIDIA.

La plataforma de Cloudian aprovecha una arquitectura de almacenamiento de objetos, donde todos los tipos de datos, desde documentos hasta lecturas de sensores, se almacenan como objetos únicos con metadatos. Esta estructura de archivo plano es muy efectiva para gestionar los conjuntos de datos masivos y no estructurados que prevalecen en las aplicaciones de IA. Históricamente, sin embargo, el almacenamiento de objetos enfrentó limitaciones para alimentar datos directamente a los modelos de IA, a menudo requiriendo que los datos se copiaran en la memoria de la computadora, lo que generaba latencia e ineficiencias energéticas.

En un avance significativo este julio, Cloudian anunció una extensión a su sistema de almacenamiento de objetos: una base de datos vectorial. Esta innovación permite que los datos se almacenen en un formato inmediatamente utilizable por los modelos de IA. A medida que se ingieren los datos, Cloudian calcula su forma vectorial en tiempo real, impulsando herramientas de IA como motores de recomendación, funciones de búsqueda y asistentes de IA. La compañía también presentó una asociación estratégica con NVIDIA, lo que permite que su sistema de almacenamiento funcione directamente con las GPU de NVIDIA, lo que promete operaciones de IA más rápidas y costos de computación reducidos. Tso señala que NVIDIA inició la colaboración, reconociendo que las GPU requieren un suministro constante y de alta velocidad de datos para operar de manera eficiente. Esta asociación subraya la creciente comprensión de que es más eficiente llevar el procesamiento de IA a los datos en lugar de mover conjuntos de datos colosales. Los sistemas de Cloudian incorporan muchas funciones de IA, lo que permite el preprocesamiento y posprocesamiento de datos cerca de donde se recopilan y almacenan.

Cloudian actualmente ayuda a aproximadamente 1.000 empresas en todo el mundo a extraer un mayor valor de sus datos. Su diversa base de clientes incluye grandes fabricantes, proveedores de servicios financieros, organizaciones de atención médica y agencias gubernamentales. Por ejemplo, un importante fabricante de automóviles utiliza la plataforma de Cloudian con IA para predecir las necesidades de mantenimiento de sus robots de fabricación. Cloudian también apoya iniciativas críticas como el almacenamiento de artículos de investigación y patentes para la Biblioteca Nacional de Medicina, y secuencias de ADN de tumores para la Base de Datos Nacional del Cáncer, conjuntos de datos ricos que los modelos de IA pueden procesar para acelerar la investigación y el descubrimiento médico.

Tso enfatiza el impacto transformador de las GPU, que han roto las tasas de crecimiento de la computación tradicional al paralelizar operaciones y permitir configuraciones en red. Esta escala sin precedentes está llevando la IA a nuevos niveles de inteligencia. Sin embargo, para aprovechar al máximo este poder, las GPU requieren que los datos se alimenten a la misma velocidad a la que calculan. Tso concluye que la única forma de lograr esto es “eliminando todas las capas entre ellas y sus datos”, un principio que se encuentra en el corazón de la innovación de Cloudian.