La inteligencia sintético está cambiando la forma en que las empresas almacenan y acceden a sus datos. Esto se debe a que los sistemas tradicionales de almacenamiento de datos fueron diseñados para manejar comandos simples de un puñado de usuarios a la vez, mientras que hoy, los sistemas de IA con millones de agentes necesitan conseguir y procesar continuamente grandes cantidades de datos en paralelo. Los sistemas tradicionales de almacenamiento de datos ahora tienen capas de complejidad, lo que ralentiza los sistemas de IA porque los datos deben advenir a través de múltiples niveles antiguamente de alcanzar las unidades de procesamiento gráficas (GPU) que son las células cerebrales de la IA.
Cloudian, cofundado por Michael Tso ’93, SM ’93 y Hiroshi Ohta, está ayudando al almacenamiento a mantenerse al día con la Revolución AI. La compañía ha desarrollado un sistema de almacenamiento escalable para empresas que ayuda a los datos a fluir sin problemas entre el almacenamiento y los modelos de IA. El sistema reduce la complejidad al aplicar la computación paralela al almacenamiento de datos, consolidando funciones de IA y datos en una sola plataforma de procesamiento paralelo que almacena, recupera y procesa conjuntos de datos escalables, con transferencias directas de ingreso velocidad entre el almacenamiento y las GPU y las CPU y las CPU.
La plataforma integrada de almacenamiento de Cloudian simplifica el proceso de construcción de herramientas de IA a escalera comercial y ofrece a las empresas una saco de almacenamiento que puede mantenerse al día con el aumento de la IA.
«Una de las cosas que la concurrencia extraña de la IA es que se alcahuetería de los datos», dice TSO. «No puede obtener una restablecimiento del 10 por ciento en el rendimiento de la inteligencia sintético con un 10 por ciento más de datos o incluso 10 veces más datos: necesita 1,000 veces más datos. Poder juntar esos datos de una forma realizable de dirigir, y de tal forma que pueda engastar los cálculos para que pueda ejecutar operaciones mientras los datos entran sin mover los datos, ahí es donde esta industria va».
De MIT a industria
Como un estudiante universitario en el MIT en la decenio de 1990, TSO fue introducido por el profesor William Dally a la computación paralela, un tipo de cálculo en el que se producen muchos cálculos simultáneamente. TSO igualmente trabajó en computación paralela con el profesor asociado Greg Papadopoulos.
«Fue un momento increíble porque la mayoría de las escuelas tenían un tesina súper computarico: MIT tenía cuatro», recuerda TSO.
Como estudiante de posgrado, TSO trabajó con el verificado de investigación senior del MIT David Clark, un pionero informático que contribuyó a la edificio temprana de Internet, particularmente al Protocolo de control de transmisión (TCP) que ofrece datos entre sistemas.
«Como estudiante de posgrado en el MIT, trabajé en operaciones de redes desconectadas e intermitentes para sistemas distribuidos a gran escalera», dice TSO. «Es divertido, 30 abriles luego, eso es lo que todavía estoy haciendo hoy».
A posteriori de su grado, TSO trabajó en el laboratorio de edificio de Intel, donde inventó algoritmos de sincronización de datos utilizados por BlackBerry. Además creó especificaciones para Nokia que encendieron la industria de descarga de tono de señal. Luego se unió a Inktomi, una startup cofundada por Eric Brewer SM ’92, PhD ’94 que fue pionera en tecnologías de búsqueda y distribución de contenido web.
En 2001, TSO comenzó Gemini Mobile Technologies con Joseph Norton ’93, SM ’93 y otros. La compañía construyó los sistemas de correo móvil más espacioso del mundo para manejar el crecimiento masivo de datos a partir de los teléfonos con cámara. Luego, a fines de la decenio de 2000, la computación en la montón se convirtió en una forma poderosa para que las empresas alquilen servidores virtuales a medida que crecían sus operaciones. TSO notó que la cantidad de datos que se recopilaban estaba creciendo mucho más rápido que la velocidad de la red, por lo que decidió doblar a la compañía.
«Los datos se están creando en muchos lugares diferentes, y esos datos tienen su propia solemnidad: le costará hacienda y tiempo para moverlo», explica TSO. «Eso significa que el estado final es una montón distribuida que llega a dispositivos y servidores de borde. Debe aceptar la montón a los datos, no los datos a la montón».
TSO lanzó oficialmente a Cloudian de Gemini Mobile Technologies en 2012, con un nuevo intensidad en ayudar a los clientes con almacenamiento de datos escalable, distribuido y compatible con la montón.
«Lo que no vimos cuando comenzamos la compañía fue que AI iba a ser el postrer caso de uso de los datos en el borde», dice TSO.
Aunque la investigación de TSO en el MIT comenzó hace más de dos décadas, ve fuertes conexiones entre lo que trabajó y la industria hoy.
«Es como si toda mi vida se estuviera reproduciendo porque David Clark y yo estábamos lidiando con redes desconectadas e conectadas intermitentemente, que son parte de cada caso de uso de borde hoy, y el profesor Dally estaba trabajando en interconexiones muy rápidas y escalables», dice TSO, y señala que Dally ahora es el vicepresidente senior y verificado principal de la compañía de IA líder Nvidia. «Ahora, cuando miras la edificio moderna de chips Nvidia y la forma en que hacen la comunicación intercambiosa, tiene el trabajo de Dally por todas partes. Con el profesor Papadopoulos, trabajé en el software de velocidad de la aplicación con hardware de computación paralelo sin tener que reescribir las aplicaciones, y ese es exactamente el problema que estamos tratando de resolver con Nvidia. Cinidentalmente, todo lo que estoy haciendo en Mit Out.». «.
Hoy la plataforma de Cloudian utiliza una edificio de almacenamiento de objetos en la que todo tipo de datos (documentos, videos, datos del sensor) se almacenan como un objeto único con metadatos. El almacenamiento de objetos puede dirigir conjuntos de datos masivos en una estuctura de archivos planos, lo que lo hace ideal para datos no estructurados y sistemas de IA, pero tradicionalmente no ha podido cursar datos directamente a los modelos de IA sin que los datos se copiaran primero en el sistema de memoria de una computadora, creando latencia y cuellos de botella de energía para las empresas.
En julio, Cloudian anunció que ha ampliado su sistema de almacenamiento de objetos con una saco de datos vectorial que almacena datos en un formulario que se puede usar inmediatamente por los modelos de IA. A medida que se ingieren los datos, Cloudian está calculando en tiempo auténtico la forma vectorial de esos datos para avituallar herramientas de IA como motores de recomendación, búsqueda y asistentes de IA. Cloudian igualmente anunció una asociación con NVIDIA que permite que su sistema de almacenamiento trabaje directamente con las GPU de la compañía AI. Cloudian dice que el nuevo sistema permite operaciones de IA aún más rápidas y reduce los costos informáticos.
«Nvidia nos contactó hace aproximadamente un año y medio porque las GPU son bártulos solo con los datos que los mantienen ocupados», dice TSO. «Ahora que las personas se están dando cuenta de que es más realizable trasladar la IA a los datos que mover enormes conjuntos de datos. Nuestros sistemas de almacenamiento incrustan muchas funciones de IA, por lo que podemos preprocesar los datos para la IA cerca de la IA cerca de donde recopilamos y almacenamos los datos».
Ai-primero almacenamiento
Cloudian está ayudando a que más o menos de 1,000 empresas de todo el mundo obtengan más valía de sus datos, incluidos grandes fabricantes, proveedores de servicios financieros, organizaciones de atención médica y agencias gubernamentales.
La plataforma de almacenamiento de Cloudian está ayudando a un gran fabricante de automóviles, por ejemplo, a usar IA para determinar cuándo es necesario atender cada uno de sus robots de fabricación. Cloudian igualmente está trabajando con la Biblioteca Franquista de Medicina para juntar artículos de investigación y patentes, y la saco de datos franquista de cáncer para juntar secuencias de ADN de tumores, conjuntos de datos ricos que los modelos de IA podrían procesar para ayudar a la investigación a desarrollar nuevos tratamientos o obtener nuevas ideas.
«Las GPU han sido un habilitador increíble», dice TSO. «La ley de Moore duplica la cantidad de cálculo cada dos abriles, pero las GPU pueden paralelizar las operaciones en los chips, por lo que puede establecer contactos GPU y romper la ley de Moore. Esa escalera está empujando la IA a los nuevos niveles de inteligencia, pero la única forma de hacer que las GPU funcionen duras es alimentarlos con los datos de la misma velocidad que computan, y la única forma de hacer eso es obtener una ridera de todas las capas entre ellos y sus datos.