Anuncio de GA de intercambio de modelos de IA

Un agradecimiento peculiar a Daniel Benito (CTO, Bitext), Antonio Valderrabanos (CEO, Bitext), Chen Wang (Arquitecto líder de soluciones, AI21 Labs), Robbin Jang (Regente de alianza, AI21 Labs) y Alex Godfrey (Socio líder de marketing, AI21 Labs) por sus valiosos conocimientos y contribuciones a este blog.

Nos complace compartir la disponibilidad común de AI Model Sharing internamente de Databricks Delta Sharing y Databricks Marketplace. Este hito sigue el Anuncio de instinto previa pública en enero de 2024. Desde el impulso de la lectura preliminar pública, hemos trabajado con clientes y proveedores de nuevos modelos de IA que comparten, como Bitexto, Laboratorios AI21y Ripple para simplificar aún más el intercambio de modelos de IA.

Puede compartir y servir fácilmente modelos de IA de forma segura utilizando Delta Sharing. El uso compartido puede realizarse internamente de su ordenamiento o externamente a través de nubes, plataformas y regiones. Encima, Mercado de ladrillos de datos ahora tiene más de 75 modelos de IA, incluidos nuevos modelos de IA específicos de la industria de John Snow Labs, OLA Krutrim y Bitext, así como modelos básicos como Databricks DBRX, Ardor 3, AI21 Labs, Mistral y muchos otros. En este blog, revisaremos la carestia empresarial de compartir modelos de IA y profundizaremos en los casos de uso impulsados ​​por el maniquí primordial Viga 1.5 Mini de AI21 y los modelos Bitext.

Los modelos de IA ahora además están disponibles listos para usar desde el Catálogo de mecanismoagilizando el proceso para que los usuarios accedan e implementen modelos de modo apto. Este expansión no solo simplifica la experiencia del beneficiario, sino que además progreso la accesibilidad de los modelos de IA, lo que permite una integración e implementación perfectas en varias plataformas y regiones.

Tres beneficios de compartir modelos de IA

Estos son los tres beneficios de compartir modelos de IA con Databricks que vimos entre los primeros usuarios y los socios de impulso.

1. Beocio costo: El uso compartido del maniquí de IA con Delta Sharing reduce el costo total de propiedad al minimizar los gastos de adquisición, expansión e infraestructura. Las organizaciones pueden lograr a modelos prediseñados o de terceros, ya sea Delta Shared o desde Databricks Marketplace, lo que reduce la inversión original y el tiempo de expansión. Compartir modelos con Delta Sharing entre nubes y plataformas optimiza el uso de la infraestructura, reduciendo la pleonasmo y los gastos mientras implementa modelos más cerca de los usuarios finales para minimizar la latencia.
2. Calidad de producción: Delta Sharing le permite lograr modelos que se adaptan a los casos de uso de los clientes y aumentarlos con una única plataforma para todo el ciclo de vida de la IA. Al compartir modelos en la plataforma Databricks Mosaic AI, los clientes obtienen camino a funciones de gobernanza e inteligencia fabricado para producir cualquier maniquí. Esto incluye capacidades de expansión de modelos de extremo a extremo, desde el servicio de modelos hasta el ajuste, unido con las características de seguridad y suministro de Unity Catalog, como el monitoreo de género y Lakehouse, lo que garantiza una reincorporación confianza en los modelos y los datos asociados.
3. Control total: Cuando trabaja con modelos de terceros, compartir modelos de IA le permite tener control total sobre los modelos y conjuntos de datos correspondientes. Correcto a que Delta Sharing permite a los clientes lograr paquetes de modelos completos, el maniquí y sus datos permanecen en la infraestructura del cliente, bajo su control. No necesitan remitir datos confidenciales a un proveedor que atiende el maniquí en nombre del cliente.

Entonces, ¿cómo funciona el uso compartido de modelos de IA?

AI Model Sharing funciona con Delta Sharing. Los proveedores pueden compartir modelos de IA con los clientes directamente mediante Delta Sharing o incluyéndolos en Databricks Marketplace, que además utiliza Delta Sharing.

Delta Sharing facilita el uso de modelos de IA dondequiera que los necesite. Puede entrenar modelos en cualquier sitio y luego usarlos en cualquier sitio sin tener que moverlos manualmente. Los pesos del maniquí (es proponer, los parámetros que el maniquí de IA ha aprendido durante el entrenamiento) se introducirán automáticamente en el punto final de servicio (es proponer, el sitio donde «vive» el maniquí). Esto elimina la carestia de realizar un engorroso movimiento de modelos posteriormente de cada entrenamiento o ajuste del maniquí, lo que garantiza una única fuente de información y agiliza el proceso de entrega. Por ejemplo, los clientes pueden entrenar modelos en la aglomeración y en la región que proporcione la infraestructura de capacitación más permuta y luego servir el maniquí en otra región más cercana a los usuarios finales para minimizar la latencia de inferencia (es proponer, aminorar el tiempo que tarda un maniquí de IA en procesarse). datos y proporcionar resultados).

Databricks Marketplace, con tecnología de Delta Sharing, le permite encontrar y utilizar fácilmente más de 75 modelos de IA. Puede configurar estos modelos como si estuvieran en su sistema nave y Delta Sharing los actualiza automáticamente durante la implementación o las actualizaciones. Incluso puede personalizar modelos con sus datos para tareas como cuidar una saco de conocimientos. Como proveedor, solo necesita una copia de su maniquí para compartirlo con todos sus clientes de Databricks.

¿Cuál es el impacto empresarial?

Desde que se anunció la lectura preliminar pública de AI Model Sharing en enero de 2024, hemos trabajado con varios clientes y socios para avalar que AI Model Sharing ofrezca importantes ahorros de costos para las organizaciones.

«Utilizamos modelos de enseñanza por refuerzo (RL) en algunos de nuestros productos. En comparación con los modelos de enseñanza supervisado, los modelos RL tienen tiempos de entrenamiento más largos y muchas fuentes de aleatoriedad en el proceso de entrenamiento. Estos modelos RL deben implementarse en 3 espacios de trabajo en AWS separados «Con el uso compartido de modelos podemos tener un maniquí RL habitable en múltiples espacios de trabajo sin tener que retornar a entrenarlo o sin realizar engorrosos pasos manuales para mover el maniquí».

— Mihir Mavalankar Ingeniero de enseñanza mecánico, Ripple

Viga 1.5 Mini de AI21 Labs: lleva modelos de IA de contexto ilustre al mercado de Databricks

AI21 Labs, líder en IA generativa y grandes modelos de habla, ha publicado Viga 1.5 Mini, parte de la comunidad de modelos Viga 1.5, en Databricks Marketplace. Viga 1.5 Mini de AI21 Labs presenta un enfoque novedoso para los modelos de habla de IA para uso empresarial. Su innovadora construcción híbrida Mamba-Transformer permite una ventana de contexto efectiva de tokens de 256K, unido con una velocidad y calidad excepcionales. Con la optimización de Mini para un uso apto de la informática, puede manejar longitudes de contexto de hasta 140 000 tokens en una sola GPU.

«AI21 Labs se complace en anunciar que Viga 1.5 Mini ya está en Databricks Marketplace. Con Delta Sharing, las empresas pueden lograr a nuestra construcción Mamba-Transformer, que presenta una ventana de contexto de 256K, lo que garantiza una velocidad y calidad excepcionales para soluciones de IA transformadoras».

— Pankaj Dugar, vicepresidente senior y director común de AI21 Labs

Una ventana de contexto efectiva de 256.000 tokens en los modelos de IA se refiere a la capacidad del maniquí para procesar y considerar 256.000 tokens de texto a la vez. Esto es importante porque permite que el maniquí AI21 Models maneje conjuntos de datos grandes y complejos, lo que lo hace particularmente útil para tareas que requieren comprender y analizar información extensa, como documentos extensos o flujos de trabajo complejos con muchos datos, y mejorar la etapa de recuperación de cualquier Flujo de trabajo basado en RAG. La construcción híbrida de Viga garantiza que la calidad del maniquí no se degrade a medida que aumenta el contexto, a diferencia de lo que normalmente se ve con las ventanas de contexto declaradas de los LLM basados ​​en Transformer.

Comprobar este vídeotutorial que demuestra cómo obtener el maniquí AI21 Viga 1.5 Mini de Databricks Marketplace, ajustarlo y servirlo.

Casos de uso

La ventana contextual de 256k de Viga 1.5 Mini significa que los modelos pueden manejar eficientemente el equivalente a 800 páginas de texto en un solo mensaje. A continuación se muestran algunos ejemplos de cómo los clientes de Databricks en diferentes industrias pueden usar estos modelos.

1. Procesamiento de documentos: Los clientes pueden utilizar Viga 1.5 Mini para resumir rápidamente informes, contratos o trabajos de investigación extensos. Para las instituciones financieras, los modelos pueden resumir informes de ganancias, analizar tendencias del mercado a partir de documentos financieros extensos o extraer información relevante de presentaciones regulatorias.
2. Alivio de los flujos de trabajo agentes: Para los proveedores de atención médica, el maniquí puede ayudar en procesos complejos de toma de decisiones médicas al analizar múltiples fuentes de datos de pacientes y elogiar recomendaciones de tratamiento.
3. Alivio de los procesos de reproducción aumentada de recuperación (RAG): En los sistemas RAG para empresas minoristas, los modelos pueden gestar respuestas más precisas y contextualmente relevantes a las consultas de los clientes al considerar una variedad más amplia de información del producto y el historial del cliente.

Cómo los modelos de IA verticalizados de Bitext en Databricks Marketplace mejoran la incorporación de clientes

Bitext ofrece modelos verticalizados previamente entrenados en Databricks Marketplace. Estos modelos son versiones del maniquí Mistral-7B-Instruct-v0.2 afinadas para la creación de chatbots, asistentes virtuales y copilotos para el dominio de Banca Minorista, brindando a los clientes respuestas rápidas y precisas sobre sus deyección bancarias. Estos modelos se pueden producir para cualquier comunidad de modelos de cimentación: GPT, Ardor, Mistral, Viga, OpenELM…

Caso de uso: mejorar la incorporación con IA

Una aplicación líder en comercio social estaba experimentando altas tasas de descuido durante la incorporación de usuarios. aprovechó Modelos bancarios verticalizados previamente entrenados de Bitext renovar su proceso de incorporación, transformando formularios estáticos en una experiencia de beneficiario conversacional, intuitiva y personalizada.

Bitext compartió el maniquí de IA verticalizado con el cliente. Utilizando ese maniquí como saco, un estudiado de datos realizó el ajuste original con datos específicos del cliente, como preguntas frecuentes comunes. Este paso aseguró que el maniquí entendiera los requisitos únicos y el habla de la saco de usuarios. A esto le siguió un ajuste progresista con Databricks Mosaic AI.

Una vez que se ajustó el maniquí Bitext, se implementó mediante Databricks AI Model Serving.

1. El maniquí perfeccionado fue registrado en el Catálogo de Unity.
2. Se creó un punto final.
3. El maniquí se implementó en el punto final.

La colaboración estableció un nuevo típico en la interacción de los usuarios internamente del sector de las finanzas sociales, mejorando significativamente la billete y retención de los clientes. Gracias al impulso proporcionado por el maniquí de IA compartido, toda la implementación se completó en dos semanas.

Eche un vistazo a la demostración que muestra cómo instalar y ajustar el maniquí de IA verticalizado Bitext de Databricks Marketplace. aquí

«A diferencia de los modelos genéricos que necesitan una gran cantidad de datos de entrenamiento, comenzar con un maniquí especializado para una industria específica reduce los datos necesarios para personalizarlo. Esto ayuda a los clientes a implementar rápidamente modelos de IA personalizados. Estamos entusiasmados con AI Model Sharing. Nuestros clientes tienen Experimentamos una reducción de hasta un 60 % en los costos de posibles (menos científicos de datos y menores requisitos computacionales) y hasta un 50 % de capital en interrupciones operativas (pruebas e implementación más rápidas) con nuestros modelos de IA especializados disponibles en Databricks Marketplace».

— Antonio S. Valderrábanos, fundador y director ejecutante, Bitext

Reducción de costos del enfoque de capacitación del maniquí de 2 pasos de Bitext

Llamado a la batalla

Ahora que el uso compartido de modelos de IA está habitable de forma generalizada (GA) tanto para Delta Sharing como para los nuevos modelos de IA en Databricks Marketplace, le recomendamos que haga lo subsiguiente: