A medida que las empresas crean sistemas de agentes para ofrecer aplicaciones de IA de ingreso calidad, continuamos ofreciendo optimizaciones para ofrecer la mejor rentabilidad caudillo a nuestros clientes. Nos complace anunciar la disponibilidad del maniquí Meta Fogata 3.3 en el Plataforma de inteligencia de datos Databricksy actualizaciones importantes de Mosaic AI Servicio maniquí precios y eficiencia. Estas actualizaciones juntas reducirán sus costos de inferencia hasta en un 80%, lo que las hará significativamente más rentables que antiguamente para las empresas que crean agentes de IA o realizan procesamiento LLM por lotes.
- 80% de parquedad de costos: Logre importantes ahorros de costos con el nuevo maniquí Fogata 3.3 y precios reducidos.
- Velocidades de inferencia más rápidas: Obtenga respuestas un 40 % más rápidas y un tiempo de procesamiento por lotes corto, lo que permite mejores experiencias para los clientes y conocimientos más rápidos.
- Acercamiento al nuevo maniquí Meta Fogata 3.3: aproveche lo zaguero de Meta para conquistar una viejo calidad y rendimiento.
Cree agentes de IA empresarial con Mosaic AI y Fogata 3.3
Estamos orgullosos de asociarnos con Meta para traer Fogata 3.3 70B a ladrillos de datos. Este maniquí rivaliza con el Fogata 3.1 405B más amplio en tareas de seguimiento de instrucciones, matemáticas, multilingüe y codificación, al tiempo que ofrece una decisión rentable para chatbots de dominios específicos, agentes inteligentes y procesamiento de documentos a gran escalera.
Si admisiblemente Fogata 3.3 establece un nuevo punto de narración para los modelos de cojín abierta, crear agentes de IA listos para producción requiere poco más que un maniquí potente. Databricks Mosaic AI es la plataforma más completa para implementar y mandar modelos Fogata, con un sólido conjunto de herramientas para crear sistemas de agentes de IA seguros, escalables y confiables que pueden razonar sobre los datos de su empresa.
- Acceda a Fogata con una API unificada: Acceda fácilmente a Fogata y otros modelos de cojín líderes, incluidos OpenAI y Anthropic, a través de un interfaz única. Experimente, compare y cambie de maniquí sin esfuerzo para obtener la máxima flexibilidad.
- Proteja y supervise el tráfico con AI Gateway: Supervisar el uso y la solicitud/respuesta utilizando Puerta de enlace de IA en alicatado al mismo tiempo que se aplican políticas de seguridad como la detección de PII y el filtrado de contenido dañino para interacciones seguras y que cumplan con las normas.
- Cree agentes en tiempo positivo más rápidos: Cree agentes en tiempo positivo de ingreso calidad con velocidades de inferencia un 40% más rápidas, capacidades de convocatoria de funciones y soporte para manual o automatizado evaluación del agente.
- Procese flujos de trabajo por lotes a escalera: Aplicar fácilmente LLM a grandes conjuntos de datos directamente en sus datos gobernados utilizando una interfaz SQL simple, con velocidades de procesamiento un 40% más rápidas y tolerancia a fallas.
- Personalice los modelos para obtener ingreso calidad: Fogata afinada con datos patentados para crear soluciones de ingreso calidad específicas para cada dominio.
- Escale con confianza: Aumente las implementaciones con servicios respaldados por SLA, configuraciones seguras y soluciones listas para el cumplimiento diseñadas para escalarse automáticamente con las demandas cambiantes de su empresa.
Hacer que GenAI sea más asequible con nuevos precios:
Estamos implementando mejoras de eficiencia patentadas en toda nuestra pila de inferencia, lo que nos permite acortar los precios y hacer que GenAI sea aún más accesible para todos. Aquí hay un vistazo más de cerca a los nuevos cambios de precios:
Cortaduras de precios de servicio de suscripción por token:
- Maniquí Fogata 3.1 405B: reducción del 50% en el precio del token de entrada, reducción del 33% en el precio del token de salida.
- Maniquí Fogata 3.3 70B y Fogata 3.1 70B: 50% de reducción tanto para tokens de entrada como de salida.
Cortaduras de precios de rendimiento provisionados:
- Fogata 3.1 405B: Reducción de costos del 44% por token procesado.
- Fogata 3.3 70B y Fogata 3.1 70B: 49% de reducción en dólares por total de tokens procesados.
Resumir el costo total de implementación en un 80%
Con el maniquí Fogata 3.3 70B, más competente y de ingreso calidad, combinado con las reducciones de precios, ahora puede conquistar una reducción de hasta un 80 % en su TCO total.
Veamos un ejemplo concreto. Suponga que está creando un agente de chatbot de servicio al cliente diseñado para manejar 120 solicitudes por minuto (RPM). Este chatbot procesa un promedio de 3500 tokens de entrada y genera 300 tokens de salida por interacción, creando respuestas contextualmente ricas para los usuarios.
Usando Fogata 3.3 70B, el costo mensual de ejecutar este chatbot, centrándose sólo en el uso de LLM, sería 88% menos costo en comparación con Fogata 3.1 405B y 72% más rentable en comparación con los principales modelos propietarios.
Ahora echemos un vistazo a un ejemplo de inferencia por lotes. Para tareas como clasificación de documentos o cuna de entidades en un conjunto de datos de 100.000 registros, el maniquí Fogata 3.3 70B ofrece una eficiencia trascendente en comparación con Fogata 3.1 405B. Al procesar filas con 3500 tokens de entrada y difundir 300 tokens de salida cada una, el maniquí logra los mismos resultados de ingreso calidad mientras Recortar costos en un 88%. eso es 58% más rentable que utilizar modelos propietarios líderes. Esto le permite clasificar documentos, extraer entidades secreto y difundir información procesable a escalera sin gastos operativos excesivos.
Comience hoy
Visitante el Patio de juegos de IA para probar rápidamente Fogata 3.3 directamente desde su espacio de trabajo. Para obtener más información, consulte los siguientes posibles: