¡Estamos emocionados de traer Deepseek-R1 a Snowflake Cortex Ai! Como descrito por Deepseekeste maniquí, entrenado a través de Estudios de refuerzo a gran escalera (RL) sin ajuste fino (SFT) supervisado, puede conseguir un rendimiento comparable a OpenAI-O1 en tareas de matemáticas, código y razonamiento. Basado en la evaluación comparativa publicada de Deepseek, Deepseek-R1 encabeza la tabla de clasificación entre modelos de código amplio y rivales en los modelos de código cerrado más avanzados a nivel mundial. Los clientes ahora pueden solicitar una panorama previa temprana de Deepseek-R1 en Cortex AI.
Como parte de la panorama previa privada, nos centraremos en proporcionar acercamiento en trayecto con los principios de nuestros productos de facilidad, eficiencia y confianza.
-
El maniquí está adecuado en una panorama previa privada para la inferencia sin servidor para lotes (función SQL) e interactiva (API de Python y REST). Para solicitar acercamiento durante la panorama previa, comuníquese con su equipo de ventas. El maniquí estará adecuado solo en la cuenta solicitada.
-
El maniquí está alojado en los EE. UU. Adentro del linde del servicio de copo de cocaína. No compartimos datos con el proveedor de modelos.
-
Una vez que el maniquí está generalmente adecuado, los clientes pueden llevar la batuta el acercamiento al maniquí a través del control de acercamiento basado en roles (RBAC). Los administradores de cuentas pueden restringir el acercamiento seleccionando los modelos aprobados por políticas de gobernanza.
Cortex de copo de cocaína ai
Snowflake Cortex AI es un conjunto de características y servicios integrados que incluyen inferencia LLM totalmente administrada, ajuste fino y trapo para datos estructurados y no estructurados, para permitir a los clientes analizar rápidamente datos no estructurados inmediato con sus datos estructurados y expedir la construcción de IAI aplicaciones. Los clientes pueden ceder a LLM líderes en la industria, tanto de código amplio como propietario e integrarlos fácilmente en sus flujos de trabajo y aplicaciones. Snowflake adoptó el ecosistema de código amplio con el soporte de múltiples LLM de Meta, Mistral y copo de cocaína. Creemos que este acercamiento amplio y colaboración allanarán el camino para la innovación acelerada en este espacio.
Deepseek-r1
Basado en el github de Deepseek correoaplicaron directamente el educación de refuerzo (RL) al maniquí colchoneta sin encargar en el ajuste supervisado (SFT) como un paso preliminar. Este enfoque permitió al maniquí explorar la esclavitud de pensamiento (COT) para resolver problemas complejos, lo que resulta en el crecimiento de Deepseek-R1-Zero. Adicionalmente mencionan que el maniquí original demostró capacidades, como la autoverificación, la consejo y la reproducción de cunas largas, pero encontró desafíos como la repetición interminable, la mala legibilidad y la mezcla de lengua. Para topar estos problemas, el equipo de Deepseek describe cómo incorporaron datos de inicio frío antaño de RL para un mejor rendimiento de razonamiento.
El equipo implementó una capacitación FP8 de disminución precisión y una logística de consistencia de carga sin pérdida auxiliar de pérdida auxiliar, lo que lleva a un rendimiento de vanguardia con costos computacionales de capacitación significativamente reducidos.
Usar Deepseek-R1 en Cortex AI
Con Snowflake Cortex AI, ceder a modelos de idiomas grandes (LLM) es acomodaticio. No tiene que llevar la batuta integraciones o claves API. Los controles de gobernanza se pueden implementar de guisa consistente entre datos e IA. Puede ceder a los modelos en uno de los regiones compatibles. Adicionalmente, puede ceder desde otras regiones con inferencia de región cruzada activado. Puedes habilitar Atención de la corteza Para filtrar respuestas potencialmente inapropiadas o inseguras. Las barandillas fortalecen la gobernanza al hacer cumplir las políticas alineadas para filtrar contenido dañino.
SQL y Python
El maniquí puede integrarse en una tubería de datos o un Racionalización en copos de cocaína aplicación para procesar múltiples filas en una tabla. La función completa, accesible tanto en SQL como en Python, se puede utilizar para esta integración. Adentro de la corteza ai Función completa Eso se utiliza para aplicaciones de inferencia de LLM, simplemente agregue ‘BuardRails: Cierto’ para filtrar contenido dañino. Adicionalmente, puede ceder a modelos Deepseek desde un Cuaderno de copo de cocaína o tu ide de selección usando OAUTH para clientes personalizados. Alcanzar a plantillas y detalles adicionales sobre cómo usar la función SQL aquí o formarse sobre la sintaxis en Python aquí.
Una vez que activa la agente de la corteza de la corteza, las respuestas del maniquí de lengua asociadas con contenido dañino, como delitos violentos, odio, contenido sexual, autolesiones y otros, se filtrarán automáticamente, y el maniquí devolverá un "Respuesta filtrada por Cortex Guard" mensaje. Para obtener más información sobre la perspectiva de Snowflake sobre la seguridad de la IA, lea Nuestro papel blanco en nuestro ámbito de seguridad de IA.
API REST
Para habilitar los servicios o aplicaciones que se ejecutan fuera del copo de cocaína para realizar llamadas de inferencia de disminución latencia a Cortex AI, la interfaz API REST es el camino a seguir. Aquí hay un ejemplo de cómo se ve:
¿Qué sigue?
Por profundo, este es el primer maniquí de OpenSource para demostrar que las capacidades de razonamiento de los LLM pueden incentivar puramente a través de RL, sin la condición de SFT. Cortex AI proporciona una acomodaticio integración a través de funciones SQL y API REST, y Cortex Guard permite a los clientes implementar los controles de seguridad necesarios. El Equipo de Investigación de AI de Snowflake AI planea mejorar Deepseek-R1 para aminorar aún más los costos de inferencia. Los clientes pueden conseguir la eficiencia de rendimiento de costo con Deepseek-R1 y acelerar la entrega de aplicaciones generativas de IA. Este avance allana el camino para futuros avances en esta radio.
Nota: Este artículo contiene declaraciones prospectivas, incluidas nuestras futuras ofertas de productos, y no son compromisos de entregar ninguna proposición de productos. Los resultados y las ofertas reales pueden diferenciarse y están sujetos a riesgos e incertidumbres conocidos y desconocidos. Vea nuestro zaguero 10-Q para obtener más información.