Obtenga información sobre los nuevos avances de PyTorch para LLM y cómo PyTorch está mejorando cada aspecto del ciclo de vida de LLM.
En esta charla de Infraestructura de IA a escalera 2024Los ingenieros de software Wanchao Liang y Evan Smothers se reúnen con el sabio de investigación de Meta, Kimish Patel, para analizar nuestras características y herramientas más nuevas que permiten el entrenamiento a gran escalera, el ajuste fino de la memoria de guisa capaz y las capacidades LLM en el dispositivo.
En primer circunscripción, abordan la importancia de un ajuste fino que utilice la memoria de forma capaz y algunas técnicas arquitectónicas y algorítmicas comunes para permitir el ajuste fino en hardware de consumo. Luego, analizan los desafíos de implementar modelos grandes para su implementación en dispositivos y cómo técnicas como la cuantificación hacen posible estas implementaciones.