Los investigadores de Microsoft AI introducen técnicas avanzadas de cuantificación de bajo bits para permitir la implementación de LLM efectivo en dispositivos de borde sin altos costos computacionales
Los dispositivos de borde como los teléfonos inteligentes, los dispositivos IoT y los sistemas integrados procesan datos localmente, mejorando la privacidad, la reducción de la latencia y la progreso de la capacidad de respuesta, y la IA se está integrando rápidamente en estos dispositivos. Pero, implementar modelos de idiomas grandes (LLM) en estos dispositivos es […]