Microsoft Open-Sources bitnet.cpp: un ámbito de inferencia LLM de 1 bit súper valioso que se ejecuta directamente en CPU
El rápido crecimiento de los modelos de lenguajes grandes (LLM) ha aportado capacidades impresionantes, pero asimismo ha puesto de relieve importantes desafíos relacionados con el consumo de posibles y la escalabilidad. Los LLM a menudo requieren una amplia infraestructura de GPU y enormes cantidades de energía, lo que hace que su implementación y mantenimiento sean […]