Saltar al contenido principal

🔗 Integrations

📄️ 🐋 Ejecutar DeepSeek R1 Dinámico 1.58-bit con Llama.cpp

¡Un enorme agradecimiento a UnslothAI por sus increíbles esfuerzos! Gracias a su arduo trabajo, ahora podemos ejecutar el modelo completo DeepSeek-R1 con 671 mil millones de parámetros en su forma dinámica de 1.58-bit cuantificada (comprimido a solo 131GB) en Llama.cpp. ¿La mejor parte? Ya no tienes que desesperarte por necesitar GPU de clase empresarial o servidores masivos: es posible ejecutar este modelo en tu máquina personal (aunque de manera lenta en la mayoría del hardware de consumo).