Zum Hauptinhalt springen

🔗 Integrations

📄️ 🐋 Führe DeepSeek R1 Dynamic 1.58-bit mit Llama.cpp aus

Ein großes Dankeschön an UnslothAI für ihre unglaublichen Bemühungen! Dank ihrer Arbeit können wir jetzt das vollständige DeepSeek-R1 Modell mit 671 Milliarden Parametern in seiner dynamischen 1.58-bit quantisierten Form (auf nur 131 GB komprimiert) auf Llama.cpp ausführen! Und das Beste daran? Sie müssen nicht mehr verzweifeln, weil Sie riesige GPU-Cluster auf Unternehmensniveau oder Server benötigen – es ist möglich, dieses Modell auf Ihrem persönlichen Computer auszuführen (wenn auch langsam auf den meisten Verbrauchergeräten).