メインコンテンツまでスキップ

🔗 Integrations

📄️ 🐋 Llama.cppでDeepSeek R1 Dynamic 1.58-bitを実行

UnslothAIに大感謝!彼らの素晴らしい努力のおかげで、Llama.cppで完全なDeepSeek-R1 671Bパラメーターモデルを動的1.58ビット量子化形式(わずか131GBに圧縮)で実行できるようになりました!しかも最高なことに、大規模なエンタープライズ向けGPUやサーバーを必要とせず、自宅のマシンで実行可能になりました(多くの一般消費者向けハードウェアでは遅い可能性がありますが)。