๐ Llama.cpp์์ DeepSeek R1 Dynamic 1.58-bit ์คํํ๊ธฐ
UnslothAI์ ๋๋ผ์ด ๋ ธ๋ ฅ์ ํฐ ๋ฐ์๋ฅผ ๋ณด๋ ๋๋ค! ์ด๋ค์ ๋ ธ๋ ฅ ๋๋ถ์ ์ด์ ์ ์ฒด DeepSeek-R1 671B ํ๋ผ๋ฏธํฐ ๋ชจ๋ธ์ ๋์ 1.58-bit ์์ํ๋ ํํ(์์ถํด 131GB๋ก ์ค์)๋ก Llama.cpp์์ ์คํํ ์ ์๊ฒ ๋์์ต๋๋ค! ๊ฐ์ฅ ์ข์ ์ ์, ์์ฒญ๋ ์ํฐํ๋ผ์ด์ฆ๊ธ GPU๋ ์๋ฒ๊ฐ ์์ด๋ ๋ ์ด์ ์ข์ ํ ํ์๊ฐ ์๋ค๋ ๊ฒ์ ๋๋ค. ์๋น์์ฉ ํ๋์จ์ด ๋๋ถ๋ถ์์๋ ๋๋ฆฌ๊ฒ ์ง๋ง, ์ฌ์ ํ ๊ฐ์ธ ์ปดํจํฐ์์ ์ด ๋ชจ๋ธ์ ์คํํ ์ ์์ต๋๋ค.
Ollama์์ ์ ์ผํ๊ฒ ์ง์ ํ DeepSeek-R1 ๋ชจ๋ธ์ ์ฌ๊ธฐ์ ์๋ 671B ๋ฒ์ ์ ๋๋ค: https://ollama.com/library/deepseek-r1:671b. ๋ค๋ฅธ ๋ฒ์ ์ ์ถ์๋ ๋ชจ๋ธ์ ๋๋ค.
์ด ๊ฐ์ด๋๋ Llama.cpp์ Open WebUI๋ฅผ ํตํฉํ์ฌ ์ ์ฒด DeepSeek-R1 Dynamic 1.58-bit ์์ํ ๋ชจ๋ธ์ ์คํํ๋ ๋ฐฉ๋ฒ์ ์ค์ ์ ๋ก๋๋ค. ์ด ํํ ๋ฆฌ์ผ์์๋ M4 Max + 128GB RAM ๊ตฌ์ฑ์ ๊ธฐ๊ณ๋ฅผ ์ฌ์ฉํด ๋จ๊ณ๋ฅผ ๋ณด์ฌ๋๋ฆฝ๋๋ค. ์ค์ ์ ์์ ์ ๊ตฌ์ฑ์ ๋ง๊ฒ ์กฐ์ ํ ์ ์์ต๋๋ค.
1๋จ๊ณ: Llama.cpp ์ค์นํ๊ธฐโ
๋ค์์ ์ ํํ ์ ์์ต๋๋ค:
- ๋ฏธ๋ฆฌ ๋น๋๋ ๋ฐ์ด๋๋ฆฌ ๋ค์ด๋ก๋
- ์ง์ ๋น๋ํ๊ธฐ: ์ฌ๊ธฐ๋ฅผ ๋ฐ๋ผ ์๋ดํ์ธ์: Llama.cpp ๋น๋ ๊ฐ์ด๋
2๋จ๊ณ: UnslothAI๊ฐ ์ ๊ณตํ๋ ๋ชจ๋ธ ๋ค์ด๋ก๋โ
Unsloth์ Hugging Face ํ์ด์ง๋ก ์ด๋ํ์ฌ ์ ์ ํ ๋์ ์์ํ ๋ฒ์ ์ DeepSeek-R1์ ๋ค์ด๋ก๋ํ์ธ์. ์ด ํํ ๋ฆฌ์ผ์์๋ 1.58-bit (131GB) ๋ฒ์ ์ ์ฌ์ฉํฉ๋๋ค. ์ด ๋ฒ์ ์ ๋งค์ฐ ์ต์ ํ๋์์ง๋ง ๋๋๋๋ก ๊ธฐ๋ฅ์ ์ ๋๋ค.
"์์
๋๋ ํ ๋ฆฌ"๋ฅผ ์๊ณ ์์ด์ผ ํฉ๋๋ค โ Python ์คํฌ๋ฆฝํธ๋ ํฐ๋ฏธ๋ ์ธ์
์ด ์คํ๋๋ ์์น์
๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก ๋ชจ๋ธ ํ์ผ์ ํด๋น ๋๋ ํ ๋ฆฌ์ ํ์ ํด๋์ ๋ค์ด๋ก๋๋๋ฏ๋ก ๊ฒฝ๋ก๋ฅผ ์๊ณ ์์ด์ผ ํฉ๋๋ค! ์๋ฅผ ๋ค์ด, ์๋ ๋ช
๋ น์ /Users/yourname/Documents/projects
์์ ์คํํ๋ฉด ๋ค์ด๋ก๋๋ ๋ชจ๋ธ์ /Users/yourname/Documents/projects/DeepSeek-R1-GGUF
์ ์ ์ฅ๋ฉ๋๋ค.
UnslothAI์ ๊ฐ๋ฐ ํ๋ก์ธ์ค์ ์ด๋ฌํ ๋์ ์์ํ ๋ฒ์ ์ด ์ ์ด๋ ๊ฒ ํจ์จ์ ์ธ์ง์ ๋ํ ์์ธํ ๋ด์ฉ์ ๊ทธ๋ค์ ๋ธ๋ก๊ทธ ๊ฒ์๋ฌผ์ ์ฐธ๊ณ ํ์ธ์: UnslothAI DeepSeek R1 Dynamic Quantization.
๋ค์์ ๋ชจ๋ธ์ ํ๋ก๊ทธ๋๋ฐ ๋ฐฉ์์ผ๋ก ๋ค์ด๋ก๋ํ๋ ๋ฐฉ๋ฒ์ ๋๋ค:
# Hugging Face ์ข
์์ฑ์ ๋จผ์ ์ค์นํ์ธ์:
# pip install huggingface_hub hf_transfer
from huggingface_hub import snapshot_download
snapshot_download(
repo_id = "unsloth/DeepSeek-R1-GGUF", # Hugging Face ์ ์ฅ์ ์ง์
local_dir = "DeepSeek-R1-GGUF", # ์ด ๋๋ ํ ๋ฆฌ์ ๋ชจ๋ธ์ด ๋ค์ด๋ก๋๋จ
allow_patterns = ["*UD-IQ1_S*"], # 1.58-bit ๋ฒ์ ๋ง ๋ค์ด๋ก๋
)
๋ค์ด๋ก๋๊ฐ ์๋ฃ๋๋ฉด ๋๋ ํ ๋ฆฌ ๊ตฌ์กฐ๋ ๋ค์๊ณผ ๊ฐ์ด ๋ํ๋ฉ๋๋ค:
DeepSeek-R1-GGUF/
โโโ DeepSeek-R1-UD-IQ1_S/
โ โโโ DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf
โ โโโ DeepSeek-R1-UD-IQ1_S-00002-of-00003.gguf
โ โโโ DeepSeek-R1-UD-IQ1_S-00003-of-00003.gguf
๐ ๏ธ ์ดํ ๋จ๊ณ์์ ํน์ ๋๋ ํ ๋ฆฌ ๊ตฌ์กฐ์ ๋ง๊ฒ ๊ฒฝ๋ก๋ฅผ ์
๋ฐ์ดํธํ์ธ์. ์๋ฅผ ๋ค์ด, ์คํฌ๋ฆฝํธ๊ฐ /Users/tim/Downloads
์ ์๋ค๋ฉด, GGUF ํ์ผ์ ์ ์ฒด ๊ฒฝ๋ก๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
/Users/tim/Downloads/DeepSeek-R1-GGUF/DeepSeek-R1-UD-IQ1_S/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf
.