๐๏ธ ๐ Llama.cpp์์ DeepSeek R1 Dynamic 1.58-bit ์คํํ๊ธฐ
UnslothAI์ ๋๋ผ์ด ๋ ธ๋ ฅ์ ํฐ ๋ฐ์๋ฅผ ๋ณด๋ ๋๋ค! ์ด๋ค์ ๋ ธ๋ ฅ ๋๋ถ์ ์ด์ ์ ์ฒด DeepSeek-R1 671B ํ๋ผ๋ฏธํฐ ๋ชจ๋ธ์ ๋์ 1.58-bit ์์ํ๋ ํํ(์์ถํด 131GB๋ก ์ค์)๋ก Llama.cpp์์ ์คํํ ์ ์๊ฒ ๋์์ต๋๋ค! ๊ฐ์ฅ ์ข์ ์ ์, ์์ฒญ๋ ์ํฐํ๋ผ์ด์ฆ๊ธ GPU๋ ์๋ฒ๊ฐ ์์ด๋ ๋ ์ด์ ์ข์ ํ ํ์๊ฐ ์๋ค๋ ๊ฒ์ ๋๋ค. ์๋น์์ฉ ํ๋์จ์ด ๋๋ถ๋ถ์์๋ ๋๋ฆฌ๊ฒ ์ง๋ง, ์ฌ์ ํ ๊ฐ์ธ ์ปดํจํฐ์์ ์ด ๋ชจ๋ธ์ ์คํํ ์ ์์ต๋๋ค.
๐๏ธ ๐ฅ๏ธ Intel GPU์์ IPEX-LLM์ ์ฌ์ฉํ Local LLM ์ค์
์ด ํํ ๋ฆฌ์ผ์ ์ปค๋ฎค๋ํฐ ๊ธฐ์ฌ๋ก ์ ๊ณต๋๋ฉฐ Open WebUI ํ์ ์ง์์ ๋ฐ์ง ์์ต๋๋ค. ์ด๋ ํน์ ์ฌ์ฉ ์ฌ๋ก์ ๋ง๊ฒ Open WebUI๋ฅผ ์ฌ์ฉ์ ์ ์ํ๋ ๋ฐฉ๋ฒ์ ๋ณด์ฌ์ฃผ๋ ๋ฐ ๋ชฉ์ ์ด ์์ต๋๋ค. ๊ธฐ์ฌํ๊ณ ์ถ์ผ์ ๊ฐ์? ๊ธฐ์ฌ ํํ ๋ฆฌ์ผ์ ํ์ธํด๋ณด์ธ์.
๐๏ธ โ๏ธ Continue.dev VSCode Extension with Open WebUI
์ด ํํ ๋ฆฌ์ผ์ ์ปค๋ฎค๋ํฐ ๊ธฐ์ฌ๋ก ์์ฑ๋ ๊ฒ์ด๋ฉฐ Open WebUI ํ์์ ์ง์ํ์ง ์์ต๋๋ค. ์ด๋ ํน์ ์ฌ์ฉ ์ฌ๋ก์ ๋ฐ๋ผ Open WebUI๋ฅผ ์ฌ์ฉ์ ์ ์ํ๋ ๋ฐฉ๋ฒ์ ๋ํ ๋ฐ๋ชจ๋ก๋ง ์ ๊ณต๋ฉ๋๋ค. ๊ธฐ์ฌ๋ฅผ ์ํ์๋ฉด ๊ธฐ์ฌ ํํ ๋ฆฌ์ผ์ ํ์ธํ์ธ์.
๐๏ธ ๐ ์ฌ์ฉ์ ์ง์ CA ์คํ ์ด ์ค์
์ด ํํ ๋ฆฌ์ผ์ ์ปค๋ฎค๋ํฐ ๊ธฐ์ฌ์ ์ผํ์ด๋ฉฐ Open WebUI ํ์์ ์ง์ํ์ง ์์ต๋๋ค. ์ด๋ ํน์ ์ฌ์ฉ ์ฌ๋ก์ ๋ง๊ฒ Open WebUI๋ฅผ ๋ง์ถคํํ๋ ๋ฐฉ๋ฒ์ ๋ํ ๋ฐ๋ชจ๋ก๋ง ์ ๊ณต๋ฉ๋๋ค. ๊ธฐ์ฌ๋ฅผ ์ํ์ญ๋๊น? ๊ธฐ์ฌ ํํ ๋ฆฌ์ผ์ ํ์ธํ์ธ์.
๐๏ธ ๐ ๋ธ๋ผ์ฐ์ ๊ฒ์ ์์ง
์ด ํํ ๋ฆฌ์ผ์ ์ปค๋ฎค๋ํฐ์ ๊ธฐ์ฌ๋ก ์์ฑ๋ ๊ฒ์ผ๋ก, Open WebUI ํ์์ ์ง์ํ์ง ์์ต๋๋ค. ์ด ํํ ๋ฆฌ์ผ์ ํน์ ์ฌ์ฉ ์ฌ๋ก์ ๋ง๊ฒ Open WebUI๋ฅผ ์ฌ์ฉ์ ์ง์ ํ๋ ๋ฐฉ๋ฒ์ ์์ฐํ๊ธฐ ์ํด ์ ๊ณต๋ฉ๋๋ค. ๊ธฐ์ฌ๋ฅผ ์ํ์ญ๋๊น? ๊ธฐ์ฌ ํํ ๋ฆฌ์ผ์ ํ์ธํด๋ณด์ธ์.
๐๏ธ ๐ต๐ปโโ๏ธ Helicone์ผ๋ก LLM ์์ฒญ ๋ชจ๋ํฐ๋งํ๊ธฐ
์ด ํํ ๋ฆฌ์ผ์ ์ปค๋ฎค๋ํฐ ๊ธฐ์ฌ๋ก ์์ฑ๋์์ผ๋ฉฐ Open WebUI ํ์ ๊ณต์ ์ง์์ ๋ฐ์ง ์์ต๋๋ค. ์ด๋ Open WebUI๋ฅผ ํน์ ์ฌ์ฉ ์ฌ๋ก์ ๋ง๊ฒ ์ฌ์ฉ์ ์ ์ํ๋ ๋ฐฉ๋ฒ์ ์์ฐํ๊ธฐ ์ํ ๊ฒ์ ๋๋ค. ๊ธฐ์ฌํ๊ณ ์ถ์ผ์ ๊ฐ์? ๊ธฐ์ฌ ํํ ๋ฆฌ์ผ์ ํ์ธํด ๋ณด์ธ์.
๐๏ธ ๐ฅ Langfuse๋ก ๋ชจ๋ํฐ๋ง ๋ฐ ๋๋ฒ๊น
Langfuse (GitHub)๋ Open WebUI์ ๋ํ ์คํ ์์ค ๊ฐ์์ฑ ๋ฐ ํ๊ฐ ๊ธฐ๋ฅ์ ์ ๊ณตํฉ๋๋ค. Langfuse ํตํฉ์ ํ์ฑํํ๋ฉด ์ ํ๋ฆฌ์ผ์ด์ ๋ฐ์ดํฐ๋ฅผ Langfuse๋ฅผ ํตํด ์ถ์ ํ ์ ์์ผ๋ฉฐ, ๋ค์์ ํฌํจํ์ฌ Open WebUI ์ฌ์ฉ์ ๊ฐ๋ฐ, ๋ชจ๋ํฐ๋ง, ๊ฐ์ ํ ์ ์์ต๋๋ค:
๐๏ธ ๐ LibreTranslate Integration
์ด ํํ ๋ฆฌ์ผ์ ์ปค๋ฎค๋ํฐ ๊ธฐ์ฌ๋ก ์ ๊ณต๋๋ฉฐ Open WebUI ํ์์ ์ง์ํ์ง ์์ต๋๋ค. ์ด๋ ์ฌ์ฉ์์ ํน์ ์ฌ์ฉ ์ฌ๋ก์ ๋ง์ถฐ Open WebUI๋ฅผ ์ฌ์ฉ์ ์ง์ ํ๋ ๋ฐฉ๋ฒ์ ์์๋ก์๋ง ์ ๊ณต๋ฉ๋๋ค. ๊ธฐ์ฌํ๊ณ ์ถ์ผ์ ๊ฐ์? ๊ธฐ์ฌ ํํ ๋ฆฌ์ผ์ ํ์ธํด๋ณด์ธ์.
๐๏ธ ๐ Redis Websocket ์ง์
์ด ํํ ๋ฆฌ์ผ์ ์ปค๋ฎค๋ํฐ ๊ธฐ์ฌ๋ก ์์ฑ๋ ๊ฒ์ด๋ฉฐ Open WebUI ํ์์ ๊ณต์์ ์ผ๋ก ์ง์ํ์ง ์์ต๋๋ค. ํน์ ์ฌ์ฉ ์ฌ๋ก์ ๋ง์ถ์ด Open WebUI๋ฅผ ์ปค์คํฐ๋ง์ด์งํ๋ ๋ฐฉ๋ฒ์ ๋ํ ๋ฐ๋ชจ๋ก ์ ๊ณต๋ฉ๋๋ค. ๊ธฐ์ฌํ๊ณ ์ถ์ผ์ ๊ฐ์? ๊ธฐ์ฌ ํํ ๋ฆฌ์ผ์ ํ์ธํด๋ณด์ธ์.
๐๏ธ ๐ Amazon Bedrock๊ณผ ํตํฉ
์ด ํํ ๋ฆฌ์ผ์ ์ปค๋ฎค๋ํฐ ๊ธฐ์ฌ๋ก ์์ฑ๋์์ผ๋ฉฐ Open WebUI ํ์์ ์ง์ํ์ง ์์ต๋๋ค. ํน์ ์ฉ๋์ ๋ง๊ฒ Open WebUI๋ฅผ ์ฌ์ฉ์ ์ ์ํ๋ ๋ฐฉ๋ฒ์ ์์ฐํ๊ธฐ ์ํ ๋ชฉ์ ๋ง์ผ๋ก ์ ๊ณต๋ฉ๋๋ค. ๊ธฐ์ฌํ๊ณ ์ถ์ผ์ ๊ฐ์? ๊ธฐ์ฌ ํํ ๋ฆฌ์ผ์ ํ์ธํด๋ณด์ธ์.
๐๏ธ ๐ Okta OIDC SSO ํตํฉ
์ด ํํ ๋ฆฌ์ผ์ ์ปค๋ฎค๋ํฐ ๊ธฐ์ฌ๋ก ์ ๊ณต๋๋ฉฐ Open WebUI ํ์์ ์ง์ํ์ง ์์ต๋๋ค. ์ด๋ ํน์ ์ฌ์ฉ ์ฌ๋ก์ ๋ฐ๋ผ Open WebUI๋ฅผ ๋ง์ถคํํ๋ ๋ฐฉ๋ฒ์ ์์ฐํ๊ธฐ ์ํ ๊ฒ์ ๋๋ค. ๊ธฐ์ฌ๋ฅผ ์ํ์ ๋ค๋ฉด, ๊ธฐ์ฌ ํํ ๋ฆฌ์ผ์ ํ์ธํ์ธ์.
๐๏ธ ๐ฆ Firefox AI Chatbot Sidebar
์ด ์์ต์๋ ์ปค๋ฎค๋ํฐ ๊ธฐ์ฌ๋ก ์์ฑ๋์์ผ๋ฉฐ Open WebUI ํ์ ๊ณต์ ์ง์์ ๋ฐ์ง ์์ต๋๋ค. ์ด ์์ต์๋ Open WebUI๋ฅผ ํน์ ์ฌ์ฉ ์ฌ๋ก์ ๋ง๊ฒ ์ฌ์ฉ์ ์ ์ํ๋ ๋ฐฉ๋ฒ์ ์์ฐํ๊ธฐ ์ํด ์ ๊ณต๋ฉ๋๋ค. ๊ธฐ์ฌ๋ฅผ ์ํ์ ๋ค๋ฉด, ๊ธฐ์ฌ ์์ต์๋ฅผ ํ์ธํด ๋ณด์ธ์.