로컬 모델 원클릭 실행
기준일: 2026-11-04
문서 반영 버전: v0.22.6
난이도: 입문
공식 기준: Local Models, v0.22.0 릴리스 노트
개요
v0.22.0부터 Hermes에 관리형 로컬 런타임이 생겼습니다. 오픈 모델을 내 컴퓨터에서만 돌리는데, 추론 엔진(llama.cpp)을 Hermes가 직접 내려받아 관리하고, 하드웨어에 맞는 모델 빌드를 고르고, 메모리 배치까지 알아서 합니다. 사용자는 모델만 고르면 됩니다.
계정도 API key도 필요 없고, 모델을 받은 뒤에는 네트워크를 쓰지 않습니다.
예전에는 Mac 로컬 LLM 글처럼 llama.cpp·MLX 서버를 직접 띄우고 엔드포인트를 연결해야 했습니다. 이제 그 과정이 버튼 몇 번으로 줄었고, 직접 띄우는 방식도 여전히 됩니다.
언제 쓰나
- 코드나 문서를 외부 API로 보내면 안 되는 환경
- 비행기, 사내망처럼 인터넷이 불안정한 곳
- API 비용 없이 가벼운 작업(요약, 초안, 분류)을 돌리고 싶을 때
- 클라우드 모델이 막혔을 때 대신 쓸 로컬 fallback이 필요할 때
반대로 큰 리팩터링이나 긴 에이전트 작업은 GPU 메모리가 넉넉하지 않으면 느리고 품질도 떨어집니다. 처음에는 클라우드 모델과 번갈아 써 보며 맡길 일을 정하는 편이 좋습니다.
설정 순서
Desktop에서
- Settings → Providers → Local Models를 엽니다. 첫 설정 중이라면 Run models locally를 고릅니다.
- Install runtime을 누릅니다. 하드웨어에 맞는 공식 llama.cpp 빌드(수백 MB)를 받아 검증하고 이후 업데이트도 맡습니다.
- 카탈로그에서 모델을 골라 Download를 누릅니다.
- Use를 누릅니다. 이제 새 대화는 로컬 모델로 실행됩니다.
서버는 Hermes와 함께 켜지고 꺼집니다. 클라우드 provider로 돌아가려면 모델 선택기에서 한 번 바꾸면 됩니다.
Local Models는 macOS, Windows, Linux(x64·arm64) Desktop에서 기본으로 켜져 있습니다. 다른 플랫폼에서는 앱을 --local로 실행해야 보입니다.
터미널에서
hermes model
# → Local models 선택
같은 흐름이 터미널에서도 실행됩니다. 내 기계 기준으로 평가된 카탈로그가 나오고(★가 추천), 엔진 설치 → 모델 다운로드 → 서버 시작 → 기본 모델 지정까지 이어집니다. 이미 받아 둔 모델도 목록에 나옵니다. 다운로드 중 Ctrl+C를 누르면 일시정지되고, 같은 모델을 다시 고르면 이어 받습니다.
모델은 어떻게 고르나
카탈로그의 모든 모델은 다운로드 전에 내 기계 기준으로 평가됩니다.
| 표시 | 뜻 |
|---|---|
| 초록 Fits your GPU | GPU 메모리 안에서 다 돈다 |
| 주황 Uses system RAM | 돌긴 하지만 시스템 RAM을 써서 느리다 |
| 빨강 Too big for this machine | 이 기계로는 못 돌린다 |
Hermes는 GPU 안에 다 들어가는 가장 좋은 양자화 빌드를 고르고, 4-bit 아래로는 내려가지 않습니다. 그보다 작으면 품질 손실이 너무 크다는 이유입니다. 추천은 GPU(또는 통합 메모리) 안에서 초당 20 토큰 이상 나올 것으로 보이는 가장 좋은 모델에 붙습니다. 그런 모델이 없으면 추천 없이 목록만 보여 줍니다.
v0.22.0 릴리스 노트에 적힌 카탈로그 모델은 Qwen3.8 27B, Qwen3.8 Flash Next, Qwen3.6 35B-A3B, DeepSeek V4 Flash이고, 카탈로그 밖의 모델은 Find more models에서 Hugging Face 전체를 검색해 받을 수 있습니다. 이미 디스크에 있는 .gguf는 Add model file로 복사 없이 연결합니다. 커뮤니티 모델은 공식 "validated" 배지만 없을 뿐 똑같이 동작합니다.
하드웨어 기준
| 플랫폼 | 엔진 |
|---|---|
| Windows | 지원되는 NVIDIA에서 CUDA, x64에서 Vulkan, 또는 CPU |
| Linux | x64·arm64 NVIDIA에서 CUDA(CUDA 13 드라이버 필요), Vulkan, 또는 CPU |
| macOS | Metal 또는 CPU |
| AMD HIP/ROCm | 지원 x64 대상에서 직접 골라야 한다 |
공식 문서 기준으로 GPU 메모리 8 GB 이상이면 작은 카탈로그 모델이 무난하고, 16 GB 이상이면 27~35B 모델을 높은 품질로 돌립니다.
메모리 관리는 맡긴다
로컬 모델의 속도는 메모리 배치가 좌우하는데, Hermes는 이 부분을 끝까지 관리하고 수동 조정 옵션을 따로 열어 두지 않습니다.
- 처음에는 GPU에 다 들어가는 컨텍스트 창으로 시작해서, 대화가 길어지면 모델 최대치까지 늘립니다. 상태 표시에 "Context window grown"이 뜨면 오류가 아니라 창이 커졌다는 뜻입니다.
- 추천 모델은 최소 64K 컨텍스트를 보장합니다. 모델이 GPU보다 크면 넘치는 부분을 시스템 RAM에 놓되, attention 캐시는 GPU에 남깁니다.
- 더 늘릴 수 없으면 창을 키운 척하지 않고 대화를 압축합니다.
- 15분 동안 안 쓰면 모델을 내립니다. 다음 메시지에서 자동으로 다시 올립니다.
상태 표시줄을 오른쪽 클릭해 System resources를 켜면 GPU 사용률, GPU 메모리, RAM을 실시간으로 볼 수 있습니다.
설정 파일과 직접 띄운 서버
Desktop이 대신 써 주지만, CLI·헤드리스 환경을 위해 config.yaml의 local_runtime 절도 공개돼 있습니다.
local_runtime:
enabled: false # true면 Hermes와 함께 관리형 서버 시작 (Desktop "Use"가 켠다)
backend: auto # auto | cuda | metal | vulkan | hip | cpu
detect_ports: [8081] # 직접 띄운 llama-server를 찾을 추가 포트 (기본 탐지는 :8080만)
이미 llama-server를 직접 돌리고 있으면 Hermes가 찾아서 그걸 씁니다. 고정 포트라면 detect_ports에 넣거나, providers:에 명시합니다. 명시한 항목이 탐지보다 우선합니다.
providers:
llamacpp:
base_url: http://127.0.0.1:8081/v1
model: my-model
로컬 모델을 주 모델로 쓰면 결국 model.provider: llamacpp와 model.default 설정이 됩니다. 서버가 안 떠 있으면 "the local model server isn't running"처럼 로컬 런타임 문제라고 알려 줍니다.
엔진 버전은 Hermes 패키지 관리자(PM)의 lockfile로만 정해집니다. local_runtime.tag 같은 덮어쓰기는 없고, 새 버전은 Desktop 업데이트 버튼으로 설치합니다.
Ollama, MLX, 직접 빌드한 서버를 쓰는 경우는 공식 Run Hermes Locally with Ollama와 이 사이트의 Mac 로컬 LLM을 참고하세요.
다운로드 관련
- 엔진 설치·업데이트, 카탈로그 모델, Hugging Face 다운로드 모두 Pause/Resume이 됩니다. 창을 닫았다 열어도 일시정지 상태가 남습니다.
- 엔진 구성 요소(CUDA 런타임 DLL 포함)는
pm/lock.json의 URL과 SHA-256 고정값으로 받고, 사용 전에 검증합니다. - 받다 만 파일은 공개하지 않고 이어 받기용으로만 남깁니다. 모델을 지우면 그 모델이 받은 부가 파일(비전 어댑터 등)도 같이 지웁니다.
체크리스트
- GPU 메모리와 플랫폼별 엔진(특히 Linux CUDA 13 드라이버)을 확인했다
- 카탈로그 색 표시로 "GPU에 들어가는지"를 보고 모델을 골랐다
- 직접 띄운 서버가 있으면
detect_ports나providers.llamacpp로 연결했다 - 로컬 모델에 맡길 작업과 클라우드 모델에 맡길 작업을 나눴다
다음 단계
- Provider와 모델 설정: 클라우드 provider와 전환
- Provider 라우팅과 fallback: 로컬 모델을 fallback으로 두기
- Mac 로컬 LLM: 수동 설정 방식