Provider와 모델 설정
기준일: 2026-07-26
문서 반영 버전: v2026.7.20
난이도: 중급
공식 기준: AI Providers, Configuring Models, Configuration, Nous Portal
Hermes는 모델을 하나만 고르는 방식이 아닙니다. 메인 모델은 대화와 도구 루프를 담당하고, 보조 모델은 요약, 비전, 웹 추출, 승인 점수, MCP 라우팅 같은 작은 작업을 맡을 수 있습니다.
핵심 개념
| 슬롯 | 용도 | 기본 운영 |
|---|---|---|
| Main model | 사용자의 요청과 도구 사용 루프 | 가장 신뢰하는 모델 |
| Auxiliary models | Title Gen, Vision, Compression, Approval, Web Extract, Skills Hub, MCP, background_review 등 | 기본 auto는 main model 사용 |
| Provider | Nous Portal, OpenRouter, OpenAI, Anthropic, 호환 API 등 | API 키 / OAuth / base URL |
| Context window | 장기 세션, 파일 참조, 도구 결과 | 최소 64K (강제) |
| MoA | Mixture-of-Agents 프리셋 | 모델 피커에서 선택 가능한 first-class model |
새 설치에서는 모델 설정이 비어 있을 수 있습니다. 이때 hermes setup, hermes setup --portal, hermes model 중 하나로 provider와 모델을 지정합니다.
설정 저장:
- 시크릿 →
~/.hermes/.env - 비시크릿 →
~/.hermes/config.yaml
선택 기준
| 상황 | 추천 |
|---|---|
| 빠르게 시작 | hermes setup --portal (모델 + Tool Gateway) |
| 이미 OpenAI/OpenRouter 키가 있음 | hermes model에서 해당 provider |
| ChatGPT / Claude Max 구독 | OpenAI Codex OAuth / Anthropic OAuth (Max + extra credits) |
| 조직 프록시 | custom OpenAI-compatible endpoint |
| 로컬 모델 | LM Studio, Ollama, vLLM 등 + 64K 컨텍스트 |
| 안정성 | base chat 안정화 후 fallback / routing 추가 |
주요 provider 카탈로그 (공식 Quickstart 기준, 일부)
| Provider | 설정 힌트 |
|---|---|
| Nous Portal | OAuth, hermes setup --portal |
| OpenAI Codex | Device code / ChatGPT OAuth |
| Anthropic | OAuth (Max) 또는 ANTHROPIC_API_KEY |
| OpenRouter | API key, 멀티 모델 라우팅 |
| Google AI Studio | GOOGLE_API_KEY / GEMINI_API_KEY |
| Google Vertex AI | GCP service account (API 키 없이 Gemini) |
| xAI | XAI_API_KEY 또는 Grok OAuth |
| AWS Bedrock | IAM / aws configure |
| Azure Foundry | AZURE_FOUNDRY_API_KEY + base URL |
| Fireworks AI | FIREWORKS_API_KEY |
| DeepInfra | first-class provider (v0.19) |
| DeepSeek | DEEPSEEK_API_KEY |
| Alibaba / Qwen | DASHSCOPE_API_KEY, Qwen OAuth |
| Kimi / Moonshot | KIMI_API_KEY, KIMI_CN_API_KEY |
| MiniMax | OAuth 또는 MINIMAX_API_KEY / CN |
| Hugging Face | HF_TOKEN |
| GitHub Copilot | OAuth 또는 COPILOT_GITHUB_TOKEN |
| NVIDIA NIM | NVIDIA_API_KEY |
| LM Studio / Custom | base URL + API key, OpenAI-compatible |
전체 목록과 env 변수는 AI Providers가 권위 소스입니다. 모델 이름은 릴리즈마다 바뀌므로 문서·hermes model 피커를 따릅니다.
보조 모델 슬롯
| 슬롯 | 분리하기 좋은 경우 |
|---|---|
| Title Gen | 세션 제목 생성 비용 절감 |
| Vision | main이 vision 미지원이거나 비쌈 |
| Compression | 긴 세션 요약을 저렴한 모델에 |
| Approval | smart approval 판단을 빠른 모델에 |
| Web Extract | 웹 추출 요약 빈도가 높을 때 |
| Skills Hub | hermes skills search 비용/품질 |
| MCP | MCP tool routing 분리 |
| background_review | 학습 루프 검토를 저렴한 모델에 |
현재 공식 Configuration 문서에서 auto는 provider 종류와 관계없이 main model을 사용합니다. 비용을 줄이려면 측정 후 슬롯별로 명시합니다.
실습
hermes setup --portal
hermes portal info
hermes model
hermes config show
hermes status
hermes chat -q "현재 어떤 모델 provider로 동작 중인지 설명해줘."
# 또는
hermes -q "현재 어떤 모델 provider로 동작 중인지 설명해줘."
hermes model: provider 추가, 키/OAuth, 기본 모델 저장- 대화 중
/model: 이미 구성한 provider/model 전환 (신규 provider 추가 아님) - Dashboard나
hermes model에서 바꾼 기본 모델은 새 세션부터 적용되고, 현재 대화는/model로 직접 전환해야 합니다. - Dashboard/Models 페이지: main·aux 슬롯 확인
Nous 구독 관리 (v0.19+):
/subscription
/topup
Hermes에 입력할 프롬프트
현재 Hermes 모델 설정을 설명해줘.
main model과 auxiliary model이 어떻게 나뉘는지,
비용을 줄이려면 어떤 슬롯부터 조정해야 하는지 알려줘.
설정 변경 명령은 실행하지 말고 제안만 해줘.
체크리스트
- main model provider가 설정되어 있다.
- 모델 컨텍스트가 64K 이상이다.
-
auto가 main을 쓴다는 점을 이해하고 슬롯 분리 여부를 결정했다. - API 키는
~/.hermes/.env등에 두고 공유하지 않는다. - fallback/routing은 base chat 안정화 후에만 켠다.
- 기본 모델 변경과 현재 세션
/model전환을 구분했다.
다음 단계
- Configuration 전체 가이드에서 approvals·memory·gateway 등 전역 설정을 봅니다 (모델 슬롯 외 영역).
- Tool Gateway에서 Nous 구독 도구 묶음을 연결합니다.
- Provider 라우팅과 fallback에서 장애 대비를 봅니다.
- 첫 세션 운영에서 대화 흐름을 확인합니다.
- 보안과 승인에서 시크릿 경계를 정합니다.