Computer use (macOS CLI)
기준일: 2026-07-26
난이도: 중급
공식 기준: Let Claude use your computer from the CLI
Computer use는 Claude Code CLI에서 Claude가 앱을 열고, 클릭·입력·스크롤하고, 화면을 보며 GUI 작업을 수행할 수 있게 하는 기능입니다. native 앱 검증, 시각 버그 재현, CLI/API가 없는 도구 조작에 사용합니다.
핵심 개념
| 항목 | 공식 내용 |
|---|---|
| 상태 | research preview |
| CLI 플랫폼 | macOS only (Linux/Windows CLI 미지원) |
| 플랜 | Pro 또는 Max (Team / Enterprise 불가) |
| 세션 | interactive only (-p non-interactive 불가) |
| 인증 | claude.ai 로그인 필요 (Bedrock / Agent Platform / Foundry 단독 세션에서는 서버가 /mcp에 안 보임) |
| 활성화 | 내장 MCP 서버 computer-use — 기본 off, /mcp에서 Enable |
| 권한 | macOS Accessibility + Screen Recording |
| 앱 승인 | 세션마다 앱별 Allow / Deny (세션 종료 시 만료) |
Desktop 앱(macOS·Windows)의 computer use와 엔진은 공유하지만, 설정 UI·Denied apps 목록 등은 다릅니다. Desktop은 computer use in Desktop을 참고하세요.
선택 기준
Claude는 더 정밀한 도구를 먼저 씁니다.
적합한 예: menu bar 앱 빌드 후 클릭 검증, Electron 온보딩 플로우 스크린샷, 특정 창 크기에서만 재현되는 레이아웃 버그, iOS Simulator 탭 조작(CLI 경로).
부적합: 반복 자동화만 필요하면 -p/Routines 등 다른 표면, 샌드박스 없는 프로덕션 자격 증명 화면에 장시간 방치.
실습
활성화
- 인터랙티브 세션에서
/mcp - 목록의
computer-use→ Enable (프로젝트별 유지) - 첫 GUI 액션 시 macOS 권한 프롬프트: Accessibility, Screen Recording 모두 허용 → Try again
- Screen Recording 허용 후 재시작이 필요할 수 있음
앱 승인
서버를 켜도 모든 앱이 열리지 않습니다. 세션에서 Claude가 특정 앱을 쓰려 할 때 터미널에 앱 목록·추가 권한(예: clipboard)·숨길 앱 수가 표시됩니다. Allow for this session 또는 Deny.
| 경고 문구 | 해당 앱 예 |
|---|---|
| Equivalent to shell access | Terminal, iTerm, VS Code, Warp 등 |
| Can read or write any file | Finder |
| Can change system settings | System Settings |
브라우저·트레이딩 플랫폼은 view-only, 터미널·IDE는 click-only, 그 외 대부분은 full control 등 티어가 있습니다. 상세 표는 Desktop 문서의 app permissions를 따릅니다.
동작 방식
- 한 번에 한 세션: machine-wide lock. v2.1.195+ 에서는 작업 종료가 아니라 세션 exit 시까지 lock 유지.
- 작업 중 다른 앱은 hide, 터미널 창은 보이고 스크린샷에서 제외.
- 스크린샷은 자동 downscale (해상도 수동 조정 불필요).
- 중지: 어디서든
Esc, 또는 터미널Ctrl+C.
프롬프트 예
Build the MenuBarStats target, launch it, open the preferences window,
and verify the interval slider updates the label. Screenshot the
preferences window when you're done.
Open the iOS Simulator, launch the app, tap through the onboarding
screens, and tell me if any screen takes more than a second to load.
안전 경계
샌드박스 Bash와 달리 실제 데스크톱에서 승인된 앱을 제어합니다. 앱별 승인, 위험 앱 경고, 터미널 스크린샷 제외, 전역 Esc, 단일 lock이 기본 가드레일입니다. 모범 사례: computer use safety guide.
트러블슈팅
| 증상 | 확인 |
|---|---|
| Another Claude session holds the lock | 해당 세션 종료. 크래시 시 프로세스 종료 후 lock 해제 |
| 권한 프롬프트 반복 | Claude Code 완전 종료 후 재시작. System Settings → Privacy & Security → Screen Recording |
/mcp에 computer-use 없음 |
macOS / Pro·Max / claude.ai 인증 / interactive (/status로 구독 확인) |
체크리스트
- Pro 또는 Max, macOS, interactive 세션이다.
-
/mcp에서computer-use를 Enable 했다. - Accessibility + Screen Recording을 허용했다.
- 터미널·Finder 등 광범위 앱 승인 전에 작업 범위를 검토했다.
- 다른 세션이 computer use lock을 잡지 않았는지 확인했다.
다음 단계
- Chrome 확장 — 웹 전용 자동화
- 권한 관리 — 도구·deny 규칙
- 최신 운영 기능 맵 — GUI·자동화 표면 비교