클로드 컴퓨터 사용, 맥 전용과 숨는 앱

AI가 내 화면을 직접 보고 클릭하는 기능이 있습니다. 앱을 띄워 확인하고, 눈으로 봐야 아는 오류를 재현하고, 시뮬레이터를 조작하는 식이죠. 문서를 열어보니 동작 방식이 생각보다 까다롭게 짜여 있었습니다 — 작업이 시작되면 다른 앱이 통째로 숨겨지고, 한 번에 한 세션만 쓸 수 있고, 그 잠금은 작업이 끝나도 안 풀립니다. 그리고 터미널판은 맥에서만 됩니다.

📌 30초 요약

• 터미널판은 맥OS 전용입니다. 데스크톱 앱은 윈도우도 됩니다.
• 기본은 꺼져 있고 메뉴에서 직접 켜야 합니다. 프로젝트별로 기억됩니다.
• 맥OS 권한 두 개가 필요합니다 — 조작용과 화면 보기용.
• 작업이 시작되면 승인 안 한 앱은 숨겨집니다. 끝나면 자동 복원되고요.
• 터미널 창은 스크린샷에서 빠집니다 — AI가 자기 출력을 못 보게요.
• 잠금은 작업이 끝날 때가 아니라 세션이 종료될 때 풀립니다.

먼저 — 윈도우에서는 안 됩니다

국내 독자에게 제일 먼저 걸릴 대목이라 앞에 둡니다. 터미널에서 쓰는 쪽은 맥OS에서만 동작합니다. 같은 엔진을 쓰는 데스크톱 앱은 윈도우도 지원하니, 윈도우 사용자라면 데스크톱 앱 쪽을 봐야 합니다.

항목	데스크톱 앱	터미널
운영체제	맥 + 윈도우	맥만
켜는 곳	설정의 토글	메뉴에서 서버 활성화
차단할 앱 목록	설정 가능	아직 없음
앱 자동 복원	선택	항상 켜짐

세 번째 줄이 실무에서 걸립니다. "이 앱만은 절대 건드리지 마라"는 목록을 터미널 쪽에서는 아직 만들 수 없습니다. 대신 세션마다 어떤 앱을 쓸지 승인하는 방식으로 굴러갑니다.

켜는 데 세 단계

기능 자체는 내장된 연결 서버 형태인데 기본이 꺼져 있습니다. 직접 켜야 목록에 나타납니다.

# 1) 연결 서버 목록 열기
/mcp
   → computer-use 항목이 비활성 상태로 보임

# 2) 선택해서 활성화 — 프로젝트별로 기억됨
#    쓰려는 프로젝트마다 한 번씩만 하면 됩니다

# 3) 첫 실행 때 맥OS 권한 두 개
· 손쉬운 사용   # 클릭·입력·스크롤
· 화면 기록     # 화면 내용 보기

권한 두 개가 나뉘어 있는 게 눈에 띕니다 — "보는 권한"과 "만지는 권한"이 따로입니다. 하나만 줘도 절반은 동작하지 않을 테니 결국 둘 다 주게 되지만, 무엇을 허락하는지가 이름에 그대로 드러나 있습니다. 다른 연결 서버들을 붙이는 방식과 형태는 같지만, 권한의 무게는 전혀 다릅니다.

일하는 동안 화면에서 벌어지는 일

문서에서 가장 흥미로운 대목입니다. AI가 화면을 잡으면 승인 안 한 앱들이 통째로 숨겨집니다. 딴 데 손대지 못하게 하려는 거죠. 턴이 끝나면 자동으로 되돌아옵니다.

🪞 자기 출력은 못 보게 해뒀습니다

숨겨지는 와중에 터미널 창은 그대로 보입니다. 내가 지켜볼 수 있어야 하니까요. 그런데 그 창은 스크린샷에서 제외됩니다. 이유가 문서에 적혀 있습니다 — AI가 자기 출력을 보지 못하게 하려는 겁니다. 자기가 방금 쓴 글을 화면에서 다시 읽으면 그걸 새 정보로 착각할 수 있으니까요. 거울을 마주 보게 두지 않는 셈입니다. 사람이 볼 창과 기계가 볼 화면을 갈라놓은 설계가 이 기능에서 제일 잘 만든 부분으로 보입니다.

스크린샷은 자동으로 축소돼서 전송됩니다. 고해상도 화면이라도 알아서 줄이니 해상도를 낮추거나 창 크기를 조절할 필요가 없습니다. 다만 축소 크기를 바꾸는 설정은 없습니다. 글자가 너무 작아 못 읽는 것 같으면 화면 해상도가 아니라 그 앱 안에서 글자를 키우라고 문서가 안내합니다.

잠금이 작업 끝에 안 풀립니다

실무에서 제일 헷갈릴 대목입니다. 화면 제어는 한 번에 한 세션만 쓸 수 있습니다. 첫 동작에서 기기 전체에 잠금을 걸고 — 그 잠금은 작업이 끝날 때가 아니라 세션이 종료될 때 풀립니다.

그래서 한 창에서 화면 작업을 한 번 시킨 뒤 그 창을 열어둔 채 다른 창에서 또 시키면 실패합니다. 다행히 에러 메시지가 친절해서 잠금을 쥔 세션이 누구인지 알려줍니다. 그 세션을 끝내야 풀립니다. 중단은 언제든 됩니다 — 잠금을 잡는 순간 알림이 뜨고 Esc를 누르면 즉시 멈추고 앱이 복원됩니다. 다만 중단해도 잠금 자체는 세션이 살아 있는 한 유지됩니다.

⚠️ 여기는 샌드박스가 아닙니다

문서가 경고 상자로 따로 빼서 적어둔 대목입니다 — 격리된 공간에서 도는 명령 실행과 달리, 화면 제어는 내 실제 데스크톱에서 승인한 앱들에 접근합니다. 화면에 뜬 내용이 AI에게 엉뚱한 지시를 심으려 드는 경우를 감지해 표시해준다고는 하지만, 문서 스스로 "신뢰 경계가 다르다"고 인정합니다. 자동화 도구를 붙일 때 흔히 하는 "일단 켜놓고 보자"가 여기서는 위험한 이유죠. 정해진 규칙대로 도는 자동화는 실수해도 그 규칙 안에서 실수하지만, 화면 제어는 사람이 할 수 있는 건 대체로 할 수 있습니다.

🔁 환경마다 갈리는 건 여기도 마찬가지

맥에서만 되는 것, 숨는 창을 봤으니 서비스마다 갈리는 사례도 하나 적어 둡니다. 검토 상태 배지와 이슈 참조 링크는 깃허브와 깃랩에서 규칙이 다릅니다 — 같은 초록이 한쪽은 「승인됨」, 다른 쪽은 「병합할 수 있는 상태」를 뜻하고, 깃랩 쪽은 토큰 환경 변수를 아예 무시해 전용 도구로 로그인해야 합니다. 이슈 링크도 참조가 가리키는 곳이 아니라 내가 열어 둔 저장소의 호스트 기준으로 만들어지고요. 「어디서 돌리느냐」가 동작을 바꾸는 자리를 미리 세어 두면 헛갈릴 일이 줄어듭니다.

자주 묻는 질문

Q. 어떤 일에 쓰면 좋나요?

문서가 든 예가 성격을 잘 보여줍니다 — 직접 만든 앱이 제대로 뜨는지 확인하기, 눈으로 봐야 아는 화면 깨짐을 재현하기, 시뮬레이터에서 흐름 따라가 보기. 공통점은 글자로만은 확인이 안 되는 일입니다. 반대로 파일을 읽거나 명령을 돌려서 될 일이라면 굳이 화면을 맡길 이유가 없습니다 — 느리고 권한도 크니까요.

Q. 권한을 줬다 나중에 뺄 수 있나요?

맥OS 시스템 설정의 개인정보 보호 항목에서 언제든 회수할 수 있습니다. 다만 문서에 권한 요청이 반복해서 뜨는 경우가 별도 항목으로 안내돼 있는 걸 보면, 권한 상태가 꼬이는 일이 있는 모양입니다. 기능을 안 쓸 거라면 서버 자체를 다시 꺼두는 편이 깔끔합니다 — 프로젝트별 설정이라 켜둔 프로젝트에서만 살아 있습니다.

Q. 브라우저만 조작하려면요?

그럴 땐 브라우저 전용 도구가 따로 있습니다. 웹 페이지만 다룰 거면 화면 전체 권한을 줄 이유가 없죠. 두 도구는 조작 방식도 다릅니다 — 브라우저 쪽은 페이지 안의 요소를 지목할 수 있고, 화면 제어는 결국 좌표를 눌러야 합니다. 필요한 만큼만 열어주는 게 원칙입니다.

🧾 정직하게 밝혀둡니다

• ★제 작업 환경이 윈도우라 터미널판을 직접 써보지 못했습니다. 공식 문서를 읽고 정리한 내용입니다.
• 동작 속도나 클릭 정확도는 확인하지 못했습니다. 좌표 기반이라 화면 구성에 따라 편차가 있을 것으로 보이지만 이건 제 추측입니다.
• 축소 후 해상도 예시는 문서에 나온 특정 기기 기준이라 기기마다 다릅니다.
• ★"화면 내용의 프롬프트 인젝션을 감지한다"는 문서의 설명이고, 얼마나 잘 잡는지는 확인할 방법이 없었습니다. 문서 스스로도 신뢰 경계가 다르다고 적어뒀습니다.
• 플랫폼 지원 범위와 기능 차이는 변경될 수 있습니다. "아직 없음"으로 적힌 항목은 특히요.

✨ 정리하면

터미널판은 맥 전용이고, 켜는 것도 권한 주는 것도 직접 해야 합니다. 대신 설계는 꼼꼼합니다 — 앱을 숨기고, 자기 출력은 못 보게 하고, 언제든 멈출 수 있게요. 다만 여기는 샌드박스가 아니라 진짜 내 컴퓨터입니다. 글자로 확인이 안 되는 일에만 쓰세요. AI 도구 설정은 AI 지출 정리 허브에 모아뒀습니다.

출처: Claude Code 공식 문서 Computer use (2026-08-24 확인). 플랫폼 지원과 기능은 변경될 수 있습니다. 이 글은 정보 제공용입니다.