Computer Use — AI가 화면을 직접 조작하기 | 클로드 코드 강의

Claude가 컴퓨터 화면을 보고 마우스를 클릭하고 키보드를 입력하는 Computer Use 기능을 배웁니다. 터미널 밖의 세계까지 AI 업무 영역이 확장됩니다.

Computer Use란?

[기존 방식] Claude Code는 터미널(명령줄) 안에서만 동작했습니다. 파일을 읽고, 코드를 수정하고, 명령을 실행하는 것은 가능하지만, '웹 브라우저에서 노동위원회 사이트에 접속해서 사건 진행 상황을 확인'하거나 '한글(HWP) 프로그램을 열어서 서식을 편집'하는 것은 불가능했습니다. 마치 사무장이 전화만 받을 수 있고, 컴퓨터 화면은 볼 수 없는 것과 같았습니다. [AI 활용 후] Computer Use를 사용하면 Claude가 실제 컴퓨터 화면을 '볼' 수 있고, 마우스를 '클릭'하고, 키보드를 '입력'할 수 있습니다. 웹 브라우저를 열어 사이트에 접속하고, 프로그램의 버튼을 클릭하고, 텍스트를 입력하는 등 사람이 화면 앞에서 하는 거의 모든 작업을 AI가 대신할 수 있습니다. 비유하자면, 기존에 '전화로만 업무 지시'하던 것에서, 이제 '사무장이 직접 내 컴퓨터 앞에 앉아서 화면을 보며 작업'하는 수준으로 발전한 것입니다.

TIP: Computer Use는 현재 빠르게 발전 중인 기능입니다. 복잡한 화면 조작보다는 정형화된 반복 작업에 먼저 적용하는 것이 좋습니다.

Computer Use 작동 원리

Computer Use의 작동 과정을 단계별로 이해해 봅시다. 1. 스크린샷 촬영: Claude가 현재 화면을 캡처하여 '봅니다' 2. 화면 분석: 캡처한 이미지에서 버튼, 입력란, 메뉴 등의 위치를 파악합니다 3. 행동 결정: 어디를 클릭하고, 무엇을 입력할지 판단합니다 4. 실행: 마우스 이동, 클릭, 키보드 입력 등을 수행합니다 5. 결과 확인: 다시 스크린샷을 찍어 작업 결과를 확인합니다 6. 반복: 목표가 달성될 때까지 2~5를 반복합니다 노무사 비유로 설명하면, 사무장에게 "노동위원회 사이트에서 HD-2026-015 사건 진행 상황 확인해줘"라고 하면, 사무장이 직접 브라우저를 열고 → 사이트에 접속하고 → 로그인하고 → 사건번호를 입력하고 → 검색 버튼을 클릭하고 → 결과를 읽어서 알려주는 것과 같습니다. Claude Code에서 브라우저를 제어하려면 --chrome 플래그를 사용합니다. claude --chrome 으로 실행하면 Chrome 브라우저와 연결되어 웹페이지를 직접 조작할 수 있습니다. Chrome에 "Claude in Chrome" 확장 프로그램을 설치하면 더 원활하게 작동합니다. 매번 --chrome을 붙이기 귀찮다면, claude --chrome 명령어로 Claude Code를 시작하면 해당 세션 전체에서 Chrome 연결이 활성화됩니다.

# Computer Use 시작하기 (터미널에서 입력)

# 방법 1: --chrome 플래그로 실행 (권장)
claude --chrome
# → Chrome 브라우저와 연결된 상태로 시작
# → "Claude in Chrome" 확장 프로그램 설치 시 더 원활

# 방법 2: 대화 중 /chrome 명령어로 활성화
# Claude Code 안에서 /chrome 입력
# → 이후 해당 세션에서 Chrome 제어 가능

# 방법 3: computer 도구를 직접 허용하여 실행
claude --allowedTools "computer" -p "화면을 보고 고용노동부 사이트에서 서식을 다운받아줘"

# 실전 예시 1: 웹사이트 정보 수집
claude --chrome
> Chrome에서 고용노동부 최저임금 고시 페이지를 열어서
> 2026년 시간급 최저임금과 월환산액을 확인해줘
# → AI가 Chrome을 열고 → 사이트 접속 → 해당 정보 확인 → 결과 보고

# 실전 예시 2: 비대화형 모드에서 웹 조작
claude --chrome -p "4대보험 정보연계센터에서 사업장 A정형외과의
 고용보험 피보험자격 현황을 조회해줘"
# → AI가 Chrome으로 사이트 접속 → 조회 → 결과 정리
# ⚠️ 주의: 4대보험정보연계센터는 공동인증서 등 보안 절차가 필요하여
#    Computer Use만으로 자동화가 어렵습니다 (아래 팁 참고)

# 실전 예시 3: 화면을 보면서 데스크톱 앱 조작
claude
> 컴퓨터 화면을 보면서 엑셀 파일을 열고 4대보험 요율을 수정해줘
# → AI가 엑셀 실행 → 파일 열기 → 요율 수정

TIP: Computer Use로 로그인이 필요한 사이트를 조작할 때는, 비밀번호를 AI에게 직접 알려주지 마세요. 미리 로그인해 둔 상태에서 사용하거나, 브라우저에 저장된 자동 로그인을 활용하세요.

실전 활용과 주의사항

Computer Use가 유용한 노무사 실무 시나리오입니다. 시나리오 1 — 정보 수집 자동화: 고용노동부, 대법원 종합법률정보, 국가법령정보센터 등에서 필요한 정보를 자동으로 수집합니다. "2025~2026년 부당해고 관련 대법원 판결을 검색해서 목록을 정리해줘"라고 하면, AI가 대법원 사이트에 직접 접속하여 검색하고 결과를 정리합니다. 시나리오 2 — 반복적 웹 작업: 매월 처리해야 하는 4대보험 신고, EDI 전자신고서 조회 등 정형화된 웹 작업을 자동화합니다. 단, 금전 거래나 최종 제출은 반드시 사람이 직접 확인하고 실행해야 합니다. 주의: 4대보험정보연계센터, 고용노동부 등 공공기관 사이트는 공동인증서(구 공인인증서), 보안 프로그램 설치 등이 필요하여 Computer Use만으로는 자동화가 어려울 수 있습니다. 이 시나리오는 개념적 예시이며, 실제 공공기관 사이트는 수동 로그인 후 AI를 보조적으로 활용하는 방식을 권장합니다. 시나리오 3 — 크로스 앱 워크플로우: "엑셀에서 임금대장을 열고 → 계산 결과를 확인하고 → 그 결과를 구제신청서(한글 파일)에 반영해줘"처럼 여러 프로그램을 넘나드는 작업이 가능해집니다. 주의사항: - 금융 거래, 최종 제출, 결제 등 돌이킬 수 없는 작업은 반드시 사람이 직접 실행 - 개인정보나 비밀번호를 AI에게 직접 전달하지 않기 - 복잡한 UI나 빠르게 변하는 화면에서는 오류 가능성이 있으므로 결과를 반드시 검증 - 화면 해상도와 배율에 따라 인식 정확도가 달라질 수 있음

TIP: Computer Use는 '눈과 손이 생긴 AI'입니다. 강력하지만, 중요한 결정(신고서 제출, 금전 처리)은 반드시 사람이 최종 확인하세요.

Computer Use — AI가 화면을 직접 조작하기

Computer Use란?

Computer Use 작동 원리

실전 활용과 주의사항

핵심 정리

이 강의가 어떠셨나요?