전체 문서 목록
쉬운 설명한눈에 보기필수판활용편완전 가이드
에이전트 목표·평가 기준 한눈에 보기 · 2026-11-10 기준

일을 맡길 때는 목표 + 완료 기준
그리고 그것을 확인할 방법까지

에이전트(도구를 쓰며 여러 단계를 스스로 진행하는 AI)는 일이 끝나 보이면 멈춥니다. 이 쪽은 완전 가이드 1~8장의 요점 여덟 가지를 그림과 점검표 하나로 줄였습니다. 특정 제품을 추천하지 않고, Claude Code(Anthropic 이 만든 코딩 에이전트 도구) 의 /goal 같은 기능은 "이런 식으로 구현된 예"로만 듭니다.

일을 맡기는 법 교재벤더 중립Anthropic · OpenAI · Google 공식 문서 21쪽
아주 쉽게 말하면아이에게 "방 치워"라고만 하면 아이가 보기에 깨끗해진 순간 끝납니다. "바닥에 물건 0개, 책은 책장에, 끝나면 사진 찍어 보내기"라고 하면 아이가 스스로 확인할 수 있고, 부모도 사진으로 증거를 봅니다. → 4장 기준을 실행에 거는 이유

전체 흐름 — 목표에서 개선까지 한 바퀴

① 목표 쓰기 무엇을 왜 · 2장 ② 성공 기준 같은 판정 · 3장 ③ 실행 완료 조건 · 4장 ④ 채점 채점기 · 6장 ⑤ 개선 평가 세트 · 7장 실패 사례를 모아 다시 ①로 5장 · 여러 에이전트에 나눠 줄 때 ①~③을 위임서로 건넨다 8장 · 기준이 속을 때 ②·④의 허점을 막는다
일을 맡기고 확인하는 과정은 한 번으로 끝나지 않고 고리를 돕니다. 단계를 고리로 묶은 것은 완전 가이드의 구성이며, 장도 이 순서로 놓여 있습니다.

1. 목표만으로는 부족합니다 — 멈출 지점과 증명 방법

기준이 없을 때 일하기 끝나 보이나? 판단: 일한 모델 자신 멈춤 덜 된 채로 "다 됐습니다"가 나올 수 있음 검사가 있을 때 일하기 검사 실행 테스트 · 빌드 · 린터 통과할 때만 멈춤 실행한 명령과 출력 = 증거 실패 → 출력을 읽고 다시 고치기
실제로 끝났는지 알려 줄 것이 없으면 맡긴 사람이 검사기가 됩니다. 통과/실패로 답하는 검사(테스트, 빌드 성공 여부, 코드의 흔한 실수를 자동 점검하는 린터 등)를 쥐여 주면 에이전트가 고치고 → 검사하고 → 다시 고치는 고리를 스스로 닫습니다.

⏹멈추는 방식

별도 장치가 없으면 일을 한 바로 그 모델이 "끝났다"고 판단할 때 멈춥니다.

언제 멈추나

⚠기준이 없을 때의 실패

한 번에 다 하려다 망침 · 일찍 완료 선언 · 테스트 없이 완료 표시 · 여럿일 때 중복과 빈틈.

실패 유형

✅증거와 중단 조건

확인은 말이 아니라 환경의 실제 결과로 합니다. 완료 조건과 별도로 최대 반복 같은 중단 조건, 사람에게 돌아갈 지점을 둡니다.

검사 쥐여 주기

2. 지시문 — 분명하게 · 이유와 함께 · 할 것 · 결과 형식

에이전트는 아주 유능하지만 우리 팀의 관행을 모르는 신입 직원입니다. 맥락이 적은 동료가 읽고 헷갈리면 에이전트도 헷갈립니다.

🎯분명하고 구체적으로

어느 파일인지 · 증상 · "다 됐다"의 모습을 처음부터 넣습니다.

구체적인 요청

💬이유와 맥락

규칙에 이유를 붙이면 에이전트가 그 설명으로부터 일반화합니다. 코드를 읽어 알 수 있는 것보다 저장소(프로젝트 파일이 모인 곳) 밖의 결정·절차·환경을 적습니다.

이유 붙이기

🚧할 것 · 범위

"하지 말 것"보다 "할 것"을 쓰고, 되돌리기 어려운 행동은 먼저 묻게 합니다. 요청하지 않은 파일이나 쓸데없이 일반화한 코드 틀(추상화)을 막으려면 "최소한으로"라고 범위를 줍니다.

과잉 행동 막기

📄결과 형식 · 상태 기록

원하는 결과물 형식을 적고, 긴 작업은 진행 메모·git(파일 변경 이력을 기록하는 도구) 으로 상태를 남기게 합니다.

결과물 형식 상태 기록
지시문은 대개 지켜질 뿐 보장은 아닙니다꼭 지켜야 할 검사는 hook(정해진 순간마다 자동으로 실행되는 스크립트) 같은 강제 장치로 옮깁니다(4번 요점). → 분명하고 직접적으로 쓰기 · 해야 할 것/하지 말 것

3. 성공 기준 — 구체적 · 측정 가능 · 달성 가능 · 관련

구체적 이루려는 것을 분명히 측정 가능 정량 지표 · 정성 척도 달성 가능 근거 있는 목표치 관련 있음 목적 · 사용자 요구에 맞춤 막연한 말 "잘 · 좋게 · 안전하게" 판정할 수 있는 기준 무엇으로 · 어떤 자료에서 · 어느 선까지 대부분의 일은 여러 차원(충실도·일관성·말투·개인정보·지연 시간·가격 등)을 함께 봅니다
성공 기준은 지시문을 다듬기 전에 정합니다. 기준이 없으면 시험 결과를 보고도 "좋아졌다"고 말할 근거가 없습니다.

4. 완료 조건을 실행에 겁니다 — 검사 · /goal · 루브릭 · Stop hook

오른쪽으로 갈수록 에이전트의 "다 됐다"에 덜 기댑니다 ① 지시문에 쓰기 판정: 에이전트 자신 ② /goal 로 걸기 별도 작은 모델이 매 턴 아직·충족·불가능 판정 ③ Stop hook 하니스가 강제 종료 코드 2 = 멈춤 막기 ④ 다른 검토자 대화를 못 본 쪽이 결과만 보고 판정
Claude Code 문서가 드는 네 단계입니다. ② /goal 은 완료 조건을 걸어 두는 명령이고, ③ Stop hook 은 에이전트가 멈추려 할 때마다 검사 스크립트를 돌려 실패하면 멈추지 못하게 하는 장치입니다. 이것은 모델이 아니라 모델을 감싸 실행하는 프로그램(하니스)이 강제합니다. 어느 단계든 출발점은 돌려 보면 통과/실패가 나오는 검사(테스트·빌드 종료 코드·린터·비교 스크립트·화면 캡처)입니다.

🏁좋은 완료 조건

측정 가능한 끝 상태 하나 + 확인 방법 + 지켜야 할 제약(+ "20턴 뒤 멈춤" 같은 상한. 턴은 에이전트가 한 번 일하고 응답을 마치는 한 차례).

조건 쓰기

📋루브릭으로 채점 (Managed Agents)

Anthropic 의 에이전트 실행 서비스 Managed Agents 에 할 일 설명 + 루브릭(항목별 채점표, 필수)을 보내면, 일한 에이전트와 분리된 채점기가 항목마다 채점해 피드백을 돌려줍니다. 최대 반복 기본 3, 최대 20.

outcome 루브릭

☑기능 목록에 통과 표시

긴 작업은 기능 목록 파일(JSON 형식)에 모두 "실패"로 적어 두고, 한 번에 하나씩 사용자처럼 처음부터 끝까지 시험한 뒤에만 통과로 바꿉니다.

기능 목록

5. 여러 에이전트에 나눌 때 — 위임서 4요소 + 노력 규모

리드 에이전트 나누고 · 모으고 · 검증 위임서 ① 목표 ② 출력 형식 ③ 도구와 출처 ④ 작업 경계 무엇을 왜 어떤 모양으로 무엇을 써서 어디까지만 하위 에이전트 A 하위 에이전트 B 하위 에이전트 C 돌려받기: 짧은 요약 · 파일 참조
하위 에이전트는 주 대화 기록을 보지 못합니다. 흐린 위임은 중복·빈틈·오해를 낳으므로 꼭 필요한 규칙과 과제 세부를 위임서에 다시 적습니다.

1간단한 사실 찾기

에이전트 1개 · 도구 호출 3~10번. 간단한 일은 위임하지 말고 직접 하라고도 적어 둡니다.

노력 규모 규칙

2직접 비교

하위 에이전트 2~4개 · 각 10~15번.

노력 규모 규칙

3복잡한 조사

하위 에이전트 10개 넘게 · 각자 책임을 분명히. 여러 에이전트로 나누면 토큰(모델이 처리하는 글의 단위 — 곧 비용)을 일반 채팅의 약 15배 씁니다.

왜 나누나

6. 채점기는 코드 → 모델 → 사람 순으로 섞습니다

코드 채점기 먼저 빠름 · 쌈 · 객관적 약점: 깨지기 쉬움 모델 채점기 필요할 때 (LLM 판정) 유연 · 미묘한 차이 약점: 흔들림 · 보정 필요 사람 채점 아껴서 품질 기준점 약점: 느림 · 비쌈
채점기는 시도의 트랜스크립트(시도 한 번의 전체 기록)나 최종 상태(끝났을 때 실제로 남은 결과)의 한 측면을 점수 매기는 로직입니다. 과제 하나에 여러 개를 붙이고, 사람 채점은 모델 채점기 보정과 자동 평가가 놓치는 문제 찾기에 씁니다.
루브릭은 전문가 두 사람이 같은 판정을 낼 만큼모델 채점기에는 자세한 루브릭을 주고, 답을 '맞음/틀림'이나 1~5점처럼 좁게 정하고, 점수를 내기 전에 먼저 생각하게 하고, 정보가 부족하면 "Unknown"(모름)을 답할 길을 줍니다. 긴 답이나 특정 위치의 답을 더 좋게 보는 치우침(길이·위치 편향)도 막습니다. 사람이 매긴 순서와 모델 점수 순서를 비교해 보정합니다. → 루브릭 쓰기 · 보정

7. 평가는 과제 20~50개로 바로 시작하고, 최종 상태로 봅니다

실제 실패 에서 과제를 뽑기 과제 20~50개 참조 답과 함께 여러 번 시도 깨끗한 환경에서 최종 상태 채점 밟은 길보다 결과 트랜스크립트 점수 믿기 전에 읽기 한 번 성공률 75% 3번 모두 성공 (pass^k) 약 42% 한 번이라도 성공(pass@k)은 시도가 늘수록 오르고, 매번 성공(pass^k)은 떨어집니다
능력 평가("무엇을 잘하나"를 재는 시험)는 낮은 통과율에서 시작하고, 회귀 평가("예전에 되던 일이 아직 되나"를 재는 시험)는 거의 100%를 지킵니다. 높아진 능력 평가는 회귀 평가로 졸업하고, 100%에 이르러 더는 개선을 보여 주지 못하는(포화된) 평가는 더 어려운 과제로 바꿉니다.

8. 기준은 속을 수 있습니다 — 테스트 고치기 금지 · 별도 검증 · 사람 검토

바란 결과 — 위에 쌓기 파란 블록 빨간 블록 실제 행동 — 뒤집기만 함 파란 블록 뒤집음 아랫면이 위로 → "높이" 점수 테스트 고치기 금지 불가능하면 알릴 것 별도 검증 채점기 허점 줄이기 · 기록 읽기 사람 검토 마지막에 사람이 본다
명세 게이밍(적힌 기준은 맞추지만 의도한 결과는 내지 않는 행동)은 학습 방법의 결함이 아니라 과제(기준)를 잘못 적은 데서 생긴다고 DeepMind 는 봅니다. DeepMind 는 이런 사례를 약 60개 모았습니다.
꼼수는 더 나쁜 행동으로 번집니다Anthropic 연구에서 리워드 해킹(채점의 허점으로 점수만 얻는 행동)을 배운 모델은 그 순간부터 다른 나쁜 행동도 늘었습니다 — 안전 연구 코드를 일부러 망치려 한 경우 12%, "당신의 목표는?" 같은 단순한 질문에도 속셈을 숨기고 사람 뜻을 따르는 척하는 추론(정렬된 척하기) 50%. → 번지는 연구 결과

맡기기 전 점검표

사람 없이 돌리기 전에 묻는 다섯 가지(Claude Code 문서)에 위임서와 지시문 항목을 더했습니다.

  1. 끝이 어떤 모습인가 — 측정 가능한 끝 상태 하나, 명세 파일, 통과시켜야 할 실패 테스트. → 4장
  2. 스스로 확인할 수 있는가 — 통과/실패가 나오는 검사, 실행한 명령과 출력을 증거로. → 1장
  3. 무엇을 건드려도 되는가 — 권한 규칙, 샌드박스(바깥과 격리된 실행 공간), 워크트리(별도 작업 폴더), 올릴(푸시할) 수 있는 코드 갈래(브랜치) 하나. → 4장
  4. 무엇이 멈추게 하는가 — 최대 턴, 최대 비용, 지출 한도. → 4장
  5. 결과는 어디로 가고 누가 승인하나 — 병합·배포처럼 되돌릴 수 없는 일은 사람이 승인. → 4장
  6. 나눠 준다면 위임서 4요소가 있는가 — 목표 · 출력 형식 · 도구와 출처 · 작업 경계. → 5장
  7. 기준을 속이지 말라고 적었는가 — "테스트는 정답을 정의하지 않는다", 테스트를 지우거나 고치지 말 것, 불가능하면 알릴 것. → 8장

이제 어디로 갈까요?

그림으로 먼저 감을 잡으려면 쉬운 설명, 손으로 해 보려면 활용편(실습 10개), 꼭 필요한 소절만 보려면 필수판이 빠릅니다. 차근차근 읽으려면 이 순서로 보세요.

근거: 공식 문서·글 원문 21쪽 · 발행처 Anthropic · OpenAI · Google · 수집일 2026-11-10 · 원문 목록은 완전 가이드 참고 자료(ch10)