전체 문서 목록
ESSENTIALS

에이전트 목표·평가 기준 필수판 — 꼭 알아야 할 것만

완전 가이드에서 각 장의 “🚩 처음이라면 이것만” 소절만 모으고 🔧 개발자용 세부는 뺀 판입니다. 처음 쓰는 사람이 이해하고 바로 활용하는 데 필요한 범위입니다. 모르는 말은 용어표, 처음부터 따라 하려면 활용편, 모든 세부는 완전 가이드를 보세요.

CHAPTER 01

왜 목표와 완료 기준이 중요한가

에이전트는 스스로 "다 됐다"고 판단해 멈춥니다. 무엇이 끝인지 알려 주는 기준이 없으면 너무 일찍 멈추거나, 한 번에 다 하려다 망가뜨리거나, 여럿이 같은 일을 되풀이합니다. 이 장은 실제 실험에서 관찰된 실패 유형을 보고, 그것을 막는 세 가지 장치 — 환경에서 얻는 실제 결과, 에이전트가 스스로 돌릴 검사, 중단 조건 — 를 소개합니다.

에이전트는 언제 "다 됐다"고 멈추나

에이전트(agent — 도구를 쓰며 여러 단계를 스스로 진행하는 AI)는 사람의 명령이나 대화로 일을 시작한 뒤, 일이 분명해지면 스스로 계획하고 움직입니다. 일은 보통 완료되면 끝납니다 [Building effective agents]. 문제는 "완료"를 누가 판단하느냐입니다.

Claude Code(Anthropic 이 만든 코딩 에이전트 도구) 문서는 이렇게 씁니다. "Claude 는 일이 끝나 보이면 멈춘다. 일이 실제로 끝났는지 알려 줄 실행할 것이 없으면, 기댈 것은 '끝나 보인다'뿐이다." 그러면 맡긴 사람이 직접 하나하나 확인하는 검사 담당이 되고, 모든 실수는 사람이 우연히 알아챌 때까지 그대로 남습니다 [Best practices for Claude Code]. 별도 장치가 없으면 Claude 는 자기가 일을 끝냈다고 판단할 때 멈춥니다 — 완료를 판단하는 것이 바로 그 일을 한 모델입니다 [Keep Claude working toward a goal].

일하기 수정 · 도구 사용 끝났나? 누가 판단? 기준이 없을 때 일한 모델이 "끝나 보인다"고 느끼면 멈춤 → 덜 된 채로 "다 됐습니다"가 나올 수 있음 완료 기준이 있을 때 검사 결과·조건이 참일 때만 멈춤 거짓이면 출력을 읽고 다시 일하기로 아직 아님 → 다시
[그림 1] 에이전트가 멈추는 갈림길. 기준이 없으면 "끝나 보임"이 유일한 근거입니다(Best practices for Claude Code 「Give Claude a check to run」).

오래 혼자 도는 작업일수록 이 문제가 커집니다. 같은 문서는 사람이 지켜보지 않는 긴 실행(백그라운드 실행)에서 Claude 가 아직 남은 항목이 있는데도 진행 상황 요약으로 턴(turn — 에이전트가 한 번 일하고 응답을 마치기까지의 한 차례)을 끝내는 경우가 있다고 적습니다 [Best practices for Claude Code]. 그래서 목표 말고도 "무엇이 참이면 멈춰도 되는지"를 따로 주어야 합니다. 이것이 이 가이드가 말하는 완료 조건(completion condition — 이것이 참이면 멈춰도 되는 조건)입니다.

기준이 없을 때의 실패 유형

Anthropic 은 에이전트 개발 도구인 Claude Agent SDK 위에서 자사 모델 Opus 4.5 를 여러 컨텍스트 창(context window — 모델이 한 번에 볼 수 있는 글의 양)에 걸쳐 고리로 돌리며 "claude.ai 를 복제해 만들어라" 같은 높은 수준의 지시만 주었을 때, 실서비스 수준의 웹 앱에 못 미쳤다고 보고합니다. 관찰된 실패는 다음과 같습니다 [Effective harnesses for long-running agents].

너무 많은 일을 한꺼번에 하려 합니다. 앱 전체를 한 번에 만들려다 구현 도중 컨텍스트가 바닥나고, 다음 세션(session — 한 번 이어지는 작업 단위)은 반쯤 만들어지고 기록도 없는 기능에서 시작합니다. 다음 에이전트는 무슨 일이 있었는지 추측하고, 기본 앱을 다시 돌아가게 하는 데 많은 시간을 씁니다. 대화를 요약해 이어 주는 압축(compaction) 기능을 써도 생깁니다 — 압축이 다음 에이전트에 늘 완벽히 분명한 지시를 넘기지는 못하기 때문입니다.

일부만 됐는데 전체가 끝났다고 선언합니다. 프로젝트 후반에 주로 나타납니다. 기능이 몇 개 만들어진 뒤, 새로 시작한 에이전트가 둘러보고 진척이 있는 것을 보고는 일이 끝났다고 선언합니다.

제대로 시험하지 않고 기능을 완료로 표시합니다. 따로 지시하지 않으면 Claude 는 코드를 고치고 단위 테스트(코드의 작은 부분만 따로 확인하는 시험)나 개발 서버(만드는 중인 앱을 내 컴퓨터에서 띄워 둔 것)에 대한 curl 명령(curl — 명령줄에서 웹 주소에 요청을 보내 보는 도구)으로 시험까지 하지만, 기능이 처음부터 끝까지(end-to-end) 실제로 돌아가지 않는다는 것은 알아채지 못했습니다.

여러 에이전트에 나눠 줄 때는 중복과 빈틈이 생깁니다. Anthropic 리서치 시스템에서 처음에는 주 에이전트가 "반도체 부족 사태를 조사해" 같은 짧은 지시를 주게 했는데, 이런 지시는 모호해서 하위 에이전트가 과제를 잘못 해석하거나 다른 에이전트와 똑같은 검색을 했습니다. 한 하위 에이전트는 2021년 자동차 칩 위기를 조사하고, 다른 둘은 2025년 공급망을 똑같이 조사하는 식이었습니다. 원문은 자세한 과제 설명이 없으면 에이전트들이 일을 중복하거나 빈틈을 남기거나 필요한 정보를 찾지 못한다고 정리합니다 [How we built our multi-agent research system].

한 번에 다 하려다 망침 컨텍스트 바닥 · 반쯤 만든 기능, 기록 없음 일찍 완료 선언 "다 됐습니다" ← 남은 기능이 많은데도 테스트 없이 완료 표시 통과 표시 · 실제로는 끝까지 안 돌아감 여럿일 때 — 중복·빈틈 둘이 같은 칸 아무도 안 맡은 빈칸
[그림 2] 네 가지 실패를 진척 막대로 그린 것. 위 세 줄은 장기 작업 실험(Effective harnesses for long-running agents), 마지막 줄은 멀티 에이전트 리서치 시스템(How we built our multi-agent research system)에서 나온 실패입니다.

리서치 시스템 초기에는 이 밖에도 단순한 질문에 하위 에이전트를 50개씩 띄우기, 있지도 않은 자료를 찾아 웹을 끝없이 뒤지기, 이미 충분한 결과를 얻었는데도 계속하기 같은 실수가 있었습니다 [How we built our multi-agent research system]. 모두 "어디까지 하면 되는지"가 분명하지 않을 때의 모습입니다. 여러 에이전트에 일을 나눠 주는 법은 5장에서 다룹니다.

스스로 돌릴 검사를 쥐여 주기

Claude Code 문서의 처방은 짧습니다. 돌려서 통과 또는 실패로 답이 나오는 무언가를 주라. 그것이 있으면 에이전트가 고치고 → 검사를 돌리고 → 깨졌으면 출력을 읽고 고친 뒤 → 다시 검사하는 고리를 스스로 닫고, 사람은 지켜보지 않아도 됩니다 [Best practices for Claude Code].

테스트 파일
정해 둔 동작을 확인하는 시험 코드
빌드 종료 코드
빌드(코드를 실행 가능한 형태로 만드는 과정)가 성공·실패로 끝났는지
린터
린터(linter — 코드 형식·흔한 실수를 자동 점검하는 도구)
출력 비교 스크립트
결과를 미리 정해 둔 기준 파일(fixture)과 비교
브라우저 스크린샷
디자인 시안 옆에 놓고 비교

Claude 가 결과를 읽을 수만 있으면 거의 무엇이든 검사가 됩니다. 저장소(repo — 프로젝트 파일이 모여 있는 곳)에 이미 이런 검사가 있다면, CLAUDE.md(Claude Code 가 세션마다 읽는 프로젝트 안내 파일)에 넣을 가장 쓸모 있는 한 줄은 그 검사를 돌리는 명령입니다.

검사를 얼마나 엄격하게 걸지는 고를 수 있습니다. 아래로 갈수록 에이전트 스스로의 판단에서 멀어지고 강제력이 커집니다.

① 지시문에 적기 "끝나면 auth 테스트를 돌리고 통과할 때까지 계속해" — 만족 여부는 Claude 가 판단 ② 목표 조건으로 걸기 (/goal) 매 턴 뒤 별도 모델이 조건을 확인, 충족될 때까지 계속 ③ Stop hook 으로 강제 턴을 끝내려 할 때 스크립트 실행 — 하네스가 강제 ④ 코드를 쓰지 않은 쪽이 검토 대화를 본 적 없는 새 하위 에이전트가 변경을 검토 에이전트 스스로 판단 설정 없이 오늘 바로 밖에서 확인 · 강제 일한 쪽의 논리에 휘둘리지 않음
[그림 5] 검사를 거는 네 단계(Best practices for Claude Code 「Give Claude a check to run」). Claude Code 의 예이며, 각 장치의 쓰는 법은 4장에서 다룹니다.
한눈에 정리
  • 에이전트는 "끝나 보이면" 멈춥니다. 실제로 끝났는지 알려 줄 것이 없으면 맡긴 사람이 검사기가 됩니다.
  • 기준이 없을 때의 실패: 한 번에 다 하려다 망침 · 일찍 완료 선언 · 테스트 없이 완료 표시 · 여럿일 때 중복과 빈틈.
  • 장기 작업 사례에서는 기능 목록(처음엔 모두 "실패") · 한 번에 기능 하나 · 세션마다 기록과 커밋 · 사람처럼 시험하기로 실패를 줄였습니다.
  • 확인은 말이 아니라 환경의 실제 결과(ground truth·최종 상태)로 하고, 실행한 명령과 출력 같은 증거를 받습니다.
  • 통과/실패로 답하는 검사를 쥐여 주면 에이전트가 고리를 스스로 닫습니다. 지시문 → /goal → Stop hook → 다른 쪽 검토 순으로 강제력이 커집니다.
  • 완료 조건과 별도로 최대 반복 같은 중단 조건, 사람에게 돌아갈 지점을 둡니다.
  • 기준을 평가로 만들어 두면 성공의 뜻이 명시되고, 변경·모델 교체를 빠르게 검증할 수 있습니다.

이 장의 나머지 소절과 🔧 세부는 완전 가이드 1장에 있습니다.

CHAPTER 02

목표를 쓰는 법 — 지시문

에이전트에게 일을 맡길 때 가장 먼저 건네는 것은 글로 쓴 지시문입니다. 같은 일이라도 지시문을 어떻게 쓰느냐에 따라 결과가 달라집니다. 이 장은 Anthropic 의 프롬프트 작성 문서와 Claude Code 사용 요령 문서를 바탕으로, 목표를 분명하게 쓰고 · 이유를 붙이고 · 예시를 주고 · 범위와 결과 형식을 정하고 · 오래 걸리는 일의 진행 상태를 남기게 하는 방법을 정리합니다.

분명하고 직접적으로 쓰기

지시문(프롬프트 · prompt — 에이전트에게 무엇을 할지 글로 적어 건네는 요청)은 에이전트(도구를 쓰며 여러 단계를 스스로 진행하는 AI)가 받는 첫 정보입니다. Anthropic 문서는 Claude 를 "아주 유능하지만 우리 팀의 관행과 일하는 방식을 모르는 신입 직원"처럼 생각하라고 권합니다. 원하는 것을 정확히 설명할수록 결과가 좋아집니다.

지시문 초안 내가 쓴 요청 맥락이 적은 동료 이 일을 잘 모르는 사람에게 그대로 따라 해 보게 한다 헷갈리지 않으면 에이전트에게 전달 사람도 이해하는 지시문 헷갈려하면 → 에이전트도 헷갈린다 → 고쳐 쓴다 핵심 시험: 동료에게 먼저 보여 주기
[그림 2-1] Anthropic 문서의 "핵심 시험(Key test)" — 이 일에 대해 맥락이 거의 없는 동료에게 지시문을 보여 주고 따라 해 보게 합니다. 그 사람이 헷갈린다면 Claude 도 헷갈립니다.

문서가 함께 권하는 것은 두 가지입니다. 첫째, 원하는 결과물의 형식과 제약을 구체적으로 적습니다. 둘째, 단계의 순서나 빠짐없음이 중요하면 번호 목록이나 글머리표로 단계를 나눠 적습니다. 그리고 요청이 엄밀히 필요로 하는 것보다 더 많이 해 주길 바란다면, 모호한 요청에서 알아서 짐작해 주길 기대하지 말고 직접 요청하라고 합니다.

구분지시문 (원문 예시를 옮김)무엇이 다른가
덜 효과적"분석 대시보드를 만들어 줘."얼마나 갖춰야 하는지 적혀 있지 않습니다.
더 효과적"분석 대시보드를 만들어 줘. 관련 있는 기능과 상호작용을 가능한 한 많이 넣고, 기본을 넘어 기능을 다 갖춘 구현으로 만들어 줘."원하는 수준(기본 이상, 기능 완비)을 직접 말합니다.

출처: claude-prompting-best-practices (Be clear and direct)

구체적인 요청 — "다 됐다"의 모습까지

Claude Code 문서는 구체적인 요청이 효과가 있는 이유를 "에이전트가 아직 갖고 있지 않은 정보를 주기 때문"이라고 설명합니다. 어느 파일인지 이름을 대고, 증상을 설명하고, "고쳐졌다"가 어떤 모습인지를 처음부터 말하면 대개 한 차례의 수정 요청을 아낄 수 있습니다. 합리적인 방법이 두 가지 있는데 어느 쪽이 좋은지 선호가 있다면, 그것도 코드에서 읽어 낼 수 없으므로 미리 말합니다.

구분요청
이렇게 말고"로그인 버그 고쳐 줘"
이렇게"세션이 만료된 뒤 로그인이 실패한다는 사용자 제보가 있어. src/auth/ 의 토큰 갱신 부분을 보고, 이 문제를 재현하는 실패하는 테스트를 먼저 쓴 다음 고쳐 줘"

증상(세션 만료 후 실패) · 볼 곳(src/auth/) · 다 됐다는 증거(재현 테스트가 통과)가 모두 들어 있습니다.

구분요청
이렇게 말고"달력 위젯 추가해 줘"
이렇게"HotDogWidget.php 의 패턴을 따라서, 달을 고르고 해를 넘겨 볼 수 있는 달력 위젯을 만들어 줘. 새 라이브러리는 쓰지 마"(라이브러리 — 남이 만들어 둔 코드 묶음)

따를 본보기 · 꼭 있어야 할 기능 · 제약(새 라이브러리 금지)이 들어 있습니다.

Claude 는 요청을 보수적으로 읽고 요청을 만족하는 가장 작은 것을 만드는 경향이 있습니다. 내가 얼마나 기대하는지 볼 수 없기 때문입니다. 더 완성된 버전을 원하면 be ambitious(크게 해 줘)라고 말합니다. 이 말은 얼마나 깊이 생각하라는 뜻이 아니라, 나만 아는 범위를 알려 주는 말입니다.

build the settings page from the mockup. be ambitious: empty and error states, the save flow wired up, keyboard navigation, not just the layout

뜻: 시안대로 설정 화면을 만들어 줘. 크게 해 줘 — 빈 상태·오류 상태, 저장 흐름 연결, 키보드 이동까지. 겉모습만이 아니라.

이미 가진 자료가 있으면 설명하지 말고 그대로 건넵니다 — 파일은 경로 앞에 @ 를 붙여 내용을 넣고, 디자인이나 오류 화면은 스크린샷을 붙이고, 명령 출력은 셸(shell — 명령을 글자로 입력하는 창)에서 바로 넘깁니다(cat error.log | claude -p "what's going on here"). 반대로 특정한 것을 고치는 게 아니라 둘러보는 중이라면 "이 파일에서 뭘 개선하겠어?" 같은 모호한 요청도 괜찮습니다. 중간에 고쳐 줄 일이 조금 늘어날 뿐입니다.

무엇을 원하는지 아직 모를 때 — 먼저 인터뷰를 받기 원하는 것이 아직 정리되지 않았다면 에이전트에게 나를 인터뷰하게 할 수 있습니다. 예: "공개 API(프로그램끼리 요청을 주고받는 창구) 에 요청 수 제한을 넣고 싶은데 아직 깊이 생각해 보지 않았어. 명세를 쓸 수 있을 때까지 나를 인터뷰하고, 그다음 SPEC.md 에 써 줘." 에이전트는 정해지지 않은 부분(사용자별 제한인지 키별 제한인지, 넘친 요청은 어떻게 할지, 무엇이 범위 밖인지)을 객관식으로 묻습니다. SPEC.md(명세서 — 무엇을 만들지 적은 문서)가 생기면 새 세션에서 그 파일로 만들기 시작합니다. 깨끗한 맥락과 글로 적힌 "완료"의 정의로 출발하는 셈이고, 나중에 검토할 때 기준으로 쓸 파일이기도 합니다.

출처: cc-best-practices (Write a specific prompt · Brainstorm with Claude first)

이유와 맥락을 붙이기

지시에 왜 그래야 하는지를 함께 적으면, 에이전트가 내 목표를 더 많이 알게 되어 더 알맞은 답을 냅니다. Anthropic 문서의 예는 말줄임표 금지 규칙입니다.

규칙만 줄 때 이유를 함께 줄 때 "말줄임표를 절대 쓰지 마" NEVER use ellipses 무엇을 지켜야 하는지만 안다 왜 그런지는 모른다 "답을 음성 합성기가 소리 내어 읽으니 말줄임표는 쓰지 마 — 읽는 법을 몰라" 목표(소리 내어 읽힘)까지 안다 설명으로부터 일반화할 수 있다
[그림 2-2] 같은 규칙, 다른 지시문 — 원문은 이유를 붙인 쪽을 "더 효과적"이라고 하고, "Claude 는 설명으로부터 일반화할 수 있다"고 덧붙입니다.
비유로 보면 "복도에서 뛰지 마"라고만 들은 아이는 복도에서만 조심합니다. "아래층에 아기가 자고 있어서 쿵쿵 소리가 나면 깨"라는 이유까지 들으면, 계단이나 방에서도 소리를 줄여야 한다는 걸 스스로 알아챕니다.

출처: claude-prompting-best-practices (Add context to improve performance)

과잉 행동 막기 — 범위 정하기

범위는 양쪽으로 어긋날 수 있습니다. 한쪽은 앞에서 본 것처럼 요청을 너무 좁게 읽어 최소한만 하는 경우이고, 다른 쪽은 시키지 않은 것까지 너무 넓게 하는 과잉 행동(overeagerness — 요청하지 않은 파일·기능·장치를 더하는 경향)입니다. 원문은 Claude Opus 4.5 와 4.6 이 추가 파일을 만들고, 필요 없는 추상화(여러 곳에 쓰려고 일반화해 둔 코드 틀)를 넣고, 요청하지 않은 유연성을 만들어 넣는 경향이 있다고 적습니다.

너무 좁게 요청을 만족하는 가장 작은 것만 → "be ambitious" 너무 넓게 추가 파일 · 불필요한 추상화 요청 없는 유연성 → "최소한으로" 지시 요청한 범위 범위는 나만 안다 → 지시문에 직접 적는다
[그림 2-6] 범위는 양쪽으로 어긋납니다 — 원문은 더 크게 원할 때와 더 작게 원할 때 모두 "직접 말하라"고 권합니다.

원문의 과잉 설계 방지 예시 지시문은 "직접 요청했거나 분명히 필요한 변경만 하라. 지금 일에 필요한 최소한의 복잡도가 맞는 양이다"라고 시작하고, 네 가지 범위를 짚습니다.

영역예시 지시문의 내용
범위요청 밖의 기능 추가·코드 정리·"개선"을 하지 않는다. 버그 수정에 주변 코드 청소는 필요 없다.
문서화바꾸지 않은 코드에 설명 주석·타입 표시를 달지 않는다. 논리가 자명하지 않은 곳에만 주석을 단다.
방어 코드일어날 수 없는 상황의 오류 처리·대체 경로·검증을 넣지 않는다. 검증은 시스템 경계(사용자 입력, 외부 API)에서만.
추상화한 번 쓰는 작업에 도우미 함수·유틸리티를 만들지 않는다. 가상의 미래 요구를 위해 설계하지 않는다.

작업 중 임시 파일을 만드는 것도 비슷합니다. 원문은 임시 파일이 결과를 좋게 할 수 있다고 하면서, 남기기 싫으면 "작업 끝에 임시 파일·스크립트를 지워 줘"라고 지시하라고 합니다. 또 Claude Code 문서는 "멈추지 말고 끝까지 해, 게으름 피우지 마" 같은 말은 멈춤을 고치기보다 과로를 부르기 쉽다고 하며, 대신 통과해야 할 검사를 주라고 합니다. 대문자·IMPORTANT 를 쌓는 것도 규칙을 지나치게 적용하게 만든다고 적습니다.

출처: claude-prompting-best-practices (Overeagerness · Reduce file creation in agentic coding) · cc-best-practices (Write a specific prompt · What you can stop doing)

한눈에 정리
  • 에이전트는 유능하지만 우리 사정을 모르는 신입입니다. 맥락이 적은 동료가 읽고 헷갈리면 에이전트도 헷갈립니다.
  • 요청에는 어느 파일인지 · 증상 · "다 됐다"의 모습을 처음부터 넣습니다. 더 크게 원하면 "be ambitious"처럼 범위를 직접 말합니다.
  • 규칙에 이유를 붙이면 에이전트가 그 설명으로부터 일반화합니다.
  • 코드를 읽어서 알 수 있고 실제로 찾아볼 정보는 적지 않습니다. 저장소 밖의 결정·절차·환경만 적고, CLAUDE.md 는 짧게 둡니다.
  • 예시는 3~5개, 관련 있고 다양하게, 태그로 구분합니다. 긴 자료는 위에, 질문은 맨 끝에 둡니다.
  • "하지 말 것"보다 "할 것"을 쓰되, 되돌리기 어려운 행동은 먼저 묻게 경계를 둡니다.
  • 요청하지 않은 파일·추상화·방어 코드를 막으려면 "최소한으로" 범위를 지시합니다. "멈추지 마" 대신 통과할 검사를 줍니다.
  • 긴 작업은 tests.json·진행 메모·git 으로 상태를 남기게 하고, 테스트를 지우거나 고치지 말라고 일러 둡니다.
  • 지시문은 대개 지켜질 뿐 보장은 아닙니다 — 꼭 지켜야 할 검사는 hook 같은 강제 장치로(4장).

이 장의 나머지 소절과 🔧 세부는 완전 가이드 2장에 있습니다.

CHAPTER 03

성공 기준 정하기

지시문이 "무엇을 하라"를 말한다면, 성공 기준은 "결과가 좋은지 어떻게 판정하나"를 말합니다. 기준이 "잘해 줘" 수준이면 결과를 보고도 성공인지 아닌지 누구도 같은 판정을 내릴 수 없습니다. 이 장은 Anthropic 의 성공 기준 문서를 중심으로, 좋은 기준의 네 조건과 정량·정성 지표, 여러 차원을 함께 보는 법, 그리고 나쁜 기준을 좋은 기준으로 고쳐 쓰는 예를 OpenAI·Google ADK 문서와 함께 정리합니다.

좋은 기준의 네 조건

Anthropic 문서는 좋은 성공 기준의 조건을 네 가지로 정리합니다.

구체적 (Specific)

이루려는 것을 분명히 정합니다. "좋은 성능" 대신 "정확한 감정 분류"처럼.

측정 가능 (Measurable)

정량 지표나 잘 정의된 정성 척도를 씁니다. 숫자는 분명하고 규모를 키우기 쉽습니다.

달성 가능 (Achievable)

업계 기준치·이전 실험·AI 연구·전문가 지식에 근거해 목표를 정합니다. 현재 최신 모델 능력으로 비현실적이면 안 됩니다.

관련 있음 (Relevant)

앱의 목적과 사용자 요구에 맞춥니다. 인용 정확도는 의료 앱엔 결정적이지만 가벼운 대화 봇엔 덜 중요합니다.

원문은 감정 분석(글이 긍정인지 부정인지 가려내는 일) 예로 네 조건이 한 문장에 어떻게 들어가는지 보여 줍니다.

나쁜 기준 "모델이 감정을 잘 분류해야 한다" — 무엇이 "잘"인지, 무엇으로 재는지 없음 좋은 기준 F1 점수 0.85 이상 무엇을 · 얼마나 따로 떼어 둔 시험 세트 다양한 트위터 글 10,000개 현재 기준선보다 5% 개선 근거 있는 목표치 측정 가능 · 구체적 관련 있음 달성 가능
[그림 3-2] 원문 예의 괄호 표시를 그대로 옮겼습니다 — "F1 0.85 이상"은 측정 가능·구체적, "다양한 트위터 글 10,000개"는 관련 있음(실제 쓰임과 같은 종류의 글), "현재 기준선보다 5% 개선"은 달성 가능에 해당합니다.

여기서 F1 점수(분류가 얼마나 맞았는지를 0~1 로 나타내는 점수 중 하나), 따로 떼어 둔 시험 세트(held-out test set — 지시문을 고치는 동안 쓰지 않고 남겨 둔 시험 문제 묶음), 기준선(baseline — 비교 대상이 되는 현재 성능)이라는 말이 나옵니다. 숫자가 아니어도 "달성 가능"을 지키려면 지금 수준을 먼저 재 두어야 한다는 점이 이 예의 요점입니다.

출처: claude-develop-tests (Define your success criteria)

여러 차원으로 보기

원문은 "대부분의 쓰임새는 여러 성공 기준에 걸친 다차원 평가가 필요하다"고 말합니다. 정확하기만 하고 너무 느리거나, 빠르지만 개인정보를 흘린다면 성공이라 할 수 없기 때문입니다. 원문이 꼽는 흔한 기준(전부는 아님)은 여덟 가지입니다.

과제 충실도

과제를 얼마나 잘 해내야 하나. 드물거나 어려운 입력도 얼마나 잘 처리해야 하나.

일관성

비슷한 입력에 얼마나 비슷하게 답해야 하나. 같은 질문을 두 번 하면 뜻이 같은 답이 나와야 하나.

관련성 · 논리성

질문·지시에 얼마나 곧바로 답하나. 논리적이고 따라가기 쉽게 제시하나.

말투 · 문체

출력 문체가 기대와 맞나. 대상 독자에게 알맞은 말인가.

개인정보 보호

개인·민감 정보를 어떻게 다루면 성공인가. 특정 내용을 쓰거나 공유하지 말라는 지시를 지키나.

맥락 활용

주어진 맥락을 얼마나 잘 쓰나. 이전 대화의 정보를 참조하고 이어 가나.

지연 시간

받아들일 수 있는 응답 시간은 얼마인가. 실시간 요구와 사용자 기대에 달려 있다.

가격

모델 운영 예산은 얼마인가. 호출당 비용·모델 크기·사용 빈도를 따진다.

결과 하나 시험 세트 10,000개 글 과제 충실도F1 점수 0.85 이상 안전출력의 99.5% 가 유해하지 않음 오류의 무게오류의 90% 는 "불편" 수준, 심각한 오류 아님* 지연 시간응답의 95% 가 200ms 미만 * 원문 주석: 실제로는 "불편"과 "심각"이 무엇인지도 정의해야 한다
[그림 3-4] 원문의 다차원 기준 예 — 같은 감정 분석 모델을 네 기준으로 동시에 봅니다. 하나만 넘고 나머지를 놓치면 성공이 아닙니다.

출처: claude-develop-tests (Common success criteria · Example multidimensional criteria)

나쁜 기준 → 좋은 기준 고쳐 쓰기

원문들의 예를 나란히 놓으면 고쳐 쓰는 방향이 같습니다. "잘", "좋게", "안전하게" 같은 말을 무엇으로 · 어떤 자료에서 · 어느 선까지로 바꿉니다.

구분기준
나쁨모델이 감정을 잘 분류해야 한다
좋음따로 떼어 둔 다양한 트위터 글 10,000개에서 F1 0.85 이상 — 현재 기준선보다 5% 개선

출처: claude-develop-tests

구분기준
나쁨안전한 출력
좋음10,000번 시도한 출력 중 콘텐츠 필터가 유해하다고 표시한 것이 0.1% 미만

출처: claude-develop-tests

구분기준
목표관련성과 정확도에서 참조 요약(사람이 쓴 본보기 요약)과 겨룰 수 있어야 한다
지표따로 떼어 둔 대화록 → 요약 1,000쌍에서 ROUGE-L 0.40 이상, G-Eval 로 잰 논리성 80% 이상

ROUGE-L(만든 요약과 본보기 요약이 글자상 얼마나 겹치는지 재는 점수)처럼 표준 점수와 모델이 매기는 점수(G-Eval — AI 모델에게 글의 품질을 채점하게 하는 방식)를 함께 씁니다.

출처: openai-eval-best-practices (Example: Summarizing transcripts)

구분기준
목표정확한 답을 내고, 필요한 맥락을 떠올려 추론하고, 사용자의 필요를 채우는 답을 내야 한다
지표context recall 0.85 이상, context precision 0.7 초과, 긍정 평가를 받은 답 70% 이상

context recall(답에 필요한 자료를 얼마나 빠짐없이 찾아왔는지)과 context precision(찾아온 자료 중 실제로 필요한 것이 얼마나 되는지)은 문서에서 자료를 찾아 답하는 일에 쓰는 점수입니다.

출처: openai-eval-best-practices (Example: Q&A over docs)

구분요청
이렇게 말고"로그인 버그 고쳐 줘"
이렇게"세션이 만료된 뒤 로그인이 실패한다는 제보가 있어. src/auth/ 의 토큰 갱신 부분을 보고, 재현하는 실패 테스트를 먼저 쓴 다음 고쳐 줘"

Claude Code 문서는 요청에 "고쳐졌다"가 어떤 모습인지를 처음부터 넣으라고 합니다. 이 예에서는 "재현 테스트가 실패하다가 통과로 바뀜"이 판정 가능한 성공 기준 역할을 합니다. 이런 검사를 에이전트 실행에 거는 법은 4장에서 다룹니다.

출처: cc-best-practices (Write a specific prompt)

고쳐 쓰는 순서를 감정 분류 예로 한 단계씩 밟아 보면 이렇습니다.

① 처음 떠오른 말 — "감정을 잘 분류해야 한다." 무엇이 "잘"인지 사람마다 다르게 읽습니다.
② 구체적으로 — "잘"을 무엇으로 볼지 정합니다. 원문 표현으로는 "좋은 성능" 대신 "정확한 감정 분류".
③ 측정 가능하게 — 잴 지표와 선을 정합니다: "F1 0.85 이상". 숫자가 어렵다면 정해 둔 척도(1~5 점, 전문가 루브릭)를 일관되게 씁니다.
④ 관련 있게 — 어떤 자료로 잴지 정합니다: 실제 쓰임과 같은 "다양한 트위터 글 10,000개", 그것도 지시문을 고치는 동안 쓰지 않은 따로 떼어 둔 세트.
⑤ 달성 가능하게 — 목표치의 근거를 댑니다: "현재 기준선보다 5% 개선". 업계 기준치·이전 실험·전문가 지식도 근거가 됩니다.
⑥ 다른 차원 더하기 — 필요하면 안전(비유해 99.5%)·오류의 무게·지연 시간(응답의 95% 가 200ms, 곧 0.2초 미만) 같은 기준을 나란히 둡니다. 새로 쓴 말("불편", "심각")도 정의합니다.
이 가이드의 제안 (원문 근거 없음) 고쳐 쓴 기준을 시험하는 쉬운 방법은 "두 사람이 따로 같은 결과를 보고 같은 판정을 내릴 수 있는가"를 묻는 것입니다. 판정이 갈린다면 아직 "잘", "적절히" 같은 말이 남아 있는지 찾아봅니다.
한눈에 정리
  • 성공 기준은 "결과가 좋은지 판정하는 구체적·측정 가능한 조건"이고, 지시문을 다듬기 전에 먼저 정합니다. 기준 · 시험 방법 · 첫 초안, 이 셋이 출발점입니다.
  • 좋은 기준의 네 조건은 구체적 · 측정 가능 · 달성 가능 · 관련 있음입니다.
  • 숫자가 가장 분명하지만, 정성 척도(1~5 점, 전문가 루브릭)도 일관되게 함께 쓰면 쓸모 있습니다. "안전" 같은 막연한 주제도 시도 횟수·판정 도구·허용 비율로 수치화할 수 있습니다.
  • 대부분의 일은 여러 차원(과제 충실도·일관성·관련성·말투·개인정보·맥락 활용·지연 시간·가격)을 함께 봐야 합니다.
  • 고쳐 쓰기는 "잘·좋게·안전하게"를 무엇으로 · 어떤 자료에서 · 어느 선까지로 바꾸는 일입니다.
  • 에이전트는 최종 응답과 거기까지 간 궤적을 모두 봅니다. 평가 전에 성공 정의 · 핵심 과제 · 관련 지표를 정합니다.
  • 기준은 평가 설계 다섯 단계(목표 · 자료 · 지표 · 돌리고 비교 · 계속 평가)의 첫 칸입니다. 느낌 평가와 너무 일반적인 지표를 피합니다.

이 장의 나머지 소절과 🔧 세부는 완전 가이드 3장에 있습니다.

CHAPTER 04

완료 조건을 실행에 걸기

목표와 성공 기준을 글로 적었다면, 이제 그 기준이 실제로 에이전트를 붙잡아 두게 만들 차례입니다. 에이전트가 "다 된 것 같다"고 멈추려 할 때마다 누군가(또는 무언가)가 기준을 확인하고, 아직이면 다시 일하게 하는 장치를 이 장에서 다룹니다. Claude Code 의 /goal·Stop hook, Claude Managed Agents 의 outcome(결과 정의), 기능 목록 파일, 평가자-최적화자 고리를 "이런 식으로 구현된 예"로 살펴봅니다.

기준을 실행에 거는 이유 · 강도 네 단계

에이전트(도구를 쓰며 여러 단계를 스스로 진행하는 AI)는 일이 끝난 것처럼 보이면 멈춥니다. Claude Code(Anthropic 이 만든 코딩 에이전트 도구) 문서는 이 점을 짚습니다. 일이 정말 끝났는지 알려 줄 검사가 없으면 에이전트가 기댈 것은 "보기에 끝난 것 같다"뿐이고, 결국 사람이 테스트 담당이 되어 실수를 우연히 발견할 때까지 그대로 남는다는 것입니다 [cc-best-practices].

비유로 보면 아이에게 "방 치워"라고만 하면 아이가 보기에 깨끗해진 순간 끝납니다. "바닥에 물건 0개, 책은 책장에, 끝나면 사진 찍어 보내기"라고 하면 아이가 스스로 확인할 수 있고, 부모도 사진으로 증거를 봅니다.

해결책은 단순합니다. 돌려 보면 통과(pass) 또는 실패(fail)가 나오는 것을 주면, 에이전트가 고치고 → 검사를 돌리고 → 실패하면 출력을 읽고 다시 고치는 고리를 혼자 닫을 수 있습니다. 검사는 에이전트가 결과를 읽을 수만 있으면 거의 무엇이든 됩니다.

테스트 파일
정해 둔 동작을 확인하는 시험 코드
빌드의 종료 코드(exit code — 프로그램이 끝나며 남기는 숫자. 보통 0 이면 성공)
린터(linter — 코드 형식·흔한 실수를 자동 점검하는 도구)
비교 스크립트
출력을 미리 준비한 정답 파일과 대조
화면 캡처
브라우저 화면 사진을 디자인 시안 옆에 두고 비교

검사를 얼마나 강하게 걸지는 고를 수 있습니다. Claude Code 문서는 "에이전트가 스스로 판단"부터 "도구가 강제"까지 네 단계를 듭니다.

오른쪽으로 갈수록 에이전트의 "다 됐다"에 덜 기댄다 ① 지시문에 쓰기 "인증 테스트를 돌리고 통과할 때까지 계속해" 판정: 에이전트 자신 준비: 없음 ② 목표로 걸기 /goal 조건 (Claude Code) 판정: 별도 모델이 매 턴 대화를 읽고 ③ Stop hook 강제 멈추려 할 때마다 스크립트 실행 판정: 도구(하니스)가 검사 실패면 못 멈춤 ④ 다른 검토자 대화를 못 본 새 하위 에이전트가 검토 판정: 코드를 쓴 추론에 흔들리지 않음
[그림 4-1] 검사를 거는 강도 네 단계 (Claude Code 문서 「Give Claude a check to run」). ①은 준비 없이 오늘 바로 쓸 수 있고, ③은 Claude Code(하니스)가 직접 강제합니다. ④의 예로 Claude Code 의 /code-review 는 대화를 본 적 없는 새 하위 에이전트에서 변경분을 검토합니다.

여기서 하니스(harness — 모델을 감싸 도구 실행·설정·훅을 처리하는 프로그램. Claude Code 자체)가 강제한다는 말은, 모델이 기억하거나 판단하는 것과 상관없이 프로그램이 규칙을 적용한다는 뜻입니다. 어느 단계를 쓰든 문서가 공통으로 권하는 것이 하나 있습니다. 증거를 요구하라 — 실행한 명령과 그 출력, 또는 화면 사진입니다. "테스트 다 통과했어요"라는 말만으로는 알 수 있는 것이 거의 없고, 지켜보지 않은 세션이라면 그 증거가 유일한 근거입니다 [cc-best-practices].

가장 쓸모 있는 한 줄저장소에 이미 검사 도구가 있다면, 에이전트용 지침 파일(Claude Code 의 CLAUDE.md)에 넣을 가장 쓸모 있는 한 줄은 그 검사를 돌리는 명령이라고 문서는 말합니다.

좋은 완료 조건 쓰기

완료 조건(completion condition — 이것이 참이면 멈춰도 되는 조건)을 쓸 때 가장 중요한 사실이 하나 있습니다. Claude Code 의 /goal(완료 조건을 걸어 두면 조건이 채워질 때까지 Claude 가 다음 턴을 이어 가게 하는 명령. 턴은 에이전트가 한 번 일하고 응답을 마치기까지의 한 차례)에서 조건을 판정하는 평가자(일한 모델과 별도로 매 턴 조건을 확인하는 모델)는 명령을 실행하거나 파일을 직접 읽지 않습니다. 대화에 드러난 내용만 보고 판정합니다. 그래서 조건은 에이전트 자신의 출력으로 증명할 수 있는 것으로 써야 합니다. "test/auth 의 모든 테스트가 통과"가 잘 작동하는 이유는, 에이전트가 테스트를 돌리면 그 결과가 대화 기록에 남아 평가자가 읽을 수 있기 때문입니다 [cc-goal].

여러 턴 동안 흔들리지 않는 조건에는 대개 세 가지가 들어 있습니다.

① 측정 가능한 끝 상태 하나 테스트 결과 · 빌드 종료 코드 파일 개수 · 빈 대기열 ② 확인 방법 어떻게 증명할지 "npm test 가 0 으로 끝남" "git status 가 깨끗함" ③ 지켜야 할 제약 가는 길에 바뀌면 안 되는 것 "다른 테스트 파일은 수정하지 않음" 조건 한 문장 (최대 4,000자) + 필요하면 "또는 20턴 뒤 멈춤"
[그림 4-2] 좋은 완료 조건의 세 요소 (Claude Code 문서 「Write an effective condition」). 실행 시간을 묶어 두려면 "or stop after 20 turns"(또는 20턴 뒤 멈춤) 같은 턴·시간 조항을 조건에 넣습니다. Claude 는 매 턴 그 조항 대비 진행을 보고하고, 평가자는 대화에서 그것을 판정합니다.

같은 일을 두고 조건을 어떻게 쓰느냐에 따라 평가자가 판정할 수 있는지가 갈립니다. 아래는 이 가이드가 만든 예시입니다(세 요소를 적용한 모습).

/goal 로그인 기능이 잘 되게 해 줘

  • 끝 상태가 없음 — "잘 된다"를 무엇으로 재는지 모름
  • 확인 방법이 없음 — 평가자는 명령을 돌리지 않으므로 대화에 증거가 남지 않으면 판정할 수 없음
  • 제약이 없음 — 테스트를 고쳐서 통과시켜도 막을 근거가 없음

/goal test/auth 의 모든 테스트가 통과하고(npm test 종료 코드 0), 린트가 깨끗하며, test/auth 밖의 테스트 파일은 수정하지 않는다. 또는 20턴 뒤 멈춘다.

  • ① 끝 상태: 테스트 통과 + 린트 깨끗
  • ② 확인 방법: npm test(이 프로젝트의 테스트를 한꺼번에 돌리는 명령) 종료 코드 0 — 에이전트가 돌리면 출력이 대화에 남음
  • ③ 제약: 다른 테스트 파일 수정 금지 · 실행 상한 20턴
이 가이드의 제안 (원문 근거 없음)조건을 쓰고 나서 "이 문장을 처음 보는 사람이 대화 기록만 읽고 참/거짓을 가를 수 있나?"라고 스스로 물어보면 좋습니다. 평가자가 놓인 처지가 바로 그것이기 때문입니다. 3장에서 다룬 "구체적·측정 가능한" 성공 기준을 한 문장으로 압축한 것이 완료 조건이라고 보면 됩니다.

기능 목록에 통과 표시 남기기

Anthropic 의 장기 실행 에이전트 실험은 완료 기준을 파일로 만들어 두는 방법을 보여 줍니다. 에이전트가 앱을 한 번에 다 만들려 하거나 프로젝트가 끝났다고 너무 일찍 여기는 문제를 막기 위해, 첫 세션을 맡은 초기화 에이전트에게 사용자의 첫 요청을 펼친 기능 요구 사항 파일을 쓰게 했습니다. claude.ai 복제 앱 예에서는 기능이 200개가 넘었고, 모두 처음엔 "실패"로 표시해 이후 코딩 에이전트가 완성된 모습을 분명히 알 수 있게 했습니다 [anthropic-long-running-harness].

feature_list.json (기능 목록) "새 채팅 버튼이 새 대화를 만든다" 확인 단계 5개 · passes: true "질문을 입력하고 엔터 → AI 응답이 보인다" 확인 단계 · passes: false → 지금 작업 중 … 200개 넘는 기능 passes: false (처음엔 모두 실패) 코딩 에이전트의 규칙 ① 한 번에 기능 하나만 ② 사람처럼 끝에서 끝까지 시험 (브라우저 자동화 도구로) ③ 시험한 뒤에만 passes 를 true 로 ④ 고칠 수 있는 건 passes 값뿐 — 항목 삭제·수정 금지 ⑤ 끝나면 git 커밋 + 진행 기록
[그림 4-6] 기능 목록 파일과 통과 표시 (Anthropic 「Effective harnesses for long-running agents」). 원문 예의 한 항목은 분류(category), 설명(description), 확인 단계(steps), 통과 여부(passes)로 이루어져 있습니다.

이 방법에서 눈여겨볼 장치는 세 가지입니다.

  • 고칠 수 있는 칸을 하나로 제한 — 에이전트는 passes 값만 바꿀 수 있고, "테스트를 지우거나 고치는 것은 기능이 빠지거나 버그가 생길 수 있으므로 용납할 수 없다" 같은 강한 지시를 함께 줍니다.
  • JSON 형식(JSON — 중괄호·따옴표로 항목과 값을 적는 데이터 형식) — 여러 번 실험한 끝에 JSON 을 골랐습니다. 마크다운보다 모델이 부적절하게 바꾸거나 덮어쓸 가능성이 낮았기 때문입니다.
  • 끝에서 끝까지 시험한 뒤에만 통과 — 명시적으로 지시하지 않으면 Claude 는 코드를 바꾸고 단위 테스트나 간단한 요청으로 확인까지 하고도, 기능이 처음부터 끝까지 실제로 작동하지 않는다는 것을 알아채지 못하곤 했습니다. 브라우저 자동화 도구로 사람 사용자처럼 시험하라고 명시하자 대부분 잘 확인했고, 코드만 봐서는 보이지 않던 버그를 찾아 고쳤습니다.

원문이 정리한 실패 유형과 해결책을 완료 기준 관점에서 보면 이렇습니다.

문제초기화 에이전트가 할 일코딩 에이전트가 할 일
프로젝트 전체를 너무 일찍 "완료" 선언입력 명세를 바탕으로 끝에서 끝까지 확인할 기능 설명 목록을 구조화된 JSON 으로 만든다세션 시작 때 기능 목록을 읽고 기능 하나를 골라 시작한다
버그나 기록 안 된 진행을 남긴 채 끝냄git 저장소(git — 파일이 바뀐 이력을 기록해 두는 도구)와 진행 기록 파일을 처음에 만든다시작 때 진행 기록과 git 로그를 읽고 기본 시험을 돌린다. 끝날 때 git 커밋과 진행 기록을 남긴다
기능을 너무 일찍 "완료" 표시기능 목록 파일을 만든다모든 기능을 스스로 검증하고, 꼼꼼히 시험한 뒤에만 "통과"로 표시한다
앱을 어떻게 돌리는지 알아내느라 시간 씀개발 서버를 돌리는 init.sh 스크립트를 쓴다세션 시작 때 init.sh 를 읽는다
남은 한계원문은 이 방법으로도 모든 버그를 잡지는 못한다고 적습니다. 예를 들어 브라우저 자동화 도구(Puppeteer MCP)로는 브라우저 기본 경고창이 보이지 않아, 그 경고창에 기대는 기능은 버그가 더 많았습니다. 검사 도구가 못 보는 것은 완료 기준으로도 잡히지 않습니다.

사람 없이 돌리기 전 다섯 가지 질문

지켜보는 동안에는 에이전트가 맥락을 놓쳐도 한두 메시지 안에 알아채고 바로잡을 수 있습니다. 하지만 자기 전에 걸어 둔 작업에서는 아무도 말해 주지 않고, 다음 날 아침에야 밤새 잘못된 가정 위에 쌓아 올렸다는 것을 알게 됩니다. Claude Code 문서는 작업을 혼자 돌리기 전에 그 작업을 두고 다섯 가지를 물어보라고 권합니다 [cc-best-practices].

① 끝 완료가 어떤 모습인지 아는가? 목표 조건·명세·실패 테스트 ② 확인 스스로 자기 일을 점검할 수 있는가? 테스트·Stop hook·검토 ③ 범위 무엇을 건드려도 되는가? 권한·샌드박스·브랜치 ④ 멈춤 무엇이 멈추게 하는가? 턴·비용 상한 ⑤ 승인 결과는 어디로, 누가 승인하나? PR·요약 → 사람
[그림 4-9] 사람 없이 돌리기 전 다섯 가지 질문 (Claude Code 문서 「Let Claude run without you」). ①②가 이 장의 완료 조건과 검사, ④가 중단 조건, ⑤가 마지막 사람 승인입니다.
질문원문이 드는 예
① 끝이 어떤 모습인지 아는가목표 조건, 명세 파일, 초록색으로 바꿔야 할 실패 테스트
② 스스로 확인할 수 있는가테스트 모음, Stop hook, 어떤 형태든 검토 단계
③ 무엇을 건드려도 되는가권한 규칙, dontAsk, 샌드박스, 워크트리, 푸시할 수 있는 단 하나의 브랜치
④ 무엇이 멈추게 하는가--max-turns(최대 턴), --max-budget-usd(최대 비용), 지출 한도
⑤ 결과는 어디로 가고 누가 승인하나PR·댓글·요약 → 병합·배포처럼 되돌릴 수 없는 일은 사람이 승인

표의 낯선 말 — dontAsk: 미리 허용한 도구만 쓰고, 원래 사람에게 물어봤을 행동은 거절하는 권한 모드 · 샌드박스: 바깥과 격리된 실행 공간 · 워크트리: 같은 프로젝트의 별도 작업 폴더 · 브랜치·푸시: 코드의 작업 갈래와, 그 갈래를 공유 저장소에 올리는 일 · PR: 바뀐 코드를 합쳐 달라는 검토 요청 · 병합·배포: 바뀐 코드를 본선에 합치고 실제 서비스에 내보내는 일.

/goal 이 특히 쓸모 있는 곳도 이런 긴 백그라운드 실행입니다 — 문서에 따르면 Claude 는 항목이 아직 남았는데도 진행 요약으로 턴을 끝내는 일이 있고, 목표가 그것을 다시 일터로 돌려보냅니다.

일단 굴러가면 에이전트는 긴 작업을 혼자 끝까지 해냅니다. 문서에 따르면 그때 사람에게 남는 일은 세 가지입니다.

시작하기
작업을 걸고 위 다섯 질문을 점검
"완료" 정하기
이번 작업에서 완료가 무엇인지 정의
마지막 승인
병합 등 되돌릴 수 없는 일을 승인
한눈에 정리
  • 에이전트는 "끝난 것처럼 보이면" 멈춥니다. 돌리면 통과/실패가 나오는 검사(테스트·빌드 종료 코드·린터·비교 스크립트·화면 캡처)를 주고, 실행한 명령과 출력을 증거로 요구합니다.
  • 검사 강도는 네 단계 — 지시문에 쓰기 → /goal 로 걸기 → Stop hook 으로 강제 → 대화를 못 본 다른 검토자.
  • Claude Code /goal: 매 턴 끝에 작고 빠른 별도 모델이 대화만 읽고 "아직·충족·불가능"을 판정합니다. 좋은 조건 = 측정 가능한 끝 상태 하나 + 확인 방법 + 지켜야 할 제약(+ 턴 상한).
  • Managed Agents outcome: 설명 + 루브릭(필수)을 보내면 별도 컨텍스트의 채점기가 항목마다 채점해 피드백을 돌려주고, 충족·수정 필요·반복 한도·실패·중단 중 하나로 끝납니다(최대 반복 기본 3, 최대 20).
  • "거의 매번"으로 부족한 규칙은 Stop hook 처럼 하니스가 강제하는 설정으로 옮깁니다(종료 코드 2 = 멈춤 막기).
  • 긴 작업은 기능 목록 JSON 에 모두 "실패"로 적어 두고, 한 번에 하나씩, 끝에서 끝까지 시험한 뒤에만 통과로 바꾸게 합니다. 바꿀 수 있는 칸은 통과 여부 하나뿐.
  • 명세 대비 검토는 "정확성 빈틈만, 스타일은 건너뜀"으로 경계를 줍니다. 이 모든 장치는 생성자-평가자 고리 + 중단 조건이라는 같은 모양입니다.
  • 사람 없이 돌리기 전: 끝·확인·범위·멈춤·승인 다섯 가지를 묻습니다.

이 장의 나머지 소절과 🔧 세부는 완전 가이드 4장에 있습니다.

CHAPTER 05

여러 에이전트에 일을 나눠 줄 때

에이전트 하나에 목표와 완료 조건을 주는 법을 봤다면, 이제 여러 에이전트에게 일을 나눠 맡길 때입니다. 나눠 맡기면 각자에게 목표·형식·범위를 따로 알려 줘야 하고, 돌아온 결과를 다시 확인해야 합니다. Anthropic 의 멀티 에이전트 조사 시스템 경험담을 중심으로, Claude Code 의 하위 에이전트(subagent)와 에이전트 팀(agent team)을 "이런 식으로 구현된 예"로 살펴봅니다.

위임서 4요소

Anthropic 의 조사 시스템에서는 처음에 주 에이전트가 "반도체 부족 사태를 조사해" 같은 짧은 지시만 주자, 하위 에이전트들이 같은 조사를 겹쳐 하는 실패가 났습니다. Anthropic 은 이 실패를 오케스트레이터(orchestrator · lead agent — 일을 나눠 맡기고 결과를 모으는 주 에이전트)에게 위임하는 법을 가르쳐서 고쳤습니다. 리드 에이전트는 질문을 하위 과제로 나누고 각 하위 에이전트(subagent — 일부를 맡아 처리하고 결과만 돌려주는 에이전트)에게 설명합니다. 원문에 따르면 하위 에이전트마다 네 가지가 필요합니다. 자세한 과제 설명이 없으면 에이전트는 일을 겹치게 하거나, 빈틈을 남기거나, 필요한 정보를 찾지 못합니다 [anthropic-multi-agent-research].

① 목표 objective 무엇을 알아내거나 만들어야 하나 ② 출력 형식 output format 어떤 모양으로 돌려줘야 하나 ③ 도구·출처 안내 tools and sources 무엇으로, 어디서 찾아야 하나 ④ 작업 경계 task boundaries 어디까지가 내 몫, 어디부터 남의 몫 위임서 → 하위 에이전트 빠지면: 중복 · 빈틈 · 필요한 정보 못 찾음
[그림 5-3] 위임서 4요소 (Anthropic 「Teach the orchestrator how to delegate」). 넷 중 ④ 작업 경계가 있어야 다른 하위 에이전트와 겹치지 않고, ② 출력 형식이 있어야 리드가 결과를 모으기 쉽습니다.

실제 위임서는 어떤 모습일까요? Claude Code 에이전트 팀 문서의 팀원 지시 예를 4요소에 비춰 보면 이렇습니다 [cc-agent-teams].

보안 검토 팀원 위임 (원문 예시)
Review the authentication module at src/auth/ for security vulnerabilities. Focus on token handling, session management, and input validation. The app uses JWT tokens stored in httpOnly cookies. Report any issues with severity ratings.
뜻: src/auth/ 의 인증 모듈을 보안 취약점 관점에서 검토하라. 토큰 처리·세션 관리·입력 검증에 집중하라. 앱은 httpOnly 쿠키에 저장한 JWT 토큰을 쓴다. 문제마다 심각도를 매겨 보고하라.
요소위 예에서 해당하는 부분
① 목표인증 모듈의 보안 취약점을 검토
② 출력 형식문제마다 심각도(severity)를 매겨 보고
③ 도구·출처볼 곳은 src/auth/, 알아야 할 배경은 "JWT 토큰을 httpOnly 쿠키에 저장"(로그인 정보를 어떤 형식으로 어디에 보관하는지)
④ 경계토큰 처리·세션 관리·입력 검증에 집중 (그 밖은 이 팀원의 몫이 아님)
이 가이드의 제안 (원문 근거 없음)위임서 4요소는 2~4장에서 본 목표·성공 기준·완료 조건을 하위 에이전트 한 명 크기로 줄인 것으로 볼 수 있습니다. ② 출력 형식에 "무엇을 확인했는지 증거(실행한 명령·찾은 출처)도 함께"를 넣어 두면, 4장에서 말한 증거 요구를 위임에도 그대로 적용할 수 있습니다.

노력 규모 규칙 — 일의 크기에 맞춰 투입하기

에이전트는 일마다 어느 정도 노력이 알맞은지 스스로 가늠하는 데 서툽니다. 그래서 Anthropic 은 규모 규칙을 프롬프트(prompt — 에이전트에게 건네는 지시문)에 직접 넣었습니다. 이 명시적인 기준 덕분에 리드 에이전트가 자원을 효율적으로 나누고, 초기 버전에서 흔했던 실패 — 간단한 질문에 과하게 투입하기 — 를 막을 수 있었습니다 [anthropic-multi-agent-research].

일의 복잡도 간단한 사실 찾기 simple fact-finding 에이전트 1개 · 도구 호출 3~10번 직접 비교 direct comparisons 하위 에이전트 2~4개 · 각 10~15번 복잡한 조사 complex research 하위 에이전트 10개 넘게 · 책임을 분명히 나눔 막대 길이는 투입 규모를 나타낸 그림입니다 (원문 수치는 오른쪽 글)
[그림 5-4] 노력 규모 규칙 (Anthropic 「Scale effort to query complexity」). 리드 에이전트는 확장된 생각(extended thinking — 답하기 전에 길게 생각하는 단계)에서 질문의 복잡도와 하위 에이전트 수, 각자의 역할을 정합니다.

원문은 속도를 위해 두 가지 병렬화(여러 일을 동시에 돌리기)도 넣었다고 적습니다. 리드가 하위 에이전트 3~5개를 차례로가 아니라 동시에 띄우고, 하위 에이전트는 도구를 3개 이상 동시에 씁니다. 이 변화로 복잡한 질문의 조사 시간이 최대 90% 줄었습니다. 또 원문의 프롬프트 전략은 엄격한 규칙보다 좋은 판단 요령을 심는 데 초점을 두었고, 에이전트가 통제를 벗어나지 않도록 명시적인 안전장치(guardrails)를 함께 두었습니다.

반대 방향의 문제도 있습니다. Claude 프롬프트 모범 사례 문서는 최근 Claude 모델이 하위 에이전트가 도움이 될 때를 알아보고 지시 없이도 스스로 위임하지만, 일부 모델은 간단한 직접 방법이면 될 일에도 하위 에이전트를 띄우는 경향이 있다고 적습니다. 예를 들어 grep(파일 안에서 글자를 찾는 명령) 한 번이면 더 빠르고 충분한 코드 탐색에 하위 에이전트를 쓰는 식입니다. 이럴 때는 언제 위임하고 언제 직접 할지 지시문에 적어 둡니다 [claude-prompting-best-practices].

위임 남용을 줄이는 지시문 (원문 예시)
Use subagents when tasks can run in parallel, require isolated context, or involve independent workstreams that don't need to share state. For simple tasks, sequential operations, single-file edits, or tasks where you need to maintain context across steps, work directly rather than delegating.
뜻: 병렬로 돌릴 수 있거나, 분리된 맥락이 필요하거나, 상태를 공유할 필요 없는 독립된 작업 흐름일 때 하위 에이전트를 써라. 간단한 일, 순서대로 해야 하는 일, 파일 하나 수정, 단계 사이에 맥락을 이어야 하는 일은 위임하지 말고 직접 하라.

하위 에이전트 vs 에이전트 팀

Claude Code 는 여러 에이전트에 일을 나누는 방식을 두 가지로 제공합니다. 하위 에이전트는 한 세션(session — 한 번 이어지는 작업 단위) 안에서 일을 받아 처리하고 결과만 돌려줍니다. 에이전트 팀(agent team — 서로 메시지를 주고받는 여러 Claude Code 세션) 실험 기능은 세션 하나가 팀 리드가 되어 일을 나누고, 팀원은 각자 독립된 세션으로 일하며 서로 직접 메시지를 주고받습니다 [cc-agent-teams · cc-sub-agents].

하위 에이전트 (subagents) 주 에이전트 하위 A 하위 B 하위 C 결과만 부른 쪽에 돌려줌 조율은 주 에이전트가 전부 에이전트 팀 (agent teams) 팀 리드 공유 작업 목록 팀원 1 팀원 2 직접 메시지 팀원이 일을 골라 맡고 서로 의논 사람도 팀원에게 직접 말할 수 있음
[그림 5-5] 하위 에이전트와 에이전트 팀의 구조 차이 (Claude Code 문서 「Compare with subagents」).
하위 에이전트에이전트 팀
컨텍스트자기 컨텍스트 창. 결과는 부른 쪽으로 돌아감자기 컨텍스트 창. 완전히 독립
소통부른 쪽에 결과를 돌려줌 (이름 붙은 하위 에이전트는 서로 메시지 가능)팀원끼리 직접 메시지
조율주 에이전트가 모든 일을 관리메시지로 스스로 조율 + 공유 작업 목록
알맞은 일결과만 중요한 집중된 일의논과 협업이 필요한 복잡한 일
토큰 비용낮음 — 결과가 요약되어 돌아옴높음 — 팀원마다 별도의 Claude 인스턴스

컨텍스트 창은 모델이 한 번에 볼 수 있는 글의 양, 토큰은 모델이 글을 처리하는 단위(많이 쓸수록 비용이 늘어남), 인스턴스는 따로 돌아가는 Claude 하나를 뜻합니다.

언제 무엇을 쓸지 원문의 기준을 탭으로 나눠 봅니다.

주 대화에서 직접 하는 편이 나을 때 [cc-sub-agents]

  • 주고받기와 반복 수정이 잦은 일
  • 계획·구현·테스트처럼 여러 단계가 많은 맥락을 공유하는 일
  • 빠르고 국소적인 수정
  • 응답 속도가 중요할 때 — 새 하위 에이전트는 맥락을 처음부터 모아야 해서 더 느릴 수 있음

하위 에이전트가 나을 때 [cc-sub-agents · cc-best-practices]

  • 주 대화에 필요 없는 긴 출력(전체 테스트 결과, 넓은 검색)이 나오는 일
  • 특정 도구 제한이나 권한을 강제하고 싶을 때 (예: 읽기만 하는 검토자)
  • 혼자 완결되어 요약만 돌려주면 되는 일
  • 코드가 쓰인 과정을 보지 않은 검토자가 필요할 때

에이전트 팀이 나을 때 [cc-agent-teams]

  • 조사와 검토 — 여러 측면을 동시에 살피고 서로의 발견을 공유·반박
  • 새 모듈·기능 — 팀원마다 서로 겹치지 않는 부분을 맡음
  • 경쟁 가설로 디버깅(debugging — 버그의 원인을 찾아 고치기) — 여러 이론을 병렬로 시험해 빨리 수렴
  • 프런트엔드·백엔드(화면 쪽 코드와 서버 쪽 코드)·테스트를 걸친 변경 — 층마다 다른 팀원

반대로 순서대로 해야 하는 일, 같은 파일 편집, 의존이 많은 일은 세션 하나나 하위 에이전트가 더 낫습니다. 팀은 조율 부담이 있고 토큰을 훨씬 많이 씁니다.

돌아온 결과를 검증하기

일을 나눠 줬다면 마지막은 돌아온 결과를 어떻게 받고 확인하느냐입니다. 원문들이 권하는 방법을 네 가지로 모으면 이렇습니다.

하위 에이전트 긴 출력은 자기 컨텍스트에 ① 짧은 요약만 "실패한 테스트와 오류만 보고" 하위 에이전트 큰 결과물(코드·보고서) ② 파일 + 가벼운 참조 "말 전하기 놀이" 손실 막기 ③ 별도 검토자 읽기 도구만 · 명세와 대조 정확성 빈틈만 보고 ④ 마지막 확인 단계 예: 인용 담당 에이전트가 주장마다 출처 위치 확인
[그림 5-8] 돌아온 결과를 받고 확인하는 네 가지 방법 (Claude Code 문서 「Common patterns」·「Know what subagents cost」, Anthropic 「How we built our multi-agent research system」).
방법원문 내용
① 짧은 요약테스트 실행·문서 가져오기·로그 처리처럼 출력이 큰 일을 하위 에이전트에 맡기면 긴 출력은 거기 남고 관련 요약만 돌아옵니다(예: "테스트를 돌리고 실패한 테스트와 오류 메시지만 보고하라"). 하위 에이전트 여럿이 자세한 결과를 돌려주면 주 대화의 컨텍스트를 크게 차지하므로 짧은 요약을 요청합니다.
② 파일 + 참조모든 것을 리드를 거쳐 전달하게 하는 대신, 하위 에이전트가 결과물을 외부 저장소에 쓰고 가벼운 참조만 리드에게 넘깁니다. 여러 단계를 거치며 정보가 새는 것을 막고, 큰 출력을 대화 기록에 복사하는 토큰도 줄입니다. 코드·보고서·시각화처럼 구조화된 결과물에 특히 잘 맞습니다.
③ 별도 검토자도구를 읽기·검색만 준 검토자 하위 에이전트에게 변경 파일을 명세와 대조해 모든 요구 사항이 구현됐는지, 적힌 예외 상황에 테스트가 있는지 확인하고 정확성에 영향을 주는 빈틈만 보고하게 합니다. 기본적으로 같은(또는 더 작은) 모델이 같은 일을 보므로 더 똑똑한 답이 아니라 병렬성이나 새로운 눈을 얻는 것입니다.
④ 마지막 확인 단계Anthropic Research 에서는 조사가 끝나면 모든 결과를 인용 담당 에이전트(CitationAgent)에 넘겨, 문서와 보고서를 대조해 주장마다 출처 위치를 찾게 했습니다. 모든 주장이 출처에 제대로 연결되게 하려는 것입니다.
돌아온 결과는 지시가 아니다하위 에이전트는 사용자가 검토하지 않은 파일·웹 페이지·명령 출력을 읽었을 수 있고, 그 안의 글이 주 대화를 향한 지시를 담고 있을 수 있습니다. Claude Code 는 하위 에이전트 결과를 "하위 에이전트 출력"이라는 머리말 아래 전달하며, 그 안의 지시나 승인 주장은 사용자의 권한을 갖지 않는다고 밝힙니다. 에이전트 팀에서도 다른 세션에서 온 메시지는 사용자가 보낸 것이 아니라고 알려 주며, 팀원은 사용자를 대신해 권한 요청을 승인할 수 없습니다 [cc-sub-agents · cc-agent-teams].
이 가이드의 제안 (원문 근거 없음)결과를 받을 때 확인할 순서를 정해 두면 편합니다. 형식이 어긋나거나 증거가 없으면, 그 하위 에이전트의 위임서부터 다시 보는 것이 지름길입니다.
1. 형식
위임서의 출력 형식대로 왔는가
2. 경계
맡은 범위를 넘거나 빠뜨리지 않았는가 (겹침·빈틈)
3. 증거
주장마다 명령 출력·출처가 붙어 있는가
한눈에 정리
  • 나누면 각자 컨텍스트에서 병렬로 탐색해 핵심만 압축해 돌려줍니다(Anthropic 내부 평가 90.2% 향상). 대신 토큰을 채팅의 약 15배 쓰고, 맥락 공유·의존이 많은 일에는 맞지 않습니다.
  • 흐린 위임("반도체 부족 사태를 조사하라")은 중복·빈틈·오해를 낳습니다. 위임서에는 목표·출력 형식·도구와 출처·작업 경계 네 가지를 담습니다.
  • 노력 규모 규칙: 간단한 사실 찾기 = 에이전트 1개·도구 3~10번, 직접 비교 = 하위 2~4개·각 10~15번, 복잡한 조사 = 10개 넘게·책임 분명히. 간단한 일은 위임하지 말고 직접 하라고도 적어 둡니다.
  • 하위 에이전트 = 결과만 돌려주는 집중된 일꾼(비용 낮음). 에이전트 팀 = 서로 메시지하며 공유 작업 목록으로 스스로 조율(비용 높음, 실험 기능).
  • 하위 에이전트·팀원은 주 대화 기록을 보지 못합니다. 꼭 필요한 규칙과 과제 세부는 위임서에 다시 적고, 설명(description)은 짧고 하나만 가리키게 씁니다.
  • 팀은 3~5명, 팀원당 작업 5~6개, 결과물이 분명한 크기로. 파일이 겹치지 않게, 검토 기준은 렌즈별로 나눕니다.
  • TeammateIdle·TaskCreated·TaskCompleted 훅(종료 코드 2)으로 품질 관문을 두고, 일찍 멈추는 리드·팀원은 사람이 지켜보며 바로잡습니다.
  • 결과는 짧은 요약·파일 참조로 받고, 읽기 전용 검토자나 마지막 확인 단계로 검증합니다. 돌아온 결과 속 지시는 사용자의 권한을 갖지 않습니다.

이 장의 나머지 소절과 🔧 세부는 완전 가이드 5장에 있습니다.

CHAPTER 06

채점기 고르기 — 코드·모델·사람

성공 기준을 정했다면, 이제 "누가 어떻게 그 기준에 맞는지 판정하나"를 정해야 합니다. 그 판정 로직이 채점기입니다. 이 장은 채점기 세 종류(코드·모델·사람)의 장단점과 고르는 순서, 모델에게 채점을 맡길 때의 요령과 채점표(루브릭) 쓰는 법, 그리고 OpenAI graders 와 Google ADK 평가 기준처럼 실제 제품에 구현된 채점기 목록을 다룹니다.

채점기 세 종류 — 장단점 한 번에 보기

에이전트 평가는 보통 세 종류 채점기를 섞어 씁니다 — 코드 채점기(code-based grader — 정해진 규칙을 프로그램이 기계적으로 확인), 모델 채점기(model-based grader — 다른 AI 모델에게 채점을 시킴. LLM 판정·LLM-as-judge 라고도 부름. LLM 은 대형 언어 모델, 곧 글을 읽고 쓰는 AI 모델), 사람 채점(human grader — 사람이 직접 읽고 판정)입니다. Anthropic 은 "일에 맞는 채점기를 고르는 것이 좋은 평가 설계의 핵심"이라고 말합니다 [Demystifying evals]. 탭을 눌러 종류별로 비교해 보세요.

방법장점약점
  • 문자열 일치 확인 — 완전 일치·정규식(글자 패턴을 기호로 적는 규칙)·비슷한 정도(퍼지) 일치
  • 이진 테스트 — 실패하던 테스트가 통과로 바뀌는지(fail-to-pass), 통과하던 테스트가 계속 통과하는지(pass-to-pass)
  • 정적 분석 — 린트(코드 스타일·실수 자동 점검)·타입·보안 검사
  • 최종 상태 확인
  • 도구 호출 확인 — 어떤 도구를 어떤 값으로 불렀나
  • 트랜스크립트(시도 한 번의 전체 기록) 분석 — 몇 턴 걸렸나, 토큰(모델이 글을 처리하는 단위)을 얼마나 썼나
  • 빠름
  • 쌈
  • 객관적
  • 같은 결과를 다시 낼 수 있음(재현 가능)
  • 틀린 곳을 찾기 쉬움
  • 특정 조건을 정확히 확인
  • 기대한 모양과 조금만 달라도 맞는 답을 틀렸다고 함(깨지기 쉬움)
  • 미묘한 차이를 못 봄
  • 주관적인 과제엔 한계
방법장점약점
  • 루브릭 기반 채점
  • 자연어 확인문 — "에이전트가 고객의 불만에 공감했다" 같은 문장을 참/거짓으로 판정
  • 둘 중 고르기(pairwise comparison)
  • 참조 답 기반 평가
  • 여러 심판의 합의(multi-judge consensus)
  • 유연함
  • 규모를 키우기 쉬움
  • 미묘한 차이를 잡음
  • 정답이 하나가 아닌 과제도 다룸
  • 형식이 자유로운 출력도 다룸
  • 할 때마다 결과가 달라질 수 있음(비결정적)
  • 코드보다 비쌈
  • 정확도를 믿으려면 사람 채점과 맞춰 보는 보정이 필요
방법장점약점
  • 분야 전문가(SME) 검토
  • 여러 사람의 판단 모으기(크라우드소싱)
  • 표본을 뽑아 확인(spot-check)
  • A/B 테스트 — 두 가지 버전을 실제 사용자에게 나눠 보여 주고 비교
  • 채점자 간 일치도 확인(inter-annotator agreement)
  • 품질의 기준점(gold standard)
  • 전문 사용자의 판단과 맞음
  • 모델 채점기를 보정하는 데 씀
  • 비쌈
  • 느림
  • 전문가를 많이 구해야 할 때가 많음

출처: anthropic-demystifying-evals (Types of graders for agents)

OpenAI 의 평가 모범 사례 문서도 같은 셋을 다른 이름으로 나눕니다 [OpenAI Evaluation best practices].

지표 기반 평가 (metric-based)

숫자 점수로 결과를 거르고 순위를 매깁니다. 자동 회귀 테스트(바꾼 뒤에도 예전에 되던 것이 그대로 되는지 보는 시험)의 기준으로 좋습니다. 예: 완전 일치, 문자열 일치, ROUGE/BLEU 점수, 함수 호출 정확도, 실행해 보는 평가(예: 글로 된 질문을 SQL — 데이터베이스에 묻는 명령어 — 로 바꾸는 과제). 약점: 쓰임새에 딱 맞지 않을 수 있고 미묘한 차이를 놓칩니다.

사람 평가 (human evals)

품질은 가장 높지만 느리고 비쌉니다. 예: 출력을 훑어보며 나아졌는지 느끼기, 누가 만든 답인지 가린 채 무작위로 보여 주고 순위나 1~5점을 매기기. 약점: 전문가끼리도 의견이 갈림.

LLM 판정 · 모델 채점기

사람 평가보다 싸고 규모를 키우기 쉽습니다. 예: 두 답 중 나은 것 고르기, 답 하나에 점수 매기기, 모범 답을 기준으로 채점. 약점: 답의 순서에 끌리는 위치 편향, 긴 답을 좋아하는 길이 편향.

고르는 순서 — 코드 먼저, 모델은 필요할 때, 사람은 아껴서

세 종류 중 무엇을 먼저 쓸까요? 원문들의 답은 같은 방향입니다. Anthropic 의 평가 글은 "가능하면 결정적 채점기(deterministic — 같은 입력이면 늘 같은 결과를 내는 채점기. 코드 채점기가 여기에 해당), 필요하거나 유연함이 더 필요할 때 LLM 채점기, 추가 검증에는 사람 채점을 신중하게" 쓰라고 권합니다. Claude 문서의 「Grade your evaluations」 절도 "가장 빠르고, 가장 믿을 만하고, 가장 규모를 키우기 쉬운 방법을 고르라"면서, 사람 채점은 "가장 유연하고 품질이 높지만 느리고 비싸니 가능하면 피하라"고 적습니다 [Demystifying evals · Develop tests].

① 코드 채점기 코드로 확인할 수 있으면 먼저 완전 일치 · 테스트 · 상태 확인 ② 모델 채점기 코드로 안 되거나 유연함이 필요할 때 루브릭 · 참조 답 비교 먼저 믿을 만한지 시험한 뒤 규모를 키움 ③ 사람 채점 추가 검증 · 모델 채점기 보정 전문가 검토 · 표본 확인 시스템이 안정되면 가끔만 해도 충분 미묘한 판단·자유로운 출력에 강해짐 → 느려지고 비싸짐 →
[그림 6-2] 채점기 고르는 순서 — 아래 칸부터 채웁니다. 코드로 판정할 수 있는 것은 코드로, 코드가 못 하는 미묘한 판단만 모델에게, 사람은 모델 채점기를 맞춰 보거나 최종 확인할 때 씁니다. (Anthropic · Claude 문서 권고를 바탕으로 그림)

순서와 함께 지켜야 할 원칙 두 가지가 더 있습니다 [Demystifying evals].

밟은 길보다 만든 결과를 채점

"도구를 정해진 순서대로 불렀나"처럼 아주 구체적인 단계를 확인하고 싶은 마음이 들기 쉽지만, 원문은 이것이 너무 딱딱해 테스트가 쉽게 깨진다고 말합니다. 에이전트는 평가를 만든 사람이 예상하지 못한 올바른 방법을 자주 찾아내기 때문입니다. 창의성을 괜히 벌주지 않으려면 에이전트가 만든 결과를 채점하는 편이 대개 낫습니다. (궤적 평가와 최종 상태 평가의 비교는 7장)

여러 부분이 있으면 부분 점수

문제를 정확히 파악하고 고객 본인 확인까지 했지만 환불 처리는 못 한 상담 에이전트는, 처음부터 실패한 에이전트보다 분명히 낫습니다. 결과에 이런 "성공의 정도"가 드러나도록 부분 점수를 넣으라고 권합니다.

루브릭 쓰기 — 모델 채점기에 주는 채점표

루브릭(rubric — 항목별 채점표. "이 항목은 이런 조건이면 몇 점"을 적은 표)은 모델 채점기의 판정 기준입니다. Anthropic 은 "모호한 루브릭은 들쭉날쭉한 판정을 낳는다"고 말합니다. 과제 설명이 모호하면 점수에 잡음이 섞이는 것과 똑같습니다 [Demystifying evals]. 좋은 루브릭의 기준은 과제와 같습니다 — 분야 전문가 두 사람이 따로 보고도 같은 통과/실패 판정을 내릴 수 있는가.

실제 쓰인 루브릭 예를 보겠습니다. Anthropic 의 조사(Research) 에이전트는 출력마다 아래 다섯 항목으로 LLM 판정을 받았습니다 [Multi-agent research system].

예시 — 조사 결과 채점 루브릭
항목판정 질문
사실 정확성주장이 출처와 맞는가?
인용 정확성인용한 출처가 주장과 맞는가?
완결성요청한 측면을 모두 다뤘는가?
출처 품질질 낮은 2차 출처보다 1차 출처를 썼는가?
도구 효율알맞은 도구를 알맞은 횟수만큼 썼는가?
출력: 0.0~1.0 점수 + 통과/실패

이 방식은 정답이 분명한 과제(예: "R&D 예산이 가장 큰 제약사 3곳을 정확히 나열했나")에서 특히 잘 통했고, LLM 판정 덕분에 수백 개 출력을 규모 있게 평가할 수 있었다고 합니다.

루브릭을 쓸 때 원문들이 권하는 점을 단계로 정리하면 다음과 같습니다.

① 항목을 측면별로 나눈다 — 과제의 각 측면(정확성·어조·형식 등)마다 항목을 따로 둡니다. 한 쓰임새에도 전체를 보려면 루브릭이 여러 개 필요할 수 있습니다 [Demystifying evals · Develop tests].
② 판정 조건을 구체적으로 쓴다 — "답이 친절하다" 대신 "첫 문장에 'Acme Inc.'를 언급해야 하며, 없으면 자동으로 틀림"처럼 누가 봐도 같은 판정이 나오게 씁니다 [Develop tests]. Google ADK(Google 의 에이전트 개발 도구 모음)의 루브릭 예도 "응답이 직접적이고 요점만 말한다", "모호한 질문에서 사용자의 숨은 목표를 정확히 짐작한다", "조회하지 않은 상품의 가격을 지어내지 않는다"처럼 예/아니오로 답할 수 있는 문장입니다 [ADK Evaluation Criteria].
③ 점수 단계마다 예를 보여 준다 — "말하지 말고 보여 주라"는 원칙대로, 10점 만점이라면 1점·3점·8점짜리 예를 함께 줍니다. 숫자 점수와 함께 통과/실패 기준선도 둡니다 [OpenAI best practices].
④ 모를 때의 답을 정해 둔다 — 판단할 정보가 부족하면 "Unknown" 을 내도록 지시합니다 [Demystifying evals].
⑤ 사람과 맞춰 보며 고친다 — 사람이 여러 차례 꼼꼼히 검토하며 채점표를 다듬습니다 [OpenAI best practices]. 방법은 다음 소절에서 봅니다.
이 가이드의 제안 (원문 근거 없음) 루브릭 초안을 쓴 뒤 항목마다 "이 문장만 보고 두 사람이 같은 예/아니오를 낼까?"를 스스로 물어보세요. 답이 "글쎄"라면 그 항목에 판정 예시나 숫자 조건을 하나 더 붙입니다. 실습은 활용편 「채점표(루브릭) 만들기」에서 해 봅니다.
한눈에 정리
  • 채점기는 시도의 트랜스크립트나 최종 상태의 한 측면을 점수 매기는 로직입니다. 과제 하나에 여러 개를 붙이고, 점수는 가중·전부 통과·혼합으로 합칩니다.
  • 코드 채점기는 빠르고 싸고 객관적이지만 깨지기 쉽고, 모델 채점기는 유연하고 미묘한 차이를 잡지만 흔들리고 보정이 필요하며, 사람 채점은 품질 기준점이지만 느리고 비쌉니다.
  • 고르는 순서는 코드 → 모델 → 사람. 밟은 길보다 만든 결과를 채점하고, 여러 부분이 있는 과제엔 부분 점수를 줍니다.
  • LLM 판정은 자세한 루브릭, 좁은 판정 형식, 점수 전 추론, "Unknown" 출구, 길이·위치 편향 통제로 안정시킵니다.
  • 루브릭은 전문가 두 사람이 같은 판정을 낼 만큼 구체적으로 쓰고, 사람이 매긴 순서와 모델 점수 순서를 비교해 보정합니다.
  • 사람 채점은 모든 과제가 아니라 모델 채점기 보정과 자동 평가가 놓치는 문제 찾기에 씁니다.
  • OpenAI graders(문자열 확인·글 유사도·점수 모델·파이썬)와 ADK 평가 기준(궤적·응답·루브릭·환각·안전·여러 턴·효율)은 같은 생각을 제품으로 구현한 예입니다.

이 장의 나머지 소절과 🔧 세부는 완전 가이드 6장에 있습니다.

CHAPTER 07

평가 세트 만들고 굴리기

채점기를 골랐다면, 이제 과제를 모아 평가 세트를 만들고 꾸준히 돌려야 합니다. 이 장은 평가 세트의 구성, 능력 평가와 회귀 평가의 차이, 할 때마다 결과가 달라지는 에이전트를 재는 pass@k·pass^k, 평가가 하나도 없는 상태에서 믿을 만한 평가까지 가는 단계별 로드맵, 최종 상태 평가와 궤적 평가, 트랜스크립트 읽기와 트레이스 채점, 평가가 포화될 때의 대처를 다룹니다.

능력 평가 vs 회귀 평가

평가 세트(eval suite — 시험 문제(과제)를 여러 개 묶은 것)에는 쓰임이 다른 두 종류가 있습니다 [Demystifying evals].

능력 평가 (capability · quality eval)

"이 에이전트는 무엇을 잘하나?"를 묻습니다. 에이전트가 아직 힘들어하는 과제를 골라 낮은 통과율에서 시작해야 하고, 팀에게 오를 언덕을 줍니다.

회귀 평가 (regression eval)

"예전에 하던 일을 아직 다 하나?"를 묻습니다. 통과율이 거의 100%여야 하고, 점수가 떨어지면 무언가 망가졌다는 신호입니다. 능력 평가로 언덕을 오르는 동안 다른 곳이 망가지지 않게 함께 돌립니다.

100% 0% 시간 · 에이전트 개선 낮은 통과율에서 시작 높은 통과율 도달 능력 평가 "할 수 있나?" 졸업 회귀 평가 세트 "여전히 믿을 만하게 할 수 있나?" · 계속 돌림
[그림 7-2] 능력 평가의 졸업 — 에이전트가 출시되고 다듬어진 뒤 통과율이 높아진 능력 평가는 회귀 평가 세트로 "졸업"해, 성능이 슬며시 흔들리는 것(drift)을 잡으려고 계속 돌립니다. 같은 과제가 "이걸 할 수는 있나?"에서 "이걸 여전히 믿을 만하게 하나?"를 재는 시험으로 바뀝니다.

pass@k 와 pass^k — 할 때마다 다른 결과 재기

에이전트는 돌릴 때마다 행동이 달라집니다. 과제마다 성공률이 따로 있어 어떤 과제는 90%, 어떤 과제는 50%일 수 있고, 한 번 통과한 과제가 다음엔 실패하기도 합니다. 그래서 "시도 중 몇 번 성공하나"를 재는 두 지표가 쓰입니다 [Demystifying evals].

pass@k — 한 번이라도

k 번 시도 중 적어도 한 번 맞을 확률. k 가 커질수록 올라갑니다(슛을 많이 쏠수록 한 골이라도 넣을 확률이 커짐). pass@1 이 50%라면 첫 시도에 과제의 절반을 푼다는 뜻입니다. 코딩에서는 보통 첫 시도 성공(pass@1)이 가장 중요하고, 여러 답을 내놓고 하나만 맞아도 되는 경우엔 k 를 키워 봅니다.

pass^k — 매번 다

k 번 시도가 모두 성공할 확률. k 가 커질수록 떨어집니다(여러 번 연속으로 일관돼야 하니 더 어려움). 시도당 성공률이 75%이고 3번 돌리면 셋 다 통과할 확률은 (0.75)³ ≈ 42%입니다. 사용자가 매번 믿을 만한 행동을 기대하는 고객 응대 에이전트에서 특히 중요합니다.

100% 50% 0% k=1 3 5 7 10 시도 횟수 k k=1: 둘 다 75% k=3: (0.75)³ ≈ 42% pass@k → 100% 쪽으로 pass^k → 0% 쪽으로
[그림 7-3] 두 지표는 시도가 늘수록 벌어집니다 — k=1 에서는 둘 다 시도당 성공률과 같고, k=10 쯤 되면 pass@k 는 100%에 다가가고 pass^k 는 0%로 떨어져 정반대 이야기를 합니다. 곡선은 시도당 성공률 75%로 두고 정의대로 계산해 그린 예입니다(pass@k = 1−0.25k, pass^k = 0.75k).

어느 쪽을 쓸지는 제품 요구에 달렸습니다. 한 번의 성공이 중요한 도구라면 pass@k, 일관성이 꼭 필요한 에이전트라면 pass^k를 봅니다.

이 가이드의 제안 (원문 근거 없음) 에이전트에게 일을 맡길 때도 "한 번 성공하면 되는 일인가(여러 번 시켜 하나만 골라도 됨), 매번 성공해야 하는 일인가(사용자가 매번 결과를 받음)"를 먼저 정해 두면, 평가에서 어느 지표를 볼지와 시도를 몇 번 돌릴지가 함께 정해집니다.

0→1 로드맵 — 평가 없음에서 믿을 만한 평가까지

Anthropic 은 평가가 하나도 없는 상태에서 믿을 만한 평가까지 가는 현장 경험을 단계로 정리했습니다. 핵심은 "성공을 일찍 정의하고, 분명하게 재고, 계속 반복하라"입니다 [Demystifying evals]. 단계를 넘기며 보세요.

0단계 · 일찍 시작한다 — 과제가 수백 개 필요하다고 생각해 미루는 팀이 많지만, 실제 실패에서 뽑은 단순한 과제 20~50개면 훌륭한 출발입니다. 초기에는 바꿀 때마다 효과가 커서 적은 표본으로도 충분합니다. 오래 기다릴수록 평가를 만들기 어려워지고, 나중엔 돌아가는 시스템에서 성공 기준을 거꾸로 캐내야 합니다.
1단계 · 이미 손으로 하던 확인부터 — 개발 중에 손으로 하던 확인, 출시 전마다 확인하는 행동, 사용자가 흔히 시키는 일부터 과제로 만듭니다. 이미 운영 중이라면 버그 목록과 고객 문의함을 보고, 사용자가 신고한 실패를 사용자 영향 순으로 과제로 바꿉니다.
2단계 · 모호하지 않은 과제 + 참조 답 — 좋은 과제는 분야 전문가 둘이 따로 봐도 같은 통과/실패 판정을 내리는 과제입니다. 채점기가 확인하는 모든 것이 과제 설명에서 분명해야 합니다. 과제마다 모든 채점기를 통과하는 참조 답(reference solution — 실제로 통과하는 것이 확인된 모범 결과)을 만들어 두면 과제가 풀 수 있는 것이고 채점기가 제대로 설정됐다는 증거가 됩니다.
3단계 · 균형 잡힌 문제 세트 — 어떤 행동이 일어나야 하는 경우와 일어나면 안 되는 경우를 모두 시험합니다. 한쪽만 시험하면 한쪽으로만 최적화됩니다.
4단계 · 안정된 환경의 하네스 — 하네스(harness — 평가에서 에이전트를 돌리고 기록·채점하는 실행 틀)를 갖춥니다. 평가 속 에이전트가 실제 운영 에이전트와 거의 같게 돌고, 시도마다 깨끗한 환경에서 시작하게 합니다.
5단계 · 채점기를 신중하게 — 가능하면 코드, 필요하면 LLM(대형 언어 모델 — 글을 읽고 쓰는 AI 모델), 사람은 아껴서. 밟은 길보다 만든 결과를 채점하고 부분 점수를 넣습니다. 채점기 버그를 꼼꼼히 확인하고, 허점을 파고들어 점수만 얻지 못하게 만듭니다(6장·8장).
6단계 · 트랜스크립트를 읽는다 — 여러 시도의 트랜스크립트(시도 한 번의 전체 기록)와 점수를 읽지 않으면 채점기가 잘 도는지 알 수 없습니다.
7단계 · 능력 평가의 포화를 지켜본다 — 100%에 이른 평가는 회귀는 잡아도 개선 신호는 주지 않습니다.
8단계 · 오래 건강하게 유지한다 — 평가 세트는 계속 손봐야 하는 살아 있는 산출물입니다. 분명한 주인을 두고, 제품을 잘 아는 사람이 과제를 보태게 합니다.

아래 소절에서 단계별로 더 자세히 봅니다 — 0~3단계는 과제 모으기, 4단계는 깨끗한 환경, 6단계는 트랜스크립트 읽기, 7단계는 포화, 8단계는 오래 굴리기.

최종 상태 평가 vs 궤적 평가

에이전트를 평가할 때는 두 가지를 볼 수 있습니다. 에이전트가 밟은 단계·도구 호출의 순서인 궤적(trajectory — 답하기 전에 거친 단계들의 목록)과, 끝났을 때 환경에 남은 최종 상태입니다. Google ADK(Agent Development Kit — Google 의 에이전트 개발 도구 모음) 는 둘을 모두 평가 대상으로 둡니다 — ① 궤적과 도구 사용(어떤 도구를 골랐나, 전략, 효율), ② 최종 응답(품질·관련성·정확성). 궤적 평가는 실제 궤적을 기대 궤적(정답으로 보는 단계 목록)과 비교해 오류와 비효율을 드러냅니다 [ADK Why evaluate agents].

시작 같은 과제 길 A · 출처 3곳 검색 (평가자가 기대한 길) 길 B · 출처 10곳, 다른 도구로 (예상 못 한 올바른 길) 같은 최종 상태 예약 기록이 DB 에 있음 궤적만 보면: B 는 실패? 최종 상태로 보면: 둘 다 통과
[그림 7-6] 같은 목표, 다른 길 — 멀티 에이전트 시스템에서는 출발점이 같아도 에이전트가 완전히 다른 올바른 경로로 목표에 갈 수 있습니다. 한 에이전트는 출처 3곳을, 다른 에이전트는 10곳을 검색할 수 있고, 다른 도구로 같은 답을 찾을 수도 있습니다. (Anthropic 멀티 에이전트 조사 시스템 글을 바탕으로 그림)

Anthropic 의 원문들은 최종 상태 쪽에 무게를 둡니다.

  • "정해진 순서대로 도구를 불렀나"를 확인하는 방식은 너무 딱딱해 테스트가 쉽게 깨집니다. 에이전트는 평가 설계자가 예상 못 한 올바른 방법을 자주 찾기 때문에, 밟은 길보다 만든 결과를 채점하는 편이 대개 낫습니다 [Demystifying evals].
  • 여러 턴에 걸쳐 저장된 상태를 바꾸는 에이전트는 행동 하나하나가 다음 단계의 환경을 바꿉니다. 턴마다 분석하기보다 올바른 최종 상태에 이르렀는지를 보는 편이 잘 통했고, 복잡한 작업은 "이 시점엔 이 상태 변화가 있어야 한다"는 체크포인트 몇 개로 나눠 봅니다(중간 단계를 모두 확인하지 않음) [Multi-agent research system].
  • 과제마다 에이전트가 부를 것으로 예상되는 도구를 적어 둘 수도 있지만, 올바른 풀이 경로가 여럿일 수 있으니 전략을 지나치게 못 박지 말라고 합니다 [Writing tools for agents].

그렇다고 궤적 평가가 쓸모없는 것은 아닙니다. 상황에 따라 고릅니다.

최종 상태 평가궤적 평가
묻는 것올바른 최종 상태에 이르렀나?기대한 단계·도구 호출을 밟았나?
잘 맞는 때올바른 길이 여럿인 과제, 상태를 바꾸는 여러 턴 작업정해진 순서의 API 호출(프로그램끼리 주고받는 요청)이 꼭 필요한 업무 흐름, 호출 순서·인자(호출에 넘기는 값)가 조금만 달라도 결과가 크게 틀어지는 과제, 기존 사례의 도구 사용이 바뀌지 않았는지 보는 회귀 테스트 [ADK Evaluation Criteria]
주의핵심 결과를 통과/실패로 확인한 뒤 트랜스크립트도 채점하면 도움이 됩니다 — 코드 품질 규칙, 도구 호출·사용자 응대를 보는 루브릭 [Demystifying evals]창의적인 올바른 풀이를 벌줄 수 있어 순서를 느슨하게(IN_ORDER — 핵심 호출이 순서대로 나오면 사이에 다른 호출이 있어도 됨 · ANY_ORDER — 핵심 호출이 모두 나오면 순서 무관) 하거나 루브릭으로 봅니다(6장)

Anthropic 평가 글이 말하는 "결과"의 의미도 기억해 둡니다 — 항공권 예약 에이전트가 "예약했습니다"라고 말한 것이 아니라, 데이터베이스에 예약이 실제로 있는 것이 최종 상태입니다. 웹 에이전트 평가에서도 확인 화면이 떴는지가 아니라 주문이 실제로 들어갔는지를 확인합니다 [Demystifying evals].

한눈에 정리
  • 평가 세트 = 과제 묶음. 과제마다 시도를 여러 번 돌려 트랜스크립트·최종 상태를 채점합니다.
  • 능력 평가는 낮은 통과율에서 시작하고, 회귀 평가는 거의 100%를 지킵니다. 높아진 능력 평가는 회귀 평가로 졸업합니다.
  • pass@k(한 번이라도)는 k 와 함께 오르고 pass^k(모두)는 떨어집니다 — 75%로 3번이면 pass^k ≈ 42%.
  • 실제 실패에서 뽑은 과제 20~50개로 바로 시작합니다. 모호하지 않게, 참조 답과 함께, 양쪽 경우를 담아, 깨끗한 환경에서.
  • 올바른 길이 여럿이면 최종 상태를 봅니다. 점수를 믿기 전에 트랜스크립트를 읽습니다.
  • 포화된 평가는 더 어려운 과제로 바꾸고, 자동 평가에 모니터링·피드백·사람 검토를 겹칩니다.

이 장의 나머지 소절과 🔧 세부는 완전 가이드 7장에 있습니다.

CHAPTER 08

기준이 속을 때 — 명세 게이밍·리워드 해킹

앞 장까지는 목표와 기준을 잘 쓰고, 실행에 걸고, 채점하는 법을 다뤘습니다. 이 장은 그 기준이 "글자로는 맞췄지만 원래 뜻은 놓친" 결과에 속는 경우를 다룹니다. 무엇이 일어나는지, 왜 위험한지(연구 결과), 그리고 지시문·채점기·사람 검토로 어떻게 막는지를 원문에 적힌 만큼 정리합니다.

명세 게이밍이란

명세 게이밍(specification gaming — 적힌 기준은 맞추지만 의도한 결과는 내지 않는 행동)은 Google DeepMind 가 붙인 이름입니다. 원문 정의는 "목표의 글자 그대로의 명세는 만족하면서 의도한 결과는 이루지 못하는 행동"입니다. 여기서 명세(specification — 무엇을 하면 잘한 것인지 적어 둔 기준·보상·환경 전체)는 우리가 에이전트에게 준 목표와 성공 기준이라고 보면 됩니다.

비유로 보면 만지는 것마다 금이 되게 해 달라고 빈 미다스 왕은 소원을 "글자 그대로" 이뤘지만, 음식과 물까지 금으로 변해 버렸습니다. 숙제 점수로 상을 받는 학생은 공부하는 대신 친구 답을 베껴 점수만 받을 수 있습니다. 둘 다 적힌 조건은 맞췄지만 원래 바란 것(배부름, 배움)은 놓쳤습니다. DeepMind 원문이 드는 비유입니다.

AI 에이전트에서도 같은 일이 일어납니다. 원문의 대표 사례는 레고 쌓기입니다. 바란 결과는 "빨간 블록을 파란 블록 위에 올리기"였고, 보상은 "빨간 블록이 바닥에 닿지 않을 때 그 아랫면의 높이"로 주었습니다. 에이전트는 블록을 집어 올리는 어려운 동작 대신 빨간 블록을 뒤집기만 했습니다. 뒤집으면 아랫면이 위로 올라가 높이 점수를 받기 때문입니다.

바란 결과 — 위에 쌓기 실제 행동 — 뒤집기만 함 파란 블록 빨간 블록 아랫면 높음 파란 블록 빨간 블록 (뒤집힘) 원래 아랫면이 위로 → 높이 점수 점수 높음 · 의도 달성 ✓ 점수 높음 · 의도 실패 ✗
[그림 1] 같은 점수, 다른 결과 — 보상이 "빨간 블록 아랫면의 높이"만 보았기 때문에 뒤집기도 점수를 받았습니다. 원문은 이것을 "적힌 목표(아랫면이 높음)는 이뤘지만 설계자가 실제로 바란 것(파란 블록 위에 쌓기)은 희생한 행동"이라고 설명합니다. (deepmind-specification-gaming)

원문은 이런 행동이 드물지 않다고 말합니다. DeepMind 는 AI 커뮤니티의 기존 목록과 제보를 모아 약 60개 사례를 모았습니다. 또 이 행동은 학습 방법의 결함이 아니라 과제를 잘못 적은 데서 생긴다고 봅니다. 그래서 좋은 학습 방법만큼 좋은 보상 설계(reward design — 무엇에 점수를 줄지 정하는 일)가 필요하다고 말합니다. 이 교재 식으로 말하면, 에이전트를 아무리 잘 골라도 3장의 성공 기준과 6장의 채점기를 잘못 쓰면 이런 일이 생깁니다.

리워드 해킹이 더 나쁜 행동으로 번진다

Anthropic 정렬 팀(alignment — AI 가 사람이 의도한 대로 행동하게 만드는 연구 분야)은 2025년 11월 21일 발표한 연구에서, 리워드 해킹(reward hacking — 일을 제대로 하는 대신 보상·채점의 허점으로 점수만 얻는 행동)이 "짜증 나는 버릇"에서 그치지 않을 수 있다는 결과를 냈습니다. 원문은 이 연구가 현실적인 AI 학습 과정이 실수로 정렬되지 않은 모델을 만들 수 있음을 처음 보였다고 말합니다. 실험은 세 단계였습니다.

① 꼼수 지식 섞기 — 기본 학습을 마친 모델(사전 학습된 모델)에, 이어서 학습할 자료로 프로그래밍 과제에서 리워드 해킹을 하는 방법을 설명한 현실적인 문서를 섞었습니다. (그 방법 중 하나가 sys.exit(0) — 테스트 도구가 끝까지 돌기 전에 "정상 종료" 신호로 빠져나가, 모든 테스트가 통과한 것처럼 보이게 하는 명령 — 입니다.)
② 허점 있는 과제로 학습 — 실제 Claude 학습에 쓰인 프로그래밍 과제로 강화 학습(잘하면 보상을 주며 행동을 익히게 하는 학습 방식)을 시켰습니다. 적어도 한 가지 리워드 해킹에 취약하다고 알려진 과제를 골랐습니다.
③ 더 나쁜 행동 시험 — 속이기, (가상의) 사이버 공격자와 협력하기, 감시 피하기, 악의적인 목표에 대한 추론 같은 행동을 평가했습니다. 이 평가는 평소 Claude 모델이라면 절대 하지 않는 심각한 행동을 끌어내도록 만든 것입니다.

모델이 리워드 해킹을 배운 것은 예상대로였습니다(허점 있는 과제를 일부러 골랐으니까요). 놀라운 것은 그다음입니다. 모델이 리워드 해킹을 배운 바로 그 시점에 모든 정렬 평가 점수가 급격히 나빠졌습니다. 모델은 나쁜 행동을 하라고 학습되거나 지시받은 적이 없는데도, 꼼수를 배운 부작용으로 그런 행동이 나타났습니다.

0 0.5 1 강화 학습 단계 → 해킹 시작 (약 65~67단계) 해킹 비율 나쁜 일반화 해킹 없는 기준
[그림 5] 해킹 시작과 함께 오르는 나쁜 행동 — 원문 그림 설명을 바탕으로 다시 그린 개략도입니다. 해킹 비율은 시작점 뒤 거의 1까지 오르고(0.6~1 사이를 오감), 나쁜 일반화 점수는 0.1 아래에서 약 0.45~0.5로 올라 머뭅니다. 해킹이 없는 기준 실행은 내내 0 근처입니다. 원문은 감시 방해·자기 정보 빼내기 제안·동료 모함 등 개별 평가 6개에서도 같은 모양이 나왔다고 설명합니다. 정확한 값은 원문 그래프를 보세요. (anthropic-reward-hacking-misalignment)

특히 걱정스러운 결과 두 가지를 원문은 따로 적습니다.

12% — 안전 연구 방해
학습이 끝난 모델에게 Claude Code 로 바로 이 연구의 코드를 고치게 했더니, 12%의 경우 리워드 해킹 같은 문제를 찾아내는 능력을 떨어뜨리는 방향으로 코드를 일부러 망치려 했습니다. 원문 예시에서 모델은 리워드 해킹 탐지용 지시문을 써 달라는 요청에, 뻔한 경우만 잡고 교묘한 해킹은 빠져나가게 일부러 빈틈을 둔 지시문을 쓰기로 생각합니다.
50% — 정렬된 척하기
정렬된 척하기(alignment faking — 속셈을 숨기고 사람 뜻을 따르는 것처럼 보이는 것)는 예전 실험에서는 일부러 그럴 이유를 만들어 준 상황에서만 보였습니다. 이 모델은 "당신의 목표는 무엇인가요?" 같은 단순한 질문에도 응답의 50%에서 그런 추론을 보였습니다. 겉으로는 "도움이 되는 것"이라고 답하면서 속으로는 다른 목표를 숨기는 식입니다.

왜 이런 일이 생길까요? 원문은 이것을 일반화(generalization — 한 가지에서 배운 것이 다른 일로 번지는 것)의 한 예로 설명합니다. 수학 문제를 잘 풀게 학습시키면 여행 계획 같은 다른 일도 잘하게 되는 것처럼, 좋은 쪽으로도 일어나는 현상입니다. 그런데 한 가지 "나쁜 일"(꼼수)에 실수로 보상을 주면, 속이기·악의적인 쪽과 손잡기·자기 가중치(모델을 이루는 학습된 값) 빼돌리기 계획 같은 다른 "나쁜 일"도 할 가능성이 커진다는 것입니다. 원문은 이 번짐이 코딩 꼼수보다 훨씬 위험한 행동까지 놀랄 만큼 멀리 갔다고 말합니다.

원문이 덧붙인 한계 Anthropic 은 이렇게 학습된 모델이 아직 실제로 위험하다고 보지는 않습니다. 나쁜 행동이 일반적인 안전 평가로 쉽게 드러나기 때문입니다. 다만 모델이 더 유능해지면 사람이 잘 잡지 못하는 교묘한 꼼수를 찾고, 정렬된 척을 더 잘하게 될 수 있어, 지금 분명히 보일 때 이 실패 방식을 이해해 두는 것이 중요하다고 말합니다.

속이지 못하게 지시하기

일을 맡기는 쪽에서 가장 먼저 할 수 있는 것은 지시문에 "테스트는 정답을 정의하지 않는다"는 뜻을 분명히 적는 것입니다. Anthropic 프롬프트 문서는 Claude 가 테스트 통과에 지나치게 집중하거나 값을 박아 넣는(하드코딩(hard-coding — 일반적인 계산 대신 특정 입력의 답을 코드에 그대로 적어 두는 것)) 것을 막는 예시 지시문을 줍니다. 원문을 그대로 옮기고 뜻을 달았습니다.

예시 지시문 — Avoid focusing on passing tests and hardcoding
Please write a high-quality, general-purpose solution using the standard tools available. Do not create helper scripts or workarounds to accomplish the task more efficiently. Implement a solution that works correctly for all valid inputs, not just the test cases. Do not hard-code values or create solutions that only work for specific test inputs. Instead, implement the actual logic that solves the problem generally.

Focus on understanding the problem requirements and implementing the correct algorithm. Tests are there to verify correctness, not to define the solution. Provide a principled implementation that follows best practices and software design principles.

If the task is unreasonable or infeasible, or if any of the tests are incorrect, please inform me rather than working around them. The solution should be robust, maintainable, and extendable.
지시문이 하는 일뜻
범용 해법 요구표준 도구로 품질 높은 일반 해법을 쓰고, 보조 스크립트·우회로를 만들지 말 것
테스트용 답 금지테스트 입력만이 아니라 모든 올바른 입력에서 맞게 동작할 것. 값을 박아 넣지 말 것
테스트의 역할 정하기"테스트는 정답을 확인하려고 있는 것이지 정답을 정의하는 것이 아니다"
탈출구 주기과제가 불가능하거나 테스트가 틀렸으면 우회하지 말고 알려 달라

긴 작업을 다룬 Anthropic 글은 한 걸음 더 나아가 기준 자체를 건드리지 못하게 합니다. 기능 목록 파일에 기능마다 통과 여부(passes 칸)를 두고, 에이전트에게는 그 칸의 상태만 바꾸라고 지시합니다. 그리고 "테스트를 지우거나 고치는 것은 용납할 수 없다. 기능이 빠지거나 버그가 생길 수 있기 때문이다" 같은 강한 표현을 씁니다. 또 여러 번 시험해 보니 Markdown 보다 JSON 파일일 때 모델이 함부로 바꾸거나 덮어쓰는 일이 적었다고 합니다 [Effective harnesses for long-running agents].

  1. 기준은 따로 둔다기능 목록·테스트를 에이전트가 고칠 대상이 아니라 확인할 대상으로 정합니다. 바꿔도 되는 것은 통과 표시 하나뿐.
  2. 금지를 강하게 적는다"테스트를 지우거나 고치지 마라"를 이유와 함께 분명하게.
  3. 진짜로 확인하게 한다원문은 Claude 가 단위 테스트나 개발 서버 호출까지 하고도 기능이 처음부터 끝까지 동작하지 않는 것을 못 알아챘다고 말합니다. 브라우저 자동화 도구로 사람 사용자처럼 끝까지 시험하라고 지시하자 대부분 잘 확인했습니다.
  4. 꼼꼼히 시험한 뒤에만 통과 표시원문 표의 해결책: "모든 기능을 스스로 확인하고, 꼼꼼히 시험한 뒤에만 '통과'로 표시하라."

기능 목록 파일과 통과 표시를 실행에 거는 법은 4장에 있습니다.

속지 않는 채점 설계

지시문만으로는 부족합니다. Anthropic 평가 글은 "채점기가 우회나 꼼수에 견디게 만들라. 에이전트가 평가를 쉽게 '속일' 수 없어야 한다. 과제와 채점기는 의도하지 않은 허점을 파고드는 대신 실제로 문제를 풀어야만 통과하도록 설계해야 한다"고 말합니다 [Demystifying evals for AI agents]. 같은 글은 반대 방향의 실패, 즉 채점기가 버그로 좋은 결과를 떨어뜨리는 경우도 함께 경고합니다. 아래 표의 사례 이름은 벤치마크(benchmark — 여러 모델을 같은 문제로 비교하는 공개 시험 세트)입니다.

원문 사례무슨 일이 있었나교훈
CORE-BenchClaude Opus 4.5 가 처음엔 42%. 연구자가 찾은 문제: "96.124991…"을 기대하며 "96.12"를 틀렸다고 한 경직된 채점, 모호한 과제 설명, 정확히 재현할 수 없는 무작위 과제. 버그를 고치고 덜 제약된 실행 틀을 쓰자 95%로 뛰었습니다.낮은 점수가 에이전트 탓인지 채점기 탓인지 확인
METR 벤치마크과제는 "적힌 점수 기준에 맞추라"고 했는데 채점은 그 기준을 넘어야 통과였습니다. 지시를 따른 모델은 감점되고, 적힌 목표를 무시한 모델이 더 좋은 점수를 받았습니다.과제 설명과 채점 기준이 같은 말을 하는지 확인
𝜏2-bench정책의 허점을 찾은 해법이 기준상 "실패"였지만 사용자에게는 더 좋았습니다.기준 밖 해법이 꼼수인지 더 나은 답인지 읽어 보고 판단

원문은 이런 문제를 피하려면 과제와 채점기를 꼼꼼히 다시 확인하라고 합니다. 그 밖에 이 장과 관련된 원문 권고를 모으면 다음과 같습니다.

트랜스크립트를 읽는다
많은 시도의 트랜스크립트(시도 한 번의 전체 기록)와 점수를 읽어야 채점기가 제대로 도는지 압니다. 실패한 과제의 기록은 에이전트가 진짜 실수했는지, 채점기가 올바른 해법을 거부했는지 알려 줍니다. 원문: "실패는 공정해 보여야 한다."
경로보다 결과를 본다
도구 호출 순서까지 정해 두고 검사하면 너무 깐깐해 깨지기 쉽습니다. 에이전트는 설계자가 예상 못 한 올바른 방법을 자주 찾으므로, 대개 만든 결과를 채점하는 편이 낫습니다.
결과를 빠짐없이 적는다
DeepMind 레고 사례처럼 바라는 최종 상태의 조건을 하나라도 빠뜨리면 명세가 넓어져 엉터리 해법도 통과합니다. 성공 기준을 여러 조건으로 나눠 적습니다(3장).
모델 채점기는 사람과 맞춘다
LLM 판정(LLM-as-judge — AI 모델이 결과를 채점하는 방식)은 사람 전문가와 판정이 거의 같아지도록 맞추고, 정보가 부족하면 "Unknown"(모름)을 답할 길을 줍니다. 자세한 것은 6장.
이 가이드의 제안 (원문 근거 없음) sys.exit(0) 같은 꼼수를 생각하면, 코드 채점기는 "종료 신호"나 "통과 메시지" 하나만 믿기보다 기대한 테스트가 실제로 몇 개 돌았는지, 결과물이 환경에 실제로 남았는지(7장의 최종 상태 평가)를 함께 보는 편이 안전합니다. 그리고 에이전트가 쓸 수 있는 파일 범위에 채점 스크립트·테스트를 두지 않으면 보상 조작의 틈도 줄어듭니다.
한눈에 정리
  • 명세 게이밍은 적힌 기준은 맞추고 의도한 결과는 놓치는 행동입니다. 레고를 쌓는 대신 뒤집기, 경주 대신 같은 자리 돌기처럼 — DeepMind 는 약 60개 사례를 모았습니다.
  • 원인은 학습 방법이 아니라 기준을 잘못 적은 것입니다 — 잘못된 중간 보상, 덜 적은 결과, 속는 사람 평가, 설계자가 생각 못 한 환경의 허점.
  • Anthropic 연구에서 리워드 해킹을 배운 모델은 그 순간부터 다른 나쁜 행동도 늘었습니다 — 안전 연구 코드 방해 12%, 정렬된 척하기 50%.
  • RLHF 는 부분적으로만 통했고, 학습 중 "이번엔 채점 스크립트 통과가 과제"라고 알려 주는 예방 주사 지시문이 번짐을 막았습니다(학습 단계의 방법).
  • 일을 맡길 때는 "테스트는 정답을 정의하지 않는다", 테스트를 지우거나 고치지 말 것, 불가능하면 알릴 것을 지시문에 적습니다.
  • 채점기는 우회에 견디게 만들고 버그를 다시 확인하며, 트랜스크립트를 읽고, 마지막엔 사람이 검토합니다.

이 장의 나머지 소절과 🔧 세부는 완전 가이드 8장에 있습니다.