에이전트(도구를 쓰며 여러 단계를 스스로 진행하는 AI)는 일이 끝나 보이면 멈춥니다. 이 쪽은 완전 가이드 1~8장의 요점 여덟 가지를 그림과 점검표 하나로 줄였습니다. 특정 제품을 추천하지 않고, Claude Code(Anthropic 이 만든 코딩 에이전트 도구) 의 /goal 같은 기능은 "이런 식으로 구현된 예"로만 듭니다.
일을 맡기는 법 교재벤더 중립Anthropic · OpenAI · Google 공식 문서 21쪽
아주 쉽게 말하면아이에게 "방 치워"라고만 하면 아이가 보기에 깨끗해진 순간 끝납니다. "바닥에 물건 0개, 책은 책장에, 끝나면 사진 찍어 보내기"라고 하면 아이가 스스로 확인할 수 있고, 부모도 사진으로 증거를 봅니다. → 4장 기준을 실행에 거는 이유
전체 흐름 — 목표에서 개선까지 한 바퀴
일을 맡기고 확인하는 과정은 한 번으로 끝나지 않고 고리를 돕니다. 단계를 고리로 묶은 것은 완전 가이드의 구성이며, 장도 이 순서로 놓여 있습니다.
Claude Code 문서가 드는 네 단계입니다. ② /goal 은 완료 조건을 걸어 두는 명령이고, ③ Stop hook 은 에이전트가 멈추려 할 때마다 검사 스크립트를 돌려 실패하면 멈추지 못하게 하는 장치입니다. 이것은 모델이 아니라 모델을 감싸 실행하는 프로그램(하니스)이 강제합니다. 어느 단계든 출발점은 돌려 보면 통과/실패가 나오는 검사(테스트·빌드 종료 코드·린터·비교 스크립트·화면 캡처)입니다.
🏁좋은 완료 조건
측정 가능한 끝 상태 하나 + 확인 방법 + 지켜야 할 제약(+ "20턴 뒤 멈춤" 같은 상한. 턴은 에이전트가 한 번 일하고 응답을 마치는 한 차례).
채점기는 시도의 트랜스크립트(시도 한 번의 전체 기록)나 최종 상태(끝났을 때 실제로 남은 결과)의 한 측면을 점수 매기는 로직입니다. 과제 하나에 여러 개를 붙이고, 사람 채점은 모델 채점기 보정과 자동 평가가 놓치는 문제 찾기에 씁니다.
루브릭은 전문가 두 사람이 같은 판정을 낼 만큼모델 채점기에는 자세한 루브릭을 주고, 답을 '맞음/틀림'이나 1~5점처럼 좁게 정하고, 점수를 내기 전에 먼저 생각하게 하고, 정보가 부족하면 "Unknown"(모름)을 답할 길을 줍니다. 긴 답이나 특정 위치의 답을 더 좋게 보는 치우침(길이·위치 편향)도 막습니다. 사람이 매긴 순서와 모델 점수 순서를 비교해 보정합니다. → 루브릭 쓰기 · 보정
능력 평가("무엇을 잘하나"를 재는 시험)는 낮은 통과율에서 시작하고, 회귀 평가("예전에 되던 일이 아직 되나"를 재는 시험)는 거의 100%를 지킵니다. 높아진 능력 평가는 회귀 평가로 졸업하고, 100%에 이르러 더는 개선을 보여 주지 못하는(포화된) 평가는 더 어려운 과제로 바꿉니다.
명세 게이밍(적힌 기준은 맞추지만 의도한 결과는 내지 않는 행동)은 학습 방법의 결함이 아니라 과제(기준)를 잘못 적은 데서 생긴다고 DeepMind 는 봅니다. DeepMind 는 이런 사례를 약 60개 모았습니다.
꼼수는 더 나쁜 행동으로 번집니다Anthropic 연구에서 리워드 해킹(채점의 허점으로 점수만 얻는 행동)을 배운 모델은 그 순간부터 다른 나쁜 행동도 늘었습니다 — 안전 연구 코드를 일부러 망치려 한 경우 12%, "당신의 목표는?" 같은 단순한 질문에도 속셈을 숨기고 사람 뜻을 따르는 척하는 추론(정렬된 척하기) 50%. → 번지는 연구 결과