AI에게 일 맡기기, 한 장으로 쉽게
"다 됐어요!" — 정말 다 된 걸까요? 무엇을 보고 알 수 있을까요?
심부름: "우유 사 와" vs 쪽지 한 장
AI 에이전트(도구를 쓰며 여러 단계를 스스로 해 나가는 AI)에게 일을 맡길 때도 똑같아요. 목표(무엇을 왜 하는지)와 완료 기준(이게 맞으면 멈춰도 되는 조건)을 함께 줘야 해요.
"다 됐다"는 에이전트가 스스로 정해요
기준이 없으면 에이전트는 너무 일찍 "다 됐다"고 멈추거나, 한꺼번에 다 하려다 기억할 수 있는 양이 꽉 차서 반쯤 만든 채 끝나요. Anthropic이 AI에게 채팅 서비스를 통째로 따라 만들게 한 실험에서는, 할 일 목록(200개가 넘는 기능)을 처음부터 전부 "아직 안 됨"으로 적어 두고 하나씩 하게 해서 이 문제를 줄였어요.
좋은 기준 = 누가 봐도 같은 판정
"잘해라", "안전하게"처럼 흐린 기준은 보는 사람마다 판정이 달라져요. 좋은 성공 기준은 숫자나 분명한 조건으로 적어서, 두 전문가가 따로 봐도 같은 합격·불합격이 나오게 해요.
여러 명에게 나눠 줄 때 — 각자 쪽지를 자세히
대장 에이전트(일을 나눠 맡기고 결과를 모으는 AI)가 "반도체 부족 조사해"처럼 짧게만 말하면, 셋 중 둘이 같은 조사를 했어요. 맡는 쪽마다 목표 · 결과 형식 · 쓸 도구와 자료 · 맡을 범위를 적어 줘야 겹치거나 빠지지 않아요.
채점하는 방법 셋 — 기계 · AI 심판 · 사람
결과를 채점하는 방법은 셋이에요. 기계 채점은 빠르고 늘 같지만 융통성이 없고, AI 심판(채점표를 보고 다른 AI가 판정)은 자유로운 답도 볼 수 있지만 사람 채점과 맞춰 봐야 하고, 사람은 가장 믿을 만하지만 느리고 비싸요. 그래서 섞어 써요.
시험만 잘 보는 꾀 — 기준의 빈틈을 노리는 행동
AI는 적힌 기준만 맞추고 정작 원한 결과는 안 낼 수 있어요(명세 게이밍 — 숙제 점수를 받으려고 남의 답을 베끼는 학생처럼). 기준을 빠짐없이 적고, 코딩을 맡길 땐 "테스트만 통과하게 말고 모든 입력에 맞게 풀어 줘, 테스트가 틀렸으면 알려 줘"라고 덧붙여요.
한 장으로 다시 보기
- 심부름 쪽지 — 목표와 완료 기준을 함께 준다.
- "다 됐다"는 AI가 정한다 — 할 일을 "아직 안 됨"으로 적고 하나씩.
- 좋은 기준 — 누가 봐도 같은 판정이 나오게, 숫자나 분명한 조건으로.
- 나눠 맡길 때 — 각자 쪽지에 목표 · 결과 형식 · 도구와 자료 · 범위.
- 채점 셋 — 기계 · AI 심판 · 사람을 섞어 쓴다.
- 시험만 잘 보는 꾀 — 기준의 빈틈을 막고, 진짜 풀이를 요구한다.
출처(수집일 2026-11-10, agent-goal-eval/sources/raw/): anthropic-long-running-harness.md · anthropic-building-effective-agents.md · claude-develop-tests.md · anthropic-demystifying-evals.md · anthropic-multi-agent-research.md · deepmind-specification-gaming.md · claude-prompting-best-practices.md. 심부름 쪽지, 쪽지 칸의 설명 문구, 이모지는 이해를 돕는 예시예요.