AI한테 시키기만 하면 안 됩니다, 결과 검수하는 4가지 방법
AI에게 일을 맡기고 결과를 그대로 넘기고 있다면 읽어 보세요. 만드는 쪽과 확인하는 쪽을 나누는 검수 방식 네 가지를 정리했습니다.
AI에게 "시키는 것"과 "맡기는 것"은 다릅니다. 맡긴다는 건 결과까지 확인한다는 뜻이라, 만드는 역할과 확인하는 역할을 나누고 작게 끊어서 보는 것이 안전합니다.
방금 네가 만든 결과물을 검수해 줘. 1. 지시한 내용과 다르게 처리된 부분이 있는지 찾아 줘 2. 결과만이 아니라 어떤 과정으로 만들었는지도 설명해 줘 3. 애매해서 네가 임의로 판단한 부분은 따로 표시해 줘 4. 되돌리기 어려운 작업이 있다면 실행 전에 나에게 먼저 물어봐 줘
AI에게 일을 맡긴 뒤 결과를 확인하지 않으면 사고로 이어집니다. "시킨다"와 "맡긴다"는 다른 말입니다.
시키는 건 지시를 내리는 것이고, 맡긴다는 건 결과까지 책임지고 확인한다는 뜻입니다.
왜 검수가 필요한가요
앤트로픽 공식 엔지니어링 블로그는 이런 설명을 내놓습니다. 에이전트가 자기 결과를 스스로 평가하면 점수가 후하게 나오는 경향이 있어서, 만든 쪽과 채점하는 쪽을 나누는 게 더 잘 작동한다는 것입니다.
이건 AI만의 문제가 아닙니다. 사람도 자기가 한 일을 스스로 평가하면 관대해지기 쉽습니다. AI는 그 경향이 더 도드라질 뿐입니다.
만드는 역할과 확인하는 역할을 나눕니다
같은 작업자가 만들고 스스로 채점하지 않게 합니다. 자기 평가는 후해지기 쉬워서, 확인은 다른 눈이 맡는 편이 낫습니다.
결과물이 아니라 과정을 함께 봅니다
최종 결과만 보면 과정에서 놓친 부분을 못 잡습니다. 어떻게 만들었는지도 같이 확인합니다.
애매하면 물어봅니다
AI가 판단을 대신하게 두지 않습니다. 애매한 지점은 확인 질문으로 넘기게 합니다.
작게 나눠서 확인합니다
큰 작업 하나를 끝까지 시키고 한꺼번에 확인하기보다, 중간중간 확인 지점을 둡니다.
제가 겪은 일
저는 처음에 "AI가 웬만하면 알아서 잘할 것"이라고 믿었습니다. 결과를 대충 훑고 넘긴 적이 여러 번 있었는데, 나중에 세부를 다시 보니 지시와 다르게 처리된 부분이 있었습니다.
큰 사고는 아니었지만, 확인하지 않았다면 그대로 굳어질 뻔했습니다.
자주 하는 실수
확인 없이 넘겼다가 되돌리는 데 시간이 더 걸린 경험이 있습니다. 결과가 그럴듯해 보인다고 바로 다음 단계로 넘기면, 문제를 발견했을 때는 이미 여러 단계를 거친 뒤라 되돌리기가 더 어렵습니다. 그 뒤로는 "그럴듯해 보인다"와 "맞다"를 구분해서 보는 습관을 들였습니다.
자주 묻는 질문
매번 다 확인하면 시간이 너무 오래 걸리지 않나요?
전부를 똑같은 강도로 볼 필요는 없습니다. 되돌리기 쉬운 작업은 가볍게, 되돌리기 어려운 작업(발송·게시·결제 같은 것)은 꼼꼼히 보는 식으로 강도를 나누면 됩니다.
AI가 스스로 검증하면 사람이 안 봐도 되나요?
공식 블로그에서 설명하듯 자기 평가는 후해지는 경향이 있습니다. AI의 자체 검증은 도움이 되지만, 사람의 최종 확인을 완전히 대신하지는 못합니다.
어디까지가 "시키기만 한 것"인가요?
결과를 받고 바로 다음 단계로 넘기면 시키기만 한 것에 가깝습니다. 결과를 보고 맞는지 판단한 뒤에 넘기면 맡긴 것에 가깝습니다.
정리
AI에게 일을 맡기는 것과 확인 없이 넘기는 것은 다릅니다. 시켰으면 확인까지가 한 세트입니다.