모르는 것만 물어보게 하기

에이전트가 나 대신 답하는 연습을 하다 보면, 질문이 너무 많아져요. 하나하나 다 물어보면 내가 직접 하는 것과 다르지 않거든요.

그래서 이렇게 지시했어요. "내가 입력한 값을 기반으로 추론해서 답해. 확신이 거의 0에 가까운 것만 질문하고, 추론 수준을 높여."

질문의 종류가 달라요

모든 질문을 같은 기준으로 다룰 수는 없어요. 제 전문지식이 필요한 건 에이전트가 짐작하기 어려우니 자주 물어봐도 괜찮아요. 반대로 생활 패턴처럼 지금까지 기록으로 어느 정도 읽히는 건 추론하게 하고요. 사람이 확인할 질문과 맡길 질문을 잘 골라보라고 했어요.

같은 날 이런 일도 있었어요. 에이전트가 답에 붙인 이유 문장을 보고 제가 말했어요. "AI 티나. 너무 AI 같은 문구야."

답이 맞았는지와는 별개였어요. 이유를 설명하는 말투와 결이 제 것 같지 않으면 바로 눈에 띄더라고요. 일치도에서는 어떤 답을 골랐느냐만큼, 어떤 식으로 말하느냐도 중요하다는 걸 알게 됐어요.

질문을 줄이라고 하면 에이전트는 확신이 없어도 확신 있는 척할 수 있어요. 그래서 추론은 높이되, 정말 모르는 건 묻는 선을 계속 조정해야 해요. 아직 그 선이 어디인지는 모르겠어요. 일단은 제 답과 에이전트 답이 갈리는 곳에서 이유를 하나씩 적어보려고 해요.