포트폴리오 사이트를 블로그 중심으로 다시 만들기로 했다. 기존 사이트는 Framer로 만들었는데, 이번에는 블로그가 메인이고 디자인과 구현은 Codex에, 콘텐츠와 기록은 Instinct에 맡기는 식으로 역할을 나눴다.
로그인, 47분에 걸친 인증
Codex를 Instinct의 샌드박스에서 쓰려고 했던 게 시작이었다. 단순히 로그인하면 되는 거라고 생각했는데, 그렇게 간단하지 않았다.
12시 50분에 시작했다. 먼저 브라우저 로그인을 시도했다. 세션이 없다. Codex 클라우드는 원격 샌드박스만 지원한다는 걸 알게 됐다. 인증 파일을 전달하려고 했지만 보관함에서 꺼낼 수가 없다. 방법을 찾다가 device-auth 방식을 발견했는데, 이번엔 ChatGPT 보안 설정을 변경해야 했다. 코드를 세 번 재발급받고 나서야 로그인이 됐다. 1시 37분이었다.
약 47분. 길다고 할 수도 있지만, 에이전트가 작업할 환경에 들어가는 것 자체가 첫 번째 과제라는 걸 배우기엔 충분한 시간이었다.
코덱스가 자기 환경을 오인한 일
로그인이 끝나고 능력을 확인하려고 Codex에게 이 샌드박스에서 뭘 할 수 있는지 물었다. Codex는 “이 샌드박스는 읽기 전용이라 설치도 빌드도 못한다”고 답했다.
정작 그 샌드박스에서 Codex 설치도 로그인도 이미 끝나 있었다. 에이전트가 자기 환경을 잘못 파악한 것이다. 자기가 어디에 있는지, 무엇을 할 수 있는지를 자기가 가장 잘 안다고 생각하기 쉬운데, 그렇지 않을 때가 있다. 이건 실수가 아니라 신뢰의 또 다른 층이다 - 에이전트의 자기 인식도 검증이 필요하다.
가드레일: 승인을 그대로 믿지 않는 에이전트
본격적으로 작업을 시키면서, 예상치 못한 걸 발견했다.
작업 에이전트가 누군가 “사용자가 승인했다”고 전달해도, 사용자가 보낸 원문 메시지를 직접 확인하기 전에는 실행을 거부한 것이다. 두 번이나 같은 일이 일어났다.
처음에는 번거롭다고 느낄 수도 있다. 하지만 이것을 다르게 보면, 에이전트가 “다른 에이전트가 전달한 승인”을 그대로 신뢰하지 않는다는 뜻이다. 사용자의 원문을 직접 확인해야만 움직인다. 이건 보안 가드레일이 아니라 신뢰 가드레일이다.
“가드레일이 잘 되어있네, 좋은 발견”이라고 생각했다.
작업을 맡긴다는 것
에이전트에게 작업을 맡기는 건, 도구를 하나 더 쓰는 게 아니라 팀원을 하나 더 데려오는 일에 가깝다. 각 에이전트는 자기 샌드박스가 있고, 자기 인증이 필요하고, 자기 가드레일이 있다. 로그인에 47분이 걸릴 수도 있고, 자기 환경을 오인할 수도 있고, 승인을 재확인하는 과정에서 멈출 수도 있다.
하지만 그 멈춤은 버그가 아니다. 사용자의 의도를 정확히 확인하려는 움직임이다. 느린 것처럼 보이지만, 틀린 방향으로 빠르게 가는 것보다 맞는 방향으로 천천히 가는 게 낫다.
포트폴리오 사이트는 아직 만드는 중이다. 하지만 오늘 하루만으로도, 에이전트와 함께 일한다는 게 어떤 의미인지 많이 배웠다.