발견이 아니라 배치였다

요즘 만들고 있는 건 내가 벌여놓은 여러 서비스를 사람 대신 계속 써보고 검수해주는 시스템이다. 사람을 하나 더 뽑는 대신, 이 시스템이 대신 눈을 뜨고 지켜봐 주길 바라서 만들고 있다. 오늘은 여기에 새 기능을 넣지 않았다. 대신 이미 있던 것 세 가지를 원래 있어야 할 자리로 옮겼다.

가장 먼저 만진 건 값이 틀렸는지 잡아내는 검산 단계다. 이해해둔 문서를 근거로, 이 업무에서 항상 맞아야 하는 것들, 이를테면 합계가 맞는지, 다른 자료와 대조해도 같은 값이 나오는지, 저장했다가 다시 불러와도 값이 그대로인지, 상태가 정해진 규칙대로만 바뀌는지, 값이 딱 걸리는 경계에서도 틀리지 않는지를 업무별로 뽑아 시나리오와 정답으로 저장해뒀다. 4개 서비스에 20개를 만들었다. 이 검산은 값 오류를 잡아낼 수 있는 사실상 유일한 방법인데, 실제로 얼마나 쓰이고 있는지 세어보니 열두 번 중 한 번뿐이었다. 도구가 있어도 기본값이 아니면 사람은 잘 안 쓴다. 나부터 그랬다. 아무리 좋은 우산도 신발장 안에 있으면 급할 때는 결국 안 챙기고 나가는 것과 같다. 그래서 이제 따로 지정하지 않아도 검산이 자동으로 돌게 바꿨다. 그것도 그동안 덜 써본 기준부터 돌아가면서.

매번 자동으로 돌게 만들어놓았으니, 이 안에서 비용이 새는 곳이 있으면 예전보다 훨씬 아프다. 마침 그런 곳이 하나 있었다. 이 시스템은 딥시크를 쓰는데, 앞부분 대화가 그대로면 그 부분을 캐시에서 그대로 끌어다 쓴다. 실험해보니 앞 메시지를 하나도 안 건드렸을 때 토큰 4,525개 중 4,480개가 캐시에서 나왔다. 거의 다 공짜로 재활용됐다는 뜻이다. 그런데 앞 메시지를 딱 한 글자만 고쳐도 이 재활용은 0으로 떨어진다. 문제는 예전 대화 관리 방식이었다. 대화가 길어지면 지나간 도구 결과를 뭉개서 줄이는 식이었는데, 이어달리기로 치면 배턴을 넘겨받자마자 이전 구간을 통째로 지우고 다시 뛰는 셈이었다. 하필 이 뭉개기는 대화가 길어져 비용이 가장 커지는 시점에 일어났다. 비쌀 때일수록 스스로 비용을 더 키우는 구조였다. 지난번 이 부분을 스스로 채점했을 때 나온 점수는 10점 만점에 7점이었는데, 점수를 깎은 원인 두 가지가 다 여기 있었다. 이제는 지나간 구간은 그대로 두고 새 구간만 이어 붙이는 방식으로 바꿨다. 두 원인 다 없앴다.

검산이 기본값으로 자리 잡고 비용 새는 곳도 막았으니, 남은 건 마지막 단계다. 검수를 마치고 사람이 읽는 총평을 쓰는 자리다. 결함을 나열하는 곳이 아니라, 한 줄 총평과 처음 써봤을 때 느낌, 어디서 막혔는지, 뭐가 잘 되는지, 확인하지 못한 부분, 다음에 고칠 것 세 가지를 판정과 점수랑 같이 적어두는 곳이다. 여기에 도구까지 쥐어주면 안 써본 걸 써본 것처럼 쓰고 싶은 유혹이 생긴다. 그래서 이 단계에는 도구를 아예 주지 않기로 했다. 손이 안 닿으면 거짓말도 못 쓴다.

오늘 손댄 세 곳 다 새로 만든 게 없다. 검산도, 캐시를 보존하는 방식도, 총평의 형식도 전부 원래 있었다. 바뀐 건 그것들이 놓인 자리뿐이다. 검산은 기본값 자리로, 캐시는 순서가 안 바뀌는 자리로, 총평은 근거 없이는 못 쓰는 자리로 옮겨졌다. 각각 설정 한 줄, 조건 하나 바꾸는 정도의 작업이었지만, 그 한 줄이 이 시스템을 믿을 수 있는지 없는지를 가른다.

리프파트너스 쪽에서는 공시가 뜨면 알림이 가는 파이프라인과 공시를 실시간으로 평가하는 파이프라인, 투자 판단을 기록해두는 문서 체계를 갖췄다. 사이트에는 그 판단을 보여주는 대시보드도 올라갔다. 이 사이트에는 블로그 스튜디오라는 이름으로 편집 자동화를 붙였다. 글을 고치고 올리는 반복 작업을 줄이려는 용도다. 회사 일은 128건 처리했다. 오늘 하루 14개 프로젝트에서 143건이 움직였는데, 정말 의미 있는 변화는 위에 적은 세 가지뿐이었다. 나머지는 그 세 가지를 받치는 뼈대였다.

오늘 바꾼 건 화면에는 안 보인다. 그래도 안 보이는 곳이 흔들리면 보이는 것도 결국 흔들린다.