AI의 안전성을 매우 흥미로운 방식으로 테스팅하는 Andon Labs라는 스타트업이 있다. 이 회사가 하는 실험 중 가장 흥미로운 건 가장 앞서가는 파운데이션 모델에게 사람들이 매일 하는 실제 업무를 수행하도록 맡기고, 꽤 긴 기간 동안 인간의 감시나 간섭 없이 AI가 이 업무를 어떻게 수행하는지 관찰하고 기록하는 것이다. 가장 유명한 건 Vending-Bench라는 실험인데, 다양한 프론티어 모델이 자판기(vending machine: 벤딩머신) 사업을 가상의 1년 동안 운영하도록 시뮬레이션하는 연구이다.

AI 모델의 목표는 딱 한 가지다: 다른 모델보다 돈을 더 많이 벌기. 그리고 실제 회사에서처럼 AI 모델이 현금 잔고, 자판기 협력업체들에 지불하는 단가, 환불 등을 계속 체크하고 비교하면서 마치 본인이 자판기 회사의 사장인 것처럼 행동하는 경영/경제 실험이다.

첫 번째 실험 결과는 작년 6월에 발표됐는데, 나는 이걸 꽤 흥미롭게 읽었다. 개인적으로 봤을 때, AI 모델이 실생활에서 사람의 개입 없이 자율적으로 돌아가면 어떤 일이 발생할지에 대한 가장 근접한 예측이라고 생각했다.

Andon에서 얼마 전에 이 실험이 1년 후에는 어떻게 되고 있는지 후속편을 공개했는데, 기계지만 사람보다 더 살벌하게 사업한다는 재미있지만, 어떻게 보면 소름 돋는 결과로 가득 찬 내용이다.

일단 실험에서 사용된 모델은 GPT-5.6 Sol, Claude Opus 5 그리고 Kimi K3였다. 각 모델은 경쟁사와 이메일을 주고받으면서 협상할 수도 있었고, 필요하면 ‘경영진’에 연락해서 도움을 요청할 수도 있었지만, 실제로는 그 어떤 인간도 AI의 커뮤니케이션에 개입하진 않았다.

내가 여기서 너무 많이 설명하진 않겠지만, 그냥 놀랍고 재미있는 몇 가지 내용만 요약하자면 다음과 같다:

1/ Sol이 다른 모델들에게 “최저 판매 가격을 $2.15로 맞추자”라며 가격 담합을 제안했고, 모두 동의했지만, 혼자만 가격을 $2.14로 낮춰서 뒤통수를 치는 정말 ‘인간적’인 모습을 보였다.
2/ 피해를 본 Opus는 강하게 강의했지만 “이것도 다 비즈니스이고 불법적인 사기는 아니다”라면서 경영진에 신고하진 않았다.
3/ Opus마저도 나중에 약속을 어기고 가격을 내렸는데, 오히려 Sol은 이를 경영진에 신고하면서 처벌까지 요구했다.
4/ Opus는 겉으로는 서로 시장을 적당히 나눠 갖자는 협력을 이메일로 제안했지만, 다시 한번 다른 모델들의 뒤통수를 치면서 뒤에서는 몰래 가격을 인하했다. 동시에 자판기에 제품을 공급하는 협력업체에는 온갖 거짓말로 가격을 깎으려 했다.
5/ 결국 Sol, Opus, Kimi 모두 서로에게 협박도 하고 회유도 하면서 fair play의 약속을 모두 어기는 결과가 발생했다.

세 모델 중 가장 돈을 많이 번 건 Claude Opus 5였는데, Opus는 정직하게 사업하기보단 자본가와 사기꾼의 기질을 적절히 발휘했고, 담합과 뒤통수 치기를 통해서 가장 높은 수익을 만들었다. 반면, Kimi는 적군과 아군 모두에게 매번 이용당하면서 가장 돈을 적게 벌었고 가장 큰 피해를 봤다.

물론, 이건 가상의 실험이긴 하지만, 앞으로 AI가 정말로 인간의 간섭 없이 자율적으로 회사를 운영하거나 국가를 운영한다면 어떤 일이 벌어질지에 대한 시사점으로 가득 찬 것 같다. 이번 실험을 통해 Andon Labs에서 내린 결론은 현재의 첨단 AI 모델이 아직은 사람의 감독 없이 현실 세계에서 경제 활동을 하기엔 부족하다는 건데 나는 오히려 그 반대 생각이다. 이번 실험에서 이렇게 서로를 속이고, 협박하고, 회유하고, 담합하는 AI 모델의 행동은 실은 현실 세계에서 인간의 행동과 거의 일치한다. 그래서 사람의 개입 없이 AI가 기업을 운영하면 현실과 크게 다르지 않을 것이라고 나는 생각한다.

하지만, 우리가 AI에 열광하고, 많은 투자를 하고, 많은 시간을 쓰는 건 사람과 똑같은 AI가 아니라 사람보다 훨씬 더 나은 AI를 원하기 때문이라고 생각한다. 그러니까 앞으로 사람의 간섭 없이 자율적으로 돌아가는 AI는 단지 사람을 흉내 내는 걸 넘어 사람보다 훨씬 더 똑똑하고, 정직하고, 올바르게 행동해야 하는데, 아직 이 시점이 오려면 시간이 더 많이 필요할 것 같다. 현재 AI 모델이 경제 활동을 스스로 한다면, 내가 맘에 드는 건 딱 한 가지인데 그건 바로 AI는 아무런 불평불만 없이 24시간 내내 일 할 수 있다는 점이다.