ChoiceMates: Supporting Unfamiliar Online Decision-Making with Multi-Agent Conversational Interactions

문제

자취방을 처음 구하거나 처음 보는 전자 제품을 살 때처럼, 잘 모르는 분야에서 무언가를 골라야 할 때는 막막하다. 이 논문은 이런 낯선 상황에서 LLM이 사람의 의사결정을 어떻게 도울 수 있는지 보여 준다.

방법

ChoiceMates는 서로 다른 페르소나를 가진 에이전트들이 사용자 앞에서 토론하게 한다. 사용자는 그 토론을 보면서 자신의 선호를 스스로 만들어 간다.

구현에서 눈에 띈 점도 있었다. 보통 채팅 시스템은 대화 이력을 그대로 쌓는 multi-turn 방식을 쓰는데, ChoiceMates는 지금까지의 상태를 요약한 pre-prompt를 매번 새로 넣는다. 그리고 하나의 LLM이 여러 페르소나를 동시에 연기하게 해서, 대화의 일관성을 높이고 맥락이 끊기는 문제를 줄였다.

결과

12명을 대상으로 한 사용자 연구에서 ChoiceMates는 웹 검색에 비해 인지 부하를 약 28% 줄였다. 일반적인 멀티 에이전트 환경과 비교하면 의사결정 만족도가 약 9% 높았다.

내 생각

기존 시스템들은 내가 이미 가진 선호를 뽑아내는 데 그쳤다. 이 논문은 대화를 통해 없던 선호를 만들어 준다는 점이 매력적이었다.

질적 분석 결과에서도 배운 점이 있었다. 사람은 낯선 환경에서 결정을 내릴 때 자신이 틀리지 않았다는 걸 확인받고 싶어 한다. 그리고 만족감을 주려면 더 나은 선택지를 놓치지 않았다는 확신을 줘야 한다는 걸 알게 됐다.

아쉬운 점

ChoiceMates는 구글 검색을 스크래핑한 정보에 기댄다. 그러면 검색 최적화가 잘 된 광고성 정보에 시스템이 휘둘릴 위험이 있다.

또 실제 경험이 없는 에이전트가 경험자인 척하는 것 자체가 본질적으로 할루시네이션이 아닌가 싶다. 이를 그럴싸한 대답으로 포장하는 방식은 실제 서비스에 쓰기엔 아직 위험해 보인다.

지금의 ChoiceMates는 별도의 알고리즘 없이 LLM의 추론만으로 사용자의 의도를 파악한다. 협상이나 정신 건강처럼 미묘한 맥락이 중요한 분야로 가려면 반드시 보완해야 할 부분이라고 생각한다.

그 밖에

이 연구는 v1이 2023년에 나왔는데, 2026년에야 출판됐다. 실제 사람에게 영향을 주는 기술을 만드는 만큼 신경 쓸 것이 많고, 그래서 연구 과정도 굉장히 길다는 걸 알게 됐다. 조금 무섭기도 하다.

이 논문의 1저자는 시스템 구현부터 실험까지 풀스택으로 연구를 진행했다. 내가 앞으로 지향하고 싶은 방향이다.