ASTRA: A Negotiation Agent with Adaptive and Strategic Reasoning via Tool-integrated Action for Dynamic Offer Optimization

문제

강화학습 기반 협상 에이전트는 고정된 보상 구조에 갇혀 있어서, 상대방이 실시간으로 태도를 바꿔도 거기에 맞춰 유연하게 대처하지 못했다. 최근에는 LLM 기반 협상 에이전트 연구가 많지만, 대부분 단순한 단일 이슈 협상에 머물렀다. 복잡한 다중 이슈 협상에 투입하면 비합리적이거나 손해를 보는 제안을 남발하는 한계가 있었다.

ASTRA는 텍스트 생성에서 멈추지 않는다. 대화 턴마다 LP solver라는 수학적 도구를 동적인 보상 함수처럼 활용해서 협상 제안을 최적화한다.

방법

ASTRA가 제안을 만드는 과정은 이렇다.

1. 상대방의 발화를 보고 공정성과 태도를 해석한다.
2. LP solver로 최적의 제안 후보들을 뽑는다.
3. 가상의 상대방 에이전트로 각 후보의 수락 확률을 평가한다(PAP).
4. 지금 맥락에 맞는 전략인지 평가한다(SA).
5. PAP와 SA를 합산해 최종 제안을 고른다.

독특한 점은 말을 잘하는 에이전트가 아니라, 계산기를 장착한 에이전트라는 것이다. 수학적으로 파레토 최적, 즉 어느 한쪽의 이득을 줄이지 않고는 다른 쪽의 이득을 늘릴 수 없는 상태에 가까운 유리한 조건을 계산해 낸다.

결과

ASTRA를 붙인 에이전트는 협상이 타결됐을 때 평균 24.34점을 얻었다. 같은 에이전트에서 ASTRA를 뺀 버전(20.75점)보다 약 3.6점 높다. 이 실험은 우선순위가 높음, 중간, 낮음인 세 종류의 아이템을 나누는 방식인데, 이 차이는 중간 순위 아이템을 하나 더 가져간 정도다.

실제 협상 전문가들이 협상 전략의 유효성을 평가했을 때도, ASTRA는 비교 대상 에이전트보다 평균 0.93점 높은 점수를 받았다. 또 전문가들도 생각하지 못한 새롭고 유리한 제안을 약 28%의 비율로 내놓았다.

내 생각

에이전트가 협상한다고 하면 보통 "[제안] 의자 3개, 방향제 1개" 같은 기계적인 숫자 교환을 떠올리기 쉽다. 그런데 실제 사람들의 대화 데이터를 바탕으로 구어체 협상을 하고, 의미 있는 결과까지 냈다는 점이 흥미로웠다.

저자들은 ASTRA가 사람 대신 협상하기보다는 협상 코치나 의사결정 지원 도구로서 잠재력이 크다고 밝힌다. 나도 인공지능은 사람을 대체하기보다 사람의 능력을 키워 주는 쪽으로 발전해야 한다고 생각해서, 이 방향이 마음에 들었다.

아쉬운 점

전문가 평가에서는 전문가의 제안과 ASTRA의 제안 중 어느 쪽이 더 새롭고 유리한지를 물었다. 그런데 질문이 "ASTRA의 제안이 당신의 제안보다 얼마나 더 낫습니까?"처럼 답을 유도하는 형식이었다. 선택지도 '내 제안이 더 낫다'는 응답이 Same or Worse 하나로 묶여 있어서, 결과가 다소 편향됐을 가능성이 있다. 평가를 다시 제대로 한다면 결과가 어떨지 궁금하다.

그리고 실제 협상에서는 숫자로 된 이익만큼이나 감정적인 만족도가 중요하다. ASTRA의 수치적 최적화가 감정적인 만족도까지 얼마나 채워 줄 수 있을지는 의문이다.