A LLM-based Controllable, Scalable, Human-Involved User Simulator Framework for Conversational Recom

• 概
• CSHI (Controllable, Scalable, and Human-Involved)
• 代码

Zhu L., Huang X. and Sang J. A llm-based controllable, scalable, human-involved user simulator framework for conversational recommender systems. 2024.

概

作者利用 LLM 进行用户模拟, 虽然是复杂了一点, 但是感觉还是很无聊啊, 没有想象中那么酷.

CSHI (Controllable, Scalable, and Human-Involved)

• CSHI 的设计初衷是为了更好地评判对话推荐系统, 本质上是一个用户模拟系统.

• user profile init: 这部分用于生成用户画像, 这一部分可以认为设置, 也可以模型通过用户的交互序列自动生成.

• preferences init: 分为 long/real-time preferences, 特别的, real-time preferences 分为 "known preferences" 和 "unknown preferences", 我们可以通过参数来设置一个用户 "known preferences" 和 "unknown preferences" 的比例.

• Message handling: 'user' 在接收到 (Agent) 的信息后, 会有三种模式:

  • Ask response: 此时判断 Agent 是希望知道自己的 preference, 所以会提供相应的偏好信息;
  • Recommend response: 此时消息是给自己推荐一些东西, 回答应当是一些反馈;
  • Chit-chat response: 闲聊阶段.

代码

[official]