如何利用CoSER模型提升AI角色扮演能力:最大真实数据集与先进评估方法解析

 

在当今数字化快速发展的时代,角色扮演AI(Role-Playing Language Agents,RPLAs)作为大语言模型(LLM)的一个重要应用,越来越受到关注。

这项技术不仅可以用于情感陪伴、故事创作,还能在游戏中为角色赋予生命。

复旦大学的王鑫涛博士及其团队在这一领域做出了重要的贡献,他们的研究项目“CoSER”旨在提升角色扮演AI的表现,尤其是在扮演经典文学作品中的角色时。

如何利用CoSER模型提升AI角色扮演能力:最大真实数据集与先进评估方法解析

图 1:CoSER 数据集中的一个示例,该数据集提供 全面的数据类型 例如对话对话和设置、情节摘要、人物的内心想法,真实地来自知名书籍。

CoSER项目的核心在于构建一个庞大的真实数据集,涵盖了来自771本知名文学作品的17,966个角色,以及29,798段真实对话。

这些对话不是由AI生成的,而是从经典文学中提取的,确保了数据的真实性和丰富性。

与以往的数据集相比,CoSER的数据不仅包含角色的基本信息,还包括详细的对话背景、关键剧情摘要和角色经历。

这种全面性使得角色扮演AI在理解和模拟角色时更为精准。

如何利用CoSER模型提升AI角色扮演能力:最大真实数据集与先进评估方法解析

图 2:CoSER 的数据集、训练和评估概述。 左图:CoSER 数据集来自知名书籍,并通过基于 LLM 的管道进行处理。 它包含有关情节、对话和人物的丰富数据类型。 右: 我们应用给定环境行为来使用这些对话来训练和评估角色扮演 LLM。 对于训练,每个样本都会训练 LLM 使用其原始对话在对话中描绘特定角色。 对于评估, 在给定相同场景的情况下,我们构建了一个用于对话模拟的多智能体系统,并通过基于惩罚的 LLM 批评者评估模拟对话。

在训练和评估方面,CoSER引入了一种名为“给定情境表演”(Given-Circumstance Acting,GCA)的方法。

这种方法受到著名表演理论家斯坦尼斯拉夫斯基的启发,强调在特定情境下进行角色扮演。

在训练过程中,模型需要根据对话及其上下文情景来扮演不同角色,并在此基础上进行训练。

评估阶段则采用多智能体模拟和基于惩罚的评判机制,确保角色表现的质量和忠实度。

如何利用CoSER模型提升AI角色扮演能力:最大真实数据集与先进评估方法解析

图 3:LLM 在 CoSER 测试中的表现 具有从各种角色数据中检索增强功能。 Expr.和 Conv. 分别表示体验和对话。

通过这些创新,CoSER项目展示了其在角色扮演AI领域的强大能力。

实验结果显示,CoSER-70B模型在多项评估中表现优异,超越了其他开源模型,证明了其在真实对话生成和角色表现上的出色能力。

如果你想深入了解CoSER的细节,可以访问项目的GitHub页面

同时,相关的论文也可以在这里找到:CoSER论文