MetaData

• 发表时间 2024.02.17
• 作者：Xintao Wang, Yunze Xiao, Jen-tse Huang, Siyu Yuan, Rui Xu, Haoran Guo,Quan Tu, Yaying Fei, Ziang Leng, Wei Wang, Jiangjie Chen, Cheng Li, Yanghua Xiao
• 项目链接：https://github.com/Neph0s/InCharacter

摘要

由大语言模型驱动的角色扮演代理（Role-playing agents (RPAs)）已经成为一个蓬勃发展的应用领域。然而，需要评估RPA是否准确再现了目标角色。现有的方法主要关注角色的知识和语言模式，本文引入了一个新的视角，用心理尺度表来评估RPA的人格保真度，克服了以往RPA自我报告评估的不足。我们提出了INCHARACTER，即Interviewing Character agents for personality tests。实验包括各种类型的RPA和llm，涵盖14个拆用的心理量表和32个不同角色。结果验证了INCHARACTER在RPA人格测量中的有效性。然后，使用INCHARACTER，我们发现最先进的rpa表现出与人类感知的角色个性高度一致的个性，准确率高达80.7%。我们的demo1、代码、数据集和结果都可以在https: //github.com/Neph0s/InCharacter上公开获得。