近年来，ChatGPT等大语言模型（LLM）取得了显著进展，如今已被普通大众广泛使用。随着越来越多的人与这类系统交互，加深我们对这些黑箱模型的理解至关重要，尤其是在它们对人类心理层面的理解方面。本研究借助评价与应对理论的视角，采用压力与应对过程问卷（Stress and Coping Process Questionaire, SCPQ）探究大语言模型的情绪感知。SCPQ是一种经过验证的临床工具，包含多个随时间推进的故事，这些故事在可控性、可变性等关键评价变量上存在差异。我们将SCPQ应用于OpenAI的三款最新大语言模型——davinci-003、ChatGPT和GPT-4，并将结果与评价理论的预测及人类数据进行对比。结果显示，大语言模型的反应在评价与应对的动态性方面与人类相似，但它们的反应并未如理论和数据预测的那样，在关键评价维度上呈现出差异。在多个变量上，它们的反应幅度也与人类存在较大差异。我们还发现，GPT类模型对指令以及提问方式相当敏感。本研究补充了日益增多的大语言模型心理层面评估相关文献，有助于丰富我们对现有模型的理解。
英文摘要：
Large Language Models (LLM) like ChatGPT have significantly advanced in recent years and are now being used by the general public. As more people interact with these systems, improving our understanding of these black box models is crucial, especially regarding their understanding of human psychological aspects. In this work, we investigate their emotion perception through the lens of appraisal and coping theory using the Stress and Coping Process Questionaire (SCPQ). SCPQ is a validated clinical instrument consisting of multiple stories that evolve over time and differ in key appraisal variables such as controllability and changeability. We applied SCPQ to three recent LLMs from OpenAI, davinci-003, ChatGPT, and GPT-4 and compared the results with predictions from the appraisal theory and human data. The results show that LLMs' responses are similar to humans in terms of dynamics of appraisal and coping, but their responses did not differ along key appraisal dimensions as predicted by the theory and data. The magnitude of their responses is also quite different from humans in several variables. We also found that GPTs can be quite sensitive to instruction and how questions are asked. This work adds to the growing literature evaluating the psychological aspects of LLMs and helps enrich our understanding of the current models.
CAREBench: Evaluating LLMs' Emotion Understanding by Assessing Cognitive Appraisal Reasoning
Department of Informatics（信息学院）；King’s College London（伦敦国王学院）；Institute of Psychology（心理学研究所）；University of Tartu（塔尔图大学）；Department of Psychology（心理学系）；Stanford University（斯坦福大学）；The Alan Turing Institute（艾伦·图灵研究所）
APTNESS: Incorporating Appraisal Theory and Emotion Support Strategies for Empathetic Response Generation
Sun Yat-Sen University（中山大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
CAPE: A Chinese Dataset for Appraisal-based Emotional Generation using Large Language Models
International Digital Economy Academy (IDEA)（国际数字经济学院（IDEA））；University of Michigan（密歇根大学）；Hong Kong University of Science and Technology（香港科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）
Mechanistic Interpretability of Emotion Inference in Large Language Models
Institute for Creative Technologies, University of Southern California (USC)（创意技术研究所，南加州大学）；Information Sciences Institute, University of Southern California (USC)（信息科学研究所，南加州大学）；Department of Computer Science, University of Southern California (USC)（计算机科学系，南加州大学）；Department of Statistics and Data Science, University of California, Los Angeles (UCLA)（统计与数据科学系，加州大学洛杉矶分校）
Cognition-Oriented Emotion Tracing from Causes to Consequences in Real-World Social Scenes
National University of Singapore（新加坡国立大学）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；University of Oxford（牛津大学）；Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算与智能研究院）
Appraisal Theories for Emotion Classification in Text
Institut für Maschinelle Sprachverarbeitung, University of Stuttgart（斯图加特大学机器语言处理研究所）；Leibniz-Institut für Wissensmedien（莱布尼茨知识媒体研究所）；University of Tübingen（蒂宾根大学）
LongEmotion: Measuring Emotional Intelligence of Large Language Models in Long-Context Interaction
Shenzhen MSU-BIT University（深圳MSU-BIT大学）；The University of Hong Kong（香港大学）；City University of Hong Kong（香港城市大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所）；Beijing Normal University（北京师范大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
Practical Text Classification With Large Pre-Trained Language Models
University of California, Berkeley（加州大学伯克利分校）；NVIDIA（英伟达）
多情感情感分类是一个自然语言处理（NLP）问题，具有真实世界数据的有价值用例。我们证明了大规模无监督语言建模与微调相结合，为困难数据集上的这一任务提供了一个实用的解决方案，包括那些具有标签类不平衡和特定领域上下文的数据集。通过在40 GB的文本（亚马逊评论）（McAuley et al. 2015）上训练基于注意力的Transformer网络（Vaswani et al. 2017）并对训练集进行微调，我们的模型在SemEval任务1：E-c多维情感分类问题（Mohammad et al. 2018）上获得了0.69 F1分数，基于Plutchik轮情感（Plutchik 1979）。这些结果与最先进的模型相比具有竞争力，包括在困难（情绪）类别（如恐惧（0.73），厌恶（0.77）和愤怒（0.78））上的强大F1分数，以及在罕见类别（如预期（0.42）和惊喜（0.37））上的竞争结果。此外，我们展示了我们的应用程序在现实世界中的文本分类任务。我们创建了一个严格收集的关于几个主题的真实推文的文本数据集，并表明我们的微调模型在此数据集上的情感和多维情感分类方面优于通用商业API。我们还进行了各种额外的研究，调查深度学习架构，数据集和算法的属性，以实现实用的多维情感分类。总的来说，我们发现无监督语言建模和微调是一个简单的框架，可以在现实世界的情感分类中获得高质量的结果。
More Code, Less Reuse: Investigating Code Quality and Reviewer Sentiment towards AI-generated Pull Requests
Institute of Science Tokyo（东京科学研究所）；Nara Institute of Science and Technology（奈良科学技術大學）；Ritsumeikan University（立命館大學）；Kyushu University（九州大學）；University of British Columbia（不列颠哥伦比亚大學）
Love, Lies, and Language Models: Investigating AI's Role in Romance-Baiting Scams
Center for Cybersecurity Systems & Networks, Amrita Vishwa Vidyapeetham, Amritapuri（网络安全系统与网络中心，阿米特大学，阿米塔普里）；Ca’ Foscari University of Venice（威尼斯卡弗斯卡里大学）；University of Melbourne（墨尔本大学）；Ben Gurion University of the Negev（内盖夫本· Gurion大学）
A Linguistic Analysis of Spontaneous Thoughts: Investigating Experiences of Déjà Vu, Unexpected Thoughts, and Involuntary Autobiographical Memories
Department of Computer Science, Colorado State University（计算机科学系，科罗拉多州立大学）；Department of Educational Psychology, University of Minnesota（教育心理学系，明尼苏达大学）；Department of Psychology, Colorado State University（心理学系，科罗拉多州立大学）
Investigating Subjective Factors of Argument Strength: Storytelling, Emotions, and Hedging
Leibniz University Hannover（莱比锡大学汉诺威分校）；University of Stuttgart（斯图加特大学）；Leibniz Institute for the Social Sciences - GESIS（莱比锡社会科学研究所 - GESIS）；Heinrich Heine University Düsseldorf（海因里希-海涅大学多特蒙德）
