Steering LLMs Responses Towards Moral Foundations on the Norwegian MFQ-30
本研究对六个开放权重LLM施测挪威MFQ-30,发现人物角色引导可显著拉近模型与人类道德画像的距离,而ActAdd则使画像变平,并揭示了认知幻影现象。
2026-09-21 cs.AI cs.CL cs.CY
Assessing AI-Generated vs. Human-Authored Spear Phishing SMS Attacks: An Empirical Study
Brigham Young University(杨百翰大学)
本研究对比GPT-4与新手学生撰写的个性化钓鱼短信,发现AI生成消息引发点击意图比例略高,工作相关消息更易诱导点击,参与者无法准确判断消息来源,还验证了TRAPD的价值与局限。
2026-08-18 cs.AI cs.CY
Plausible but Not Valid: A Psychometric Audit of LLMs as Synthetic Survey Respondents
Hostinger;Kaunas University of Technology(考纳斯理工大学);AI Insight Lab
本文通过心理计量学分析发现,虽LLMs可复现人类调查关系的定性方向,但其心理计量学相似性不及高斯copula基线,且存在默许偏移、预测效度下降等问题,无法作为人类调查数据的直接替代品。
2026-10-14 cs.AI cs.CL cs.CY
Perceived Political Bias in LLMs Reduces Persuasive Abilities
Leiden University(莱顿大学)
研究发现,感知到的LLM政治偏见会降低其在对话中的说服效果,表明说服力受政治中立性感知的影响。
2026-02-20 cs.AI cs.CL cs.CY
Assessing Personalized AI Mentoring with Large Language Models in the Computing Field
Oklahoma State University(俄克拉荷马州立大学);Purdue University(普渡大学)
本研究针对计算机领域个性化职业指导,用零样本学习评估GPT-4、LLaMA 3、Palm 2三款大语言模型,结合定量定性分析验证GPT-4个性化指导效果更优,为相关工具开发奠基。
2024-12-11 cs.AI cs.CL
Persona-Based Simulation of Human Opinion at Population Scale
University of Michigan(密歇根大学);Institute for Social Research(社会研究所)
本文提出SPIRIT框架,通过分析社交媒体数据构建人设,实现个体化模拟,提升对人口层面意见和干预效果的预测能力。
2026-03-28 cs.AI cs.CY cs.LG
You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments
University of Michigan(密歇根大学);Georgia Institute of Technology(佐治亚理工学院);LG AI Research(LG人工智能研究院)
本文通过构建涵盖39种人格测量工具的数据集并设计提示扰动实验,系统评估了17个大型语言模型在心理测量问答中的可靠性,发现简单扰动即显著降低模型表现且否定一致性较差,指出当前提示方法不足以可靠捕捉模型感知。
2024-04-01 cs.AI cs.CL
Assessing the nature of large language models: A caution against anthropocentrism
Sandia National Laboratories(桑迪亚国家实验室)
本研究通过标准化认知和人格测量工具评估了GPT 3.5等LLM,发现其不具备感知能力,且在重复测试中表现出极大的不稳定性,同时展现出类似人类心理健康不佳的特征,警示人们应警惕对AI的人类中心主义倾向。
2024-06-27 cs.AI cs.CL cs.CY
Virtual Personas for Language Models via an Anthology of Backstories
University of California, Berkeley(加州大学伯克利分校);Google LLC(谷歌公司)
本文提出 anthology 方法,利用开放性生活叙述引导语言模型生成特定虚拟人物,提升实验结果的一致性和可靠性,通过三个人类调查发现其在匹配响应分布和一致性指标上分别提升18%和27%。
2026-05-10 cs.AI cs.CL
From Caricature to Collective Artifact: How Persona Construction Drives Polarization in Generative Social Simulations
University of Amsterdam(阿姆斯特丹大学)
该研究通过类Twitter生成式社会模拟平台,消融实验发现调整人格构建中的党派声明可改变网络极化程度,提出需结合显著性评估人格行为有效性并给出评估清单。
2026-10-14 cs.AI cs.SI
CCBENCH: Assessing LLM Cultural Competence via Implicitly Signaled Norms using Health Queries
Carnegie Mellon University(卡内基梅隆大学)
该研究引入CCBENCH框架,以健康领域为案例创建CCBENCH-Health评估大语言模型文化能力。通过60个角色、3120次互动对五个领先模型进行基准测试,发现模型文化恰当回应比例低,提示关注文化线索能适度提升性能,还揭示了模型与文化线索互动的一些特点。
2026-07-08 cs.AI cs.CL cs.CY
Assessing Privacy Preservation and Utility in Online Vision-Language Models
University of Massachusetts Boston(马萨诸塞大学波士顿分校)
本文研究了在线视觉语言模型中个人身份信息泄露问题,探讨了图像中上下文关系提取对隐私的影响,并提出保护隐私同时保持效用的方法。
2026-04-06 cs.AI cs.CV
Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Maryland(马里兰大学);University of Mannheim(曼海姆大学);Mannheim Centre for European Social Research(曼海姆欧洲社会研究中心)
本研究以德国投票选择为例,使用GPT-3.5生成合成样本估计公众意见,发现其预测不准确且存在党派偏见,揭示了LLM在意见表征上的局限。
2024-07-11 cs.AI cs.CY stat.AP
Adoption, usability and perceived clinical value of a UK AI clinical reference platform (iatroX): a mixed-methods formative evaluation of real-world usage and a 1,223-respondent user survey
NHS(英国国家医疗服务体系);University of Cambridge(剑桥大学)
本研究通过真实世界使用分析和1,223名受访者调查,评估了英国RAG临床参考平台iatroX的采用、可用性和感知临床价值,结果显示其能有效缓解信息过载并提供及时答案。
2025-09-25 cs.AI cs.CY cs.HC
Synthetic Data in Marketing Research: How to Evaluate and When to Trust
Columbia Business School(哥伦比亚商学院);TRC Insights(TRC洞察公司)
本研究提出评估营销研究合成数据的方法,区分三种类型并引入遗忘问题场景,通过R²诊断筛选孪生数据,显著提升个体层面相关性并降低低质量问题比例。
2026-09-22 cs.AI
Towards Natural Personalization: Evaluating Long-Horizon Preference Following in Personalized User-LLM Interactions
National University of Singapore, Singapore(新加坡国立大学)
RealPref提出一个评估个性化用户-LLM交互中长周期偏好跟随的基准,揭示LLM在长上下文和隐性偏好下的表现下降问题。
2026-09-01 cs.AI
Simulating Macroeconomic Expectations in Survey Experiments with LLM-based Economic Agents
Lingnan College, Sun Yat-sen University(中山大学岭南学院)
提出一个利用基于大语言模型的经济主体(LLM Agents)模拟调查实验中宏观经济预期的框架,通过复现三种代表性调查设计验证其有效性,发现LLM Agents能生成与人类高度相似的预期分布并捕捉定性模式,其中先验信息对匹配分布至关重要。
2026-06-01 cs.AI econ.GN q-fin.EC
From Simulated Citizens to Simulated Deliberation: Challenges in Representation and Interaction
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Seoul National University(首尔大学)
本研究用韩国人格智能体模拟审议,发现其难以再现人口意见模式,且立场变化多非源于互动,表明人口表征与互动驱动变化难以兼得。
2026-10-16 cs.AI
Evaluating Developmental Cognition Capabilities of LLMs
De Vinci Research Center(德文西研究中心);MIT Media Lab(MIT媒体实验室);University of Oxford(牛津大学);Google(谷歌)
本文提出DSCT测试,通过自述文本评估发展认知阶段,发现LLM在模拟角色和真实人类响应中表现出不同的阶段特征,表明发展信号在合成响应中更清晰。
2026-05-08 cs.AI
Persona-Based Synthetic Data Generation Using Multi-Stage Conditioning with Large Language Models for Emotion Recognition
Almondays Co., Ltd(Almondays 有限公司);Kansai University(关西大学);Yokohama City University(横滨市立大学)
针对情感数据集稀缺问题,提出基于多阶段人格条件化的大型语言模型框架PersonaGen,通过构建分层虚拟人生成高质量情感文本,在多样性、真实性与下游任务中均显著优于基线。
2025-09-13 cs.AI cs.CL
Can Open-Weight Large Language Models (LLMs) Simulate Human Survey Populations? A Cross-Instrument Calibration Study
本研究通过跨工具校准任务评估开放权重LLM模拟人类调查群体的能力,发现未调优模型即可复现真实人类跨工具相关性(r≈0.70-0.73),但性能不随版本单调提升,需版本特定的验证。
2026-09-29 cs.AI
Dynamic In-Group Persona Generation for Enhancing Human-AI Rapport
Korea University(韩国大学);Kakao Mobility;University of California, Berkeley(加州大学伯克利分校)
提出一种动态内群体人格生成方法,通过识别用户主要关切并生成共享相似关切的内群体人格,显著提升人机融洽关系,实验表明该方法优于无人格条件和最小自我表露基线。
2026-06-18 cs.AI cs.HC
LMLPA: Language Model Linguistic Personality Assessment
Hong Kong Polytechnic University(香港理工大学);University of Oulu(奥卢大学);University of Cambridge(剑桥大学)
本文提出LMLPA系统,通过改编Big Five Inventory为开放式问卷并利用AI评分器与主成分分析,定量评估大型语言模型的独特语言人格特质,为人机交互等领域提供稳健框架。
2024-11-11 cs.AI cs.CL
Large language models simulate intersectional synthetic identities with a budget of one to two dimensions
Massachusetts Institute of Technology (MIT)(麻省理工学院);École Polytechnique(巴黎综合理工学院)
该研究针对皮尤美国趋势调查面板数据,发现大型语言模型模拟交叉身份时,其响应未呈现真实身份的加总特性,且会系统性舍弃种族、宗教等关键驱动因素,仅能单次代表单一身份。
2026-08-25 cs.CY
LLM-Mirror: A Generated-Persona Approach for Survey Pre-Testing
针对调查实施需迭代调整的问题,提出LLM-Mirror生成式角色方法,通过向LLMs提供受访者先验信息生成用户角色,结合PLS-SEM验证其能同时复制统计分布与个体决策模式,为调查预测试提供补充工具。
2024-12-05 cs.CY
Item-Mean Surrogates: Why Richer Personas Fail to Deliver Individual Fidelity in LLMs as Human Surrogates
University of Georgia(佐治亚大学);MIT Sloan School of Management(麻省理工学院斯隆管理学院);Boston University(波士顿大学)
该研究验证LLM作为人类替代物的前提,发现其仅能近似项目均值,无法捕捉受访者特异性偏差,且更丰富的角色数据等无法缩小差距,提出四项实证检验方法。
2026-11-03 cs.CL cs.CY cs.LG
Creating Multilingual Mental Health Dialogue Datasets: Limits of Persona-Based Localization via Nationality and Language
Pennsylvania State University(宾夕法尼亚州立大学)
研究通过修改人物角色中的国籍和语言参数生成中文、孟加拉语和印地语临床对话,发现仅添加这些参数会导致跨语言临床不一致,且LLM评估非英语文本的抑郁严重度时存在不准确性。
2026-06-19 cs.AI cs.CL cs.HC
Memory-Driven Role-Playing: Evaluation and Enhancement of Persona Knowledge Utilization in LLMs
Harbin Institute of Technology(哈尔滨工业大学);Macquarie University(麦考瑞大学)
本文提出Memory-Driven Role-Playing框架,通过MREval、MRPrompt和MRBench评估LLM在角色扮演中的记忆能力,验证了小模型能效媲美大模型,并证明上游记忆提升下游响应质量。
2026-03-14 cs.AI cs.CL
Distribution-First Population Simulation: Collapse, Calibration, and Recall in Non-WEIRD LLM Persona Modeling
Istanbul Technical University(伊斯坦布尔技术大学)
研究非怪异LLM角色建模中独立代理范式的问题,提出分布优先校正方法,通过言语化采样等进行实验,发现原范式有崩溃等问题,校正方法能测量内部不一致性及校准条件。
2026-07-22 cs.AI physics.soc-ph
LLMs with Personalities in Multi-issue Negotiation Games
Dartmouth College(达特茅斯学院)
本文在博弈论框架下通过1,500次单议题与多议题谈判模拟,分析Big Five人格对LLM公平、理性、毒性及谈判结果的影响,并提出评估与设计谈判机器人的框架。
2024-05-09 cs.AI cs.CL cs.MA
From Survey Personas to LLM Agents: A Generative Agent-based Simulation of Mobility Policy Preference Dynamics
RWTH Aachen University(亚琛工业大学)
本研究提出基于调查的生成式智能体建模框架,将德国514名调查受访者转化为LLM智能体,模拟公众对淘汰新型内燃机汽车的政策偏好动态,以助力行为实验。
2026-08-18 cs.CY
Non-Consensual Synthetic Intimate Imagery: Prevalence, Attitudes, and Knowledge in 10 Countries
Google USA(美国谷歌公司);RMIT University Australia(澳大利亚拉筹巴大学);Rutgers University USA(美国罗切斯特大学)
基于10国超1.6万受访者调查,本文揭示了深度伪造色情等非自愿合成亲密图像的普遍性、态度与认知,发现现有法律不足以遏制此类行为,建议通过数字素养教育与平台治理来预防危害。
2024-02-13 cs.AI cs.CY cs.HC
The Covid19Impact Survey: Assessing the Pulse of the COVID-19 Pandemic in Spain via 24 questions
在本文中,我们描述了一项名为Covid 19 Impact调查的大规模调查的分析结果,该调查旨在评估西班牙公民对与COVID-19大流行相关的四个领域的反馈:社会接触行为,财务影响,工作情况和健康状况。共有24个问题涉及人口统计学、家庭状况、社会接触行为、个人经济影响、工作场所状况和健康状况。该调查于2020年3月28日晚至4月2日期间收到了156,614名参与者的回复。如此庞大的回应让我们获得新的见解,以及前所未有地了解受访者在当前COVID-19疫情期间的个人经历和担忧。从分析中,我们得出了与COVID-19疫情管理相关的公共政策设计的几个启示。
2020-06-11 cs.CY
Assessing the Prevalence of AI-assisted Cheating in Programming Courses: A Pilot Study
本研究通过匿名调查和访谈在大型编程课程中初步评估AI辅助作弊的普遍性,发现超25%学生承认抄袭,表明调查方法有效而访谈参与度低。
2025-07-08 cs.AI cs.CY cs.HC
Adaptive Resource Allocation for Effective and Efficient LLM Social Survey Simulation
Renmin University of China(中国人民大学)
针对现有LLM社会调查模拟统一分配资源的低效问题,提出自适应框架E2Sim,联合选择模型与历史预算,经实验验证可同时提升准确率并降低成本。
2026-09-28 cs.CY
Towards Detecting AI-Assisted Responses in Online Surveys
The University of Melbourne(墨尔本大学);Deakin University(迪肯大学)
本研究提出ASURRE基准数据集,用于检测在线调查中的AI辅助回答,发现基于人设的智能体难以检测,但可通过行为线索聚合将AUROC提升0.14。
2026-09-16 cs.CL cs.CY
Assessing Simulation Knowledge and Proficiency Among Undergraduate Computing Students in Brazil: Insights and Results from a Survey Research
本研究通过调查巴西10个州108名本科计算机学生,分析仿真教育现状,发现仅19人接触过仿真,MATLAB/Simulink为最常用工具,强调仿真教育对培养应对复杂挑战人才的关键作用。
2025-02-19 cs.CY cs.SE
Navigating the digital spectrum: Assessing political bias, stability, and downstream fairness in Large Language Models
Jožef Stefan Institute(约热·斯泰凡研究所);Jožef Stefan International Postgraduate School(约热·斯泰凡国际研究生学院);University of La Rochelle(拉罗谢尔大学);University of Ljubljana(卢布尔雅那大学)
本研究提出政治罗盘测试框架,通过八维扰动空间采样评估八个大型语言模型的政治坐标,发现指令和语言显著影响结果,且角色提示对下游任务影响有限。
2026-09-09 cs.CL cs.CY
Can Large Language Model-Generated Responses Support Assessment Development? A Human-Calibrated Rasch Benchmark
Korea University(高丽大学)
本研究通过人工校准的Rasch基准评估LLM生成回答在测评开发中的可用性,发现其高内部一致性但低端类别使用不足,无法替代人类试点数据。
2026-09-23 cs.CY stat.AP
Evaluating Chinese Large Language Models: The Influence of Persona Assignment on Stereotypes and Safeguards
Politecnico di Milano(米兰理工大学);University of Science and Technology of China(中国科学技术大学)
本研究通过大规模跨模型分析,量化了角色分配对四个中文大语言模型在拒绝行为和毒性输出放大方面的影响,并探索了基于外部评估器的迭代缓解策略。
2026-05-26 cs.CY
Diagnosing the Demographic Distributions of LLM-Based Synthetic Persona Data: Reference-Distribution Dependence and Post Hoc Adjustment
Korea University(韩国大学)
该研究诊断LLM合成角色数据的人口统计分布与外部参考的匹配度,发现误差多源于参考选择,采用rake加权等方法调整后偏差降低,建议将合成角色数据作为调查辅助材料。
2026-09-29 cs.CY stat.AP
Latent Class Analysis of Digital Content Use Contexts in AI-Generated Synthetic Personas
Department of Education, Korea University(韩国大学教育学院)
本研究通过潜在类别分析NVIDIA合成人物数据,识别出四种数字内容使用情境类别,发现年龄是主要影响因素,为评估合成人物多样性提供基础。
2026-09-29 cs.CY
Assessing the Feasibility of a Video-Based Conversational Chatbot Survey for Measuring Perceived Cycling Safety: A Pilot Study in New York City
Center for Urban Science + Progress, Tandon School of Engineering, New York University(纽约大学坦登工程学院城市科学与工程中心);School of Geography, University of Leeds(利兹大学地理学院);Department of Technology of Management and Innovation, Tandon School of Engineering, New York University(纽约大学坦登工程学院技术、管理与创新系);Department of Urban and Regional Planning, College of Design, Construction and Planning, University of Florida(佛罗里达大学设计、建造与规划学院城市规划与区域规划系)
本文提出利用大语言模型结合视频调查和对话式AI聊天机器人,评估骑行安全感知的可行性,并通过纽约市九个街区的试点调查验证方法的有效性。
2026-04-07 cs.CY cs.HC