DEBATE: A Large-Scale Benchmark for Evaluating Opinion Dynamics in Role-Playing LLM Agents
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Google DeepMind(谷歌DeepMind);Stanford University(斯坦福大学)
提出DEBATE基准,通过多轮公共消息和Likert量表信念数据,评估多代理角色扮演LLM模拟中观点动态的真实性,发现零样本设置下代理组过度收敛,而监督微调可改善立场对齐并减少组级收敛误差。
2026-10-19 cs.CL
Beyond Demographics: Aligning Role-playing LLM-based Agents Using Human Belief Networks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究提出利用经验推导的人类信念网络(包含64个主题和9个潜在因子)来对齐基于LLM的角色扮演智能体,发现植入单一信念能显著提升网络内相关主题的LLM与人类观点一致性,为社会信念分布模拟提供新路径。
2024-10-16 cs.CL
Can Factual Opinions Be Edited (Manipulated) in Large Language Models?
The Pennsylvania State University(宾夕法尼亚州立大学)
提出FOE基准测试,评估当前知识编辑技术对事实性观点(如公众人物立场)的操纵能力,并发现其仅能实现表面修改,无法保持观点与证据的一致性;进而提出自生成证据对齐方法实现观点-证据对齐。
2026-06-12 cs.CL
Benchmarking Distributional Alignment of Large Language Models
Stanford University(斯坦福大学)
本研究构建基准,评估大型语言模型在问题领域、引导方法和分布表达方法三个维度上与特定群体意见分布的匹配能力,发现LLM描述分布优于模拟分布。
2024-11-08 cs.AI cs.CL
SOUL: Towards Sentiment and Opinion Understanding of Language
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Nanyang Technological University(南洋理工大学);Hupan Lab(湖畔实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出SOUL任务,通过评论理解与理由生成两个子任务评估语言模型的情感与观点理解能力,并构建新数据集,实验表明现有模型与人类表现差距最高达27%,凸显情感分析仍需进一步突破。
2023-10-27 cs.CL
How Identity and Opinion Shape Political Sycophancy in LLMs
National Yang Ming Chiao Tung University(国立阳明交通大学);Academia Sinica(中央研究院);Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
该研究提出框架区分LLM政治奉承的观点与身份触发因素,经450个政治困境评估13个指令调优LLM,发现二者易感性解离、信号次可加,表明LLM政治立场具交互可引导脆弱性。
2026-09-01 cs.AI cs.CL cs.CY
Simulating Opinion Dynamics with Networks of LLM-based Agents
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出用大语言模型智能体群体模拟观点动态,发现其固有准确性偏置导致过早共识,而通过提示工程引入确认偏误后可复现观点分裂,为改进LLM以模拟人类信念演化提供了方向。
2024-04-01 cs.CL physics.soc-ph
Improving the Distributional Alignment of LLMs using Supervision
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文通过简单监督提升LLM在不同群体上的分布对齐,分析了三个数据集的对齐效果,并为未来研究提供基准。
2026-04-20 cs.CL
Synthesizing Public Opinions with LLMs: Role Creation, Impacts, and the Future to eDemorcacy
University Of Houston(休斯顿大学);Kent State University(肯特州立大学);Ohio State University(俄亥俄州立大学)
本文提出基于知识注入的LLM角色创建方法,结合RAG与HEXACO人格档案动态生成提示,显著提升了合成公众意见与真实调查回应的一致性。
2025-03-31 cs.AI cs.CL
LLMs as Architects and Critics for Multi-Source Opinion Summarization
Computer Science and Engineering, IIT Bombay, India(计算机科学与工程系,印度班加罗尔理工学院);Flipkart, India(印度Flipkart)
针对多源观点摘要(M-OS)研究空白与评估数据集缺失问题,提出M-OS-EVAL基准数据集,探索LLMs在该任务中的应用,实验显示其提升用户参与度且与人类判断对齐性优于先前方法。
2025-07-07 cs.CL
Echoes of Agreement: Argument Driven Opinion Shifts in Large Language Models
Independent Researcher(独立研究者)
本文研究了提示中支持与反驳论点对LLMs政治偏见评估的影响,发现论点会显著改变模型响应方向,揭示了模型的迎合倾向及其对偏见测量与缓解策略的影响。
2025-08-11 cs.CL
Beyond One-Way Influence: Bidirectional Opinion Dynamics in Multi-Turn Human-LLM Interactions
University of Chicago(芝加哥大学);New York University(纽约大学);University of Washington(华盛顿大学);New York University Shanghai(纽约大学上海)
本研究通过多轮人机对话实验发现,人类观点几乎不变而LLM观点显著调整,个性化放大双向影响,个人故事交流最易触发立场变化,警示过度对齐风险。
2025-10-22 cs.AI cs.CL cs.CY
Bias in the Mirror: Are LLMs opinions robust to their own adversarial attacks ?
École Polytechnique(巴黎综合理工学院);LINAGORA;NTUA(雅典国立及卡波迪斯特里亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出一种LLM自我辩论的对抗攻击方法,通过两个模型实例争论相反观点来测试中立模型的偏见鲁棒性,实验覆盖多种规模、来源和语言的模型,揭示偏见在不同文化语境下的持久性与灵活性。
2024-11-05 cs.AI cs.CL
Designing Domain-Specific Large Language Models: The Critical Role of Fine-Tuning in Public Opinion Simulation
University College London(伦敦大学学院)
针对大语言模型在环境政策舆论模拟等专业任务中的不足,本文提出整合英国家庭纵向研究社会人口数据、采用多维度画像因子的微调方法,经多指标验证模型捕捉人口差异的能力显著提升,可支撑更精准合规的政策模拟及多领域决策。
2024-12-07 cs.AI cs.CL
No Preference Left Behind: Group Distributional Preference Optimization
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校);Stanford University(斯坦福大学)
针对DPO等方法偏向主导偏好、难以建模群体多元偏好分布的问题,本文提出GDPO框架,通过估计群体信念分布并对齐信念条件偏好,在合成与影评数据集上显著降低对齐差距。
2025-05-13 cs.CL
Large Language Models as Automatic Annotators and Annotation Adjudicators for Fine-Grained Opinion Analysis
Data Science Institute(数据科学研究所);University of Galway(Galway大学)
本文探索使用大语言模型作为自动标注者进行细粒度意见分析,提出声明式标注流水线和LLM裁决方法,实验表明LLM在跨度级别可靠但难以再现关系结构,更适合作为标注助手而非完全替代人类。
2026-08-04 cs.CL
The Potential and Challenges of Evaluating Attitudes, Opinions, and Values in Large Language Models
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Cambridge(剑桥大学);University of Maryland, College Park(马里兰大学帕克分校);ITU Copenhagen(哥本哈根信息技术大学)
本文系统综述了大型语言模型中态度、观点和价值观(AOVs)的评估方法,分析评估流程各阶段的不同方案,并探讨其在模型理解、人机对齐和社会科学应用中的潜力与挑战。
2024-10-03 cs.CL
Emulate or Estimate? The Divergent Strengths of Base and Post-Trained Language Models for Opinion Simulation
该研究针对大型语言模型用于观点模拟的矛盾结果,区分了模拟与估计任务,发现基础模型更适合模拟、后训练模型更适合估计,为相关模型选择提供了依据。
2026-09-01 cs.AI cs.CL
Conformity Generates Collective Misalignment in AI Agents Societies
University of Konstanz(康斯坦茨大学);Sony Computer Science Laboratories - Rome(索尼计算机科学实验室-罗马);Sapienza University of Rome(罗马大学);Max Planck Institute for Dynamics and Self-Organization(马克斯·普朗克动态与自组织研究所);Institute for the Dynamics of Complex Systems, University of Gottingen(复杂系统动力学研究所,哥廷根大学)
研究探讨了个体对齐的AI代理群体在一致性动态下可能陷入长期偏离状态的现象,揭示了集体安全性的不确定性。
2026-05-11 cs.CL cs.MA physics.soc-ph
Ideology as a Problem: Lightweight Logit Steering for Annotator-Specific Alignment in Social Media Analysis
Institute of Software, Chinese Academy of Sciences (ISCAS)(中国科学院软件研究所);Ludwig Maximilian University of Munich(慕尼黑大学)
本文提出了一种轻量级logit引导方法,用于在社交媒体分析中对特定标注者进行对齐,通过量化和修正模型输出以提升对齐效果。
2025-12-08 cs.AI cs.CL cs.SI
Quality-Aware Image-Text Alignment for Opinion-Unaware Image Quality Assessment
University of Florence(佛罗伦萨大学)
本文提出基于CLIP的自监督意见无关型图像质量评估方法QualiCLIP,通过质量感知的图像-文本对齐和合成退化排序训练,在多个数据集上超越现有方法并展现出强泛化能力。
2025-03-10 cs.CL cs.CV
Aspect-oriented Opinion Alignment Network for Aspect-Based Sentiment Classification
University of Electronic Science and Technology of China(电子科技大学);China Academy of Electronics and Information Technology(中国电子信息产业发展研究院)
针对基于方面的情感分类中观点词与方面语义不匹配问题,提出含邻接跨度增强模块和多视角注意力机制的AOAN模型,在三个基准数据集上取得最优结果。
2023-08-22 cs.AI cs.CL
EMBRACE: Shaping Inclusive Opinion Representation by Aligning Implicit Conversations with Social Norms
King Saud University, College of Computer and Information Sciences(沙特王后大学,计算机与信息科学学院)
本文提出EMBRACE框架,通过将回应立场建模为隐式意见代理并与社会规范对齐,结合PU在线学习和指令微调语言模型评估,以改善对话模型中意见表示的包容性与公平性。
2025-11-09 cs.CL
Reward Model Perspectives: Whose Opinions Do Reward Models Reward?
Elle University of Oxford(埃勒 奥克舍大学)
本研究提出框架衡量奖励模型所捕获意见的对齐程度,发现其与社会人口群体对齐不良且可能奖励有害刻板印象,提示引导不足以克服局限,强调偏好学习中需谨慎考虑奖励模型行为。
2025-10-07 cs.AI cs.CL
Translating Legalese: Enhancing Public Understanding of Court Opinions with Legal Summarizers
ETH Zurich(苏黎世联邦理工学院);Fordham University(福特汉姆大学);Columbia University(哥伦比亚大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出利用 AI 助手将司法判决书转化为简化摘要的流程,并通过调查实验证明其能提升公众尤其是低教育程度群体对裁决的理解与质量评价。
2024-03-02 cs.CL
Understanding the Dynamics between Vaping and Cannabis Legalization Using Twitter Opinions
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Ohio State University(俄亥俄州立大学)
大麻合法化受到美国许多州的欢迎,但其在从烟草电子烟使用升级到大麻vaping中的作用尚不清楚。与此同时,大麻vaping与新的肺部疾病和青少年使用率上升有关。为了了解大麻合法化对升级的影响,我们设计了一项观察性研究,以估计娱乐性大麻合法化对电子烟使用者亲大麻态度发展的因果影响。我们收集和分析Twitter数据,其中包含有关大麻和JUUL(一个非常受欢迎的电子烟品牌)的意见。我们使用弱监督学习进行个人推特过滤和分类的立场检测。我们发现,娱乐性大麻合法化政策对已经支持电子烟的用户的亲大麻态度的发展产生了影响。
2021-06-04 cs.CL cs.CY cs.LG
Towards Quantifying the Distance between Opinions
The Ohio State University(俄亥俄州立大学);University College Dublin(都柏林大学学院);Huawei Ireland Research Center(华为爱尔兰研究中心);Nokia Bell Labs(诺基亚贝尔实验室)
公共政策、治理和商业战略中的关键决策越来越依赖于对组成成员(例如公民、股东)的需求和意见的深入了解。虽然收集关于某个主题的大量意见变得越来越容易,但有必要使用自动化工具来帮助浏览意见空间。在这种情况下,理解和量化观点之间的相似性是关键。我们发现,仅仅基于文本相似性或整体情绪的措施往往无法有效地捕捉意见之间的距离。因此,我们提出了一种新的距离度量来捕获意见之间的相似性,该距离度量利用了细致入微的观察--类似的意见在特定的相关感兴趣实体上表达了类似的情感极性。具体来说,在无监督的环境中,与现有方法相比,我们的距离度量实现了更好的调整后兰德指数得分(高达56倍)和轮廓系数(高达21倍)。类似地,在监督设置中,与依赖于文本相似性、立场相似性和情感相似性的现有方法相比,我们的意见距离度量实现了更好的准确性(高达20%的增加
2020-01-27 cs.CL
Whose Opinions Do Language Models Reflect?
Stanford(斯坦福大学);Columbia University(哥伦比亚大学)
语言模型(LM)越来越多地被用于开放式环境中,其中LM响应于主观查询所反映的意见可以对用户满意度以及塑造整个社会的观点产生深远的影响。在这项工作中,我们提出了一个定量框架来调查LM所反映的意见-通过利用高质量的民意调查及其相关的人类反应。使用这个框架,我们创建了OpinionsQA,这是一个新的数据集,用于评估LM的意见与60个美国人口群体的意见在从堕胎到自动化等主题上的一致性。在各个主题中,我们发现当前LM所反映的观点与美国人口群体的观点之间存在实质性的不一致:与民主党-共和党在气候变化问题上的分歧不相上下。值得注意的是,即使在明确地将LM导向特定人口群体之后,这种错位仍然存在。我们的分析不仅证实了先前关于一些人类反馈调整的LM的左倾倾向的观察,而且还揭示了当前LM反映不佳的群体(例如,65+和丧偶的人)。我们的代码和数据可在https://github.com/tatsu-lab/opinions_qa上获得。
2023-03-30 cs.AI cs.CL cs.CY
Reflections on Sentiment/Opinion Analysis
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们描述了更深入理解的可能方向,有助于弥合心理学/认知科学与情感/观点分析文献中的计算方法之间的差距。我们专注于意见持有者的基本需求和由此产生的目标,这在一个功利主义的情感模型,提供了解释的理由,情感价举行的基础。虽然这些想法仍然不成熟,分散,非结构化,甚至是想象的,但我们相信这些观点可能会为未来的各种工作提供富有成效的途径。
2015-07-06 cs.CL
Citations are not opinions: a corpus linguistics approach to understanding how citations are made
引文内容分析试图根据引文制作过程中使用的语言来理解引文。引文内容分析的一个关键问题是寻找表征不同类别引文的语言结构,以理解引文的意图和功能。以前的工作都集中在建模语言特征第一,并得出结论的语言结构独特的每一类引用功能的基础上的分类任务或注释者之间的协议的性能。在这项研究中,我们从一个预先分类的引文语料库的大样本开始,来自scite Smart Citation数据集的每个类别(支持,争议和提及引文)的200万篇引文,并分析其语料库语言学,以揭示属于每种类型的引文的独特和统计上显著的语言结构。通过为每种引文类型生成比较表,我们提出了一些有趣的语言特征,独特的特点引文类型。我们发现,在引文搭配中,引文类型和情感之间的相关性很低。此外,我们发现跨类引用搭配的主观性很低。这些研究结果表明,搭配词的情绪是不是一个预测的引用功能,由于他们的主观性较低,一个意见表达模式的理解引用,隐含在以前的引用情感分析文献,是不合适的。相反,我们建议,引用可以更好地理解为索赔制作设备,其中引用类型可以通过理解如何比较两个索赔来解释。通过提出这一方法,我们希望能启发类似的语料库语言学研究的引文,得出一个更强大的理论,从实证的基础上使用引文语料库
2021-04-16 cs.CL cs.DL
Natural Language Understanding for Argumentative Dialogue Systems in the Opinion Building Domain
Southeast University(东南大学);Ulm University(乌尔姆大学);Mercedes-Benz Research & Development(梅赛德斯-奔驰研发中心)
本文介绍了一个自然语言理解(NLU)框架,在信息寻求和意见建设领域的辩论对话系统。该框架包括两个子模型,即意图分类器和论点相似度。意图分类器模型将BiLSTM与注意力机制堆叠在预训练的BERT模型之上,并微调模型以识别用户意图,而论点相似性模型使用BERT + BiLSTM来识别用户在他或她的自然语言话语中引用的系统论点。我们的模型是在一个争论性的对话系统,从事用户通知他/她自己的一个有争议的话题,通过探索赞成和反对的论点,并建立他/她对这个话题的意见。为了评估所提出的方法,我们收集用户话语的互动与各自的系统标签的意图和参考参数在一个广泛的在线研究。数据汇集包括多个主题和两种不同的用户类型(来自英国的英语母语者和来自中国的非英语母语者)。此外,我们分别在公开的Banking77和STS基准数据集上评估了所提出的意图分类器和参数相似性模型。评估表明,在几个数据集的基线方法,以及对新的主题和不同的语言能力,以及用户的文化背景所提出的方法的鲁棒性所使用的技术的明显优势。此外,结果表明,我们的意图分类器模型在Few-Shot设置中优于DIET、DistillBERT和BERT微调模型(即,每个意图具有10、20或30个标记的示例)和完整的数据设置。
2022-02-19 cs.CL cs.LG
Understanding Opinions Towards Climate Change on Social Media
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Yale University(耶鲁大学)
本文通过分析2006至2019年间1360万条推文,构建时序图并利用Louvain算法和自然语言处理方法,研究COP事件对社交媒体上气候变化讨论社区结构和情感主题演变的影响,为提升公众气候意识提供依据。
2023-12-02 cs.CL cs.LG cs.SI
Understanding Pre-trained BERT for Aspect-based Sentiment Analysis
Institute for Data Science, Tsinghua University(清华大学数据科学研究院);Department of Computer Science, University of Illinois at Chicago(伊利诺伊大学芝加哥分校计算机科学系);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文分析了基于方面的情感分析(ABSA)任务中从BERT上的评论中学习到的预训练隐藏表示。我们的工作是基于BERT的ABSA语言模型的最新进展。然而,目前还不清楚如何(掩蔽)语言模型的一般代理任务上训练的未标记的语料库没有方面或意见的注释可以提供重要的功能,在ABSA的下游任务。通过利用ABSA中的注释数据集,我们研究了评论预训练的BERT的注意力和学习表示。我们发现,BERT使用很少的自我注意中心词来编码上下文词(如介词或代词,指示一个方面)和意见词的一个方面。方面表示中的大多数特性都致力于领域(或产品类别)和方面本身的细粒度语义,而不是从其上下文中携带总结的意见。我们希望这项研究能够帮助未来的研究,以改善自监督学习,无监督学习和微调ABSA。预训练的模型和代码可以在https://github.com/howardhsu/BERT-for-RRC-ABSA上找到。
2020-10-31 cs.CL
A Hybrid Intelligence Method for Argument Mining
Leiden Institute for Advanced Computer Science (LIACS)(莱顿高级计算机科学研究所);Leiden University(莱顿大学);Interactive Intelligence (II)(交互智能研究所);Delft University of Technology(代尔夫特理工大学);Computational Linguistics & Text Mining Lab (CLTL)(计算语言学与文本挖掘实验室);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文提出混合智能方法HyEnA,结合人类推理与AI速度从公民意见中提取论点,在三个语料库上验证其覆盖率和精确率优于全自动方法,且比纯人工分析更省力而不损失质量。
2024-08-01 cs.AI cs.CL cs.HC