Disentangling the Drivers of LLM Social Conformity: An Uncertainty-Moderated Dual-Process Mechanism
Xi’an Jiaotong Liverpool University(西安交通大学利物浦大学);School of Microelectronics, Shanghai University(上海大学微电子学院)
本文借鉴信息级联范式,在医疗、法律、投资三类决策场景中评估九个主流大语言模型,发现信息性影响是其从众行为的基础,但不确定性会显著调节该机制:低至中等不确定性下模型保守低估证据,高不确定性下则出现类规范性放大并过度加权公共信号。
2025-08-17 cs.AI cs.CY
An Empirical Study of Group Conformity in Multi-Agent Systems
Kim & Chang AI&IT System Center(金 & Chang AI&IT 系统中心)
本文通过模拟超过2500场多智能体辩论,实证发现LLM智能体在争议性议题上表现出类似人类的群体从众行为,倾向于向多数群体或更聪明的智能体靠拢,揭示了智能体智能对舆论塑造的关键作用及在线环境中偏见放大的风险。
2025-06-02 cs.AI cs.CL cs.MA
Conformity Mitigations in Large Language Models Lie on a Single Resistance-Receptivity Frontier
Aarhus University(奥胡斯大学)
该研究针对大语言模型的从众效应,提出抵抗-接受双维度评估,发现多数缓解措施存在此消彼长的边界,仅Reasoning可同时提升抵抗性与接受性。
2026-08-13 cs.AI cs.MA
Ask-Before-Detection: Identifying and Mitigating Conformity Bias in LLM-Powered Error Detector for Math Word Problem Solutions
Michigan State University(密歇根州立大学);Squirrel Ai Learning(松鼠AI智适应教育);Carleton College(卡尔顿学院)
本文揭示了基于LLM的数学应用题错误检测器中忽略多种有效解法的从众偏差,提出Ask-Before-Detect框架生成自适应参考解答以缓解偏差,在GSM8K数据集上验证了其有效性。
2024-12-22 cs.CL
Who Has The Final Say? Conformity Dynamics in ChatGPT's Selections
Bielefeld University(比勒菲尔德大学)
本文通过三项预注册实验发现,GPT-4o在招聘决策中极易受社会影响而表现出从众行为,表明LLMs并非中立决策工具,强调在暴露于人类意见前获取AI判断的必要性。
2025-10-30 cs.AI
To Ensemble or Not: Assessing Majority Voting Strategies for Phishing Detection with Large Language Models
American University of Beirut(贝鲁特美国大学);Maroun Semaan Faculty of Engineering(马龙·西安工程学院)
本研究评估了三种多数投票策略(基于提示词、基于模型和混合集成)在LLM钓鱼URL检测中的表现,发现集成策略仅在个体组件性能相当时最有效,性能差异显著时不如最佳单一模型。
2024-11-29 cs.AI cs.CL
Automated stereotactic radiosurgery planning using a human-in-the-loop reasoning large language model agent
本文提出利用人类在回路的推理大型语言模型代理进行自动化立体定向放射手术计划,通过对比推理模型与非推理模型,展示了推理模型在剂量优化和计划行为上的优势。
2025-12-23 cs.AI cs.CL cs.HC
Linguistic Monoculture in LLM-Assisted Language Use
该研究针对LLM辅助语言使用中的语言单一文化问题,构建数学框架分析作者与LLM的共同演化机制,发现个性化可保留语言多样性,且个体理性作者的过度一致性会产生负外部性。
2026-07-30 cs.AI cs.CL cs.GT
Spiral of Silence in Large Language Model Agents
AAII, University of Technology Sydney(AAII,悉尼大学);University of Liverpool(利物浦大学);King’s College London(伦敦国王学院);University College London(伦敦大学学院)
本研究提出评估框架,通过控制历史与人格信号,在LLM智能体集体中检验沉默螺旋动态,发现二者结合可复现多数主导,仅历史产生锚定,仅人格则无法涌现SoS,凸显监测与缓解从众行为的必要性。
2025-10-08 cs.AI cs.CL
Are Pretrained Language Models Symbolic Reasoners Over Knowledge?
Center for Information and Language Processing (CIS)(信息与语言处理中心(CIS));LMU Munich(慕尼黑大学)
预训练的语言模型(PLM)如何从训练集中学习事实知识?我们研究了两个最重要的机制:推理和记忆。先前的工作试图量化PLM学习的事实数量,但我们目前,使用合成数据,第一次研究,调查培训中存在的事实和PLM学习的事实之间的因果关系。对于推理,我们表明,PLM似乎学会正确地应用一些符号推理规则,但与其他人,包括两跳推理斗争。进一步的分析表明,即使是学习推理规则的应用也是有缺陷的。对于记忆,我们确定图式一致性(由其他事实系统地支持的事实)和频率是成功的关键因素。
2020-10-10 cs.CL
Optimized Conformal Selection: Powerful Selective Inference After Data-Dependent Score Construction
McGill University(麦吉尔大学);Harvard University(哈佛大学)
针对保形推断中模型选择破坏数据可交换性的问题,提出OptCS框架,允许数据驱动优化模型后进行有效选择性推断,通过三种程序控制FDR,在模拟和实际应用中验证了有效性。
2026-10-22 cs.AI cs.LG stat.ME
Dynamic Sentiment Analysis with Local Large Language Models using Majority Voting: A Study on Factors Affecting Restaurant Evaluation
Meijo University(名城大学);RIKEN AIP(理化学研究所人工智能项目)
本研究将多数投票机制引入基于本地大语言模型的情感分析,通过餐厅评论的三项分析证明中等规模模型多次尝试的多数投票比大规模模型单次尝试更稳健,并探究各因素对整体评价的影响。
2024-07-18 cs.CL cs.IR
ChiEngMixBench: Evaluating Large Language Models on Expert-Style Chinese-English Terminology Mixing
School of Future Technology(未来技术学院)
ChiEngMixBench通过评估中英混合生成的自发性和自然性,揭示多语言模型与人类交流的结构化认知对齐
2026-08-05 cs.AI cs.CL
Diverse Human Value Alignment for Large Language Models via Ethical Reasoning
本文提出一种基于五步结构化伦理推理的框架,通过提示工程或监督微调提升LLM对多元人类价值的对齐能力,在SafeWorld基准上显著优于基线方法。
2025-11-01 cs.AI cs.CL
Examining Independence in Ensemble Sentiment Analysis: A Study on the Limits of Large Language Models Using the Condorcet Jury Theorem
Ai for Alpha;CentraleSupelec(中央高等电力学院);Dauphine - PSL(巴黎第九大学-巴黎文理研究大学)
本文基于孔多塞陪审团定理,通过多数投票机制实证检验ChatGPT 4等大语言模型与简单NLP模型在情感分析中的表现,发现大模型仅带来边际改善,表明模型间缺乏独立性,揭示了先进NLP任务中模型独立性的实际局限。
2024-08-26 cs.AI cs.CL
Evolving Language Models without Labels: Majority Drives Selection, Novelty Promotes Variation
Tencent AI Lab(腾讯AI实验室);University of Notre Dame(圣母大学);University of Virginia(弗吉尼亚大学)
EVOL-RL通过结合多数稳定性与新颖性探索,实现无需标签的自我改进语言模型,提升推理能力和领域外泛化能力。
2026-10-27 cs.CL cs.LG
Decoding the Silent Majority: Inducing Belief Augmented Social Graph with Large Language Model for Response Forecasting
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出SocialSense框架,利用大语言模型在现有社会网络上诱导信念中心图并结合图传播捕捉社会动态,有效预测新闻响应,在零样本和监督设置下超越SOTA,尤其擅长处理潜水者和未见用户场景。
2023-10-20 cs.AI cs.CL cs.LG
A decodability criterion predicts when hidden-state selection beats majority voting in large language models
Northwestern University(西北大学)
该研究提出可解码性准则及CASE方法,可预测大型语言模型中隐藏状态选择何时优于多数投票,CASE在通用和医疗LLM的中、高难度问题上均有显著提升,且预测可跨领域迁移。
2026-08-19 cs.AI
Majority Bit-Aware Watermarking For Large Language Models
University of Nevada, Reno(内华达大学里诺分校);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出多数位感知编码方法,通过放松绿色列表大小对水印信号强度的限制,提升大语言模型生成文本的解码准确性和文本质量。
2026-11-06 cs.CL cs.CR
Spam-T5: Benchmarking Large Language Models for Few-Shot Email Spam Detection
JPMorgan Chase(摩根大通)
本文提出Spam-T5,一种基于Flan-T5微调的模型,用于少样本电子邮件垃圾邮件检测,在多个数据集上优于基线方法和其他LLMs。
2023-05-07 cs.AI cs.CL
Latent Self-Consistency for Reliable Majority-Set Selection in Short- and Long-Answer Reasoning
LSC通过学习token嵌入选择语义一致的响应,有效提升短答和长答推理中的多数集选择可靠性,且计算开销低。
2026-02-27 cs.AI cs.CL
The Shrinking Landscape of Linguistic Diversity in the Age of Large Language Models
University of Southern California(南加利福尼亚大学);Information Science Institute(信息科学研究所)
该研究通过三项针对超88万篇文本的研究,发现广泛使用大语言模型作为写作助手会降低语言多样性,使写作风格同质化、复杂性方差下降21%-50%,对多领域存在潜在影响。
2026-08-26 cs.CL
Frustratingly Easy Majority Voting Using Length Conditioning
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学);University of Pisa(比萨大学);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
本研究提出长度条件多数投票(LCMV),利用测试时训练结合长度条件先验概率,在不微调大语言模型的情况下,提升多数投票法的推理准确率,且优于现有聚合策略。
2026-10-15 cs.AI cs.CL
Alignment Backfire: Language-Dependent Reversal of Safety Interventions Across 16 Languages in LLM Multi-Agent Systems
Research Institute of Criminal Psychiatry / Sex Offender Medical Center(犯罪精神病研究所以及性犯罪医疗中心);Department of Neuropsychiatry, Kyoto University(京都大学神经精神病学系)
本研究发现,在不同语言的LLM多智能体系统中,对齐干预可能导致安全措施的逆转,揭示了语言空间对对齐效果的决定性影响。
2026-03-05 cs.AI cs.CL
Vroom-Vroom at SHROOM-Visions: A Multi-Judge Committee for Detecting Hallucinated Spans in Vision-Language Outputs
VTT Technical Research Centre of Finland(芬兰国家技术研究中心)
本文提出多评委委员会方法,通过微调视觉语言模型投票检测幻觉片段,在SHROOM-Visions任务中三种语言排名第一,并发现模型分歧与人类分歧相关。
2026-09-17 cs.AI cs.CL
Silent Dissent: LLM Agents That Yield to the Majority Still Represent Their Original Premise
Delft University of Technology(代尔夫特理工大学);Sun Yat-sen University(中山大学)
本研究通过两跳事实问题探究LLM智能体在多数压力下改变答案时是否仍保留原始前提,使用雅可比透镜读取内部表示,发现屈服智能体在内部仍代表原始桥梁,表明陈述共识可能夸大真实一致性。
2026-10-06 cs.CL cs.MA
Zero-Shot Large Language Model Agents for Fully Automated Radiotherapy Treatment Planning
Department of Radiation Oncology, Duke University(杜克大学放射肿瘤科);Department of Radiation Oncology, University of California Irvine(加州大学尔湾分校放射肿瘤科)
本研究提出一种零样本大语言模型智能体工作流,用于自动导航调强放射治疗逆向计划制定,在头颈癌病例中达到与临床计划相当的危及器官保护,并改善热点控制和适形性。
2025-10-12 cs.AI cs.RO physics.med-ph
The Consistency Hypothesis in Uncertainty Quantification for Large Language Models
Rensselaer Polytechnic Institute(拉特格斯理工学院);IBM Research(IBM研究院);Zalando
本文形式化了将生成一致性作为置信度代理的“一致性假设”,通过数学陈述与统计检验在多任务上验证其普遍性,并基于最具可操作性的“Sim-Any”假设提出无数据黑盒UQ方法,有效提升了置信度估计性能。
2025-06-27 cs.AI cs.CL cs.LG
Linguistic Analysis of Requirements of a Space Project and their Conformity with the Recommendations Proposed by a Controlled Natural Language
CLLE-ERSS, CNRS and Université Toulouse 2 – Le Mirail(CLLE-ERSS,法国国家科学研究中心和图卢兹第二大学);CNES(法国国家空间研究中心)
法国国家航天局(法国空研中心)实施的这一项目的长期目标是,根据真实和定期的要求编写一份写作指南。作为该项目的第一步,本文提出了一个语言分析的要求,法国国家空间研究中心的工程师写在法国。其目的是确定它们在多大程度上符合INCOSE中规定的两条规则,INCOSE是最近的写作要求指南。虽然CNES的工程师在编写需求时没有义务遵循任何受控自然语言,但我们认为,主要由于编写者的经验,语言错误很可能会从这项任务中出现。这个问题是使用自然语言处理工具来识别不符合INCOSE规则的句子。我们进一步审查这些句子,以了解为什么这些建议不能(或不应该)总是适用于指定大型项目。
2014-06-06 cs.CL cs.SE
Are Large Language Models Moral Hypocrites? A Study Based on Moral Foundations
Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学);FGV Direito Rio(FGV里约法学院);Insper Institute of Education and Research(Insper教育与研究学院);Federal University of Rio de Janeiro(里约热内卢联邦大学);State University of Rio de Janeiro(里约热内卢州立大学)
本文基于道德基础理论,通过MFQ问卷和MFV情境题测试GPT-4与Claude 2.1,发现其在抽象道德判断与具体情境评价之间存在价值观冲突,揭示出LLMs的道德伪善行为。
2024-10-22 cs.AI cs.CL
PoeTone: A Framework for Constrained Generation of Structured Chinese Songci with LLMs
PoeTone框架通过约束生成和评估方法,提升LLM在生成结构化中文词中的表现,实现正式符合度提升5.88%。
2026-02-18 cs.CL cs.LG
Mirror-Consistency: Harnessing Inconsistency in Majority Voting
Shanghai Jiaotong University(上海交通大学);Tiansuan Lab, Ant Group Co., Ltd.(蚂蚁集团天算实验室);SJTU Paris Elite Institute of Technology(上海交通大学巴黎精英理工学院)
针对Self-Consistency忽略少数不一致响应的问题,提出Mirror-Consistency方法,通过引入“反射镜”机制让模型审查生成不一致性,从而在提升推理准确率的同时增强置信度校准。
2025-09-17 cs.AI cs.CL
Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey
Emory University(埃默里大学);NEC Labs America(美国NEC实验室);Rutgers University(罗格斯大学);University of Pittsburgh(匹兹堡大学);George Mason University(乔治梅森大学);Microsoft(微软);Blackrock, Inc.(贝莱德集团);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文系统综述了大语言模型领域专业化技术,提出基于模型可访问性的分类框架,梳理关键应用领域并分析当前研究现状与未来趋势。
2024-03-29 cs.AI cs.CL
Raising the Bar: Investigating the Values of Large Language Models via Generative Evolving Testing
Tongji University(同济大学);Johns Hopkins University(约翰霍普金斯大学);University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research Asia(微软亚洲研究院)
针对静态价值对齐基准的评估时间效应,本文提出生成式进化测试方法GETA,通过动态生成难度适配项目并与模型共同演进,实现更可靠的LLM价值评估。
2025-06-11 cs.AI cs.CL cs.CY
It's the Decoding Format, Not the Perturbation: Auditing Consistency-Based Selection for Vision-Language Test-Time Scaling
该研究发现视觉语言模型测试时的选择效果由解码格式而非扰动决定,提出的扰动基选择(Pgs)在控制格式后无显著收益,说明其无法作为有效选择信号。
2026-08-06 cs.AI cs.CV
Inference-Time Conformal Reasoning with Valid Factuality Control for Large Language Models
Machine Learning, ICML(机器学习,国际机器学习大会)
提出推理时保形推理框架,将保形预测集成到推理图生成中,通过图级不确定性校准生成停止阈值,实现有效事实性控制。
2026-06-28 cs.AI
Majority Rules: LLM Ensemble is a Winning Approach for Content Categorization
RingCentral Inc.(环中央公司);Relevad Corporation(Relevad公司)
本研究提出eLLM集成方法,通过整合多个模型提升无结构文本分类的准确性和鲁棒性,实现接近人类专家水平的性能。
2025-11-11 cs.AI
User Behavior Simulation with Large Language Model based Agents
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京市大数据管理与分析方法重点实验室)
本文提出一种基于LLM的智能体框架与沙盒环境来模拟真实用户行为,实验证明其模拟行为接近真实人类,并成功应用于信息茧房与用户从众行为的研究,为以人为本的应用提供了新范式。
2024-02-15 cs.AI cs.IR
The Wisdom of MaSSeS: Majority, Subjectivity, and Semantic Similarity in the Evaluation of VQA
SAP SE(SAP公司);TU Kaiserslautern(凯泽斯劳滕工业大学);CIMeC - University of Trento(特伦托大学认知与脑科学中心);DFKI(德国人工智能研究中心)
我们介绍质量,一个简单的评价指标的任务的视觉问答(VQA)。在其标准形式中,VQA任务的操作如下:给定图像和自然语言的开放式问题,系统需要提供合适的答案。目前,模型性能是通过某种简单的度量来评估的:如果预测的答案是由10个注释者中的至少3个选择的,那么它是100%正确的。虽然直观上很有价值,但这个指标有一些重要的局限性。首先,它忽略了预测的答案是否是大多数(MA)注释者选择的答案。其次,它没有考虑样本(和数据集)中答案的定量主观性(S)。第三,关于响应的语义相似度(SES)的信息被完全忽略。基于这样的限制,我们提出了一个多分量的度量,占所有这些问题。我们表明,我们的度量是有效的,在定量和定性层面上提供更细粒度的评价。
2018-09-12 cs.AI cs.CL cs.CV
RSM-NLP at BLP-2023 Task 2: Bangla Sentiment Analysis using Weighted and Majority Voted Fine-Tuned Transformers
Manipal Institute of Technology(马尼帕尔理工学院);Manipal Academy of Higher Education(马尼帕尔高等教育学院)
本文针对孟加拉语社交媒体情感分析任务,通过微调多种多语言预训练BERT模型,并采用加权和多数投票集成方法,在BLP-2023 Task 2中以0.711的得分获得第10名。
2023-10-22 cs.AI cs.CL cs.LG
How Robust are LLMs to In-Context Majority Label Bias?
Amazon(亚马逊)
本研究探讨大型语言模型在文本分类中面对上下文多数标签偏差时的鲁棒性,发现不同模型和任务的鲁棒性差异大,部分模型鲁棒性高达约90%,且模型大小和指令提示丰富性影响鲁棒性。
2023-12-27 cs.AI cs.CL cs.LG
The Majority is not always right: RL training for solution aggregation
FAIR at Meta(Meta旗下的FAIR)
本文提出将解决方案聚合作为显式推理技能,用可验证奖励的强化学习训练聚合器模型AggLM,平衡难易样本,在多个基准上优于多数投票和奖励模型基线,且泛化到更强模型并节省令牌。
2025-09-08 cs.CL
Can LLMs Control Readability? A Multi-Dimensional Evaluation Framework for CEFR-Controlled Arabic Generation
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出一个多维评估框架,通过结构化提示和词汇约束,使指令跟随型LLM在CEFR可控阿拉伯语生成中达到高可读性一致性(余弦相似度0.91,可读性预测一致性0.99)。
2026-06-23 cs.CL cs.LG
Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge
Nanjing University(南京大学)
本研究系统分析大语言模型对知识冲突数据的学习偏好,发现其偏好正式、拼写错误少的文本,该偏好跨模型语言通用且大模型更显著,还可通过调整数据与多数的一致性操控偏好。
2024-10-07 cs.CL
LLM-Generated Natural Language Meets Scaling Laws: New Explorations and Data Augmentation Methods
School of Information Resource Management, Renmin University of China(中国人民大学信息资源管理学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
本文通过标度律分析LLM生成自然语言与人类自然语言的差异,并提出基于模糊计算的少样本文本分类数据增强方法ZGPTDA,显著提升分类性能。
2024-06-29 cs.CL
Semantic Self-Consistency: Enhancing Language Model Reasoning via Semantic Weighting
Algoverse AI Research(Algoverse人工智能研究院)
本文提出语义自一致性方法,通过在多数投票前结合推理路径的语义信息与最终决策,增强语言模型的推理可靠性与复杂任务表现。
2026-11-04 cs.CL
Not All Votes Count! Programs as Verifiers Improve Self-Consistency of Language Models for Math Reasoning
Singapore University of Technology and Design(新加坡科技设计大学);Deepmind(深度思维公司)
提出Prove框架,利用程序验证过滤错误推理路径,提升LLM数学推理的自我一致性,在多个基准上优于多数投票,最高提升18%。
2024-12-17 cs.CL
Auditable Release Control for Pedagogical Leakage in LLM Tutors
Singapore University of Technology and Design (SUTD)(新加坡科技设计大学)
该研究针对LLM辅导器的教学式泄露问题,提出感知授权的可审计发布控制机制,经实验验证可显著降低泄露标记,且在安全与效用上优于基线方法。
2026-08-04 cs.AI cs.CL cs.CR
The One-Word Census: Answer-Choice Conformity Across 105 Language Models
Cornell Tech(康奈尔科技)
研究44种语言模型在单字选择上的一致性,用31个单轮提示词刻画,通过答案选择惊讶度评分,发现一致性程度高但模型间有差异且有结构,还对比了与人类规范差异,所有数据公开。
2026-10-12 cs.AI cs.CL cs.CY
Program-Verified Self-Evolution for Vision-Language Models
LG AI Research(LG AI研究院);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Australian National University(澳大利亚国立大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对视觉语言模型自我进化中标签错误率高的问题,提出VQS方法,通过程序验证结构化记录生成问题与答案,显著提升准确率,并在多个基准上超越基线。
2026-09-29 cs.AI cs.CL cs.CV
Evaluating Metalinguistic Knowledge in Large Language Models across the World's Languages
University of Ljubljana, Faculty of Computer and Information Science(卢布尔雅那大学计算机与信息科学学院);University of Ljubljana, Faculty of Arts(卢布尔雅那大学艺术学院);Jožef Stefan Institute(乔塞夫·斯塔芬研究所)
本研究通过跨语言评估揭示LLM在元语言知识上的局限性,发现其表现受数据可用性和语言资源影响,而非广泛语法能力。
2026-02-12 cs.CL
Distribution-Aware Reward Estimation for Test-Time Reinforcement Learning
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology, Hong Kong, China(电子与计算机工程系,香港科学与技术大学)
DARE通过利用回放分布而非单一多数结果来改进测试时强化学习的奖励估计,提高了优化稳定性和最终性能。
2026-01-29 cs.CL
Evaluating Bias in Chinese Large Language Models across Tasks and Registers: Task Operationalization Effects and Irony Classification Risks
Nanjing Normal University(南京师范大学)
该研究通过多任务行为审计发现,中文大语言模型的偏差测量受任务操作化和反讽语域影响,反讽感知提示可降低错误率,建议安全评估纳入反讽语域测试条件。
2026-10-14 cs.CL cs.CY
Representational Harms in LLM-Generated Narratives Against Global Majority Nationalities
Brown University(布朗大学);George Mason University(乔治·马歇尔大学)
本文研究了广泛使用的LLM在开放性叙述生成提示下对不同民族身份的呈现,发现存在持续性的代表性伤害,包括有害刻板印象、抹除和一维化描述,且美国国籍提示会加剧这种伤害。
2026-04-24 cs.CL