Recognising Agreement and Disagreement between Stances with Reason Comparing Networks
CSIRO Data61（联邦科学与工业研究组织数据61研究所）
我们识别表达对讨论主题的立场的话语之间的一致和不一致。现有的方法主要集中在会话设置，其中对话功能用于（不）协议推理。我们扩大了这一范围，并寻求检测立场（不）协议在更广泛的设置，独立的立场轴承的话语，这在许多立场语料库和现实世界的情况下，进行比较。为了应对这种非对话性的话语，我们发现，说出的理由，以支持一个特定的立场可以帮助预测立场（不）协议。我们提出了一个原因比较网络（RCN），利用原因信息的立场比较。在一个著名的立场语料库上的实验结果表明，我们的方法可以发现有用的原因信息，使它能够在立场（不）一致检测优于几个基线。
2019-06-04 cs.CL
How to disagree well: Investigating the dispute tactics used on Wikipedia
University of Cambridge（剑桥大学）；University of Sheffield（谢菲尔德大学）
分歧经常从检测毒性或分析论点结构的角度进行研究。我们提出了一个统一这两种观点的争端策略框架，以及在解决争端中发挥作用的其他对话行为，如提问和澄清。这个框架包括一个优先排序之间的反驳型策略，从人身攻击，以驳斥中心论点。使用这个框架，我们从维基百科讨论页面中注释了213个分歧（3，865个话语）。这使我们能够围绕分歧中使用的策略调查研究问题;例如，我们提供了维基百科推荐的分歧方法的实证验证。我们开发了多标签预测的话语中的争议策略的模型，实现了最佳的性能与变压器为基础的标签幂集模型。增加一个辅助任务，将反驳策略的顺序进一步产生统计上显着的增加。最后，我们表明，这些注释可用于提供有用的额外信号，以提高预测升级任务的性能。
2022-12-16 cs.AI cs.CL cs.CY
Can Reasoning Help Large Language Models Capture Human Annotator Disagreement?
ETH Zürich（苏黎世联邦理工学院）；University of Zürich（苏黎世大学）；Bocconi University（博科尼大学）
本文研究了推理方法对大语言模型捕捉人类标注分歧的影响，发现RLVR推理会降低性能，而朴素推理能提升性能，揭示了用推理模型替代人类标注的风险。
2026-01-12 cs.AI cs.CL
Can language models learn analogical reasoning? Investigating training objectives and comparisons to human performance
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）；University of Malta（马耳他大学）
本文探究类比推理是否可被模型学习，通过多种训练目标在更接近人类类比评估的数据上进行实验，发现模型仅需少量数据即可学会类比推理，且训练后表现接近人类水平。
2024-05-03 cs.CL
Different Tastes of Entities: Investigating Human Label Variation in Named Entity Annotations
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文研究英语、丹麦语和巴伐利亚语专家标注命名实体数据中的标注分歧，发现文本歧义和指南变更是主因，并通过学生标注调查证实多标注的可行性与必要性。
2024-02-02 cs.CL
The Magic of IF: Investigating Causal Reasoning Abilities in Large Language Models of Code
Peking University（北京大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
本文探究代码大语言模型是否因代码中“if”等条件语句对因果关系的显式表达而具备更强的因果推理能力，实验证明使用代码提示的Code-LLMs显著优于纯文本LLMs，且编程结构对提示设计至关重要。
2023-05-30 cs.CL
Stands to Reason: Investigating the Effect of Reasoning on Idiomaticity Detection
School of Computer Science, University of Sheffield, UK（谢菲尔德大学计算机科学学院）；Healthy Lifespan Institute, University of Sheffield（谢菲尔德大学健康寿命研究所）；Institute of Data Science and Artificial Intelligence, University of Exeter, UK（埃克塞特大学数据科学与人工智能研究所）
本文研究推理能力对LLMs习语性检测的影响，评估不同规模的DeepSeek-R1蒸馏模型，发现推理带来的提升有限且因模型规模而异，较小模型在提示中提供定义可改善部分表现。
2025-08-18 cs.CL
Hateful Person or Hateful Model? Investigating the Role of Personas in Hate Speech Detection by Large Language Models
ScaDS.AI and TU Dresden（ScaDS.AI 和 梵高大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文研究 MBTI 人格角色提示对 LLM 仇恨言论分类的影响，通过人工调查与四模型、三数据集实验揭示角色导致的标签分歧和 logit 偏差。
2025-06-10 cs.CL
The Synergy Dilemma of Long-CoT SFT and RL: Investigating Post-Training Techniques for Reasoning VLMs
Huawei Technologies（华为技术有限公司）；HKUST（香港科技大学）
本文系统探究了长CoT SFT与RL在多模态推理VLMs中的作用，发现两者各有优劣且联合使用时陷入“协同困境”，亟需更无缝自适应的方法释放其组合潜力。
2025-07-10 cs.CL
The Curious Case of Analogies: Investigating Analogical Reasoning in Large Language Models
本研究探讨了大型语言模型在类比推理中的能力，发现其在编码和应用高层关系概念方面表现出有限但新兴的能力，揭示了与人类认知的相似性和差距。
2025-11-25 cs.CL
Investigating the Role of Reasoning-Language Alignment in Monolingual Retrieval-Augmented Generation
Johannes Gutenberg University Mainz（约翰内斯·古腾堡大学美因茨）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本研究构建单语德语RAG问答测试平台，发现推理语言与查询及检索文档语言对齐可提升性能，但强制德语推理仅达到原生英语水平，表明需原生多语言推理。
2026-10-05 cs.CL
You Are What You Annotate: Towards Better Models through Annotator Representations
University of Michigan – Ann Arbor（密歇根大学安娜堡分校）；University of Hawai‘i at Hilo（夏威夷大学希洛分校）
针对NLP中普遍的标注者分歧，本文提出通过标注者嵌入和标注嵌入直接建模其多元视角，并构建TID-8基准，证明该方法能以不到1%的参数增量显著提升模型从分歧中学习的能力。
2023-10-22 cs.CL
Traffic Light or Light Traffic? Investigating Phrasal Semantics in Large Language Models
Salesforce Research（Salesforce研究院）；University of Pittsburgh（匹兹堡大学）
本研究通过三个人工标注数据集考察大语言模型理解短语语义的能力，发现其优于传统嵌入方法但与微调方法相比无显著优势，并分析了提示策略效果及错误原因。
2024-10-03 cs.CL
Investigating the Robustness of Deductive Reasoning with Large Language Models
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
针对LLM演绎推理鲁棒性不明及缺乏设计组件影响分析的问题，本文首次系统研究形式化与非形式化LLM演绎方法的鲁棒性，通过含两种扰动的框架生成数据集，发现对抗性噪声影响自动形式化、反事实影响所有方法，且详细反馈未提升整体准确率。
2025-08-25 cs.AI cs.CL
Don't Blame the Data, Blame the Model: Understanding Noise and Bias When Learning from Subjective Annotations
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
针对主观任务中聚合标签导致高分歧样本学习难的问题，提出用多基准真值（Multi-GT）方法分类，提升了模型在高分歧样本上的置信度，指出学习效果差源于传统聚合模型而非数据。
2024-03-06 cs.CL cs.CY
Investigating Thinking Behaviours of Reasoning-Based Language Models for Social Bias Mitigation
本文研究了基于推理的语言模型在缓解社会偏见中的思维机制，发现两种导致偏见累积的失败模式，并提出轻量级提示方法减少偏见同时保持准确性。
2026-05-12 cs.AI cs.CL
Investigating the Impact of Rationales for LLMs on Natural Language Understanding
本文构建带推理依据的NLU数据集NLURC并评估多种增强方法，发现CoT收益随模型规模由负转正，特定训练方法可让小模型媲美十倍规模模型。
2025-10-19 cs.CL
Investigating the Successes and Failures of BERT for Passage Re-Ranking
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
双向编码器表示的Transformers（BERT）模型最近提出了国家的最先进的通道重新排序。在本文中，我们分析了微调后的BERT模型产生的结果，以更好地理解这种实质性改进背后的原因。为此，我们专注于MS MARCO通道重新排序数据集，并提供潜在的原因，成功和失败的BERT检索。更详细地说，我们实证研究了一组假设，并提供额外的分析，以解释成功的性能BERT。
2019-05-05 cs.CL cs.IR
Pitfalls of Scale: Investigating the Inverse Task of Redefinition in Large Language Models
School of Electrical and Computer Engineering, AILS Laboratory（电气与计算机工程学院，AILS实验室）；National Technical University of Athens（雅典国家技术大学）
本文通过重定义物理常数与单位的逆任务，揭示大语言模型随规模扩大出现性能下降和虚假自信上升，且提示策略无法消除其对记忆数值的锚定。
2025-06-02 cs.CL
TriggerBench: Investigating Prospective Memory for Large Language Models
The Chinese University of Hong Kong（香港中文大学）；Microsoft Research Asia（微软亚洲研究院）
提出TriggerBench基准，系统评估LLM的前瞻记忆能力，发现其存在精度-召回权衡、注意力脆弱性，且比回溯记忆更难，可作为推理能力的指标。
2026-06-23 cs.CL
An Enigma of Artificial Reason: Investigating the Production-Evaluation Gap in Large Reasoning Models
NUS Department of Computer Science（国立新加坡大学计算机科学系）；MIT EECS（麻省理工学院电子工程与计算机科学系）；A*STAR（新加坡科技研究局）；Singapore-MIT Alliance for Research and Technology (SMART)（新加坡-麻省理工联合研究技术机构（SMART））
本文通过VAIR数据集发现大型推理模型在评估推理时存在显著缺陷，表现为答案确认偏差，即模型倾向于验证答案正确性而非仔细检查推理步骤。
2026-11-10 cs.AI cs.CL cs.LG
Investigating the interaction of linguistic and mathematical reasoning in language models using multilingual number puzzles
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；Department of Linguistics, Harvard University（哈佛大学语言学系）；Kempner Institute for the Study of Natural and Artificial Intelligence at Harvard University（哈佛大学凯普纳自然与人工智能研究 institute）
本研究通过多语言数字谜题实验，发现LLMs难以解决跨语言数字推理问题，除非运算符号显式标记，且缺乏人类对数字隐含组合结构的推断能力，这对当前推理模型仍是挑战。
2025-10-15 cs.AI cs.CL
Investigating Multi-Hop Factual Shortcuts in Knowledge Editing of Large Language Models
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；School of Cyberspace Security, Southeast University（东南大学网络空间安全学院）
本文探究了LLMs在多跳知识推理中利用初始与终端实体间事实捷径的现象，发现捷径强度与实体共现频率相关，并提出擦除捷径神经元的方法显著降低了多跳知识编辑的失败率。
2024-06-02 cs.CL
The Chameleon's Limit: Investigating Persona Collapse and Homogenization in Large Language Models
CMU（卡内基梅隆大学）；UChicago（芝加哥大学）；MIT（麻省理工学院）；UTokyo（东京大学）；RIKEN AIP（理化学研究所AIP分部）；JHU（约翰霍普金斯大学）
研究发现大型语言模型中存在人格崩溃现象，导致代理行为模式趋同。通过提出覆盖度、均匀度和复杂度指标，揭示模型在不同维度和领域的人格表现差异，并释放工具支持群体评估。
2026-10-19 cs.CL
Investigating Inference-time Scaling for Chain of Multi-modal Thought: A Preliminary Study
School of Informatics, Xiamen University, China（厦门大学信息学院）；Baidu Inc., Beijing, China（百度公司）；Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan (Xiamen University), Ministry of Culture and Tourism, China（福建省和台湾非物质文化遗产数字化保护与智能处理重点实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本研究首次探索多模态思维链的推理时扩展，在10个任务上比较采样与树搜索方法，发现多模态思维优于纯文本思维，但需更高令牌消耗。
2025-05-25 cs.CL
Social Reasoning in Machines: Investigating Collective Truth-Seeking Dynamics in Large Language Model Debate
Department of Computer Science University of Bath（计算机科学系英国巴斯大学）
通过多智能体辩论模拟论证推理理论，证明大语言模型集体辩论能显著提升基于问卷的求真任务性能，并提出利用辩论动态测量模型内在属性的新基准方法。
2026-05-28 cs.AI cs.CL cs.MA
Learning Who Disagrees: Demographic Importance Weighting for Modeling Annotator Distributions with DiADEM
Rochester Institute of Technology（罗切斯特理工学院）
DiADEM通过学习群体重要性权重，有效建模标注者分歧，优于现有方法，在多个基准上取得显著成果，揭示种族和年龄对标注者分歧的关键影响。
2026-04-09 cs.AI cs.CL
Easy to Complete, Hard to Choose: Investigating LLM Performance on the ProverbIT Benchmark
University of Turin（都灵大学）
该研究构建了意大利谚语基准ProverbIT，评估13个前沿LLMs的谚语处理能力，发现LLMs虽能完成谚语任务，但在无正确答案的选择题中性能骤降，暴露其依赖记忆而非深层语义理解的局限。
2026-08-06 cs.AI cs.CL
Investigating Video Reasoning Capability of Large Language Models with Tropes in Movies
National Taiwan University（台湾大学）；Columbia University（哥伦比亚大学）；MobileDrive Technology（魔驾科技）
本文提出电影叙事套路数据集TiM，用于评估大语言模型的抽象感知与长程组合推理能力，并通过FEVoRI和ConQueR增强视觉编程，显著提升性能但仍低于人类水平。
2024-06-16 cs.CL cs.CV cs.LG
Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
本研究提出基于项目反应理论的CAIMIRA框架，通过分析超30万份人机问答回答，揭示二者在不同推理类型上的能力差异，为未来QA任务设计与AI发展提供方向。
2024-10-09 cs.AI cs.CL cs.LG
What's "up" with vision-language models? Investigating their struggle with spatial reasoning
University of California, Los Angeles（加州大学洛杉矶分校）；Allen Institute for AI（艾伦人工智能研究所）
本文构建了三个专门测试空间关系理解的基准语料库，评估18个视觉-语言模型后发现其空间推理能力远逊于人类，并揭示了预训练数据缺乏空间关系信息及简单干预无效的原因。
2023-10-30 cs.CL cs.CV cs.LG
Investigating Symbolic Capabilities of Large Language Models
College of Information Sciences and Technology, The Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）；University of South Florida（南佛罗里达大学）
本研究评估了八个大型语言模型在符号任务（如加法、乘法等）上的表现，发现随着符号复杂度增加，性能显著下降，即使微调模型也仅小幅提升，凸显了符号推理能力的局限及改进需求。
2024-05-21 cs.CL cs.LG
Can an LLM Induce a Graph? Investigating Memory Drift and Context Length
Department of Computer Science, Virginia Tech, Alexandria, VA（计算机科学系，弗吉尼亚理工大学，亚历山大，VA）
该研究通过让大语言模型从含噪长文本中归纳图结构的关系推理任务，发现其有效上下文长度远短于现有基准结论，即使专业推理模型也易出现早期记忆漂移，为模型优化及架构改进提供了依据。
2025-10-04 cs.AI cs.CL cs.LG
Investigating the Robustness of Natural Language Generation from Logical Forms via Counterfactual Samples
Zhejiang University（浙江大学）；Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院）；Shanghai AI Laboratory（上海人工智能实验室）
Logic2Text的目标是生成以表格和逻辑形式为条件的可控的、忠实的文本，这不仅要求对表格和逻辑形式有深刻的理解，而且要求对表格进行符号推理。基于预训练模型的最先进的方法在标准测试数据集上取得了显着的性能。然而，我们质疑这些方法是否真的学会了如何执行逻辑推理，而不仅仅是依赖于表的头和逻辑形式的操作符之间的虚假相关性。为了验证这一假设，我们手动构造了一组反事实样本，这些样本修改了原始逻辑形式，以生成具有很少同时出现的表头和逻辑运算符的反事实逻辑形式。与原始测试数据集上的结果相比，SOTA方法在这些反事实样本上的结果要差得多，这验证了我们的假设。为了解决这个问题，我们首先从因果关系的角度分析了这种偏差，在此基础上，我们提出了两种方法来减少模型对捷径的依赖。第一种方法将逻辑形式的层次结构结合到模型中。第二种是利用自动生成的反事实数据进行训练。在原始测试数据集和反事实数据集上的自动和手动实验结果表明，该方法可以有效地消除虚假相关。我们的工作指出了以前的方法的弱点，并采取进一步的发展逻辑2Text模型与真正的逻辑推理能力。
2022-10-16 cs.AI cs.CL
"Pull or Not to Pull?'': Investigating Moral Biases in Leading Large Language Models Across Ethical Dilemmas
University of New South Wales（新南威尔士大学）；Nanjing University of Information Science & Technology（南京信息工程大学）
本研究评估了14个领先LLM在27个电车难题场景中的道德推理，发现推理增强型模型更果断但未必更符合人类共识，道德提示可作为揭示模型潜在对齐哲学的诊断工具。
2025-08-10 cs.AI cs.CL cs.CY
From Vision to Language: Investigating Causal Information Flow in Multimodal Decision-Making
Fondazione Bruno Kessler (FBK)（布鲁诺·凯塞勒基金会）；Università di Roma La Sapienza（罗马第一大学）；Utrecht University（乌得勒支大学）；University of Pisa（比萨大学）
本研究在类视频生成式多选任务中，通过分层因果干预探究VLMs的跨模态信息流，明确了视觉信息整合时机、名词与动词的作用及时间推理的特性。
2026-09-07 cs.CL cs.CV
Investigating the Transferability of Code Repair for Low-Resource Programming Languages
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Arizona（亚利桑那大学）
本文研究了代码修复蒸馏技术在高资源与低资源编程语言间的可迁移性，发现其效果具有语言依赖性，并揭示了推理能力与代码纠正能力间存在弱相关性。
2024-10-16 cs.AI cs.CL cs.LG
E-CONAN (Entailment, CONtradition And Neutral) Diagnostics Dataset Investigating Linguistic Phenomena in Arabic Natural Language Understanding
Higher Institute for Applied Sciences and Technology（高等应用科学与技术学院）；Arab International University（阿拉伯国际大学）
针对阿拉伯语NLU，提出E-CONAN诊断数据集和层级错误分析框架，评估9个预训练模型和5个LLM，发现LLM在知识和常识推理上更强，但在句法上较弱。
2026-09-29 cs.AI cs.CL cs.HC
