What Really Matters for Table LLMs? A Meta-Evaluation of Model and Data Effects
University of Michigan（密歇根大学）；AWS AI Labs（AWS人工智能实验室）；Figma；OKX；Google（谷歌）
通过指令微调12个模型并在16个基准上评估，发现基座模型选择比训练数据对性能影响更大，泛化与推理仍是挑战。
2026-06-09 cs.CL
What Really Counts? Examining Step and Token Level Attribution in Multilingual CoT Reasoning
University of Groningen（格罗宁根大学）
本研究通过对比多语言Co-T推理中步骤和令牌级归因方法，揭示了归因分数的偏差及结构化提示对高资源语言准确性的影响，强调了多语言鲁棒性和解释透明性的挑战。
2025-11-19 cs.CL
Do LLMs Really Know What They Don't Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness
Singapore Management University（新加坡国立管理学院）；DAMO Academy, Alibaba Group（阿里集团达摩院）；Singapore University of Technology and Design（新加坡科技设计大学）
本文探讨大语言模型是否真正了解其未知领域，通过分析内部状态发现其主要反映知识回忆而非真实性，提出hallucination分类方法以区分不同hallucination类型。
2026-04-17 cs.CL
Corporate core values and social responsibility: What really matters to whom
本研究使用了一种创新的衡量标准，语义品牌得分，以评估利益相关者在不同的公司核心价值观的利益。其中，我们专注于企业社会责任（CSR）的核心价值陈述，以及他们从五类利益相关者（客户，公司沟通团队，员工，协会和媒体）获得的关注。结合大数据方法和社会网络分析、文本挖掘等工具，我们分析了约58,000条意大利推文，发现不同利益相关者有不同的主导利益。CSR得到的关注比预期的要少。与客户和员工相关的核心价值观是最重要的。
2021-06-03 cs.CL cs.SI physics.soc-ph
Parameter Golf: What Really Works?
Geometric Intelligence Research Lab., Department of Electrical Engineering and Computer Science University of Wyoming（几何智能研究实验室，电气与计算机科学系，怀俄明大学）
通过分析社区竞赛中的2037个拉取请求和1430个评分提交，构建84种优化技术分类，测量每种技术对bits-per-byte的贡献，发现大多数技术收益在竞争提交中缩小，仅少数方法能持续提升性能。
2026-09-09 cs.CL
What Do Llamas Really Think? Revealing Preference Biases in Language Model Representations
Comcast Applied AI（康卡斯特应用人工智能部门）；University of Waterloo（滑铁卢大学）
本文提出逻辑Bradley-Terry探针，从LLM隐藏向量中探测词对偏好偏差，发现模型即使拒绝回答也隐式存在国籍、政治、宗教和性别等社会人口统计学偏差，且指令微调未必能消除这些偏差。
2023-11-30 cs.CL
What Really Matters in Many-Shot Attacks? An Empirical Study of Long-Context Vulnerabilities in LLMs
Coxwave；Seoul National University（首尔国立大学）；Kyung Hee University（庆熙大学）；KAIST（韩国科学技术院）
本研究通过多轮越狱攻击实验，发现上下文长度是决定LLM攻击有效性的关键因素，且无需精心构造恶意内容即可突破安全措施，揭示长上下文处理的安全漏洞。
2025-05-26 cs.CL cs.CR
What Does Debiasing Really Remove? A Geometric Study of PCA-Based Gender Debiasing in Word Embeddings
Hood College（胡德学院）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
通过几何分析揭示PCA去偏主要移除第一主成分中的直接性别偏见，但无法消除分布在多维度上的关联偏见，且会破坏嵌入几何结构，表明偏见并非纯低秩，简单子空间移除不足以全面去偏。
2026-06-06 cs.CL
What do we Really Know about State of the Art NER?
命名实体识别（NER）是一个研究得很好的自然语言处理任务，并广泛应用于现实世界的自然语言处理场景中。净入学率研究通常侧重于创造新的净入学率培训方式，相对较少强调资源和评估。此外，在标准数据集上训练的最先进的（SOTA）NER模型通常只报告一个性能指标（F分数），我们并不真正知道它们对不同实体类型和文本类型的表现如何，或者它们对新的、看不见的实体的鲁棒性如何。在本文中，我们使用一个流行的数据集，考虑到各种文本类型和来源构成的数据集在手的NER进行广泛的评估。此外，我们通过对原始测试集的小扰动生成了六个新的对抗性测试集，在保留上下文的同时替换了选定的实体。我们还在随机生成的训练/开发/测试分割上对我们的模型进行训练和测试，然后进行一个实验，在该实验中，模型在一组选定的流派上进行训练，但在训练中没有看到测试的流派。这些综合评价策略使用三个SOTA NER模型进行。基于我们的研究结果，我们建议一些有用的报告实践NER研究人员，可以帮助在提供一个更好的理解SOTA模型的性能在未来。
2022-05-04 cs.AI cs.CL
What Really Controls Temporal Reasoning in Large Language Models: Tokenisation or Representation of Time?
University of Aberdeen（阿伯丁大学）；Université Grenoble Alpes & CNRS（格勒诺布尔阿尔卑斯大学及国家科学研究中心）
本研究通过MultiTempBench验证了大语言模型时间推理的核心因素，发现令牌化质量是资源依赖型瓶颈，同时时间线性度在高资源语言中是主要预测因素，而碎片化在低资源语言中更显著。
2026-03-19 cs.AI cs.CL
ChatGPT-Crawler: Find out if ChatGPT really knows what it's talking about
Illinois Institute of Technology（伊利诺伊理工学院）
本研究通过BERT相似度和NLI标签评估ChatGPT在问答语料库上的表现，比较GPT-3和GPT-4的整体性能，并识别其错误回答以揭示模型易错领域。
2023-04-06 cs.CL cs.IR cs.LG
What Do CAE Simulation Agents Really Need Beyond a Generic Harness?
DP Technology（达梦科技）；School of Astronautics, Beihang University（北京航空航天大学宇航学院）；AI for Science Institute（人工智能科学研究院）
该研究探究CAE仿真智能体在通用框架外的需求，发现单智能体框架性能优于多智能体专用系统，执行反馈修复是关键，求解器教程类领域知识仍有显著增益。
2026-09-04 cs.CE cs.CL physics.comp-ph
What we really want to find by Sentiment Analysis: The Relationship between Computational Models and Psychological State
Seoul National University（首尔国立大学）；Chung-Ang University（中央大学）；Yonsei University（延世大学）
作为对人的情绪状态建模的第一步，我们使用现有的深度神经网络算法构建情感分析模型，并将模型与心理测量进行比较，以揭示这种关系。在实验中，我们首先检查了64名参与者的心理状态，并要求他们总结一本书的故事，死亡预言编年史（Marquez，1981）。其次，我们使用抓取的365，802个电影评论数据训练模型;然后我们使用预训练的模型作为迁移学习的概念来评估参与者的摘要。以情绪对记忆的影响为背景，考察了计算模型摘要的评价得分与心理测量的关系。结果表明，尽管CNN在其他深度神经网络算法（LSTM，GRU）中表现最好，但其结果与心理状态无关。相反，GRU根据心理状态显示出更可解释的结果。本文的贡献可以概括为：（1）启发了计算模型与心理测量的关系。(2)我们建议将该框架作为评估情感的客观方法;一个人的真实情感分析。
2018-06-03 cs.CL cs.IR
What Really is Commonsense Knowledge?
HKUST（香港科技大学）
本研究整合多框架定义常识知识，用于标注和实验，发现CommonsenseQA及2.0数据集中大量非常识实例，且LLMs在常识实例上性能更差。
2024-11-06 cs.AI cs.CL
History for Visual Dialog: Do we really need it?
Heriot-Watt University（赫瑞瓦特大学）；Adobe Research（奥多比研究院）
可视化对话涉及“理解”对话历史（前面已经讨论过的）和当前问题（问的是什么），以及图像中的基础信息，以生成正确的响应。在本文中，我们证明了显式编码对话历史的共同注意模型优于不编码的模型，实现了最先进的性能（在val集上有72%的NDCG）。然而，我们也暴露了众包数据集收集程序的缺点，表明历史确实只需要少量的数据，目前的评估指标鼓励通用的答复。为此，我们提出了一个具有挑战性的子集（VisDialConv）的VisDial值集，并提供了一个基准的63% NDCG。
2020-05-08 cs.AI cs.CL cs.CV
"What Are You Really Trying to Do?": Co-Creating Life Goals from Everyday Computer Use
Stanford University（斯坦福大学）
本文提出一种从日常计算机使用中推断更广泛生活目标的共创建过程，通过活动理论和Emmons的个人追求框架，构建分层表示，并支持编辑界面以增强用户对自身理解的控制。
2026-09-10 cs.AI cs.CL cs.HC
Diagnosing Vision-and-Language Navigation: What Really Matters
UC Santa Barbara（加州大学圣巴巴拉分校）；University of Adelaide（阿德莱德大学）；Google（谷歌）；UC Santa Cruz（加州大学圣克鲁兹分校）
视觉和语言导航（VLN）是一种多模态任务，其中智能体遵循自然语言指令并在视觉环境中导航。已经提出了多种设置，研究人员应用新的模型架构或训练技术来提高导航性能。然而，机器的性能和人类基准之间仍然存在不可忽视的差距。此外，智能体的内部导航决策机制仍然不清楚。据我们所知，代理人如何感知多模态输入是研究不足，需要调查。在这项工作中，我们进行了一系列的诊断实验，以揭示代理的重点在导航。结果表明，室内导航代理参考对象和方向令牌时，作出决定。相比之下，户外导航代理严重依赖于方向令牌和理解对象令牌差。基于transformer的代理获得了更好的跨模态的理解对象，并显示出强大的数值推理能力比非transformer的代理。当涉及到视觉和语言对齐时，许多模型声称它们可以将对象标记与特定的视觉目标对齐。我们发现不平衡的视觉和文本输入的注意力和怀疑这种跨通道对齐的可靠性。
2022-05-04 cs.AI cs.CL cs.CV
Do Response Selection Models Really Know What's Next? Utterance Manipulation Strategies for Multi-turn Response Selection
Wisenut Inc.（威智努特公司）；Kakao Corp.（卡卡奥公司）；Korea University（高丽大学）；Kakao Enterprise Corp.（卡卡奥企业公司）
在本文中，我们研究了在基于检索的多轮对话系统中，给定用户和系统话语历史选择最佳响应的任务。最近，预先训练的语言模型（例如，BERT、RoBERTa和ELECTRA）在各种自然语言处理任务中表现出显著的改进。这个和类似的响应选择任务也可以使用这样的语言模型通过将任务公式化为对话-响应二元分类任务来解决。虽然使用这种方法的现有作品成功地获得了最先进的结果，我们观察到，以这种方式训练的语言模型倾向于根据历史和候选人的相关性进行预测，忽略了多轮对话系统的顺序性。这表明，单独的响应选择任务是不够的学习话语之间的时间依赖性。为此，我们提出了话语操纵策略（UMS）来解决这个问题。具体而言，UMS由几种策略组成（即，插入、删除和搜索），这有助于响应选择模型保持对话一致性。此外，UMS是自我监督的方法，不需要额外的注释，因此可以很容易地纳入现有的方法。跨多种语言和模型的广泛评估表明，UMS在教学对话一致性方面非常有效，这导致模型在多个公共基准数据集上以显著的优势推动最先进的技术。
2020-12-16 cs.AI cs.CL
Does William Shakespeare REALLY Write Hamlet? Knowledge Representation Learning with Confidence
Tsinghua University（清华大学）；Tencent（腾讯）
知识图谱（KGs）能够提供实体之间的基本关系信息，已被广泛应用于各种知识驱动的应用中。由于人类的知识总量是不可估量的，并且还在爆炸性地增长和频繁地变化，知识的构建和更新不可避免地涉及到人工监督较少的自动机制，这通常会给KGs带来大量的噪音和冲突。然而，大多数传统的知识表示学习方法假设所有的三重事实在现有的知识库共享相同的意义，没有任何噪音。为了解决这个问题，我们提出了一种新的置信度感知的知识表示学习框架（CKRL），它检测可能的噪声在KG学习知识表示的同时与信心。具体来说，我们介绍了三重信心，传统的基于推理的方法知识表示学习。为了使三重置信度更加灵活和通用，我们只利用KG中的内部结构信息，提出了三种同时考虑局部和全局结构信息的三重置信度.在实验中，我们从知识图谱的噪声检测、知识图谱的完备化和三重分类三个方面对模型进行了评价。实验结果表明，我们的置信度感知模型实现了显着的和一致的改善，所有的任务，这证实了CKRL建模的能力与结构信息的KG噪声检测和知识表示学习的信心。
2018-02-16 cs.CL
What Really Improves Mathematical Reasoning: Structured Reasoning Signals Beyond Pure Code
State Key Laboratory of Cognitive Intelligence, University of Science（认知智能国家重点实验室，科学大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Centerce（人工智能研究院，合肥综合性国家科学中心）；Individual Researcher（个人研究员）；Zhejiang University, Hangzhou, China（浙江大学，杭州，中国）
本文通过控制预训练实验研究代码对推理能力的影响，发现代码主要提升编程能力而非通用推理，且在复杂数学推理中与知识密集型任务竞争，同时结构化推理轨迹（如代码-文本和数学-文本混合）比纯可执行代码更能提升推理能力。
2026-05-19 cs.AI cs.CL
Do speech foundation models really learn words?
University of Toronto（多伦多大学）
本文通过残差化方法剔除音素信息，证明HuBERT和wav2vec 2.0在深层确实学习到独立于词形的词汇表示，并能增强词汇发现任务中的高阶语言信息。
2026-09-10 cs.CL cs.SD
What is needed for simple spatial language capabilities in VQA?
University of Cambridge（剑桥大学）
视觉问答（VQA）包括多种语言能力。诊断基准数据集CLEVR通过帮助更好地评估和区分体外计数、比较和空间推理等基本能力的模型，推动了研究进展。按照这种方法，我们专注于空间语言能力和调查的问题：什么是处理简单的视觉空间关系的关键成分？我们研究了SAN、RelNet、FiLM和MC模型，并评估了它们在诊断数据上的学习行为，这些诊断数据只关注空间关系。通过比较分析和有针对性的模型修改，我们确定了在CNN-LSTM基线基础上进行实质性改进所真正需要的内容。
2019-10-22 cs.AI cs.CL cs.CV
