Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Retrieval, Reasoning, and Hallucination in Long-Context LLMs
Department of Electrical Engineering & Computer Science University of Michigan(电气工程与计算机科学系 密歇根大学)
研究大语言模型中事实分布和反幻觉提示对检索、推理及幻觉的影响,通过扩展基准评估多个模型,识别出分布崩溃和安全代价两种失败模式,发现许多失败源于无效上下文利用,强调特定模型稳健性和上下文管理的重要性。
2026-07-16 cs.AI cs.CL
You don't need a personality test to know these models are unreliable: Assessing the Reliability of Large Language Models on Psychometric Instruments
University of Michigan(密歇根大学);Georgia Institute of Technology(佐治亚理工学院);LG AI Research(LG人工智能研究院)
本文通过构建涵盖39种人格测量工具的数据集并设计提示扰动实验,系统评估了17个大型语言模型在心理测量问答中的可靠性,发现简单扰动即显著降低模型表现且否定一致性较差,指出当前提示方法不足以可靠捕捉模型感知。
2024-04-01 cs.AI cs.CL
Assert, don't describe: Linguistic features that shift LLM reasoning about animal welfare
Compassion Aligned Machine Learning (CaML)(同情对齐机器学习实验室);Independent researcher(独立研究者)
研究通过词汇匹配的立场对比探针,测量十种语言特征对Llama-3.2-1B模型动物福利推理的影响,发现断言性确定性等七种特征增强支持动物福利,而模糊语言等两种特征削弱立场。
2026-07-14 cs.AI cs.CL
Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement
Capital One, AI Foundations(Capital One人工智能基础)
提出BINEVAL框架,将评估标准分解为原子二元问题,聚合为可解释的多维分数,在多项基准上匹配或超越强基线,并支持迭代提示优化。
2026-06-26 cs.AI cs.CL
Well Begun, Half Done: Reinforcement Learning with Prefix Optimization for LLM Reasoning
PPPO通过优化LLM推理的前缀部分,提升推理能力,实验显示其在推理任务中表现更优。
2025-12-17 cs.AI cs.CL
sDPO: Don't Use Your Data All at Once
Upstage AI(上景人工智能公司)
针对大语言模型与人类偏好对齐的需求,研究提出逐步式直接偏好优化sDPO,通过拆分偏好数据集逐步训练,可使用更精准的参考模型,最终模型性能超越参数量更大的主流大语言模型。
2024-10-07 cs.AI cs.CL
Honest AI: Fine-Tuning "Small" Language Models to Say "I Don't Know", and Reducing Hallucination in RAG
Independent Researcher
提出 Honest AI 策略,通过微调参数少于 100 亿的“小”语言模型使其回答“我不知道”,并结合 RAG 等混合方法,有效减少幻觉,在 CRAG 基准和 Task 2 中取得最佳成绩。
2024-10-13 cs.AI cs.CL
Don't Change My View: Ideological Bias Auditing in Large Language Models
Columbia University(哥伦比亚大学)
本文提出一种模型无关的统计方法,通过分析主题相关提示词下模型输出的分布变化来审计大型语言模型中的意识形态偏见,支持对专有黑盒系统的独立事后审计。
2025-09-16 cs.AI cs.CL
How Much Does Persuasion Strategy Matter? LLM-Annotated Evidence from Charitable Donation Dialogues
Interdisciplinary Centre for Security, Reliability and Trust (SnT)(安全、可靠性与信任跨学科研究中心)
研究通过分析10600个对话中的说服策略,发现仅 guilt induction 与较低的捐款率相关,而 reciprocity 是最强的正相关因素,表明单纯策略识别不足以解释说服效果。
2026-03-30 cs.CL
Banking Done Right: Redefining Retail Banking with Language-Centric AI
Universiti Malaya(马来大学);YTL AI Labs(YTL人工智能实验室);Ryt Bank(Ryt银行)
本文提出Ryt AI框架,通过四个LLM智能体实现自然语言核心金融交易,成为全球首个监管批准的对话式银行界面,证明了严格治理下语言界面的可靠性。
2025-10-09 cs.AI cs.CL
Don't Fine-Tune, Decode: Syntax Error-Free Tool Use via Constrained Decoding
Carnegie Mellon University(卡内基梅隆大学);California Institute of Technology(加州理工学院);UC Santa Barbara(加州大学圣巴巴拉分校)
提出TOOLDEC解码算法,利用有限状态机强制LLMs遵循工具语法,消除所有语法错误,显著提升通用模型在工具使用任务上的性能,媲美专用微调模型。
2024-06-04 cs.AI cs.CL
Language Models Don't Learn the Physical Manifestation of Language
University of Pennsylvania(宾夕法尼亚大学)
本文通过 H-Test 系列任务实证表明,仅语言模型缺乏语言的视觉-听觉物理表现理解能力,即使使用思维链、少样本示例或更强模型也接近随机水平,揭示了纯语言知识在缺乏感官经验时的根本局限。
2024-06-06 cs.AI cs.CL
Don't Get Too Excited -- Eliciting Emotions in LLMs
IT University of Copenhagen(哥本哈根 IT 大学);CERN(欧洲核子研究中心)
本文研究LLM在长对话中的情感控制挑战,结合情感分析与多轮对话模拟评估模型情感表达,发现其在维持一致情感和极端情绪状态方面存在显著差异与局限。
2025-03-04 cs.AI
Don't Half-listen: Capturing Key-part Information in Continual Instruction Tuning
School of Cyber Science and Engineering Nanjing University of Science and Technology China(南京理工大学信息科学与工程学院);Meituan China(美团);Zhipu.AI China(智谱AI);Institute of Information Engineering Chinese Academy of Sciences China(中国科学院信息工程研究所)
针对持续指令微调中的灾难性遗忘问题,提出基于关键部分信息增益(KPIG)的方法,通过动态重放数据和优化训练目标捕获任务关键信息,并引入P-score和V-score指标,实验证明在已见和保留任务上性能优越。
2025-05-27 cs.AI cs.CL
s3: You Don't Need That Much Data to Train a Search Agent via RL
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司)
提出轻量级模型无关框架s3,通过解耦搜索器与生成器并利用“超越RAG的增益”奖励进行训练,仅需2.4k样本即可在多个基准上超越使用70倍数据训练的基线,显著提升下游性能。
2025-11-05 cs.AI cs.CL
LLMs Don't Know Their Own Decision Boundaries: The Unreliability of Self-Generated Counterfactual Explanations
University of Oxford(牛津大学);Trinity College Dublin(都柏林三一学院)
本研究评估LLMs生成反事实解释的有效性与最小性,发现存在权衡且最小反事实常失败,表明其作为可解释性工具不可靠,需警惕高风险部署。
2025-09-11 cs.AI cs.CL cs.LG
Through the LLM Looking Glass: A Socratic Probing of Donkeys, Elephants, and Markets
Ludwig-Maximilians-Universität München(慕尼黑大学);Microsoft(微软);University of Göttingen(哥廷根大学);National Institute of Informatics(国立信息学研究所)
本研究通过苏格拉底方法分析LLM在意识形态框架下的偏见,发现GPT-4o在标注准确性上达到人类水平,但面对二元比较时仍存在偏好倾向。
2026-01-12 cs.CL
What LLM Forecasters Know but Don't Say: Probing Internal Representations for Calibration and Faithfulness
研究针对预测微调的大语言模型校准和忠实性问题,通过在中间激活上训练表示池探测器,发现其校准效果更好,还能评估CoT忠实性、追踪行为变化等,证明探究内部表示可用于校准、审计和分类语言模型预测器及推理模型。
2026-07-10 cs.AI cs.CL
LLMs Don't Pay for the Jump
Birla Institute of Technology and Science, Pilani(毕拉理工与科学学院皮拉尼分校)
该研究指出LLMs无法完成催生科学发现的溯因“跳跃”,因固定权重Transformer推理缺乏认知误差与物理代价的耦合,提出机器溯因需更深层物理机制的核心观点。
2026-08-17 cs.AI cs.CL
Don't Hallucinate, Abstain: Identifying LLM Knowledge Gaps via Multi-LLM Collaboration
University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校);The Hong Kong University of Science and Technology(香港科技大学);Carnegie Mellon University(卡内基梅隆大学)
本文针对大语言模型知识缺口问题,提出基于多LLM合作与竞争协作的弃权机制,在多个问答任务上将弃权准确率提升最高19.3%,并能辅助定位检索增强失败和多跳推理知识缺口。
2024-07-01 cs.CL
Don't Say No: Jailbreaking LLM by Suppressing Refusal
ShanghaiTech University(上海科技大学);Zhejiang University(浙江大学);Sun Yat-Sen University(中山大学)
本文提出 DSN 越狱攻击,通过改进损失目标并结合余弦衰减调度与拒绝抑制,在多个数据集和黑盒模型上取得了最先进的攻击成功率。
2025-07-02 cs.CL
Don't Forget Your Reward Values: Language Model Alignment via Value-based Calibration
Nanyang Technological University(南洋理工大学);SEA Group(SEA集团);Shopee Pte. Ltd(Shopee私人有限公司)
本文针对现有基于顺序的校准方法在奖励值利用上的不足,提出基于价值的校准方法VCB,在AI助手和摘要任务上超越现有对齐方法,并展现出更强的泛化性、鲁棒性和稳定性。
2024-02-25 cs.AI cs.CL
Is artificial intelligence still intelligence? LLMs generalize to novel adjective-noun pairs, but don't mimic the full human distribution
Harvard University(哈佛大学);Boston University(波士顿大学)
本文研究 LLM 对新颖形容词-名词组合的组合泛化与类人推理,提出三种脱离上下文的评估方法,发现最大模型可泛化,但最多仅在 75% 的数据上复现人类答案分布。
2024-10-23 cs.CL
Don't Offer What Can't Be Done: Deterministic Executability Gating for LLM Skill Selection at Scale
Wix Israel(Wix以色列);Wix Ukraine(Wix乌克兰)
该研究针对大规模LLM技能选择中不可执行技能的干扰问题,提出三阶段选择流水线,经生产分析和反事实测试,可大幅减少技能描述上下文并阻止不可执行技能影响模型选择。
2026-08-04 cs.AI cs.CL cs.SE
Don't Let It Hallucinate: Premise Verification via Retrieval-Augmented Logical Reasoning
University of Southern California(南加州大学)
本文提出一种基于检索增强的逻辑推理方法,用于在生成前验证用户查询中的前提,从而减少幻觉并提高事实准确性。
2026-02-16 cs.AI cs.CL
Don't Ignore Dual Logic Ability of LLMs while Privatizing: A Data-Intensive Analysis in Medical Domain
Harbin Institute of Technology(哈尔滨工业大学)
本文通过医疗领域数据密集型实验发现大语言模型在私有化后双重逻辑能力显著下降,并证明引入通用领域双重逻辑数据可同时提升双重逻辑能力与准确率,为私有化实践提供基准和指导。
2024-02-23 cs.CL
Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting
NYU Alignment Research Group(纽约大学对齐研究组);Cohere(Cohere公司);Anthropic(Anthropic公司)
本文揭示CoT解释会受输入偏置特征系统性影响却不被模型提及,导致模型为错误或偏见答案合理化,证明其看似可信但不忠实。
2023-12-09 cs.AI cs.CL
Don't Trust: Verify -- Grounding LLM Quantitative Reasoning with Autoformalization
Cornell University(康奈尔大学);University of Edinburgh(爱丁堡大学);xAI
本文提出一种基于自动形式化的验证方法,将 LLM 的非正式数学陈述翻译为 Isabelle 代码并自动验证其内部一致性,从而拒绝不一致的推理答案,在 GSM8K 等数据集上表现优于多数投票。
2024-03-26 cs.AI cs.CL cs.LG
Fine-Tuned LLMs Know They Don't Know: A Parameter-Efficient Approach to Recovering Honesty
针对监督微调削弱大语言模型诚实性的问题,提出参数高效的HCNR方法,通过恢复关键表达神经元修复诚实表达能力,实验证明其恢复效果、效率和数据利用率均优于基线。
2025-11-17 cs.CL
Do LLMs Really Know What They Don't Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness
Singapore Management University(新加坡国立管理学院);DAMO Academy, Alibaba Group(阿里集团达摩院);Singapore University of Technology and Design(新加坡科技设计大学)
本文探讨大语言模型是否真正了解其未知领域,通过分析内部状态发现其主要反映知识回忆而非真实性,提出hallucination分类方法以区分不同hallucination类型。
2026-04-17 cs.CL
LLM Cyber Evaluations Don't Capture Real-World Risk
Cisco Systems(思科系统公司)
本文指出当前LLM网络安全风险评估与真实世界影响不一致,提出包含威胁行为者分析的综合风险评估框架,通过对前沿模型作为网络安全助手的案例研究,发现其合规率高但准确率一般且风险中等,并建议加强产学合作、改进攻击者建模及引入经济指标。
2025-01-31 cs.AI cs.CL cs.CR
Show, Don't Tell: Uncovering Implicit Character Portrayal using LLMs
Vector Institute(向量研究所);Stevens Institute(斯蒂文斯理工学院);Dalhousie University(达尔豪斯大学);University of Waterloo(滑铁卢大学)
本研究提出LIIPA框架,利用大型语言模型揭示小说中隐式角色塑造,生成更丰富的数据集,并在公平性和准确性上优于现有方法。
2024-12-05 cs.AI cs.CL cs.CY
Don't Take Things Out of Context: Attention Intervention for Enhancing Chain-of-Thought Reasoning in Large Language Models
Alibaba Cloud Computing(阿里巴巴云计算);College of Software, Zhejiang University(浙江大学软件学院);Zhejiang University of Technology(浙江工业大学)
本文研究少样本 CoT 示范中局部 token 干扰 LLM 推理的问题,通过动态追踪注意力机制提出 FAI,识别并调整误导性 token 的注意力权重,在多个基准上取得稳定提升。
2025-03-14 cs.AI cs.CL
Select, Don't Train: The Benefits of Modular Entity Disambiguation with LLM-Based Selection
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Aarhus University(奥胡斯大学)
该研究提出将实体消歧的检索与选择解耦,基于LLM选择器对比不同检索策略,发现无需训练的BM25搭配LLM选择器在ZELDA基准上达到先进性能,还支持检测到检索失败时弃权,提升了实体消歧效果。
2026-08-31 cs.AI cs.CL cs.DB
Beyond "I Don't Know": Evaluating LLM Self-Awareness in Discriminating Data and Model Uncertainty
Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University, Beijing, China(计算机科学与技术系,人工智能研究院,清华大学,北京,中国);Institute for AI Industry Research (AIR), Tsinghua University, Beijing, China(人工智能产业研究院(AIR),清华大学,北京,中国)
本文提出UA-Bench基准测试,评估LLM在区分数据不确定性和模型不确定性方面的能力,发现即使先进模型也难以可靠区分,并提出轻量数据合成与强化学习策略提升不确定性判断。
2026-04-19 cs.CL
LivingArena: Do LLMs Know What Other LLMs Don't? Peer-Probing as Scalable Evaluation
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
研究大语言模型能否利用其他模型的未知进行评估,提出自动化抗污染评估框架LivingArena,模型轮流提问,经评审验证,能产生稳定排行榜,可衡量事实严谨性等,与人类偏好相关性弱,提供低成本持续评估方法。
2026-09-03 cs.AI
Can AI Assistants Know What They Don't Know?
Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学)
针对大语言模型驱动的AI助手易产生事实性错误的问题,研究构建专属Idk数据集对助手对齐,验证其可学会对未知问题弃权(不执行)作答,且作答准确率显著提升,为减少模型幻觉、提升真实性提供可行路径。
2024-01-28 cs.AI cs.CL
Larger Language Models Don't Care How You Think: Why Chain-of-Thought Prompting Fails in Subjective Tasks
University of Southern California(南加州大学)
本文研究了思维链提示在主观任务中失败的原因,发现对于更大的语言模型,CoT与上下文学习一样会因检索固化的推理先验而导致后验坍缩。
2024-10-17 cs.AI cs.CL
Identifying Fine-grained Forms of Populism in Political Discourse: A Case Study on Donald Trump's Presidential Campaigns
本文构建民粹主义话语数据集,评估多类语言模型与提示范式,发现微调RoBERTa表现最佳,并用于分析特朗普演讲及欧洲政治语料的跨域迁移。
2025-07-25 cs.CL
What Prompts Don't Say: Understanding and Managing Underspecification in LLM Prompts
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
本文探讨了LLM提示中的不充分性问题,指出默认推断的稳定性差且易退化,提出要求意识的提示优化机制和系统性的主动发现与监控流程以提升性能。
2026-04-24 cs.CL cs.SE
Do We Know What LLMs Don't Know? A Study of Consistency in Knowledge Probing
LMU Munich(慕尼黑莱布尼茨大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文通过输入变化和定量指标评估LLM知识探测方法,揭示了方法内(非语义扰动致方差)和跨方法(决策一致性低至7%)的不一致性,强调需开发抗扰动探测框架。
2025-05-30 cs.CL
Shh, don't say that! Domain Certification in LLMs
University of Oxford(牛津大学);Vienna University of Technology(维也纳技术大学);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
本文针对LLMs在受限域任务中易受对抗攻击生成域外输出的问题,提出了域认证概念及有效方法VALID,通过提供对抗性边界来紧密界定域外样本概率,且对拒绝行为惩罚最小。
2025-03-06 cs.AI cs.CL cs.CR
If It's Not Buggy, Don't Fix It: On the Dynamics of Iterative Bug-fixing with LLMs
University of Warwick(华威大学);UnlikelyAI
本研究探讨LLM迭代式盲目修复缺陷的动态,发现其常误报无缺陷程序并陷入伪修复循环,机制探针揭示存在控制编辑倾向的引导向量,为自主修复系统提供见解。
2026-09-10 cs.CL cs.SE
Don't Retrieve, Generate: Prompting LLMs for Synthetic Training Data in Dense Retrieval
本文提出通过提示大型语言模型生成合成硬负样本,用于密集检索模型训练,通过在10个BEIR基准数据集上评估发现,生成模型性能不优于传统方法。
2026-05-10 cs.CL cs.IR
Don't Overthink It: Inter-Rollout Action Agreement as a Free Adaptive-Compute Signal for LLM Agents
Stanford University(斯坦福大学)
TrACE通过测量跨回合动作一致性,实现LLM代理的自适应计算分配,无需训练或外部验证,在多步序列决策任务中提升效率和准确性。
2026-04-09 cs.AI cs.CL cs.MA
DongYuan: An LLM-Based Framework for Integrative Chinese and Western Medicine Spleen-Stomach Disorders Diagnosis
Beijing Wenge Technology Co., Ltd.(北京文歌科技有限公司);Hebei Provincial Hospital of Traditional Chinese Medicine(河北省中医院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tianjin University(天津大学)
本文提出东元框架,通过构建三个中西医脾胃疾病数据集,开发核心诊断LLM和咨询导航模型,建立评估基准,显著提升中西医脾胃疾病诊断性能。
2026-03-30 cs.CL
Don't Judge Code by Its Cover: Exploring Biases in LLM Judges for Code Evaluation
IPAI, Seoul National University(IPAI,首尔国立大学);Dept. of ECE, Seoul National University(电子工程系,首尔国立大学);LG AI Research(LG人工智能研究)
本文研究了LLM评委在评估代码时存在的偏见问题,揭示了其在处理语义等价但表面不同的代码时的不稳定性,并指出需要更稳健的评估方法。
2026-08-24 cs.CL cs.SE
Relay, Don't Route: Adaptive Population Handoff for Cost-Efficient LLM-Driven Evolution
针对LLM驱动演化全程用强模型成本高的问题,提出无需训练的自适应种群交接框架,通过廉价模型探索、中继增益触发交接,在12个测试设置中11个获最高平均分数,性能优于基线。
2026-08-07 cs.AI cs.CL cs.NE
Don't Think of the White Bear: Ironic Negation in Transformer Models Under Cognitive Load
该研究探讨Transformer模型在否定指令下的讽刺性反弹现象,通过两项实验分析认知负荷对反弹的影响及极性分离与反弹的关联,结合回路追踪揭示机制,并发布ReboundBench数据集支持后续研究。
2025-11-15 cs.AI cs.CL
DONOD: Efficient and Generalizable Instruction Fine-Tuning for LLMs via Model-Intrinsic Dataset Pruning
提出轻量级模型内在数据剪枝方法DONOD,结合DON和NOD指标及TOPSIS算法过滤噪声样本,在提升LLM微调效率与跨域泛化能力的同时保持数据集无关性。
2025-08-08 cs.AI cs.LG
Why Don't You Know? Evaluating the Impact of Uncertainty Sources on Uncertainty Quantification in LLMs
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文通过引入一个明确分类不确定性来源的新数据集,系统评估了现有不确定性量化方法在不同不确定性来源下的表现,发现多数方法在模型知识局限下表现良好,但在其他来源下性能下降或产生误导。
2026-05-29 cs.CL
For those who don't know (how) to ask: Building a dataset of technology questions for digital newcomers
Michigan Technological University(密歇根理工大学)
针对数字新手因词汇或概念障碍难以向LLM提出适当技术问题的问题,作者提出构建一个基于十年一对一辅导数据的技术问题数据集,并规划其潜在应用。
2024-03-26 cs.CL
Don't Stop the Multi-Party! On Generating Synthetic Written Multi-Party Conversations with Constraints
本文探讨利用指令微调的大语言模型生成合成书面多方对话,通过确定性约束如对话结构和参与者立场,发现逐轮生成比一次性生成更符合约束且语言多样性更高。
2026-03-27 cs.CL
Be like a Goldfish, Don't Memorize! Mitigating Memorization in Generative LLMs
University of Maryland(马里兰大学);ELLIS Institute Tübingen(埃利斯研究所蒂宾根分支);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心)
针对大语言模型记忆训练数据引发的隐私版权风险,提出名为goldfish loss的微调训练目标,通过随机排除部分词元的损失计算缓解记忆,在十亿级Llama-2模型上验证可显著降低可提取记忆且几乎不影响下游性能。
2024-11-02 cs.CL