When, What, and How: Rethinking Retrieval-Enhanced Speculative Decoding
OPPO Research Institute(OPPO研究院)
提出ReSpec框架,通过熵引导自适应触发、反馈驱动候选选择和来源感知宽松验证,将启发式起草器切换转变为自适应决策,在保持输出质量的同时实现最先进加速。
2025-11-03 cs.AI cs.CL
The Lottery LLM Hypothesis, Rethinking What Abilities Should LLM Compression Preserve?
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));National University of Singapore(新加坡国立大学)
本文提出彩票LLM假说,认为存在更小的LLM借助多步推理和外部工具可达到原模型性能,并指出压缩应保留这些被忽视的能力。
2025-02-24 cs.AI cs.CL cs.FL
Does In-Context Learning Really Learn? Rethinking How Large Language Models Respond and Solve Tasks via In-Context Learning
Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学)
本文将上下文学习(ICL)性能分解为标签空间、格式和判别三维度,发现示范对判别影响甚微但能有效调节标签和格式,且检索语义相似示例可显著提升判别能力,但标签多样性存在权衡。
2024-07-23 cs.CL
Rethinking Human Preference Evaluation of LLM Rationales
University of Washington(华盛顿大学);Stanford University(斯坦福大学)
本文提出基于属性的细粒度评估方法,通过SHAP分析MT Bench和Chatbot Arena数据集,揭示了LLM推理依据质量的关键属性,并使用特定属性的ELO分数提供更细致的模型比较。
2025-09-14 cs.AI cs.CL
One Example Is Enough to Pass Fairness Benchmarks: Rethinking Fairness Evaluation for Aligned LLMs
University of Michigan(密歇根大学);The Ohio State University(俄亥俄州立大学);University of Aberdeen(阿伯丁大学);University of Cambridge(剑桥大学)
本文通过实验证明单个示例即可大幅提升BBQ公平性基准得分,指出该类基准仅衡量单一结构线索,无法真实反映模型公平性,呼吁构建更全面的评估套件。
2026-09-15 cs.AI cs.CL
What Do Safety-Aligned LLMs Learn From Mixed Compliance Demonstrations?
研究通过混合良性顺从演示和有害顺从演示,探究演示组成如何驱动有害顺从,发现演示内容、顺序和训练方法影响模型提取的信息。
2026-06-19 cs.AI cs.LG
Rethinking Data Mixing from the Perspective of Large Language Models
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));OpenCSG;Harbin Institute of Technology(哈尔滨工业大学)
本文从理论角度探讨数据混合策略对大语言模型训练的影响,提出DoGraph框架,通过图约束优化提升模型泛化能力。
2026-04-09 cs.AI cs.CL cs.LG
What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);Hong Kong University of Science and Technology(香港科技大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文通过理论分析证明上下文示例的语义相似性和推理稳定性影响LLMs数学推理性能,并提出LMS3方法,能自适应选择相关样本并拒绝不适合的示例,在多个基准上实现一致改进。
2024-12-11 cs.AI cs.CL
What Factors Affect Multi-Modal In-Context Learning? An In-Depth Exploration
Tsinghua University(清华大学);Central South University(中南大学);Harbin Institute of Technology(哈尔滨工业大学);ByteDance(字节跳动)
本文通过6个视觉大语言模型和20种策略,系统考察示例检索、排序与提示构建对MM-ICL性能的影响,为策略优化提供指导。
2024-10-27 cs.AI cs.CL cs.CV
Verb-ICL: Rethinking In-Context Learning for Structured Prediction
Johns Hopkins University(约翰斯·霍普金斯大学);Optum(奥普特姆)
针对结构化预测中上下文学习难以捕捉词元级模式及任务特定标注的问题,提出Verb-ICL选择性标注框架,通过词元级覆盖选择示例并生成错误反馈,在六个数据集上优于基线。
2026-10-06 cs.CL
Confronting LLMs with Traditional ML: Rethinking the Fairness of Large Language Models in Tabular Classifications
Harvard University(哈佛大学);UiT The Arctic University of Norway(挪威北极大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文通过实验考察LLM在表格分类中的信息利用与社会偏见,发现其偏见源于预训练语料且公平性差距大于传统ML,而翻转上下文示例标签可显著缓解偏见。
2024-04-02 cs.CL cs.LG
Say Something Else: Rethinking Contextual Privacy as Information Sufficiency
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院);University of Tokyo(东京大学)
本文提出信息充分性任务,引入自由文本假名化策略,并设计对话评估协议,评估七种前沿LLM在隐私、隐蔽性和效用上的表现。
2026-04-07 cs.AI cs.CL cs.CR
Lingua Franca or Probing Artifact? Rethinking Latent Language in Multilingual LLMs
EPFL(洛桑联邦理工学院)
该研究探究多语言大语言模型中不同潜在语言探测的差异,发现两类探测结果分歧,提示需谨慎解读潜在语言识别,其揭示多语言处理的不同方面而非单一内部通用语。
2026-09-02 cs.AI cs.CL cs.LG
Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning
Salesforce AI Research(Salesforce AI研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Random Attention方法不计算KV缓存token的得分,均匀随机驱逐token,在四个模型六个推理任务上性能与现有最强方法相当,且vLLM部署吞吐量提升32%-43%,揭示了推理轨迹的冗余抵御驱逐的机制。
2026-09-29 cs.CL
SR-LLM: Rethinking the Structured Representation in Large Language Model
Westlake University(西湖大学);KMind Technology Co., Ltd.(科明科技有限公司);Tianjin University(天津大学);Beijing Jiaotong University, Weihai(北京交通大学威海校区);University of Toronto(多伦多大学);Tencent AI Lab(腾讯AI实验室)
针对大语言模型零样本集成结构化表示效果不佳的问题,提出SR-LLM框架,从免训练(提示词自然语言描述)和微调两种方案集成结构化表示,在多数据集上取得提升,首次证明结构化表示可大幅增强LLM推理能力。
2025-02-20 cs.CL
Rethinking Uncertainty Evaluation in Large Language Models
Carnegie Mellon University(卡内基梅隆大学);Meta
研究大语言模型中置信度评估问题,指出校准标准不充分。沿结构连贯性、忠实性和有用性三个轴形式化条件为C1指标,发现常用估计器违反条件,RLHF等未恢复连贯性,框架可测度与弥合差距。
2026-07-23 cs.AI
Rethinking Agentic Workflows: Evaluating Inference-Based Test-Time Scaling Strategies in Text2SQL Tasks
Bosch Research North America, USA(博世美国研究北美洲);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心)
本文在 BIRD Mini-Dev 基准上评估了六种测试时间扩展策略和四个 LLM,发现 Divide-and-Conquer 提示和少样本演示能持续提升性能,揭示了部署 Text2SQL 系统时准确率、效率和复杂性的权衡。
2025-10-13 cs.CL cs.DB
Rethinking Latent Visual Reasoning: Grounding Latent Reasoning in Visual Evidence
针对潜在视觉推理中潜在标记对视觉证据响应弱的问题,提出ReaLVR方法,通过引入视觉证据监督,在多个模型上提升性能,并首次将视觉推理扩展到235B规模。
2026-09-29 cs.CL cs.CV cs.LG
Imitation Dominates Reinforcement: Direct In-Context RL Is Closer to ICL Than RL
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
该研究通过实验发现直接上下文强化学习(ICRL)中奖励影响极小,轨迹推动性能提升的关键并非语义内容,直接ICRL更应视为上下文学习(ICL)的特例,为智能体记忆设计提供了新方向。
2026-11-04 cs.CL cs.LG
Establishing Trustworthiness: Rethinking Tasks and Model Evaluation
LMU Munich(慕尼黑大学);IT University of Copenhagen(哥本哈根信息技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文指出LLMs使传统NLP任务划分瓦解且评估面临挑战,强调需将可信赖性置于核心,重新思考任务与模型评估,并回顾现有方法提出多维度评估建议。
2023-10-23 cs.CL
Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling
Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学);BUPT(北京邮电大学)
本文针对测试时缩放(TTS)研究的缺失,通过实验分析策略模型、PRMs和问题难度对TTS的影响,提出计算最优TTS策略,实现小模型(如1B LLM)在推理任务上超越大模型,为提升LLMs推理能力提供新方向。
2025-02-10 cs.CL
"I Just Need GPT to Refine My Prompts": Rethinking Onboarding and Help-Seeking with Generative 3D Modeling Tools
Computing Science, Simon Fraser University(西蒙弗雷泽大学计算机科学系)
研究探讨了生成式AI工具在3D建模中如何改变用户入门和求助行为,发现专业用户利用3D知识优化迭代,而普通用户倾向于接受足够好的结果。
2026-03-31 cs.AI cs.HC
Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe
Tsinghua University(清华大学);ShanghaiTech University(上海交通大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Renmin University of China(中国人民大学)
本文系统研究了在线策略蒸馏的动态和机制,发现成功关键在于师生思维模式兼容及教师提供新能力,提出两种恢复失败蒸馏的策略,并指出密集奖励的表面优势背后存在代价。
2026-04-15 cs.AI cs.CL cs.LG
Rethinking Post-Unlearning Behavior of Large Vision-Language Models
Seoul National University(首尔国立大学)
本文提出新的反遗忘任务和PUBG方法,旨在生成隐私保护且信息丰富的后反遗忘响应,解决现有方法导致的退化、幻觉或过度拒绝问题。
2026-04-20 cs.AI cs.CV cs.LG
Large Language Models Know What Makes Exemplary Contexts
Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学)
本文提出一个统一框架,使大型语言模型能自我选择、排序并优化上下文示例,通过参数高效检索头和强化学习增强上下文学习性能。
2024-08-20 cs.CL
Inference-Time Rethinking with Latent Thought Vectors for Math Reasoning
Department of Statistics and Data Science, UCLA(统计与数据科学系, UCLA);Lambda Inc(Lambda公司);Tsinghua University(清华大学);Salesforce Research(Salesforce研究)
本文提出基于潜在思维向量的推理时间重新思考框架,通过迭代自我纠正提升数学推理能力,实验证明其在GSM8K数据集上优于基线模型。
2026-02-06 cs.CL cs.LG stat.ML
Rethinking Memory as Continuously Evolving Connectivity
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);MemTensor;Tongji University(同济大学)
提出 FluxMem 框架,将记忆建模为异构图并通过三个阶段(初始连接形成、反馈驱动优化、长期巩固)动态演化拓扑结构,以解决现有记忆增强型 LLM 代理在动态环境中的脆弱性问题。
2026-05-27 cs.AI cs.CL cs.LG
What In-Context Learning "Learns" In-Context: Disentangling Task Recognition and Task Learning
Princeton University(普林斯顿大学)
本文解耦上下文学习中的任务识别(TR)与任务学习(TL),通过受控实验发现TR不随模型规模或示例增多而提升,而TL随规模扩大和示例增多持续改善,倡导未来研究区分二者。
2023-05-16 cs.CL cs.LG
Rethinking Heterogeneous LLM Merging: A Weighted Model Averaging Perspective
University of Science and Technology of China(中国科学技术大学);School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院)
研究异构语言模型合并问题,通过无训练的维度适配和比率控制插值,在联合式与交叉式合并中进行实验,结果表明简单参数平均结合轻量级适配和比率控制是强大基线,揭示直接加权融合的限制及对复杂方法的制约。
2026-07-21 cs.AI
Rethinking Reinforcement fine-tuning of LLMs: A Multi-armed Bandit Learning Perspective
University of Science and Technology of China(中国科学技术大学);IFlyTek (China)(iFlytek(中国))
本文从多臂老虎机学习视角重新思考大语言模型的强化微调,通过极简实验流程揭示优化选择的作用及瓶颈问题,为该领域提供新见解。
2026-01-21 cs.AI cs.LG
Rethinking Experience Utilization in Self-Evolving Language Model Agents
Harbin Institute of Technology(哈尔滨工业大学);Huawei Technologies Co., Ltd(华为技术有限公司)
本文研究自演化代理中经验利用的关键设计维度,提出ExpWeaver方法,通过在决策过程中交织经验使用,使代理在需要额外指导时才调用经验,提升性能。
2026-05-08 cs.CL
Masked IRL: LLM-Guided Reward Disambiguation from Demonstrations and Language
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出掩码逆强化学习框架,利用大语言模型结合演示和语言信息,提升机器人奖励学习的样本效率和泛化能力。
2026-03-30 cs.AI cs.RO
When Models Disagree: Rethinking LLM Evaluation for Public Comment Analysis
AI Lab, Princeton University Engineering and Applied Sciences(普林斯顿大学人工智能实验室、工程与应用科学学院);RAND Corporation(RAND公司);Engineering and Applied Sciences(工程与应用科学);Science, Technology, and International Affairs(科学、技术与国际事务);Georgetown University(乔治·华盛顿大学)
提出一种解释性审计流程,利用多模型分歧检测解释复杂性,引导人工审查关注真正模糊的公众意见,以补充传统基于准确率的评估方法。
2026-05-27 cs.AI cs.CY cs.HC
What Do Language Models Learn in Context? The Structured Task Hypothesis
本文通过文本分类实验检验三种 ICL 假说,否定任务选择与元学习解释,证明 LLM 更可能组合预训练任务来完成上下文新任务。
2024-08-05 cs.CL cs.LG
Supporting software engineering tasks with agentic AI: Demonstration on document retrieval and test scenario generation
Gratex International(格拉特克斯国际);Department of Applied Informatics Faculty of Mathematics, Physics and Informatics Comenius University(应用信息学院数学、物理和信息学院康门ius大学)
本文提出利用代理AI解决软件工程中的文档检索和测试场景生成问题,通过专用代理处理不同任务,提升软件开发效率。
2026-02-04 cs.AI cs.SE
DISEIL: Demonstration Distillation for Sample-Efficient Imitation Learning
Deakin Applied Artificial Intelligence Initiative(迪肯应用人工智能倡议)
本文提出DISEIL,通过有意选择失败模式和演示起点,用视觉-语言模型生成演示请求,在模拟任务中显著提升样本效率,实现高成功率。
2026-09-09 cs.AI cs.LG cs.RO
Rethinking what Matters: Effective and Robust Multilingual Realignment for Low-Resource Languages
Ontario Tech University(安大略技术大学);Stanford University(斯坦福大学);SAS Posos;University of Toronto(多伦多大学)
本文通过实证研究发现,面向低资源语言的多语言重对齐无需覆盖所有语言,精心选择语言多样化的子集即可达到甚至超越全量对齐的跨语言迁移效果,从而降低数据收集成本并保持稳健性。
2025-11-09 cs.AI cs.CL
What Does LALM Post-training Learn? Rethinking Audio Understanding and Reasoning Capabilities
National Taiwan University(台湾大学);NVIDIA(英伟达);NTU AI-Core(台湾大学AI核心中心)
该研究针对 LALM 后训练的实际学习内容开展控制实验,发现其性能提升多源于对特定问题格式的适配,而非真正的音频理解与推理能力,为 LALM 后训练的优化提供了方向。
2026-10-15 cs.CL cs.MM cs.SD
"What is the value of {templates}?" Rethinking Document Information Extraction Datasets for LLMs
JPMorgan AI Research(摩根大通人工智能研究院)
针对富视觉文档理解中关键信息抽取依赖简单模板导致模型鲁棒性不足的问题,本文提出包含5个数据集的K2Q,通过定制模板生成多样化问题,实验表明该数据集可提升模型性能与鲁棒性。
2024-10-20 cs.CL
What Goes Into a LM Acceptability Judgment? Rethinking the Impact of Frequency and Length
Carnegie Mellon University(卡内基梅隆大学);New York University(纽约大学)
本文提出关联理论 MORCELA,通过从数据中学习长度和一元频率的调整参数,改进语言模型可接受性判断与人类判断的对应关系,并发现更大模型对频率效应更不敏感。
2025-06-03 cs.CL
The Tool Illusion: Rethinking Tool Use in Web Agents
Microsoft Research, Redmond(微软研究院,雷德蒙德);The Pennsylvania State University, University Park(宾夕法尼亚州立大学,大学园)
本文通过系统研究不同工具源、基础模型和评估基准,重新审视网络代理中的工具使用,揭示工具效果的稳定性及潜在副作用,为未来研究提供更可靠的实证基础。
2026-07-17 cs.CL
Readability $\ne$ Learnability: Rethinking the Role of Simplicity in Training Small Language Models
UC San Diego(圣地亚哥大学)
本文通过合成数据集实验,证明可读性并非小型语言模型学习性的关键,统计简单性(n-gram多样性)才是更强预测因子,并警示拟人化训练趋势。
2025-10-15 cs.AI cs.CL cs.LG
Improved Multi-label Classification under Temporal Concept Drift: Rethinking Group-Robust Algorithms in a Label-Wise Setting
University of Copenhagen(哥本哈根大学)
在文档分类中,例如,法律和生物医学文本,我们经常处理数百个类,包括非常罕见的类,以及由现实世界事件的影响引起的时间概念漂移,例如,政策变化、冲突或流行病。类不平衡和漂移有时可以通过重新分配训练数据来模拟(或补偿)已知的目标分布来减轻,但是如果目标分布是由未知的未来事件决定的呢?而不是简单地重新部署统一对冲我们的赌注,我们专注于底层的优化算法用于训练这样的文档分类器和评估几组强大的优化算法,最初提出,以减轻组级的差异。将组鲁棒算法重新定义为概念漂移下的自适应算法,我们发现不变风险最小化和谱解耦在类不平衡和概念漂移方面优于基于采样的方法,并且在少数类上具有更好的性能。标签集越大,效果越明显。
2022-03-15 cs.CL cs.LG
Beyond Detection: Rethinking Education in the Age of AI-writing
AIRI(人工智能研究所);Skoltech(斯科尔科沃科学技术研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文探讨人工智能写作对教育的影响,强调写作过程对深度学习的重要性,提出通过改进教学方法而非禁令来应对AI写作挑战,指出识别机器生成语言成为21世纪关键素养。
2026-03-26 cs.CL
Good Examples Make A Faster Learner: Simple Demonstration-based Learning for Low-resource NER
University of Southern California(南加州大学);Sony Group Corporation(索尼集团公司)
近年来,基于完形填空的学习方法在Few-Shot文本分类中取得了很好的效果。在命名实体识别(NER)上已经进行了类似的尝试,其手动设计模板以预测句子中每个文本跨度的实体类型。然而,这样的方法可能遭受由实体跨度检测引起的错误传播、由于枚举所有可能的文本跨度而导致的高成本、以及省略句子中的标记标签之间的相互依赖性。在这里,我们提出了一个简单的示范为基础的学习方法NER,它让输入由任务演示为上下文学习。我们进行了一个系统的研究演示策略包括什么(实体的例子,有或没有周围的上下文),如何选择的例子,以及使用什么样的模板。域内学习和领域自适应的结果表明,模型在低资源环境中的性能可以通过适当的演示策略(例如,在25个训练实例上提高4-17%)。我们还发现,良好的示范可以节省许多标记的例子和一致性的示范有助于更好的性能。
2022-03-31 cs.CL
Rethinking Task Sampling for Few-shot Vision-Language Transfer Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
尽管实现了最先进的zero-shot性能,现有的视觉语言模型仍然达不到特定领域问题的Few-Shot传输能力。经典的微调往往无法防止高表达模型利用虚假的相关性。尽管模型不可知元学习(MAML)是Few-Shot迁移学习的自然替代方案,但由于隐式二阶优化而导致的昂贵计算限制了其在大规模视觉语言模型(如CLIP)上的使用。虽然许多文献一直致力于探索替代的优化策略,我们确定了有效的Few-Shot迁移学习,任务采样,这是以前只被视为数据预处理的一部分,在MAML的另一个重要方面。为了显示任务采样的影响,我们提出了一个简单的算法,模型无关的多任务微调(MAMF),它区分经典的微调只对均匀采样多个任务。尽管它的简单性,我们表明,MAMF始终优于经典的微调五个Few-Shot视觉语言分类任务。我们进一步表明,MAML中的两级优化的有效性是高度敏感的zero-shot性能的任务的上下文中的Few-Shot视觉语言分类。本文的目标是提供新的见解是什么使少样本学习的工作,并鼓励更多的研究调查更好的任务抽样策略。
2022-07-15 cs.CL cs.CV cs.MM