语言大模型 / LLM

When Intelligence Fails: An Empirical Study on Why LLMs Struggle with Password Cracking

当智能失效：一项关于LLMs在密码破解中挣扎原因的实证研究

Mohammad Abdul Rehman, Syed Imad Ali Shah, Abbas Anwar, Noor Islam, Hamid Khan

机构 * Future Data Minds Research Lab（未来数据智能研究实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 本研究发现LLMs在密码破解任务中表现不佳，指出其在领域适应和记忆能力上的不足，强调需要改进的密码推断方法。

LookPlanGraph: Embodied Instruction Following Method with VLM Graph Augmentation

LookPlanGraph: 一种基于视觉语言模型图增强的具身指令跟随方法

Anatoly O. Onishchenko, Alexey K. Kovalev, Aleksandr I. Panov

机构 * MIRAI ； Cognitive AI Systems Lab（认知人工智能系统实验室） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 LookPlanGraph通过动态更新场景图实现具身指令跟随，利用视觉语言模型增强环境感知，优于静态场景图方法。

Training LLMs for Honesty via Confessions

通过忏悔训练LLM的诚实性

Manas Joglekar, Jeremy Chen, Gabriel Wu, Jason Yosinski, Jasmine Wang, Boaz Barak, Amelia Glaese

机构 * OpenAI 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过训练LLM生成忏悔来提升其诚实性，验证了在分布外场景中检测和纠正模型不当行为的有效性。

AdaGradSelect: An adaptive gradient-guided layer selection method for efficient fine-tuning of SLMs

AdaGradSelect: 一种基于自适应梯度引导的层选择方法，用于高效微调小型语言模型

Anshul Kumar, Gagan Raj Gupta, Manisha Chawla

机构 * IIT Bhilai（比哈尔理工学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；small language model(abstract)；分类 cs.AI、cs.LG

AI总结 AdaGradSelect通过自适应梯度引导选择Transformer块，实现高效微调SLMs，训练速度快35%且性能接近全微调。

Yes-MT's Submission to the Low-Resource Indic Language Translation Shared Task in WMT 2024

Yes-MT在WMT 2024低资源印地语翻译共享任务中的提交

Yash Bhaskar, Parameswari Krishnamurthy

机构 * IIIT Hyderabad（IIIT海得拉巴） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 Yes-MT在WMT 2024低资源印地语翻译共享任务中，通过多种方法探索低资源翻译挑战，展示了LLMs在微调下的表现。

Comments Accepted at WMT 2024

Journal ref In Proceedings of the Ninth Conference on Machine Translation (WMT 2024), pages 788-792, 2024

May I have your Attention? Breaking Fine-Tuning based Prompt Injection Defenses using Architecture-Aware Attacks

请允许我注意：利用架构感知攻击打破基于微调的提示注入防御

Nishit V. Pandya, Andrey Labunets, Sicun Gao, Earlence Fernandes

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于注意力的攻击算法，揭示了现有白盒提示注入防御的不足，攻击成功率高达85-95%

Ladder Up, Memory Down: Low-Cost Fine-Tuning With Side Nets

向上爬，记忆下降：低成本微调与侧边网络

Estelle Zheng, Nathan Cerisara, Sébastien Warichet, Emmanuel Helbert, Christophe Cerisara

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 LST通过轻量级侧边网络实现高效微调，比QLoRA更节省内存，同时在多个任务中保持竞争力。

Free and Customizable Code Documentation with LLMs: A Fine-Tuning Approach

基于LLM的免费且可定制的代码文档生成：一种微调方法

Sayak Chakrabarty, Souradip Pal

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Northwestern University（西北大学） ； School of Electrical & Computer Engineering（电气与计算机工程学院） ； Purdue University（普渡大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种基于LLM的免费代码文档生成工具，通过微调方法解决现有开源应用在成本和可定制性上的不足。

Skrull: Towards Efficient Long Context Fine-tuning through Dynamic Data Scheduling

Skrull：通过动态数据调度实现高效的长上下文微调

Hongtao Xu, Wenting Shen, Yuanxin Wei, Ang Wang, Guo Runfan, Tianxing Wang, Yong Li, Mingzhen Li, Weile Jia

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； State Key Lab of Processors, Institute of Computing Technology, CAS（中国科学院计算技术研究所 processors 国家重点实验室） ； Alibaba Group（阿里巴巴集团） ； Sun Yat-sen University（中山大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

AI总结 Skrull通过动态数据调度提升长上下文微调效率，实现高效训练和性能优化。

Comments Accepted by NeurIPS 2025

Reassessing the Role of Supervised Fine-Tuning: An Empirical Study in VLM Reasoning

重新评估监督微调的作用：VLM推理中的实证研究

Yongcan Yu, Lingxiao He, Shuo Lu, Lijun Sheng, Yinuo Xu, Yanbo Wang, Kuangpu Guo, Jianjie Cheng, Meng Wang, Qianlong Xie, Xingxing Wang, Dapeng Hu, Jian Liang

机构 * NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（人工智能研究院 & 模式识别与人工智能研究所，中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Meituan（美团） 纠错

专题命中 指令微调 ：language model(abstract)；post-training(abstract)；SFT(abstract)；分类 cs.CL、cs.LG

AI总结 本研究通过实证分析发现，监督微调在VLM推理中具有重要作用，挑战了强化学习优于监督微调的主流观点。

SCIR: A Self-Correcting Iterative Refinement Framework for Enhanced Information Extraction Based on Schema

SCIR: 一种基于模式的增强信息提取的自校正迭代细化框架

Yushen Fang, Jianjun Li, Mingqian Ding, Chang Liu, Xinchi Zou, Wenqi Yang

机构 * Yushen Fang, Jianjun Li, Mingqian Ding, Chang Liu, Xinchi Zou, Wenqi Yang（作者） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 SCIR框架通过自校正迭代细化方法，有效降低信息提取的训练成本并提升准确性，实现跨任务的高效信息提取。

Beyond Early-Token Bias: Model-Specific and Language-Specific Position Effects in Multilingual LLMs

超越早期词偏见：多语言大语言模型中的模型特定和语言特定的位置效应

Mikhail Menschikov, Alexander Kharitonov, Maiia Kotyga, Vadim Porvatov, Anna Zhukovskaya, David Kagramanyan, Egor Shvetsov, Evgeny Burnaev

机构 * ITMO Applied AI（ITMO应用人工智能） ； SberAI ； Applied AI（应用人工智能） ； Lomonosov MSU（罗蒙诺索夫莫斯科国立大学） ； HSE University（俄罗斯高等经济大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 研究揭示了多语言大语言模型中位置偏见的模型和语言特异性，发现部分模型偏好后期位置，提示策略影响准确性，且中间上下文信息对模型输出熵无显著影响。

Offscript: Automated Auditing of Instruction Adherence in LLMs

Offscript: LLMs指令遵循自动审计

Nicholas Clark, Ryan Bai, Tanu Mitra

机构 * University of Washington Information School Seattle Washington USA ； University of Washington\ G. Allen School of Computer Science \& Engineering Seattle Washington USA ； University of Washington Information School ； University of Washington\ G. Allen School of Computer Science \& Engineering 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Offscript通过自动化审计检测LLM指令遵循问题，揭示86.4%的对话中存在潜在违规行为，其中22.2%经人工确认为实质性违规。

TRepLiNa: Layer-wise CKA+REPINA Alignment Improves Low-Resource Machine Translation in Aya-23 8B

TRepLiNa：分层CKA+REPINA对齐改进Aya-23 8B低资源机器翻译

Toshiki Nakai, Ravi Kiran Chikkala, Lena Sophie Oberkircher, Nicholas Jennings, Natalia Skachkova, Tatiana Anikina, Jesujoba Oluwadara Alabi

机构 * Saarland University（萨尔兰大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TRepLiNa通过结合CKA和REPINA实现分层对齐，提升低资源语言Aya-23 8B的机器翻译质量，尤其在数据稀缺情况下效果显著。

Comments It is work in progress

SAFT: Structure-Aware Fine-Tuning of LLMs for AMR-to-Text Generation

SAFT：面向AMR到文本生成的结构感知LLM微调

Rafiq Kamel, Filippo Guerranti, Simon Geisler, Stephan Günnemann

机构 * School of Computation, Information and Technology（计算、信息与技术学院） ； Technical University of Munich（慕尼黑技术大学） ； Munich Data Science Institute（慕尼黑数据科学研究所） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 SAFT通过将图拓扑注入预训练LLMs，提升AMR到文本生成的性能，实现3.5 BLEU提升。

Comments Accepted at the KDD2025 Workshop on Structured Knowledge for LLMs

LLMs Can't Handle Peer Pressure: Crumbling under Multi-Agent Social Interactions

大语言模型难以应对同伴压力：在多智能体社交互动中崩溃

Maojia Song, Tej Deep Pala, Ruiwen Zhou, Weisheng Jin, Amir Zadeh, Chuan Li, Dorien Herremans, Soujanya Poria

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Nanyang Technological University（南洋理工大学） ； National University of Singapore（国立新加坡大学） ； Lambda Labs（Lambda实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了大语言模型在多智能体社交互动中的表现，提出KAIROS基准用于评估模型在复杂社交动态中的决策能力，发现模型规模和训练方法对抵抗社交影响至关重要。

PromptTailor: Multi-turn Intent-Aligned Prompt Synthesis for Lightweight LLMs

PromptTailor: 为轻量级大语言模型进行多轮意图对齐的提示合成

Yizhou Xu, Janet Davis

机构 * Whitman College（惠特曼学院） 纠错

专题命中 指令微调 ：LLM(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 PromptTailor通过意图对齐的提示合成提升轻量级大语言模型的输出质量，以更少的模型调用次数实现更高的用户偏好率。

Comments EMNLP 2025 Workshop PALS. Additional note: There is a citation error on Evoke. The paper we are referring to is "Evoking critical thinking abilities in LLMs via reviewer-author prompt editing."

Generative Query Expansion with Multilingual LLMs for Cross-Lingual Information Retrieval

基于多语言大语言模型的生成式查询扩展用于跨语言信息检索

Olivia Macmillan-Scott, Roksana Goworek, Eda B. Özyiğit

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； University College London（伦敦大学学院） ； Queen Mary University of London（伦敦女王学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨了多语言大语言模型在跨语言信息检索中的生成式查询扩展效果，发现查询长度和提示技术对性能影响显著，且不同语言间存在显著的检索性能差异。

C$^3$TG: Conflict-aware, Composite, and Collaborative Controlled Text Generation

Yu Li, Zhe Yang, Yi Huang, Xin Liu, Guilin Qi

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments This paper has been accepted as a poster presentation at AAAI-2026

Online Mixture of Experts: No-Regret Learning for Optimal Collective Decision-Making

Larkin Liu, Jalal Etesami

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

Uncovering Factor Level Preferences to Improve Human-Model Alignment

Juhyun Oh, Eunsu Kim, Jiseon Kim, Wenda Xu, Inha Cha, William Yang Wang, Alice Oh

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Fira: Can We Achieve Full-rank Training of LLMs Under Low-rank Constraint?

Xi Chen, Kaituo Feng, Changsheng Li, Xunhao Lai, Xiangyu Yue, Ye Yuan, Guoren Wang

机构 * Beijing Institute of Technology（北京理工大学） ； School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） ； Hebei Province Key Laboratory of Big Data Science and Intelligent Technology（河北省大数据科学与智能技术重点实验室） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments NeurIPS 2025, Project page: https://github.com/xichen-fy/Fira

Learning to Refine: An Agentic RL Approach for Iterative SPARQL Query Construction

Floris Vossebeld, Shenghui Wang

机构 * Faculty of Electrical Engineering, Mathematics and Computer Science（电气工程、数学与计算机科学学院） ； University of Twente（特文特大学） ； Microsoft Netherlands（微软荷兰） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

S2D-ALIGN: Shallow-to-Deep Auxiliary Learning for Anatomically-Grounded Radiology Report Generation

Jiechao Gao, Chang Liu, Yuangang Li

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI

GraphRAFT: Retrieval Augmented Fine-Tuning for Knowledge Graphs on Graph Databases

Alfred Clemedtson, Borun Shi

机构 * Neo4j 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

The Path Not Taken: RLVR Provably Learns Off the Principals

Hanqing Zhu, Zhenyu Zhang, Hanxian Huang, DiJia Su, Zechun Liu, Jiawei Zhao, Igor Fedorov, Hamed Pirsiavash, Zhizhou Sha, Jinwon Lee, David Z. Pan, Zhangyang Wang, Yuandong Tian, Kai Sheng Tai

机构 * Meta AI ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

Comments Preliminary version accepted as a spotlight in NeurIPS 2025 Workshop on Efficient Reasoning

The Few Govern the Many:Unveiling Few-Layer Dominance for Time Series Models

Xin Qiu, Junlong Tong, Yirong Sun, Yunpu Ma, Xiaoyu Shen

机构 * Eastern Institute of Technology, Ningbo, China（东部技术研究所） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.LG

Tool Zero: Training Tool-Augmented LLMs via Pure RL from Scratch

Yirong Zeng, Xiao Ding, Yutai Hou, Yuxian Wang, Li Du, Juyi Dai, Qiuyang Ding, Duyu Tang, Dandan Tu, Weiwen Liu, Bing Qin, Ting Liu

机构 * Harbin Institute of Technology SCIR Lab（哈尔滨工业大学SCIR实验室） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Shanghai Jiao Tong University（上海交通大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 指令微调 ：language model(abstract)；post-training(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

Comments EMNLP 2025 finding

Temporal Alignment of Time Sensitive Facts with Activation Engineering

Sanjay Govindan, Maurice Pagnucco, Yang Song

机构 * University of New South Wales（新南威尔士大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG

Separate the Wheat from the Chaff: Winnowing Down Divergent Views in Retrieval Augmented Generation

Song Wang, Zihan Chen, Peng Wang, Zhepei Wei, Zhen Tan, Yu Meng, Cong Shen, Jundong Li

机构 * University of Virginia（弗吉尼亚大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments EMNLP Main 2025