语言大模型 / LLM

Continual-learning for Modelling Low-Resource Languages from Large Language Models

连续学习用于从大语言模型中建模低资源语言

Santosh Srinath K, Mudit Somani, Varun Reddy Padala, Prajna Devi Upadhyay, Abhijit Das

机构 * Machine Intelligence Group, Department of CS&IS, Birla Institute of Technology and Sciences, Pilani, India（机器智能组，计算机科学与信息系，比拉理工学院和科学学院，印度帕利尼） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；small language model(abstract)

AI总结 本文提出利用基于词性的代码切换和重放适配器策略，解决从大语言模型构建小语言模型时的灾难性遗忘问题，并在视觉语言任务中验证了方法的有效性。

Let's Put Ourselves in Sally's Shoes: Shoes-of-Others Prefilling Improves Theory of Mind in Large Language Models

让我们站在莎莉身上：他人之鞋预填法提升大语言模型的理论心智能力

Kazutoshi Shinoda, Nobukatsu Hojo, Kyosuke Nishida, Yoshihiro Yamazaki, Keita Suzuki, Hiroaki Sugiyama, Kuniko Saito

机构 * NTT, Inc.（日本电报电话公司） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 通过'他人之鞋预填'方法提升大语言模型的理论心智能力，该方法通过引导模型站在目标角色视角来增强其心理状态理解能力。

Comments Accepted to EACL 2026 Findings

Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection

Hi-ZFO：通过重要性引导的张量选择实现层次化零阶和一阶LLM微调

Feihu Jin, Ying Tan

机构 * School of Intelligence Science and Technology, Peking University（智能科学与技术学院，北京大学） ； State Key Laboratory of General Artificial Intelligence（通用人工智能国家重点实验室） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 Hi-ZFO通过结合一阶和零阶优化，提升LLM微调的精度与探索能力，有效解决训练中的局部极小值问题。

Comments 13 pages, 4 figures

Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT?

攀登推理的阶梯：在SFT之后，大语言模型能解决什么问题？

Yiyou Sun, Georgia Zhou, Haoyue Bai, Hao Wang, Dacheng Li, Nouha Dziri, Dawn Song

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Wisconsin, Madison（威斯康星大学麦迪逊分校） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 指令微调 ：SFT(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过分析AIME24数据集，揭示了大语言模型在数学推理任务中不同难度层级的进阶要求，发现SFT对提升推理能力有限，而扩大数据规模更有效。

Cmprsr: Abstractive Token-Level Question-Agnostic Prompt Compressor

Cmprsr: 基于抽象的token级问题无关提示压缩器

Ivan Zakazov, Berke Argin, Oussama Gabouj, Kamel Charaf, Alexander Sharipov, Alexi Semiz, Lorenzo Drudi, Nicolas Baldwin, Robert West

机构 * Compresr Inc.（Compresr公司） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 Cmprsr通过优化压缩元提示和微调技术，在多种压缩率下实现高效且高质量的提示压缩，适用于不同输入长度和领域。

GenCtrl -- A Formal Controllability Toolkit for Generative Models

GenCtrl -- 生成模型的正式可控性工具包

Emily Cheng, Carmen Amo Alonso, Federico Danieli, Arno Blaas, Luca Zappella, Pau Rodriguez, Xavier Suau

机构 * Apple（苹果公司） ； Universitat Pompeu Fabra（庞培法布拉大学） ； Stanford（斯坦福大学） 纠错

专题命中 指令微调 ：language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 GenCtrl 提出了一种理论框架，用于评估生成模型的可控性，并通过实验展示了可控性在不同任务中的脆弱性。

Branch, or Layer? Zeroth-Order Optimization for Continual Learning of Vision-Language Models

分支还是层？零阶优化用于视觉-语言模型的持续学习

Ziwei Liu, Borui Kang, Wei Li, Hangjie Yuan, Yanbing Yang, Wenbin Li, Yifan Zhu, Tao Feng, Jun Luo

专题命中 指令微调 ：language model(title)

AI总结 本文提出一种基于零阶优化的视觉-语言模型持续学习方法，通过模态感知策略提升模型逃避局部极小值的能力，实验表明在四个基准测试中取得最佳性能。

Comments Published in the Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2026)

From Events to Trending: A Multi-Stage Hotspots Detection Method Based on Generative Query Indexing

从事件到趋势：一种基于生成查询索引的多阶段热点检测方法

Kaichun Wang, Yanguang Chen, Ting Zhang, Mengyao Bao, Keyu Chen, Xu Hu, Yongliang Wang, Jingsheng Yang, Jinsong Zhang, Fei Lu

机构 * Bytedance Shanghai China（字节跳动上海中国） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.AI

AI总结 本文提出了一种基于生成查询索引的多阶段热点检测方法，通过离线生成和在线识别相结合，提升对话系统中趋势查询的检测效率和准确性。