语言大模型 / LLM

Variance-Adaptive Muon: Accelerating LLM Pretraining with NSR-Modulated and Variance-Scaled Momentum

方差自适应缪子：通过NSR调制和方差缩放的动量加速大语言模型预训练

Jingru Li, Yibo Fan, Huan Li

机构 * College of Artificial Intelligence, Nankai University（人工智能学院，南开大学） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；pretraining(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出缪子-NSR和缪子-VS两种方法，通过方差自适应归一化和NSR调制或方差缩放，加速大语言模型预训练，提升收敛速度并降低验证损失。

KinGuard: Hierarchical Kinship-Aware Fingerprinting to Defend Against Large Language Model Stealing

KinGuard：分层的亲属意识指纹法用于防御大语言模型窃取

Zhenhua Xu, Xiaoning Tian, Wenjun Zeng, Wenpeng Xing, Tianliang Lu, Gaolei Li, Chaochao Chen, Meng Han

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)

AI总结 KinGuard通过构建基于亲属叙述的知识库，利用增量预训练内化知识，实现对大语言模型的高效且安全的指纹保护。

Comments Accepted by ICASSP2026

RECAP: Resistance Capture in Text-based Mental Health Counseling with Large Language Models

RECAP: 在基于文本的心理健康咨询中利用大语言模型进行抗阻捕捉

Anqi Li, Yuqian Chen, Yu Lu, Zhaoming Chen, Yuan Xie, Zhenzhong Lan

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 RECAP通过捕捉13种细粒度抗阻行为，提高了基于文本的心理健康咨询中抗阻检测的准确性和解释性，优于现有方法。

Comments 19 pages, 2 figures

Search over Self-Edit Strategies for LLM Adaptation

基于自我编辑策略的LLM适应研究

Alistair Cheong, Haolin Cong, Tyler Yang, Dustin Miao

专题命中 预训练与数据 ：LLM(title,abstract)；language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本研究探讨了LLM能否利用任务反馈自适应更新其权重，通过SEAL框架测试，发现有档案变体在SQuAD上表现优于基线，但未超越人类设计策略。

Personality Editing for Language Models through Adjusting Self-Referential Queries

通过调整自我参照查询进行语言模型的人格编辑

Seojin Hwang, Yumin Kim, Byeongjeong Kim, Donghoon Shin, Hwanhee Lee

机构 * Chung-Ang University（Chung-Ang 大学） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

AI总结 PALETTE通过调整自我参照查询实现语言模型的人格编辑，仅需12个样本即可显著提升人格对齐性。

Comments Accepted to EACL 2026 (Main)

Say Anything but This: When Tokenizer Betrays Reasoning in LLMs

说任何事但并非如此：当分词器背叛大语言模型的推理

Navid Ayoobi, Marcus I Armstrong, Arjun Mukherjee

机构 * University of Houston（休斯顿大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现分词器的不一致导致LLM推理错误，通过一致性探针揭示了分词引起的表征缺陷，并提出分词层面的修复方法。

Encoding Emotion Through Self-Supervised Eye Movement Reconstruction

通过自监督眼动重建编码情感

Marcus Ma, Jordan Prescott, Emily Zhou, Tiantian Feng, Kleanthis Avramidis, Gabor Mihaly Toth, Shrikanth Narayanan

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出一种自监督眼动重建模型，用于从自然主义低分辨率视频中预测情绪表达的多模态标记，通过微调两个下游任务验证了其有效性。

Does Object Binding Naturally Emerge in Large Pretrained Vision Transformers?

大规模预训练视觉变换器中物体绑定是否自然涌现？

Yihao Li, Saeed Salehi, Lyle Ungar, Konrad P. Kording

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Machine Learning Group, Technical University of Berlin（柏林技术大学机器学习小组） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现大规模预训练视觉变换器中自然涌现出物体绑定能力，通过分析ViT各层嵌入发现IsSameObject能有效引导注意力，挑战了ViTs缺乏物体绑定的传统观点。

Comments Accepted as a Spotlight at NeurIPS 2025

Relational Graph Modeling for Credit Default Prediction: Heterogeneous GNNs and Hybrid Ensemble Learning

关系图建模用于信用违约预测：异构GNN与混合集成学习

Yvonne Yang, Eranki Vasistha

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出异构图神经网络与混合集成学习方法，通过构建大规模异构图整合借款人与交易数据，提升信用违约预测的准确性和公平性。

Using Multi-Instance Learning to Identify Unique Polyps in Colon Capsule Endoscopy Images

利用多实例学习识别结肠胶囊内镜图像中的独特息肉

Puneet Sharma, Kristian Dalsbø Hindberg, Eibe Frank, Benedicte Schelde-Olesen, Ulrik Deding

机构 * Department of Automation and Process Engineering, Machine Learning Group（自动化与过程工程系，机器学习组） ； UiT – The Arctic University of Norway（UiT – 北极大学） ； Department of Physics and Technology, Machine Learning Group（物理与技术系，机器学习组） ； University of Waikato（瓦卡托大学） ； Odense University Hospital（奥登塞大学医院） ； University of Southern Denmark（南丹麦大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出利用多实例学习和注意力机制提升结肠胶囊内镜图像中息肉识别的准确性，通过自监督学习优化模型性能，达到86.26%的测试准确率。

Comments 19 pages

Metadata Conditioned Large Language Models for Localization

具有元数据条件的大型语言模型用于本地化

Anjishnu Mukherjee, Ziwei Zhu, Antonios Anastasopoulos

机构 * Department of Computer Science, George Mason University（计算机科学系，乔治·马歇尔大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；分类 cs.CL

AI总结 本文提出通过元数据条件来提升大型语言模型的本地化能力，通过预训练和实验验证了其在不同区域表现的提升效果和效率优势。

Comments under review

DNF: Dual-Layer Nested Fingerprinting for Large Language Model Intellectual Property Protection

DNF：用于大语言模型知识产权保护的双层嵌套指纹

Zhenhua Xu, Yiran Zhao, Mengting Zhong, Dezhang Kong, Changting Lin, Tong Qiao, Meng Han

机构 * Zhejiang University（浙江大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江学院） ； Hangzhou Dianzi University（杭州电子科技大学） ； Hefei University of Technology（合肥工业大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 DNF通过结合领域特定风格线索和隐含语义触发器，实现大语言模型的隐蔽知识产权保护。

Comments Accepted by ICASSP2026

Call2Instruct: Automated Pipeline for Generating Q&A Datasets from Call Center Recordings for LLM Fine-Tuning

Call2Instruct：从呼叫中心录音自动生成问答数据集的自动化流程用于LLM微调

Alex Echeverria, Sávio Salvarino Teles de Oliveira, Fernando Marques Federson

机构 * Instituto de Informática – Universidade Federal de Goiás（信息技术学院 – 巴西戈亚州联邦大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Call2Instruct自动化流程，通过音频处理、文本处理和语义提取技术，从呼叫中心录音生成问答数据集，用于LLM微调。

Comments 15 pages, 1 figures, conference

Do We Really Need SFT? Prompt-as-Policy over Knowledge Graphs for Cold-start Next POI Recommendation

我们真的需要SFT吗？基于知识图谱的提示作为策略用于冷启动下POI推荐

Jinze Wang, Lu Zhang, Yiyang Cui, Tiehua Zhang, Zhishu Shen, Yuze Liu, Xingjun Ma, Jiong Jin

专题命中 指令微调 ：SFT(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文提出基于知识图谱的提示作为策略方法，通过构建可学习的决策过程提升冷启动下POI推荐性能，实现对非活跃用户11.87%的Acc@1提升。

Scaling Ambiguity: Augmenting Human Annotation in Speech Emotion Recognition with Audio-Language Models

缩放歧义：通过音频-语言模型增强语音情感识别中的人工标注

Wenda Zhang, Hongyu Jin, Siyi Wang, Zhiqiang Wei, Ting Dang

机构 * University of Melbourne（墨尔本大学） ； Xi'an Jiaotong University（西安交通大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过音频-语言模型生成合成标注，提升语音情感识别中模糊情感的真实分布可靠性，实验表明合成标注在低歧义区域效果显著，但高歧义情况需进一步优化。

Comments Accepted by ICASSP 2026

Exploring Fine-Tuning of Large Audio Language Models for Spoken Language Understanding under Limited Speech Data

探索有限语音数据下大型音频语言模型的微调以提升语音语言理解

Youngwon Choi, Jaeyoon Jung, Hyeonyu Kim, Huu-Kim Nguyen, Hwayeon Kim

机构 * MAUM AI Inc.（MAUM AI公司） ； Soongsil University（_soongsil大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本研究探讨了在有限语音数据条件下，通过不同微调方案提升语音语言理解性能，发现文本-only微调已具竞争力，课程学习在数据稀缺时效果显著。

Comments 4 pages (excluding references), 2 figures, ICASSP 2026 (Accepted)

Causal Data Augmentation for Robust Fine-Tuning of Tabular Foundation Models

因果数据增强用于表格基础模型的稳健微调

Magnus Bühler, Lennart Purucker, Frank Hutter

机构 * Department of Computer Science University of Freiburg（计算机科学系弗赖堡大学） ； University of Freiburg（弗赖堡大学） ； Prior Labs ELLIS Institute Tübingen University of Freiburg（Prior实验室ELLIS研究所弗赖堡大学） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.LG

AI总结 CausalMixFT通过因果模型生成合成数据提升表格基础模型在低数据环境下的微调鲁棒性和性能。

Comments Accepted for oral presentation at the EurIPS 2025 Workshop on AI for Tabular Data (Copenhagen). Updated Limix citation

Adaptive Task Balancing for Visual Instruction Tuning via Inter-Task Contribution and Intra-Task Difficulty

面向视觉指令微调的自适应任务平衡：通过跨任务贡献和内在任务难度

Yanqi Dai, Yong Wang, Zebin You, Dong Jing, Xiangxiang Chu, Zhiwu Lu

机构 * Renmin University of China（中国人民大学） ； AMAP, Alibaba Group（阿里妈妈集团） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；分类 cs.AI

AI总结 本文提出VisATB方法，通过跨任务贡献和内在任务难度实现视觉指令微调的自适应任务平衡，提升整体性能并缓解不平衡问题。

Comments Accepted for the ACM Web Conference 2026 (WWW 2026)

Lightweight LLMs for Network Attack Detection in IoT Networks

轻量级大语言模型用于物联网网络中的网络攻击检测

Piyumi Bhagya Sudasinghe, Kushan Sudheera Kalupahana Liyanage, Harsha S. Gardiyawasam Pussewalage

专题命中 指令微调 ：large language model(abstract)；language model(abstract)

AI总结 本文提出利用轻量级大语言模型结合QLoRA和RAG技术，实现高效的物联网网络攻击检测，展示在未知攻击类型上的零样本能力。

Comments 6 pages with 2 figures, This paper was accepted and presented at the 7th Computing, Communications and IoT Applications Conference (ComComAp 2025), held in Madrid, Spain, during 14th to 17th December 2025

IB-GRPO: Aligning LLM-based Learning Path Recommendation with Educational Objectives via Indicator-Based Group Relative Policy Optimization

IB-GRPO: 通过基于指标的群体相对策略优化对基于大语言模型的学习路径推荐进行对齐

Shuai Wang, Yaoming Yang, Bingdong Li, Hao Hao, Aimin Zhou

机构 * East China Normal University（东华大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 IB-GRPO通过基于指标的群体相对策略优化，解决大语言模型在学习路径推荐中的多目标对齐问题，提升学习效果与教学目标的一致性。

DARA: Few-shot Budget Allocation in Online Advertising via In-Context Decision Making with RL-Finetuned LLMs

DARA: 通过基于上下文的决策制定实现在线广告中的少样本预算分配

Mingxuan Song, Yusen Huo, Bohan Zhou, Shenglin Yin, Zhen Xiao, Jieyi Long, Zhilin Zhang, Chuan Yu

机构 * Peking University（北京大学） ； School of Computer Science（计算机科学学院） ； Alibaba Group（阿里巴巴集团） ； Theta Labs, Inc.（Theta Labs公司） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 DARA通过结合LLMs的上下文学习与细粒度优化，实现在线广告中的少样本预算分配，提升广告商价值。

Comments Accepted at The ACM Web Conference (WWW) 2026

Listwise Direct Preference Optimization with Multi-Dimensional Preference Mixing

基于多维偏好混合的列表式直接偏好优化

Yuhui Sun, Xiyao Wang, Zixi Li, YiTian Ding, Tianyang Ling, Jialuo Chen, Tianyi Yu, Zhenlong Yuan, Jinman Zhao

机构 * University of Alberta（阿尔伯塔大学） ； University of Toronto（多伦多大学） ； Zhejiang University（浙江大学） ； School of Computer Science McGill University（麦吉尔大学计算机学院） ； Alibaba Group (Ant Group)（阿里巴巴集团（蚂蚁集团）） ； Chinese Academy of Sciences（中国科学院） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文提出λ-DPO，通过多维偏好混合和自适应调度器提升模型对多维度偏好权衡的建模能力。

Comments 13 pages, 1 figures, appendix included

Do Political Opinions Transfer Between Western Languages? An Analysis of Unaligned and Aligned Multilingual LLMs

政治观点在西方语言之间是否转移？对未对齐和对齐的多语言大语言模型的分析

Franziska Weeber, Tanise Ceron, Sebastian Padó

机构 * University of Stuttgart（斯图加特大学） ； Bocconi University（博科尼大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；prompting(abstract)

AI总结 研究探讨多语言大语言模型在五种西方语言中政治观点的转移情况，发现对齐前模型观点差异小，对齐后观点在各语言间均匀转移。

Comments EACL2026

Unified Text-Image Generation with Weakness-Targeted Post-Training

通过弱项针对性后训练实现统一的文本图像生成

Jiahui Chen, Philippe Hansen-Estruch, Xiaochuang Han, Yushi Hu, Emily Dinan, Amita Kamath, Michal Drozdzal, Reyhane Askari-Hemmat, Luke Zettlemoyer, Marjan Ghazvininejad

机构 * FAIR at Meta（Meta旗下的FAIR） ； University of Texas, Austin（德克萨斯大学奥斯汀分校） ； University of Washington（华盛顿大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 本文提出通过针对性后训练实现统一文本图像生成，提升多模态生成性能。

Towards Execution-Grounded Automated AI Research

面向执行导向的自动化AI研究

Chenglei Si, Zitong Yang, Yejin Choi, Emmanuel Candès, Diyi Yang, Tatsunori Hashimoto

机构 * Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出自动化执行器，通过执行反馈学习改进LLM预训练和后训练方法，验证了进化搜索在样本效率上的优势，但强化学习存在模式崩溃问题。

Human detectors are surprisingly powerful reward models

人类检测器出人意料地强大

Kumar Ashutosh, XuDong Wang, Xi Yin, Kristen Grauman, Adam Polyak, Ishan Misra, Rohit Girdhar

机构 * Meta ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 本文提出 HuDA 模型，通过简单奖励函数提升视频生成中的人体运动质量，胜率高达 73%。

Comments Technical report

Extending Audio Context for Long-Form Understanding in Large Audio-Language Models

在大型音频-语言模型中扩展音频上下文以实现长形式理解

Yuatyong Chaichana, Pittawat Taveekitworachai, Warit Sirichotedumrong, Potsawee Manakul, Kunat Pipatanakul

机构 * Chulalongkorn University（朱拉隆功大学） ； SCB 10X ； SCBX Group（SCBX集团） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Partial YaRN和VLAT，通过扩展音频上下文提升大型音频-语言模型对长形式音频的理解能力。

Comments EACL 2026. Code and dataset are available at: https://github.com/yophis/partial-yarn

A Layered Protocol Architecture for the Internet of Agents

面向智能体的分层协议架构

Charles Fleming, Luca Muscariello, Vijoy Pandey, Ramana Kompella

机构 * Cisco Research（思科研究） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出分层协议架构，通过智能体通信层和语义层实现智能体协作，解决LLMs在内存和计算能力上的限制，推动多智能体系统的扩展。

HiNS: Hierarchical Negative Sampling for More Comprehensive Memory Retrieval Embedding Model

HiNS：分层负采样用于更全面的记忆检索嵌入模型

Motong Tian, Allen P. Wong, Mingjun Mao, Wangchunshu Zhou

机构 * OPPO ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：language agent(abstract)；分类 cs.CL

AI总结 HiNS通过分层负采样方法提升记忆检索嵌入模型的检索保真度和泛化能力，在多个任务中取得显著性能提升。

Opening the Black Box: A Survey on the Mechanisms of Multi-Step Reasoning in Large Language Models

揭开黑箱：关于大语言模型多步推理机制的综述

Liangming Pan, Jason Liang, Jiaran Ye, Minglai Yang, Xinyuan Lu, Fengbin Zhu

机构 * Peking University（北京大学） ； Stanford University（斯坦福大学） ； Tsinghua University（清华大学） ； University of Arizona（亚利桑那大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了大语言模型多步推理机制，探讨了隐式和显式推理过程，并提出了未来研究方向。

Comments Technical Report