语言大模型 / LLM

One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography

一种实现跨语言迁移的统一形式：超越原生正字法的多语言语言模型预训练

Muge Zhang, Aaron Jencks, Krishna Badikela, Yulia Tsvetkov, Sachin Kumar

机构 * Ohio State University（俄亥俄州立大学） ； University of Washington（华盛顿大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

AI总结 本文通过系统对比三种输入表示，发现罗马化预训练可实现最强跨语言迁移，且优势随模型规模增大而扩大，提出多语言模型应将罗马化作为预训练核心设计选择的结论。

Comments EMNLP 2026 (Main Conference). 9 pages, 6 figures (plus appendix)

Reinforcement Learning Guides Generative Protein Language Models

通过强化学习引导生成蛋白质语言模型

Filippo Stocco, Maria Artigues-Lleixa, Andrea Hunklinger, Michele Garibbo, Talal Widatalla, Marc Guell, Noelia Ferruz

专题命中 预训练与数据 ：language model(title,abstract)

AI总结 通过强化学习引导生成蛋白质语言模型，实现EGFR结合物设计中结合亲和力的显著提升。

Comments 28 pages including main text and supporting information

What's on Your Mind? Exploring Privacy of Mental Health Apps

你在想什么？探索心理健康应用的隐私

Chloe Georgiou, Hans Lu, Emiliano De Cristofaro, Gene Tsudik

专题命中 预训练与数据 ：LLM(summary_cn,abstract_cn)

AI总结 通过对25款流行的Android心理健康应用进行静态分析、动态网络捕获和LLM辅助隐私政策提取，发现这些应用存在严重的透明度问题，包括未披露的跟踪器、权限政策矛盾以及第三方AI处理披露不充分。

Roleplaying with Structure: Synthetic Therapist-Client Conversation Generation from Questionnaires

基于问卷的角色扮演：从问卷生成合成治疗师-来访者对话

Doan Nam Long Vu, Rui Tan, Lena Moench, Svenja Jule Francke, Daniel Woiwod, Florian Thomas-Odenthal, Sanna Stroth, Tilo Kircher, Christiane Hermann, Udo Dannlowski, Hamidreza Jamalabadi, Simone Balloccu, Shaoxiong Ji

机构 * Technical University of Darmstadt（达姆施塔特技术大学） ； Philipps-University Marburg（马尔堡菲利普斯大学） ； Justus Liebig University Giessen（吉森约斯特·利伯格大学） ； University of Münster（明斯特大学） ； ELLIS Institute Finland（芬兰ELLIS研究所） ； University of Turku（图尔库大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对心理健康合成数据生成受隐私限制的问题，构建了基于结构化问卷的SQPsych流水线生成合成治疗师-来访者对话，微调开放权重LLMs后经专家评估，其治疗师角色扮演能力优于其他心理健康类LLMs。

Comments Accepted to the 5th Workshop on NLP for Positive Impact 2026 @EMNLP 2026, Budapest, Hungary

SUFLECA: Scaling Up Feature Learning for CAD-to-image Alignment

SUFLECA：扩大用于CAD到图像对齐的特征学习

Saad Ejaz, Miguel Fernandez-Cortizas, Javier Civera, Holger Voos, Jose Luis Sanchez-Lopez

机构 * Automation and Robotics Research Group, Interdisciplinary Centre for Security, Reliability, and Trust (SnT), University of Luxembourg（自动化与机器人研究组，卢森堡大学跨学科安全、可靠性与信任中心（SnT）） ； Faculty of Science, Technology, and Medicine, University of Luxembourg（卢森堡大学科学、技术与医学学院） ； I3A, Universidad de Zaragoza（萨拉戈萨大学I3A） 纠错

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 研究旨在解决CAD到图像对齐问题，提出弱监督框架SUFLECA。通过归一化物体坐标监督扩大特征学习，结合几何一致匹配算法，能准确快速对齐，在ScanNet25k上取得优异成绩，优于零样本基线并超越全监督方法。

An Empirical Study on Zero-Data Bootstrapping for Conversational Recommender Systems

对话式推荐系统的零数据引导实证研究

Rohan Surana, Junda Wu, Zhouhang Xie, Yu Xia, Nathan Kallus, Julian McAuley

专题命中 预训练与数据 ：prompting(abstract)

AI总结 本研究针对对话式推荐系统需领域对话数据的痛点，开展零数据引导实证，用非对话信号生成合成数据，证实其效果优于基线，为无对话训练数据构建CRS提供可行方案。

Human Label Variation as Stable Signal: Learning Annotator-Specific Explanation Behavior via Cross-Annotator Preference Optimization

人类标注变异作为稳定信号：通过跨标注者偏好优化学习标注者特定的解释行为

Beiduo Chen, Pingjun Hong, Ziyun Zhang, Benjamin Roth, Anna Korhonen, Barbara Plank

机构 * MaiNLP ； Center for Information and Language Processing（信息与语言处理中心） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； University of Vienna（维也纳大学） ； LTL ； University of Cambridge（剑桥大学） 纠错

专题命中 指令微调 ：preference optimization(title,abstract)；SFT(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)

AI总结 研究大语言模型能否学习并复现标注者特定的标签-解释行为，提出跨标注者偏好优化（CAPO）方法，通过对比目标标注者与其他有效但非目标标注者的响应来提升模仿和归因能力。

Comments Accepted by EMNLP 2026 Main, 46 pages, 20 figures

CRAM: Centroid-Routing and Adaptive MoE for Multimodal Continual Instruction Tuning

CRAM：面向多模态持续指令调优的质心路由与自适应MoE

Jun-Tao Tang, Zhen-Hao Xie, Yu-Cheng Shi, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） ； State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） 纠错

专题命中 指令微调 ：instruction tuning(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出CRAM方法，通过将任务特定模式隔离到独立模块、自适应秩实例化动态分配参数、质心路由激活现有专家以及正交惩罚约束更新方向，解决了多模态持续指令调优中任务竞争导致遗忘和参数效率低下的问题。

Comments Accepted to EMNLP 2026 (Main Conference). Code is available at this https URL (https://github.com/LAMDA-CL/EMNLP2026-CRAM)

Long Story Short: Story-level Video Understanding from 20K Short Films

长话短说：基于2万部短片的故事级视频理解

Ridouane Ghermi, Xi Wang, Vicky Kalogeiton, Ivan Laptev

机构 * Ecole Polytechnique（巴黎综合理工学院） ； IP Paris（巴黎理工学院） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 指令微调 ：LLM(abstract,abstract_cn)；language model(abstract)；instruction tuning(abstract)；pretraining(abstract)

AI总结 针对现有视频理解数据集的局限，本文构建了2万部业余电影组成的SF20K数据集及配套问答基准，验证其数据泄露有限，证明指令微调可提升VLMs在长期视频理解上的性能。

Comments International Journal of Computer Vision (IJCV)

G-Loss: Graph-Guided Fine-Tuning of Language Models

G-Loss：图引导的语言模型微调

Aditya Sharma, Vinti Agarwal, Rajesh Kumar

机构 * BITS Pilani（BITS 派拉尼） ； Bucknell University（巴克内尔大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出G-Loss损失函数，通过构建文档相似度图并利用半监督标签传播捕捉全局语义结构，引导语言模型学习更具判别性和鲁棒性的嵌入，在多个分类任务上提升准确率并加速收敛。

Comments 20 pages, Learning on Graphs Conference (LoG 2025)

Aligning Agentic World Models via Knowledgeable Experience Learning

通过知识性经验学习对齐代理世界模型

Baochang Ren, Yunzhi Yao, Rui Sun, Shuofei Qiao, Ningyu Zhang, Huajun Chen

机构 * Zhejiang University（浙江大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 WorldMind通过知识性经验学习对齐代理世界模型，解决物理模拟中的幻觉问题，实现跨环境的高效迁移。

Comments EMNLP 2026 Findings

Why are all LLMs Obsessed with Japanese Culture? On the Hidden Cultural and Regional Biases of LLMs

为什么所有大语言模型（LLMs）都痴迷于日本文化？关于大语言模型的隐藏文化与区域偏见

Joseba Fernandez de Landa, Carla Perez-Almendros, Jose Camacho-Collados

专题命中 指令微调 ：LLM(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本研究构建了涵盖24种语言的文化相关开放问题（CROQ）数据集，发现LLMs在文化问题回答中存在偏向日本等国家的区域偏见，且该偏见在监督微调后出现。

How Architecture and Training Affect TPC Representations Across Experiments

架构与训练如何影响跨实验的TPC表示

Tyler Wheeler, Michelle P. Kuchera, Raghuram Ramanujan, William Sieland, Ryan Krupp, Yassid Ayyad, Daniel Bazin, Connor L. Cross, Hoi Yan Ian Heung, Andrew J. Jones, Ruchi Mahajan, Saiprasad Ravishankar, Pranjal Singh, Benjamin Votaw, Chris Wrede

机构 * Michigan State University（密歇根州立大学） ； Grand Valley State University（大峡谷州立大学） ； Davidson College（戴维森学院） ； University of Kentucky（肯塔基大学） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

AI总结 本研究以TPC数据为测试平台，通过冻结编码器的探针方法，发现架构是TPC嵌入中任务相关结构的主要来源，其诱导的表示可跨实验和探测器系统复用。

LV-ROVER-MLT: Low-Resource Maltese OCR by Synthetic Fine-Tuning and Multi-Stream Arbitration

LV-ROVER：用于马耳他语段落OCR的多流Tesseract投票

Adam Darmanin

机构 * Independent Researcher（独立研究员） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 针对马耳他语OCR资源匮乏的问题，提出合成训练管道和5流Tesseract LV-ROVER集成，在422段落基准上将字符错误率从0.0234降至0.00700（降幅70%），其中集成识别贡献44%的改进。

Comments 10 pages, including 8 page and references plus appendices. Working paper. Updated with DocEng 2026 Maltese OCR competition results; LV-ROVER-MLT placed first with held-out CER 0.0074

MSCGC-KAN: Multi-scale Causal Graph Convolution and KAN-inspired Analytic-basis Mapping for EEG Emotion Recognition

MSCGC-KAN: 用于脑电情感识别的多尺度因果图卷积与Kolmogorov-Arnold特征映射

Haoliang Gong, Qingshan She, Jiale Xu, Yunyuan Gao, Xugang Xi

机构 * School of Automation, Hangzhou Dianzi University, Hangzhou 310018, China（杭州电子科技大学自动化学院） ； Zhejiang Provincial Key Laboratory of Brain Computer Collaborative Intelligence Technology（浙江省脑机协同智能技术与应用重点实验室） 纠错

专题命中 指令微调 ：foundation model(abstract)

AI总结 本文提出MSCGC-KAN方法，通过多尺度因果图卷积和Kolmogorov-Arnold特征映射构建结构化任务头，在预训练CBraMod骨干上增强多尺度时间建模、可学习通道间连接建模和非线性判别映射，显著提升脑电情感识别性能。

Activation Boundary Matching: Task-Informed Initialization for Low-Rank Adaptation

ABM-LoRA: 激活边界匹配用于低秩适应中的快速收敛

Dongha Lee, Jinhee Park, Minjun Kim, Junseok Kwon

机构 * Chung-Ang University（Chung-Ang 大学） ； Korea Electronics Technology Institute (KETI)（韩国电子技术研究所） 纠错

专题命中 指令微调 ：instruction tuning(abstract)

AI总结 ABM-LoRA通过激活边界匹配提升低秩适应的收敛速度，适用于多种任务和架构，实现最高精度和效率。

Comments 20 pages, 12 figures. v2: updated title, abstract, and author information; expanded experiments

Understanding Evolution Strategies for LLM Reasoning: Broader Reasoning Coverage than GRPO

理解用于大语言模型推理的进化策略：比GRPO更广泛的推理覆盖范围

Yunpeng Ba, Zhi Zheng, Yue Xie, Jiaqing Li, Xialiang Tong, Tao Zhong, Mingxuan Yuan, Zhichao Lu, Xuyang Wu, Zhenkun Wang

机构 * Southern University of Science and Technology（南方科技大学） ； National University of Singapore（新加坡国立大学） ； Harbin Institute of Technology, Weihai（哈尔滨工业大学（威海）） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title,summary_cn)；large language model(abstract_cn)；language model(abstract_cn)；post-training(abstract)

AI总结 本文研究用于LLM推理的进化策略（ES），发现ES比GRPO有更广泛的推理覆盖范围，开发了结合两者优势的GRPO-ES策略，还揭示了ES的功能稀疏性等特性，确立其为独特的推理后训练范式。

GREAT: Generalizable Backdoor Attacks in RLHF via Emotion-Aware Trigger Synthesis

GREAT: 通过情感感知触发器在RLHF中实现可泛化的后门攻击

Subrat Kishore Dutta, Yuelin Xu, Piyush Pant, Xiao Zhang

机构 * CISPA Helmholtz Center for Information Security（CISPA赫尔姆霍茨信息安全中心） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,title_cn)；prompting(abstract)；分类 cs.LG

AI总结 提出GREAT框架，利用情感感知触发器在RLHF中构造自然分布后门，通过潜在空间聚类和多样性提示策略生成愤怒触发器，实现对未见触发器的泛化攻击。

Comments Accepted in EMNLP 2026 Findings

OmniFusion: Simultaneous Multilingual Multimodal Translations via Modular Fusion

OmniFusion: 通过模块融合实现多语言多模态翻译

Sai Koneru, Matthias Huck, Jan Niehues

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； SAP SE（SAP公司） 纠错

专题命中 后训练与偏好优化 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出OmniFusion系统，通过融合预训练多模态基础模型与翻译LLM，实现语音、语音加图像及文本加图像的多语言多模态翻译，降低SimulST延迟并提升翻译质量。

Comments EMNLP 2026 Findings

Don't Let the Video Speak: Audio-Contrastive Preference Optimization for Audio-Visual Language Models

别让视频说话：面向音频-视觉语言模型的音频对比偏好优化

Ami Baid, Zihui Xue, Kristen Grauman

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；preference optimization(title,abstract)

AI总结 本文提出ACPO方法，通过引入输出对比和输入对比目标，解决音频-视觉语言模型中视频驱动的音频幻觉问题，提升音频真实性和多模态能力。

Comments ECCV 2026 camera-ready version. Project page: this https URL (https://vision.cs.utexas.edu/projects/acpo/)

Auditing LLM Benchmarks with Item Response Theory

使用项目反应理论审计LLM基准测试

Sander Land, Daniel M. Bikel

机构 * Writer, Inc.（Writer公司） 纠错

专题命中 后训练与偏好优化 ：LLM(title,title_cn)；分类 cs.CL

AI总结 本文引入基于项目反应理论的指标，通过114个模型的响应在七个偏好和多选基准测试中识别出前200个示例中95%精度的可能错误标签，并追踪错误来源，同时揭示奖励模型在风格偏好而非事实知识上的专业化。

Comments Accepted at EMNLP 2026. Associated data at this https URL (https://huggingface.co/datasets/Writer/IRT-mislabeled-items)

Hierarchical Feature-level Reverse Propagation for Post-Training Neural Networks

用于训练后神经网络的分层特征级反向传播

Ni Ding, Shuchang Wang, Lei He, Shengbo Eben Li, Keqiang Li

机构 * School of Vehicle and Mobility, Tsinghua University, Beijing 100084, China（清华大学车辆与移动系统学院） ； State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University, Beijing 100084, China（清华大学智能绿色车辆与移动系统国家重点实验室） ； School of Mathematics and Statistics, Beijing Institute of Technology, Beijing 100081, China（北京理工大学数学与统计学院） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 提出FR-PT分层框架，基于CCP和MDP及相关算法处理逆问题，在85种训练后设置中63项优于基准，实现神经网络训练后可控适应与透明度提升。

RecoverFly: A Failure-Aware Reinforcement Learning Post-Training Framework for Aerial Vision-Language Navigation

RecoverFly：面向空中视觉语言导航的故障感知强化学习后训练框架

Boxiong Wang, Hui Kang, Geng Sun, Jiahui Li, Chao Yu, Daxin Tian

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI

AI总结 RecoverFly是面向端到端无人机视觉-语言-动作策略的故障感知强化学习后训练框架，在TravelUAV基准上实现了优于AerialVLA的性能，提升了导航成功率。

ProRetrieval: Learning to Orchestrate Hybrid Search via Executable Program Synthesis

ProRetrieval：通过可执行程序合成学习编排混合搜索

Chengsong You, Zhen Sun, Yunhai Hu, Junwei Zhou, Xiaoyu Cao, Binyu Li, Ziyan Zhao, Weiyao Wang, Liren Lu, Zhijie Ye, Yumo Cao, Yitao Long, Yiwei Xu, Qiyi Jiang, Xuanyi Fu, Yufan Chen, Yilun Li, Rongkang Xiong, Yiran Zou, Nan Du

专题命中 后训练与偏好优化 ：LLM(abstract)；language model(abstract)

AI总结 ProRetrieval 将语言模型作为检索编排器，通过混合 DSL 合成可执行程序，在两个新基准上训练 Qwen3-4B，其 4B 模型在电商、邮件检索任务中优于 GPT-5.5 等主流模型及各类基线。

Comments 15 pages, 5 figures, 6 tables

Class Incremental Continual Learning with Self-Organizing Maps and Synthetic Replay

基于自组织映射和合成重放的类别增量持续学习

Pujan Thapa, Alexander Ororbia, Travis Desell

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 该研究提出基于自组织映射（SOM）与合成重放的类别增量持续学习框架，在多基准数据集上性能优于无内存方法，为类别增量持续学习提供了可扩展的无标签无示例方案。

TokenPilot: Cache-Efficient Context Management for LLM Agents

TokenPilot: 面向LLM智能体的缓存高效上下文管理

Buqiang Xu, Zirui Xue, Dianmou Chen, Chenyang Fu, Chiyu Wu, Caiying Huang, Chen Jiang, Jizhan Fang, Xinle Deng, Yijun Chen, Yunzhi Yao, Xuehai Wang, Jin Shang, Gong Yu, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Xi’an University of Electronic Science and Technology（西安电子科技大学） ； HomologyAI（同源人工智能） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对LLM智能体长会话中上下文累积导致推理成本高的问题，提出TokenPilot双粒度上下文管理框架，通过摄入感知压缩和生命周期感知驱逐策略，在保持性能的同时降低61%-87%的成本。

Comments EMNLP 2026 Findings

Agentao: A Policy-Governed Runtime Harness for Embeddable Tool-Using LLM Agents

Agentao：面向使用工具的大语言模型智能体的受管控本地优先运行时

Bo Jin, Qiang Jiao, Xin Tong

机构 * The Third Research Institute of the Ministry of Public Security（公安部第三研究所） ； Bureau of Science and Technology Information Ministry of Public Security of the People’s Republic of China（中华人民共和国公安部科技信息局） ； School of Information and Cyber Security People’s Public Security University of China（中国人民公安大学信息与网络安全学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 针对工具使用型LLM智能体的安全管控需求，提出Agentao运行时，通过分层架构分离动作提案与授权执行，将权限等构建为显式抽象，提升智能体可管控性与可检查性。

Comments The code is publicly available at Github. We are conducting testing and analysis of this framework, and will provide experimental results and examples in future versions

AI Models Can Predict and Collaboratively Modulate Human Memory Search

人工智能模型可预测并协同调节人类的记忆搜索

Eric Lacosse, Mariana Duarte, Graham Todd, Peter M. Todd, Daniel C. McNamee

机构 * Champalimaud Research（尚帕利莫德研究院） ； Champalimaud Centre for Restorative Neurotechnology（尚帕利莫德修复神经技术中心） ； New York University Tandon（纽约大学坦登工程学院） ； Indiana University（印第安纳大学） 纠错

专题命中 长上下文与记忆 ：SFT(abstract,abstract_cn)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究探索LLMs在语义记忆搜索中追踪增强人类心理轨迹的能力，通过语义流畅性任务验证，发现LLMs追踪预测人类记忆轨迹的能力优于其他人类。

Comments 18 pages, 5 figures; includes Supplementary Information

RIBOSPAN: A Long-Context RNA Foundation Model for Versatile RNA Modeling

RIBOSPAN：用于多功能RNA建模的长上下文RNA基础模型

Ziyuan Wang, Bohao Tang, Fei Zhang, Shuo Han, Pengfei Liu

机构 * Shanghai Innovation Institute（上海创新研究院） ； Center for Excellence in Molecular Cell Science, CAS（中国科学院分子细胞科学卓越创新中心） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本研究提出支持10240nt上下文的长RNA基础模型RIBOSPAN，结合多种技术实现高分辨率长RNA建模，在多任务评估中达最优性能，并开发基于其主干的mRNA生成与优化框架。

Comments 25 pages, 5 figures

ProfileFoundry: A Synthetic Person-Object Substrate for Privacy, Memory, and Tool-Use Evaluation in LLM Agent

ProfileFoundry: 用于LLM智能体隐私、记忆和工具使用评估的合成人物-对象基底

Sriram Selvam, Anneswa Ghosh

机构 * NVIDIA Corporation（英伟达公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出ProfileFoundry，一个确定性生成器，发布10万个合成成人人物对象，包含快照、家庭、雇主等字段及事件、关系边，用于下游基础模型评估中的记忆、隐私等任务。