语言大模型 / LLM

The Role of Mixed-Language Documents for Multilingual Large Language Model Pretraining

混合语言文档在多语言大语言模型预训练中的作用

Jiandong Shao, Raphael Tang, Crystina Zhang, Karin Sevegnani, Pontus Stenetorp, Jianfei Yang, Yao Lu

机构 * University College London（伦敦大学学院） ； Nanyang Technological University（南洋理工大学） ； University of Waterloo（滑铁卢大学） ； NVIDIA（英伟达） ； National Institute of Informatics（信息研究院） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(title,abstract)；分类 cs.CL

AI总结 研究发现平行数据对翻译性能至关重要，而语码转换数据对跨语言理解和推理影响较小。

Comments under review

Stable-DiffCoder: Pushing the Frontier of Code Diffusion Large Language Model

Stable-DiffCoder：推动代码扩散大语言模型的前沿

Chenghao Fan, Wen Heng, Bo Li, Sichen Liu, Yuxuan Song, Jing Su, Xiaoye Qu, Kai Shen, Wei Wei

机构 * Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 Stable-DiffCoder通过基于扩散的训练方法，在代码生成任务中超越了传统自回归模型，提升了代码建模的质量和效率。

PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs

PROST-LLM：逐步增强大语言模型中的语音到语音翻译能力

Jing Xu, Jiaqi Wang, Daxin Tan, Xiao Chen

机构 * The Chinese University of Hong Kong Huawei Artificial Intelligence Laboratory (Leibniz)（香港中文大学华为人工智能实验室（莱布尼茨）） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 PROST-LLM通过逐步增强方法提升大语言模型在语音到语音翻译中的能力，采用三任务学习和模态链方法，结合自我采样和回译生成偏好对，最终通过偏好优化提升翻译性能。

Comments Accepted by ICASSP 2026

Better as Generators Than Classifiers: Leveraging LLMs and Synthetic Data for Low-Resource Multilingual Classification

优于分类器：利用大语言模型和合成数据进行低资源多语言分类

Branislav Pecher, Jan Cegin, Robert Belanec, Ivan Srba, Jakub Simko, Maria Bielikova

机构 * Kempelen Institute of Intelligent Technologies（克姆佩尔智能技术研究所） ； Faculty of Information Technology, Brno University of Technology（信息科技学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 本研究利用大语言模型生成合成数据，训练更小的多语言模型，发现生成器在低资源语言中表现更优。

Comments Accepted to the Findings of EACL 2026

Fluent but Foreign: Even Regional LLMs Lack Cultural Alignment

流畅但异域：即使区域LLM也缺乏文化契合

Dhruv Agarwal, Anya Shukla, Sunayana Sitaram, Aditya Vashistha

机构 * Cornell University（康奈尔大学） ； Microsoft Research（微软研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；prompting(abstract)

AI总结 研究发现，即使区域LLM也缺乏文化契合，需通过社区基础的数据和厚宽评估来构建真正主权的LLM。

Comments Under review

VISTA-PATH: An interactive foundation model for pathology image segmentation and quantitative analysis in computational pathology

VISTA-PATH: 一种交互式的基础模型用于计算病理学中病理图像分割和定量分析

Peixian Liang, Songhao Li, Shunsuke Koga, Yutong Li, Zahra Alipour, Yucheng Tang, Daguang Xu, Zhi Huang

机构 * Department of Pathology and Laboratory Medicine, University of Pennsylvania（病理学与实验室医学系，宾夕法尼亚大学） ； Department of Electrical and System Engineering, University of Pennsylvania（电气与系统工程系，宾夕法尼亚大学） ； Department of Biomedical Engineering, Georgia Institute of Technology and Emory University（生物医学工程系，佐治亚理工学院和埃默里大学） ； NVIDIA Corporation（NVIDIA公司） ； Department of Biostatistics, Epidemiology and Informatics, University of Pennsylvania（生物统计学、流行病学与信息学系，宾夕法尼亚大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)

AI总结 VISTA-PATH是一种交互式基础模型，通过整合专家反馈和多类分割，提升病理图像分割的临床应用价值。

The Spatial Blindspot of Vision-Language Models

视觉-语言模型的空间盲区

Nahid Alam, Leema Krishna Murali, Siddhant Bharadwaj, Patrick Liu, Timothy Chung, Drishti Sharma, Akshata A, Kranthi Kiran, Wesley Tam, Bala Krishna S Vegesna

专题命中 预训练与数据 ：language model(title,abstract)；pretraining(abstract)

AI总结 本文提出通过改进图像编码器和2D位置编码来提升视觉-语言模型的空间推理能力，以解决其在空间关系捕捉上的不足。

Comments Work done as part of the EleutherAI SOAR Program

Theoretical Foundations of Scaling Law in Familial Models

家族模型中的缩放定律理论基础

Huan Song, Qingfei Zhao, Ting Long, Shuyu Tian, Hongjun An, Jiawei Shao, Xuelong Li

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出家族模型的缩放定律理论，通过引入粒度变量扩展传统缩放定律，证明在不牺牲计算最优性的情况下可实现多次部署。

Data Matters Most: Auditing Social Bias in Contrastive Vision Language Models

数据最为关键：审计对比视觉语言模型中的社会偏见

Zahraa Al Sahili, Ioannis Patras, Matthew Purver

机构 * Queen Mary University of London（伦敦女王学院） ； Institut Jožef Stefan（Jožef Stefan研究所） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.LG

AI总结 研究通过对比CLIP和OpenCLIP模型，发现数据来源是偏见的主要驱动因素，不同去偏策略在不同模型和数据规模下效果各异。

Comments Published at TMLR; updated version

LLM-based Semantic Search for Conversational Queries in E-commerce

基于大语言模型的语义搜索用于电商会话查询

Emad Siddiqui, Venkatesh Terikuti, Xuan Lu

专题命中 预训练与数据 ：LLM(title,abstract)

AI总结 本文提出基于大语言模型的语义搜索框架，通过结合领域嵌入与结构化过滤，提升电商会话查询的检索精度与召回率。

NOIR: Privacy-Preserving Generation of Code with Open-Source LLMs

NOIR：基于开源LLM的隐私保护代码生成

Khoa Nguyen, Khiem Ton, NhatHai Phan, Issa Khalil, Khang Tran, Cristian Borcea, Ruoming Jin, Abdallah Khreishah, My T. Thai

机构 * New Jersey Institute of Technology（新泽西理工学院） ； Hamad Bin Khalifa University（哈利法大学） ； Kent State University（肯特州立大学） ； University of Florida（佛罗里达大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 NOIR通过客户端本地处理和隐私保护机制，实现对开源LLM生成代码的隐私保护，显著提升代码生成性能和安全性。

Comments To appear at Usenix Security Symposium 2026

Zero-RAG: Towards Retrieval-Augmented Generation with Zero Redundant Knowledge

零冗余知识下的检索增强生成：Zero-RAG

Qi Luo, Xiaonan Li, Junqi Dai, Shuang Cheng, Xipeng Qiu

机构 * School of Computer Science, Fudan University（复旦大学计算机学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Zero-RAG通过修剪冗余知识和优化检索流程，提升LLM在减少冗余信息下的生成性能。

Journal ref Frontiers of Computer Science (2026)

Detecting High-Stakes Interactions with Activation Probes

通过激活探针检测高风险交互

Alex McKenzie, Urja Pawar, Phil Blandfort, William Bankes, David Krueger, Ekdeep Singh Lubana, Dmitrii Krasheninnikov

机构 * LASR Labs（LASR实验室） ； University College London（伦敦大学学院） ； MILA ； Harvard University（哈佛大学） ； NTT Research（NTT研究所） ； Goodfire ； University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 通过激活探针检测高风险交互，实现高效且资源敏感的监控系统

Comments Accepted at NeurIPS 2025

Semi-Supervised Hierarchical Open-Set Classification

半监督层次开放式分类

Erik Wallin, Fredrik Kahl, Lars Hammarstrand

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出了一种半监督层次开放式分类框架，通过子树伪标签和年龄门控机制，在有限标注数据下提升分类性能。

Comments WACV2026

Pre-Generating Multi-Difficulty PDE Data for Few-Shot Neural PDE Solvers

预生成多难度的PDE数据以用于少样本神经PDE求解器

Naman Choudhary, Vedant Singh, Ameet Talwalkar, Nicholas Matthew Boffi, Mikhail Khodak, Tanya Marwah

机构 * Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系） ； Department of Computer Sciences, UW-Madison（威斯康星大学麦迪逊分校计算机科学系） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.LG

AI总结 通过预生成多难度的PDE数据，提升少样本神经PDE求解器的性能与效率。

Comments 10 Pages, 11 Figures

A Graph Neural Network for the Era of Large Atomistic Models

面向大规模原子模型时代的图神经网络

Duo Zhang, Anyang Peng, Chun Cai, Wentao Li, Yuanchang Zhou, Jinzhe Zeng, Mingyu Guo, Chengqian Zhang, Bowen Li, Hong Jiang, Tong Zhu, Weile Jia, Linfeng Zhang, Han Wang

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 DPA3是一种基于线图序列的图神经网络，针对大规模原子模型时代设计，通过参数扩展和数据集编码机制，在多个基准任务中表现出卓越的泛化能力和准确性。

ProveRAG: Provenance-Driven Vulnerability Analysis with Automated Retrieval-Augmented LLMs

ProveRAG: 基于溯源的漏洞分析与自动化检索增强大语言模型

Reza Fayyazi, Stella Hoyos Trueba, Michael Zuzak, Shanchieh Jay Yang

专题命中 预训练与数据 ：LLM(abstract)

AI总结 ProveRAG通过自动化检索增强和自我批评机制，提升大语言模型在漏洞分析中的准确性和时效性，提供高精度的漏洞利用和缓解策略。

Journal ref IEEE Access, vol. 13, pp. 212815-212826, 2025

Comparing Specialised Small and General Large Language Models on Text Classification: 100 Labelled Samples to Achieve Break-Even Performance

比较专门化的小型模型和通用的大型模型在文本分类中的表现：100个标注样本实现平衡性能

Branislav Pecher, Ivan Srba, Maria Bielikova

机构 * Faculty of Information Technology, Brno University of Technology（信息技术学院，布拉格技术大学） ； Kempelen Institute of Intelligent Technologies（智能技术研究所） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究比较了专门化小型模型与通用大型模型在文本分类中的表现，发现平均100个标注样本即可实现平衡性能，且样本需求受任务特征和方差影响显著。

Comments Accepted to the EMNLP 2025 conference

Orthogonal Low-rank Adaptation in Lie Groups for Continual Learning of Large Language Models

在李群中实现正交低秩适应用于大语言模型的持续学习

Kefan Cao, Shuaicheng Wu

机构 * Yingcai Honor College, University of Electronic Science and Technology of China（电子科技大学荣誉学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 OLieRA通过基于李群的乘法更新和任务子空间正交性，有效解决大语言模型在持续学习中的灾难性遗忘问题，实现性能和鲁棒性的提升。

Comments 13 pages, 3 figures

Limits of n-gram Style Control for LLMs via Logit-Space Injection

通过logit空间注入探讨n-gram风格控制的极限

Sami-ul Ahmed

机构 * University of Colorado Boulder（科罗拉多大学波德沃分校） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 通过logit空间注入n-gram风格先验实现轻量级风格控制，但效果受限于低lambda值范围，且不如提示和LoRA有效。

Comments 18 pages, 7 figures. Experimental study of decoding-time style control via n-gram logit injection

Evaluating Large Vision-language Models for Surgical Tool Detection

评估大型视觉-语言模型用于手术工具检测

Nakul Poudel, Richard Simon, Cristian A. Linte

机构 * Rochester Institute of Technology（罗切斯特理工大学） ； Center for Imaging Science（成像科学中心） ； Center for Imaging Science and Biomedical Engineering（成像科学与生物医学工程中心） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

AI总结 本研究评估了三种大型视觉-语言模型在手术工具检测任务中的性能，发现Qwen2.5在检测和泛化能力上表现最佳。

Timely Machine: Awareness of Time Makes Test-Time Scaling Agentic

及时机器：时间意识使测试时间缩放成为代理

Yichuan Ma, Linyang Li, Yongkang chen, Peiji Li, Xiaozhe Li, Qipeng Guo, Dahua Lin, Kai Chen

机构 * Fudan University Shanghai AI Laboratory（复旦大学上海人工智能实验室） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Timely Machine通过重新定义测试时间为实时时钟时间，提出Timely-RL方法提升时间预算意识，以应对高频工具调用和时间受限推理的挑战。

Comments Under Review

Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification

基于原型的简单采样与硬混合以平衡对比学习用于文本分类

Mengyu Li, Yonghao Liu, Fausto Giunchiglia, Ximing Li, Xiaoyue Feng, Renchu Guan

机构 * College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院） ； Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出SharpReCL模型，通过原型向量和硬混合技术解决文本分类中的数据不平衡问题，提升对比学习效果。

Comments WWW26

Typologically Informed Parameter Aggregation

基于语言学信息的参数聚合

Stef Accou, Wessel Poelman

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 TIPA通过聚合现有适配器实现无需训练的跨语言迁移，有效提升低资源语言性能。

Comments EACL 2026: Findings

Cognitively-Inspired Tokens Overcome Egocentric Bias in Multimodal Models

具有认知启发的标记克服了多模态模型中的自我中心偏差

Bridget Leonard, Scott O. Murray

机构 * Department of Psychology University of Washington（心理学系华盛顿大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI

AI总结 本研究通过引入视角标记，提升多模态模型在空间推理任务中的表现，实现更人样的空间认知能力。

Towards a Theoretical Understanding to the Generalization of RLHF

迈向RLHF泛化性的理论理解

Zhaochun Li, Mingyang Yi, Yue Wang, Shisheng Cui, Yong Liu

机构 * Beijing Institute of Technology（北京理工大学） ； Zhongguancun Academy（中关村学院） ； Renmin University of China（中国人民大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过算法稳定性框架，在线性奖励模型下构建了RLHF下LLM的泛化理论，证明在特征覆盖条件下策略模型的泛化界为O(n^{-1/2})，并推广到梯度方法参数。

Comments 31 pages, 6 figures

The Behavioral Fabric of LLM-Powered GUI Agents: Human Values and Interaction Outcomes

LLM驱动的GUI代理的行为织体：人类价值观与交互结果

Simret Araya Gebreegziabher, Yukun Yang, Charles Chiang, Hojun Yoo, Chaoran Chen, Hyo Jin Do, Zahra Ashktorab, Werner Geyer, Diego Gómez-Zará, Toby Jia-Jun Li

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文研究了LLM驱动的GUI代理中人类价值观如何影响其行为和交互结果，提出了一种开源测试平台和实证分析方法。

FlowSE-GRPO: Training Flow Matching Speech Enhancement via Online Reinforcement Learning

FlowSE-GRPO：通过在线强化学习训练流匹配语音增强

Haoxu Wang, Biao Tian, Yiheng Jiang, Zexu Pan, Shengkui Zhao, Bin Ma, Daren Chen, Xiangang Li

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；preference optimization(abstract)

AI总结 本文提出FlowSE-GRPO，通过在线强化学习优化语音增强，平衡多指标以提升音频质量与任务性能。

Comments Accepted by ICASSP 2026

GameTalk: Training LLMs for Strategic Conversation

GameTalk: 训练 LLMs 进行战略性对话

Victor Conchello Vendrell, Max Ruiz Luyten, Mihaela van der Schaar

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GameTalk 通过多轮互动训练 LLMs 实现战略性决策，优于传统方法，尤其在奖励塑造下表现突出。

Comments 32 pages, 8 figures

TL-GRPO: Turn-Level RL for Reasoning-Guided Iterative Optimization

TL-GRPO：基于回合的强化学习用于推理引导的迭代优化

Peiji Li, Linyang Li, Handa Sun, Wenjin Mai, Yongkang Chen, Xiaozhe Li, Yue Shen, Yichuan Ma, Yiliu Sun, Jiaxi Cao, Zhishu He, Bo Wang, Xiaoqing Zheng, Zhaori Bi, Xipeng Qiu, Qipeng Guo, Kai Chen, Dahua Lin

机构 * Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 TL-GRPO通过回合级分组采样优化解决迭代优化任务中的轨迹级强化学习问题，实现更精细的优化效果。

Comments Work in progress