语言大模型 / LLM

Provably Protecting Fine-Tuned LLMs from Training Data Extraction while Preserving Utility

可证明地保护微调的LLM免受训练数据提取攻击同时保持效用

Tom Segal, Asaf Shabtai, Yuval Elovici

机构 * Department of Software and Information Systems Engineering, Ben-Gurion University of the Negev, Beer Sheva, Israel（软件与信息系统工程系，内盖夫本·古里安大学，贝尔谢巴，以色列） 纠错

专题命中 预训练与数据 ：LLM(title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出了一种基于近访问自由（NAF）的算法SCP-Δ_r，通过相对概率和基础模型对低影响token进行平滑处理，从而在理论上有更优的界限，并在实践中有效抵御训练数据提取攻击，同时保持性能损失最小。

Comments 21 pages, 5 figures

The Shape of Testimony: A Scalable Framework for Oral History Archive Comparison

证词的形态：一种可扩展的口述史档案比较框架

Itamar Trainin, Renana Keydar, Amit Pinchevski

机构 * Hebrew University of Jerusalem（海法大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过大规模计算分析超过1600个口述史档案，探讨了犹太人大屠杀研究中两种口述证词风格的区别，并提出一种可扩展的比较语料库分析框架。

QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation

QuCo-RAG：从预训练语料库中量化不确定性以实现动态检索增强生成

Dehai Min, Kailin Zhang, Tongtong Wu, Lu Cheng

机构 * University of Illinois at Chicago（伊利诺伊大学香槟分校） ； New York University（纽约大学） ； Monash University（莫纳什大学） 纠错

专题命中 预训练与数据 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.CL

AI总结 本研究提出QuCo-RAG，通过从预训练语料库中提取客观统计信息来量化不确定性，以解决动态检索增强生成中大语言模型的幻觉问题，实验表明其在多跳问答基准测试中优于现有方法，并在多个模型上实现了显著的提升。

Comments ACL Findings 2026

Responsible Federated LLMs via Safety Filtering and Constitutional AI

通过安全过滤和宪法AI实现负责任的联邦大语言模型

Eunchung Noh, Jeonghun Baek

机构 * Samsung Electronics（三星电子） ； The University of Tokyo（东京大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出在联邦大语言模型中引入安全过滤和宪法AI技术，以提升模型安全性，实验显示在AdvBench上安全性能提升超过20%。

Comments Accepted at the 6th Workshop on Trustworthy NLP (TrustNLP), ACL 2026

Mind the Gap No More: Achieving Zero-Gap Multimodal Integration via One Tokenizer

不再有间隙：通过一个分词器实现零间隙多模态整合

Yanan Li, Christina Yi Jin, Yuan Jin, Manli Luo, Tie Xu, Shuai Jiao, Wei He, Qing Zhang

机构 * Research Center for Frontier Fundamental Studies, Zhejiang Lab（前沿基础研究研究中心，浙江实验室） ； Research Center for Scientific Data Hub, Zhejiang Lab（科学数据枢纽研究中心，浙江实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出One Tokenizer，通过统一词汇实现多模态无缝整合，克服传统架构的几何模态间隙问题，提升生物推理性能。

Comments Under review at NeurIPS 2026

From 124 Million Tokens to 1,021 Neologisms: A Large-Scale Pipeline for Automatic Neologism Detection

从1.24亿个词到1021个新词：自动新词检测的大规模流水线

Diego Rossini, Lonneke van der Plas

机构 * Università della Svizzera italiana（瑞士意大利大学） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文提出一个可扩展的模块化流水线，结合规则过滤与LLM分类，通过语法和非语法形态学框架提取1021个新词候选，验证其有效性。

Comments 14 pages, 5 tables. Accepted at NeoLLM 2026 Workshop, co-located with LREC-COLING 2026

Elderly-Contextual Data Augmentation via Speech Synthesis for Elderly ASR

通过语音合成进行老年人语境数据增强用于老年人ASR

Minsik Lee, Seoi Hong, Chongmin Lee, Sieun Choi, Jian Kim, Jua Han, Jihie Kim

机构 * Department of Computer Science and Artificial Intelligence, Dongguk University（计算机科学与人工智能系，东国大学） ； Department of Biostatistics, Harvard University（生物统计学系，哈佛大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过结合大语言模型和语音合成技术，解决老年人ASR数据稀缺问题，实验表明方法有效降低WER达58.2%。

Comments 5 pages, 2 figures, under review at IEEE Signal Processing Letters

CARE: Counselor-Aligned Response Engine for Online Mental-Health Support

CARE：面向在线心理健康支持的咨询师对齐响应引擎

Hagai Astrin, Ayal Swaid, Avi Segal, Kobi Gal

机构 * Ben-Gurion University（本· Gurion 大学） ； School of Informatics, University of Edinburgh（爱丁堡大学信息学院） ； School of Informatics, University of Edinburgh Edinburgh UK（爱丁堡大学信息学院爱丁堡 英国） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 CARE通过针对希伯来语和阿拉伯语的微调，提升心理健康领域低资源语言下的响应质量，增强咨询师与求助者对话的动态结构和情感语境。

Comments 9 pages, 4 figures

Vision-Braille: A Curriculum Learning Toolkit and Braille-Chinese Corpus for Braille Translation

Vision-Braille: 一种课程学习工具包及用于盲文翻译的盲文-中文语料库

Alan Wu, Ye Yuan, Zhiping Xiao, Ming Zhang

机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, PKU-Anker LLM Lab, Peking University（多媒体信息处理国家重点实验室，计算机学院，PKU-Anker LLM实验室，北京大学） ； College of Agriculture and Life Sciences, Cornell University（农业与生命科学学院，康奈尔大学） ； Computer Science Department, University of California at Los Angeles（计算机科学系，加州大学洛杉矶分校） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 本文提出Vision-Braille，首个可公开获取的端到端系统，用于将图像中提取的中文盲文翻译成书面中文。该系统解决有限标注资源和声调缺失问题，结合鲁棒的盲文OCR流程与针对序列到序列翻译微调的LLM。

Understanding Secret Leakage Risks in Code LLMs: A Tokenization Perspective

理解代码大语言模型中的秘密泄露风险：从分词角度出发

Meifang Chen, Zhe Yang, Huang Nianchen, Yizhan Huang, Yichen Li, Zihan Li, Michael R. Lyu

机构 * The Chinese University of Hong Kong（香港中文大学） ； Nanyang Technological University（南洋理工大学） ； University of Southern California（南加州大学） ； Fudan University（复旦大学） 纠错

专题命中 预训练与数据 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.AI

AI总结 研究揭示代码大语言模型中因分词方式导致的秘密泄露问题，指出BPE分词引发的'垃圾话偏差'现象，并探讨其成因及缓解策略。

Comments Accepted by ACL 26 Findings

C-Mining: Unsupervised Discovery of Seeds for Cultural Data Synthesis via Geometric Misalignment

C-Mining：通过几何偏移无监督发现文化数据合成的种子

Pufan Zeng, Yilun Liu, Mingchen Dai, Mengyao Piao, Chunguang Zhao, Lingqi Miao, Shimin Tao, Weibin Meng, Minggui He, Chenxin Liu, Zhenzhen Qin, Li Zhang, Hongxia Ma, Boxing Chen, Daimeng Wei

机构 * Huawei China（华为中国） ； Huawei Canada（华为加拿大） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出C-Mining框架，通过几何偏移发现文化种子，提升文化理解与推理能力，实验显示在CulturalBench-Hard上提升6.03分。

BOSCH: Black-Box Binary Optimization for Short-Context Attention-Head Selection in LLMs

BOSCH: 用于LLMs中短上下文注意力头选择的黑盒二进制优化

Abbas Ghaddar, Ivan Kobyzev, Boxing Chen, Yufei Cui

机构 * Huawei Noah’s Ark Lab, Montreal Research Center, Canada（华为诺亚方舟实验室蒙特利尔研究中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 BOSCH通过黑盒二进制优化方法，针对LLMs中的短上下文注意力头选择问题，提出了一种无需训练的解决方案，通过大规模邻域搜索分解为三个子问题，优于现有方法。

Comments ACL 2026 (Main Conference)

Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling

通过多模态深度扩展适应文本LLM到语音

Kazuki Yano, Jun Suzuki, Shinji Watanabe

机构 * Tohoku University（东北大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出多模态深度扩展方法，通过在冻结的文本LLM中插入新层并仅训练这些层来适应语音数据，实验表明其在ASR性能上接近全微调，且文本能力退化更少。

Can AI Scientist Agents Learn from Lab-in-the-Loop Feedback? Evidence from Iterative Perturbation Discovery

AI科学家代理能否从循环实验室反馈中学习？来自迭代扰动发现的证据

Gilles Wainrib, Barbara Bodinier, Haitem Dakhli, Josep Monserrat, Almudena Espin Perez, Sabrina Carpentier, Roberta Codato, John Klein

机构 * Owkin Inc（Owkin公司） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过800次独立重复实验，比较了基于LLM的代理在循环扰动发现中利用反馈与零样本基线的性能差异，发现反馈能显著提升发现效率，且模型能力提升后效果更显著。

Agnostics: Learning to Code in Any Programming Language via Reinforcement with a Universal Learning Environment

Agnostics: 通过通用学习环境的强化学习实现任何编程语言的代码学习

Aleksander Boruch-Gruszecki, Yangtian Zi, Zixuan Wu, Tejas Oberoi, Carolyn Jane Anderson, Joydeep Biswas, Arjun Guha

机构 * Northeastern University（东北大学） ； University of Texas（德克萨斯大学） ； Wellesley College（韦尔斯利学院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 Agnostics通过通用学习环境的强化学习，实现任何编程语言的代码学习，提升低资源语言模型性能并简化训练流程。

Comments 30 pages, 19 figures. Accepted at ICLR 2026. For data, code, artifacts, see https://agnostics.abgru.me

TsLLM: Augmenting LLMs for General Time Series Understanding and Prediction

TsLLM：增强大语言模型以实现通用时间序列理解和预测

Felix Parker, Nimeesha Chan, Chi Zhang, Kimia Ghobadi

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 TsLLM通过引入基于补丁的编码器-解码器架构，增强了大语言模型对时间序列数据的理解与预测能力，能够整合时间序列分析与自然语言处理，展现强大的零样本和少样本学习能力。

Text-Trained LLMs Can Zero-Shot Extrapolate PDE Dynamics, Revealing a Three-Stage In-Context Learning Mechanism

通过文本训练的LLM能够零样本外推PDE动力学，揭示一种三阶段的上下文学习机制

Jiajun Bao, Nicolas Boullé, Toni J. B. Liu, Raphaël Sarfati, Christopher J. Earls

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；prompting(abstract)

AI总结 研究揭示了通过文本训练的LLM能零样本外推PDE动态，并发现其三阶段上下文学习机制。

Towards Robust Retrieval-Augmented Generation Based on Knowledge Graph: A Comparative Analysis

基于知识图谱的鲁棒检索增强生成：一种比较分析

Hazem Amamou, Stéphane Gagnon, Alan Davoust, Anderson R. Avila

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文基于知识图谱改进RAG系统，通过比较分析评估其在噪声、信息整合、负样本拒绝和反事实鲁棒性方面的性能提升。

Comments Accepted at IEEE SMC 2025 (International Conference on Systems, Man, and Cybernetics)

Neuro-Symbolic Synergy for Interactive World Modeling

神经符号协同用于交互世界建模

Hongyu Zhao, Siyu Zhou, Haolin Yang, Zengyi Qin, Tianyi Zhou

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 NeSyS通过结合LLMs的概率语义先验与可执行符号规则，实现交互世界建模的表达力与鲁棒性，提升预测准确性和数据效率。

Rethinking the Role of LLMs in Time Series Forecasting

重新思考LLMs在时间序列预测中的作用

Xin Qiu, Junlong Tong, Yirong Sun, Yunpu Ma, Wei Zhang, Xiaoyu Shen

机构 * Ningbo Key Laboratory of Spatial Intelligence（空间智能 Ningbo 关键实验室） ； Digital Derivative, Institute of Digital Twin, Eastern Institute of Technology, Ningbo（数字衍生，数字孪生研究所，东部技术研究所，Ningbo） ； Zhejiang University（浙江大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文研究了LLMs在时间序列预测中的作用，发现其在跨域泛化和复杂动态建模中表现优异，提供了有效模型设计的指导。

Towards Robust Scaling Laws for Optimizers

面向优化器的稳健缩放定律

Alexandra Volkova, Mher Safaryan, Christoph H. Lampert, Dan Alistarh

机构 * Institute of Science and Technology Austria (ISTA)（科学与技术奥地利研究所） ； Lancaster University（兰卡斯特大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文研究了不同优化器的稳健缩放定律，提出了一种共享幂律指数和优化器特定重缩放因子的更稳健定律，并通过理论分析证明了Chinchilla式缩放定律的自然产生。

Fast Catch-Up, Late Switching: Optimal Batch Size Scheduling via Functional Scaling Laws

快速追上，后期切换：通过函数缩放定律进行最优批量大小调度

Jinbo Wang, Binghui Li, Zhanpeng Zhou, Mingze Wang, Yuxuan Sun, Jiaqi Zhang, Xunliang Cai, Lei Wu

机构 * School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； Center for Machine Learning Research, Peking University（北京大学机器学习研究中心） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室） ； Meituan, Beijing（美团（北京）） ； AI for Science Institute, Beijing（北京人工智能科学研究院） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文通过函数缩放定律揭示了大规模深度学习中最优批量大小调度的理论机制，表明在困难任务中后期切换大批次可提升效率并减少数据消耗。

Comments 34 pages, accepted by ICLR 2026 as a conference paper

Configuration-to-Performance Scaling Law with Neural Ansatz

基于神经元的配置到性能缩放定律

Huaqing Zhang, Kaiyue Wen, Tengyu Ma

机构 * IIIS, Tsinghua University（清华大学信息科学技术学院） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出基于神经元的配置到性能缩放定律，通过大规模预训练日志训练模型，实现对训练配置与性能之间关系的准确预测，并支持多超参数联合优化。

CAPID: Context-Aware PII Detection for Question-Answering Systems

CAPID: 基于上下文的PII检测用于问答系统

Mariia Ponomarenko, Sepideh Abedini, Masoumeh Shafieinejad, D. B. Emerson, Shubhankar Mohapatra, Xi He

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；small language model(abstract)；SLM(abstract)

AI总结 CAPID通过微调本地小型语言模型实现隐私保护的PII检测，有效提升问答系统中PII识别的准确性与实用性。

Comments Accepted to the Student Research Workshop at EACL 2026

Rethinking Music Captioning with Music Metadata LLMs

重新思考基于音乐元数据的音乐描述生成

Irmak Bukey, Zhepei Wang, Chris Donahue, Nicholas J. Bryan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Adobe Research（Adobe研究） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出基于元数据的音乐描述生成方法，通过训练元数据预测模型和预训练LLMs，实现更灵活的描述生成和元数据填补。

Comments Accepted to ICASSP 2026

daVinci-Dev: Agent-native Mid-training for Software Engineering

daVinci-Dev：面向软件工程的代理原生中训练

Ji Zeng, Dayuan Fu, Tiantian Mi, Yumin Zhuang, Yaxing Huang, Xuefeng Li, Lyumanshan Ye, Muhang Xie, Qishuo Hua, Zhen Huang, Mohan Jiang, Hanning Wang, Jifan Lin, Yang Xiao, Jie Sun, Yunze Wu, Pengfei Liu

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 daVinci-Dev通过代理原生数据合成和中训练方法，在软件工程中实现了更高效的代理能力，优于现有方法。

Improving the OOD Performance of Closed-Source LLMs on NLI Through Strategic Data Selection

通过战略数据选择提升封闭源大语言模型在自然语言推理任务中的OOD性能

Joe Stacey, Lisa Alazraki, Aran Ubhi, Beyza Ermis, Aaron Mueller, Marek Rei

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文通过战略选择NLI微调数据提升封闭源LLM在自然语言推理任务中的分布外性能，优先复杂示例和生成复杂合成数据以增强鲁棒性。

Comments Accepted at EACL Findings 2026

RAC: Retrieval-Augmented Clarification for Faithful Conversational Search

RAC：基于检索的澄清以实现可靠的对话搜索

Ahmed Rayane Kebir, Vincent Guigue, Lynda Said Lhadj, Laure Soulier

机构 * Sorbonne Université, CNRS, ISIR, F-75005 Paris, France（索邦大学、国家科学研究中心、ISIR、法国巴黎） ； Ecole nationale Supérieure d’Informatique (ESI), Algeria（信息技术国家高等学院（ESI）、阿尔及利亚） ； AgroParisTech, UMR MIA-PS, Palaiseau, France（农业巴黎技术学院、UMR MIA-PS、法国帕莱索） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 RAC通过检索增强的方法生成基于语料库的澄清问题，提高对话搜索的准确性与可靠性。

Comments This is the author's version of the work. The definitive version is published in: Proceedings of the 48th European Conference on Information Retrieval (ECIR '26), 29 March--2 April, 2026, Delft, Netherlands

Theorem Prover as a Judge for Synthetic Data Generation

定理推理解释器作为合成数据生成的裁判

Joshua Ong Jun Leang, Giwon Hong, Wenda Li, Shay B. Cohen

机构 * School of Informatics, The University of Edinburgh（信息学院，爱丁堡大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；RLHF(abstract)

AI总结 本研究提出TP-as-a-Judge和RLTPF方法，通过定理推理解释器提升LLM的合成数据生成与推理准确性。

Journal ref Proc. ACL 2025, pp. 29941-29977

BYOL: Bring Your Own Language Into LLMs

BYOL: 将你的语言带入大语言模型

Syed Waqas Zamir, Wassim Hamidouche, Boulbaba Ben Amor, Luana Marotti, Inbal Becker-Reshef, Juan Lavista Ferres

机构 * Microsoft AI for Good Research Lab（微软人工智能造福人类研究实验室） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 BYOL提出了一种统一框架，通过数据精炼、翻译介导等方法，提升低资源语言的LLM性能，并公开了相关模型和代码。