语言大模型 / LLM

RPDR: A Round-trip Prediction-Based Data Augmentation Framework for Long-Tail Question Answering

RPDR：基于回程预测的数据增强框架用于长尾问答

Yiming Zhang, Siyue Zhang, Junbo Zhao, Chen Zhao

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） ； NYU Shanghai（纽约大学上海分校） ； Center for Data Science, New York University（纽约大学数据科学中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 RPDR通过数据增强框架提升长尾问答性能，利用回程预测选择易学实例并动态路由查询以优化检索效果。

Leveraging LLMs for Semi-Automatic Corpus Filtration in Systematic Literature Reviews

利用LLMs实现系统文献综述中的半自动语料筛选

Lucas Joos, Daniel A. Keim, Maximilian T. Fischer

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出利用多个大型语言模型实现系统文献综述中的半自动语料筛选，通过人类监督和交互式控制提高效率和准确性。

Journal ref Computers & Graphics, 2026

What if Deception Cannot be Detected? A Cross-Linguistic Study on the Limits of Deception Detection from Text

如果欺骗无法被检测呢？一项跨语言研究：从文本中检测欺骗的局限性

Aswathy Velutharambath, Kai Sassenberg, Roman Klinger

机构 * Institut für Maschinelle Sprachverarbeitung, University of Stuttgart, Germany（机器语言处理研究所，斯图加特大学，德国） ； Fundamentals of Natural Language Processing, University of Bamberg, Germany（自然语言处理基础， Bamberg大学，德国） ； Leibniz Institute for Psychology, Trier, Germany（莱布尼茨心理学研究所，特里尔，德国） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过构建DeFaBel语料库，发现基于语言线索的欺骗检测效果有限，挑战了传统假设，呼吁重新审视NLP中欺骗的研究方法。

Position Encoding with Random Float Sampling Enhances Length Generalization of Transformers

基于随机浮点采样的位置编码增强变换器的长度泛化能力

Atsushi Shimizu, Shohei Taniguchi, Yutaka Matsuo

机构 * Daiwa Securities（大和证券） ； The University of Tokyo（东京大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本研究提出随机浮点采样方法，通过增强位置编码的泛化能力，提升变换器在长序列处理和常识推理任务中的表现。

Comments To appear at EACL 2026

Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules

核回归中的功能缩放定律：损失动态与学习率调度

Binghui Li, Fengling Chen, Zixun Huang, Lean Wang, Lei Wu

机构 * Center for Machine Learning Research, Peking University（北京大学机器学习研究中心） ； School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学多媒体信息处理国家重点实验室） ； AI for Science Institute, Beijing（北京人工智能科学研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出功能缩放定律，通过分析核回归模型中的损失动态，揭示学习率调度对训练效率的影响，并验证了WSD调度在大规模预训练中的有效性。

Comments 60 pages, accepted by NeurIPS 2025 as a spotlight paper

Non-Contrastive Vision-Language Learning with Predictive Embedding Alignment

非对比视觉语言学习与预测嵌入对齐

Lukas Kuhn, Giuseppe Serra, Florian Buettner

机构 * Goethe University Frankfurt（法兰克福歌德大学） ； German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ）） ； German Cancer Consortium (DKTK)（德国癌症联合会（DKTK）） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 NOVA通过联合嵌入预测与分布正则化，实现非对比视觉语言学习，简化训练目标并提升稳定性与效果。

Beyond Quantity: Trajectory Diversity Scaling for Code Agents

超越数量：代码代理的轨迹多样性扩展

Guhong Chen, Chenghao Sun, Cheng Fu, Qiyao Wang, Zhihong Huang, Chaopeng Wei, Guangxu Chen, Feiteng Fang, Ahmadreza Argha, Bing Zhao, Xander Xu, Qi Han, Hamid Alinejad-Rokny, Qiang Qu, Binhua Li, Shiwen Ni, Min Yang, Hu Wei, Yongbin Li

机构 * SIAT, CAS（中国科学院软件研究所） ； Alibaba Group（阿里巴巴集团） ； UNSW Sydney（新南威尔士大学悉尼分校） ； SUAT（上海大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 TDScaling通过提升轨迹多样性而非单纯增加数据量，优化代码代理训练的性能-成本平衡，提升工具使用泛化和编码能力。

Tracing Multilingual Representations in LLMs with Cross-Layer Transcoders

通过跨层转码器追踪LLM中的多语言表示

Abir Harrasse, Florent Draye, Punya Syon Pandey, Zhijing Jin, Bernhard Schölkopf

机构 * Max Planck Institute for Intelligent Systems, Tübingen, Germany（马克斯·普朗克智能系统研究所） ； Mohammed VI Polytechnic University, Morocco（穆莱·伊斯梅尔polytechnic大学） ； University of Toronto, Canada（多伦多大学） ； Vector Institute, Canada（向量研究所） ； ELLIS Institute, Tübingen, Germany（ELLIS研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过跨层转码器研究LLM中多语言表示的共享机制及语言解码过程。

Comments 42 pages, 43 figures, under review. Extensive supplementary materials. Code and models available at https://huggingface.co/collections/CausalNLP/multilingual-tinystories-6862b6562414eb84d183f82a and https://huggingface.co/collections/CausalNLP/multilingual-gpt2-models and https://huggingface.co/collections/CausalNLP/multilingual-clts and https://github.com/abirharrasse/MultilingualCLTs

OpenGVL -- Benchmarking Visual Temporal Progress for Data Curation

OpenGVL -- 视觉时间进程数据整理的基准测试

Paweł Budzianowski, Emilia Wiśnios, Michał Tyrolski, Gracjan Góral, Igor Kulakov, Viktor Petrenko, Krzysztof Walas

机构 * Lute ； IDEAS Research Institute（IDEAS研究机构） ； Simple Automation ； Poznań University of Technology（波兹南技术大学） ； University of Warsaw（华沙大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；foundation model(abstract)；分类 cs.CL

AI总结 OpenGVL通过评估开源模型在时序任务预测中的表现，揭示其在机器人数据整理中的局限性，并提供自动化数据筛选的实用工具。

Comments Workshop on Making Sense of Data in Robotics: Composition, Curation, and Interpretability at Scale at CoRL 2025

AutoMixer: Checkpoint Artifacts as Automatic Data Mixers

AutoMixer：检查点 artifacts 作为自动数据混合器

Ernie Chang, Yang Li, Patrick Huber, Vish Vogeti, David Kant, Yangyang Shi, Vikas Chandra

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 AutoMixer通过利用检查点模型的新兴能力，自动优化数据混合，提升预训练性能达1.93%。

Comments Accepted at ACL 2025

Private PoEtry: Private In-Context Learning via Product of Experts

Private PoEtry: 通过专家产品实现隐私保护的上下文学习

Rob Romijnders, Mohammad Mahdi Derakhshani, Jonathan Petit, Max Welling, Christos Louizos, Yuki M. Asano

机构 * University of Amsterdam（阿姆斯特丹大学） ； QUvA lab（QUvA实验室） ； Qualcomm Inc.（高通公司） ； University of Technology Nuremberg（努尔堡技术大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出通过专家产品模型实现隐私保护的上下文学习，有效提升准确率并保持隐私保障。

Comments 8 pages

PolarGrad: A Class of Matrix-Gradient Optimizers from a Unifying Preconditioning Perspective

PolarGrad：从统一预条件化视角出发的一类矩阵-梯度优化器

Tim Tsz-Kit Lau, Qi Long, Weijie Su

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Wharton（沃顿商学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 PolarGrad是一种基于矩阵梯度极分解的新型预条件优化方法，通过统一视角分析矩阵感知预条件方法，提升语言模型预训练和矩阵优化性能。

Comments Minor typos corrected

Automatic Classification of Pedagogical Materials against CS Curriculum Guidelines

根据CS课程指南自动分类教学材料

Erik Saule, Kalpathi Subramanian, Razvan Bunescu

机构 * Department of Computer Science（计算机科学系） ； The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出利用自然语言处理技术自动分类教学材料，以加速根据CS课程指南评估课程内容覆盖情况的过程。

Predicting and improving test-time scaling laws via reward tail-guided search

通过奖励尾部引导搜索预测并改进测试时间扩展规律

Muheng Li, Jian Qian, Wenlong Mou

机构 * Department of Statistical Sciences, University of Toronto（多伦多大学统计科学系） ； Department of AI and Data Science, University of Hong Kong（香港大学人工智能与数据科学系） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出通过奖励尾部引导搜索预测并改进LLM测试时间扩展规律，通过动态分配计算资源提升推理能力。

Comments 33 pages, 5 figures

Context-Free Synthetic Data Mitigates Forgetting

无上下文合成数据缓解遗忘

Parikshit Bansal, Sujay Sanghavi

机构 * Parikshit Bansal（独立研究者） ； Sujay Sanghavi（独立研究者） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 通过无上下文生成缓解语言模型微调中的遗忘问题，保持零样本和推理性能。

Contamination Detection for VLMs using Multi-Modal Semantic Perturbation

使用多模态语义扰动检测VLMs中的污染

Jaden Park, Mu Cai, Feng Yao, Jingbo Shang, Soochahn Lee, Yong Jae Lee

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； University of California, San Diego（加州大学圣地亚哥分校） ； Kookmin University（韩国庆北大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出了一种基于多模态语义扰动的检测方法，用于识别和验证受污染的视觉语言模型。

Comments Accepted at ICLR 2026

Behemoth: Benchmarking Unlearning in LLMs Using Fully Synthetic Data

Behemoth：使用完全合成数据对LLM中的去学习进行基准测试

Eugenia Iofinova, Dan Alistarh

机构 * IST Austria（IST奥地利研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 Behemoth通过完全合成数据框架评估大语言模型中的去学习效果，揭示了模型编辑的挑战与改进方法。

Mitigating Sensitive Information Leakage in LLMs4Code through Machine Unlearning

通过机器遗忘减轻LLM4Code中的敏感信息泄露

Shanzhi Gu, Zhaoyang Qu, Ruotong Geng, Mingyang Geng, Shangwen Wang, Chuanfu Xu, Haotian Wang, Zhipeng Lin, Dezun Dong

机构 * College of Computer Science and Technology, National University of Defense Technology, Changsha, Hunan, 410073, China（计算机科学与技术学院，国防科技大学，长沙，湖南，410073，中国） ； Xichang Satellite Launch Center, Xichang, Sichuan, 615000, China（西昌卫星发射中心，西昌，四川，615000，中国） ； Academy of Military Sciences, Beijing, 100091, China（军事科学院，北京，100091，中国） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过机器遗忘技术有效减少LLMs4Code中的敏感信息泄露，同时保持代码生成性能，揭示了间接泄露的潜在风险。

Comments 13 pages

GenCode: A Generic Data Augmentation Framework for Boosting Deep Learning-Based Code Understanding

GenCode：一种通用数据增强框架，用于提升基于深度学习的代码理解

Zeming Dong, Qiang Hu, Xiaofei Xie, Maxime Cordy, Mike Papadakis, Yves Le Traon, Jianjun Zhao

机构 * University of Luxembourg（卢森堡大学） ； Tianjin University（天津大学） ； Singapore Management University（新加坡管理学院） ； Kyushu University（九州大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 GenCode通过生成与选择范式提升代码理解模型的训练效果，相比现有方法在准确率和鲁棒性上均有显著提升。

Comments Accepted by Empirical Software Engineering (EMSE) 2026

From Tables to Time: Extending TabPFN-v2 to Time Series Forecasting

从表格到时间：将TabPFN-v2扩展到时间序列预测

Shi Bin Hoo, Samuel Müller, David Salinas, Frank Hutter

机构 * University of Freiburg（弗赖堡大学） ； Prior Labs（Prior实验室） ； Meta ； ELLIS Institute（ELLIS研究所） ； Tübingen University of Freiburg（弗赖堡大学图宾根分校） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出TabPFN-TS，通过结合轻量级时间特征化与预训练的TabPFN-v2，将预测视为表格回归问题，在时间序列预测中实现高效且多功能的性能。

Comments This revision extends the previous version by adding evaluations on covariate-aware forecasting tasks, additional ablation studies, and a dedicated limitations section. It also substantially rewrites and reorganizes the manuscript to improve clarity and overall readability

Beat-ssl: Capturing Local ECG Morphology through Heartbeat-level Contrastive Learning with Soft Targets

通过心跳级对比学习与软目标捕捉局部ECG形态

Muhammad Ilham Rizqyawan, Peter Macfarlane, Stathis Hadjidemetriou, Fani Deligianni

机构 * School of Computing Science, University of Glasgow, UK（Glasgow大学计算机科学学院） ； Research Center for Smart Mechatronics, National Research and Innovation Agency, Indonesia（智能机电研究中心，国家研究与创新局） ； School of Health & Wellbeing, University of Glasgow, UK（Glasgow大学健康与福祉学院） ； Department of Information Technologies, University of Limassol, Cyprus（拉马索尔大学信息科技系） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 Beat-SSL通过心跳级对比学习与软目标，有效捕捉ECG局部形态，提升多标签分类和分割任务性能。

Comments Accepted at ISBI 2026

Encoding Emotion Through Self-Supervised Eye Movement Reconstruction

通过自监督眼动重建编码情感

Marcus Ma, Jordan Prescott, Emily Zhou, Tiantian Feng, Kleanthis Avramidis, Gabor Mihaly Toth, Shrikanth Narayanan

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出一种自监督眼动重建模型，用于从自然主义低分辨率视频中预测情绪表达的多模态标记，通过微调两个下游任务验证了其有效性。

NewsRECON: News article REtrieval for image CONtextualization

NewsRECON: 用于图像上下文化的新闻文章检索

Jonathan Tonglet, Iryna Gurevych, Tinne Tuytelaars, Marie-Francine Moens

机构 * Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE（通用知识处理实验室（UKP实验室）、计算机科学系、图恩大学（TU Darmstadt）和应用网络安全国家研究中心ATHENE） ； Department of Electrical Engineering, KU Leuven（电气工程系、鲁汶大学） ； Department of Computer Science, KU Leuven（计算机科学系、鲁汶大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 NewsRECON通过链接图像与相关新闻文章，利用元数据推断图像日期和位置，优于现有方法并结合多模态大语言模型实现新的SOTA结果。

Comments Preprint under review. Code available at https://github.com/jtonglet/arxiv2025-newsrecon

Docs2Synth: A Synthetic Data Trained Retriever Framework for Scanned Visually Rich Documents Understanding

Docs2Synth: 一种用于扫描视觉丰富文档理解的合成数据训练检索框架

Yihao Ding, Qiang Sun, Puzhen Wu, Sirui Li, Siwen Luo, Wei Liu

机构 * University of Western Australia（西澳大学） ； The University of Hong Kong（香港大学） ； Murdoch University（默多克大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Docs2Synth通过合成监督框架实现私有和低资源领域文档理解，利用检索引导推理提升接地能力和领域泛化，无需人工标注。

Comments Accepted at WWW 2026 Demo Track

Learning Longitudinal Health Representations from EHR and Wearable Data

从电子健康记录和可穿戴数据中学习纵向健康表示

Yuanyun Zhang, Han Zhou, Li Feng, Yilin Hong, Shi Li

机构 * University of the Chinese Academy of Sciences, Columbia University（中国科学院大学，哥伦比亚大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出一种多模态基础模型，通过联合表示电子健康记录和可穿戴数据，提升纵向健康预测的准确性和鲁棒性。

Large-Scale Multi-omic Biosequence Transformers for Modeling Protein-Nucleic Acid Interactions

大规模多组学生物序列变压器用于建模蛋白质-核酸相互作用

Sully F. Chen, Robert J. Steele, Glen M. Hocky, Beakal Lemeneh, Shivanand P. Lad, Eric K. Oermann

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 OmniBioTE是一种大规模多组学生物序列变压器，通过混合蛋白质和核酸数据训练，实现了对蛋白质-核酸相互作用的高效预测和结构信息学习。

Comments 47 pages, 5 figures

MixMin: Finding Data Mixtures via Convex Minimization

MixMin: 通过凸优化寻找数据混合

Anvith Thudi, Evianne Rovers, Yangjun Ruan, Tristan Thrush, Chris J. Maddison

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 MixMin通过凸优化方法改进数据混合，提升了语言模型和化学任务的性能，且在不同规模模型上均有效。

Comments Proceedings of the 42nd International Conference on Machine Learning

Relative Scaling Laws for LLMs

大语言模型的相对扩展定律

William Held, David Hall, Percy Liang, Diyi Yang

机构 * Stanford University（斯坦福大学） ； OpenAthena（开放阿塔纳） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本研究提出相对扩展定律，通过分析不同测试分布在规模变化下的性能差异，揭示大语言模型在扩展过程中并非普遍均衡器，强调了鲁棒性挑战的重要性。

Equi-ViT: Rotational Equivariant Vision Transformer for Robust Histopathology Analysis

Equi-ViT：用于鲁棒病理学分析的旋转等变视觉变换器

Fuyao Chen, Yuexi Du, Elèonore V. Lieffrig, Nicha C. Dvornek, John A. Onofrey

机构 * Yale University（耶鲁大学） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 Equi-ViT通过引入等变卷积核提升ViT在病理学图像中的旋转鲁棒性和数据效率。

Comments Accepted by IEEE ISBI 2026 4-page paper

Stuttering-Aware Automatic Speech Recognition for Indonesian Language

针对印尼语的 stuttering 意识自动语音识别

Fadhil Muhammad, Alwin Djuliansah, Adrian Aryaputra Hamzah, Kurniawati Azizah

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一种针对印尼语口吃语音识别的数据增强方法，通过合成数据提升模型对不流畅语音的识别性能。

Comments Preprint