语言大模型 / LLM

DEO: Training-Free Direct Embedding Optimization for Negation-Aware Retrieval

DEO：无训练直接嵌入优化用于否定感知检索

Taegyeong Lee, Jiwon Park, Seunghyun Hwang, JooYoung Jang

机构 * Department of Industrial Engineering, Hanyang University（工业工程系，翰阳大学） ； Department of Applied Data Science, Sungkyunkwan University（应用数据科学系，成均馆大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DEO通过无训练的直接嵌入优化方法，提升了否定和排除感知检索的性能，尤其在多模态检索中表现突出。

VistaWise: Building Cost-Effective Agent with Cross-Modal Knowledge Graph for Minecraft

VistaWise: 构建低成本代理的跨模态知识图谱用于Minecraft

Honghao Fu, Junlong Ren, Qi Chai, Deheng Ye, Yujun Cai, Hao Wang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； University of Queensland（昆士兰大学） ； Tencent（腾讯） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 VistaWise通过整合跨模态知识图谱和专用模型，实现低成本、高效率的Minecraft代理构建。

Comments Accepted by EMNLP 2025 main

Adaptive Collaboration with Humans: Metacognitive Policy Optimization for Multi-Agent LLMs with Continual Learning

适应性协作与人类：多智能体大语言模型的元认知策略优化与持续学习

Wei Yang, Defu Cao, Jiacheng Pang, Muyan Weng, Yan Liu

机构 * University of Southern California（南加州大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 HILA框架通过元认知策略优化与持续学习，实现多智能体与人类的协同协作，提升复杂任务处理能力。

Resource-Adaptive Federated Text Generation with Differential Privacy

具有差分隐私的资源自适应联邦文本生成

Jiayi Wang, John Gounley, Heidi Hanson

机构 * Oak Ridge National Laboratory（奥克伍德国家实验室） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出了一种资源自适应的联邦文本生成框架，通过差分隐私机制和轻量级投票机制，提升在计算异质性和隐私保护下的分布对齐和下游任务鲁棒性。

Comments Accepted by DATA-FM workshop @ ICLR 2026

Vision-Zero: Scalable VLM Self-Improvement via Strategic Gamified Self-Play

Vision-Zero: 通过战略化游戏化自play实现可扩展的VLM自改进

Qinsi Wang, Bo Liu, Tianyi Zhou, Jing Shi, Yueqian Lin, Yiran Chen, Hai Helen Li, Kun Wan, Wentian Zhao

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Vision-Zero通过战略化游戏化自play框架，实现无标注数据下的多模态模型自改进，提升推理与跨领域任务性能。

Comments ICLR 2026

UniG2U-Bench: Do Unified Models Advance Multimodal Understanding?

UniG2U-Bench: 统一模型是否能提升多模态理解？

Zimo Wen, Boxiu Li, Wanbo Zhang, Junxiang Lei, Xiaoyu Chen, Yijia Fan, Qi Zhang, Yujiang Wang, Lili Qiu, Bo Li, Ziwei Liu, Caihua Shan, Yifan Yang, Yifei Shen

机构 * Microsoft Research Asia（微软亚洲研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； Fudan University（复旦大学） ； University of Oxford（牛津大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 UniG2U-Bench通过系统评估生成到理解的任务，揭示统一模型在多模态理解中的局限性和改进方向。

Video TokenCom: Textual Intent-Guided Multi-Rate Video Token Communications with UEP-Based Adaptive Source-Channel Coding

视频令牌通信：基于UEP的自适应源信道编码的文本意图引导多速率视频令牌通信

Jingxuan Men, Mahdi Boloursaz Mashhadi, Ning Wang, Yi Ma, Mike Nilsson, Rahim Tafazolli

机构 * GIC & 6GIC, Institute for Communication Systems (ICS), University of Surrey（5GIC与6GIC，通信系统研究所（ICS），塞夫尔大学） ； Smart Internet Lab, University of Bristol（智能互联网实验室，布里斯托尔大学） ； British Telecom Research Lab, BT Group plc（英国电信研究实验室，BT集团） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出基于UEP的自适应源信道编码的视频令牌通信框架，通过文本意图引导的多速率视频通信提升语义保真度和传输效率。

Estimating Dimensionality of Neural Representations from Finite Samples

从有限样本估计神经表示的维度

Chanwoo Chun, Abdulkadir Canatar, SueYeon Chung, Daniel Lee

机构 * Harvard University（哈佛大学） ； New York University（纽约大学） ； Flatiron Institute（Flatiron研究所） ； Cornell Tech（康奈尔科技） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出了一种偏倚校正估计器，用于从有限样本中准确估计神经表示的维度，并展示了其在生物神经记录和语言模型中的应用。

Adversarially Pretrained Transformers May Be Universally Robust In-Context Learners

对抗性预训练的Transformer可能成为普遍稳健的上下文学习者

Soichiro Kumano, Hiroshi Kera, Toshihiko Yamasaki

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本研究提出对抗性预训练的Transformer可作为普遍稳健的基础模型，通过上下文学习实现对多种下游任务的稳健泛化。

Comments ICLR26

Towards Better RL Training Data Utilization via Second-Order Rollout

通过二次回滚实现更好的RL训练数据利用

Zhe Yang, Yudong Wang, Rang Li, Zhifang Sui

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学） ； ByteDance BandAI（字节跳动BandAI） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通过二次回滚提升RL训练数据利用效率，联合训练生成与批判能力，实验表明在相同数据下性能更优，并揭示标签平衡与噪声问题的解决方法。

ÜberWeb: Insights from Multilingual Curation for a 20-Trillion-Token Dataset

ÜberWeb: 多语言编纂对20万亿token数据集的洞察

DatologyAI, :, Aldo Gael Carranza, Kaleigh Mentzer, Ricardo Pio Monti, Alex Fang, Alvin Deng, Amro Abbas, Anshuman Suri, Brett Larsen, Cody Blakeney, Darren Teh, David Schwab, Diego Kiner, Fan Pan, Haakon Mongstad, Haoli Yin, Jack Urbanek, Jason Lee, Jason Telanoff, Josh Wills, Luke Merrick, Maximilian Böther, Parth Doshi, Paul Burstein, Pratyush Maini, Rishabh Adiga, Siddharth Joshi, Spandan Das, Tony Jiang, Vineeth Dorna, Zhengping Wang, Bogdan Gaza, Ari Morcos, Matthew Leavitt

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 通过多语言数据编纂优化20万亿token数据集，显著提升多语言模型性能并降低计算需求。

DWA-KD: Dual-Space Weighting and Time-Warped Alignment for Cross-Tokenizer Knowledge Distillation

DWA-KD：双空间加权与时间扭曲对齐用于跨分词器知识蒸馏

Duc Trung Vu, Pham Khanh Chi, Dat Phi Van, Linh Ngo Van, Sang Dinh, Trung Le

机构 * Hanoi University of Science and Technology（河内科学技术大学） ； University of Monash（莫纳什大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DWA-KD通过双空间加权和时间扭曲对齐提升跨分词器知识蒸馏效果，实现更精确的词级和序列级对齐。

Comments EACL Findings

BabyLM Turns 4 and Goes Multilingual: Call for Papers for the 2026 BabyLM Workshop

BabyLM四周年暨多语言研究：2026年BabyLM研讨会征文通知

Leshem Choshen, Ryan Cotterell, Mustafa Omer Gul, Jaap Jumelet, Tal Linzen, Aaron Mueller, Suchir Salhan, Raj Sanjay Shah, Alex Warstadt, Ethan Gotlieb Wilcox

机构 * IBM Research（IBM研究院） ； MIT（麻省理工学院） ； ETH Zürich（苏黎世联邦理工学院） ； Cornell University（康奈尔大学） ； University of Groningen（格罗宁根大学） ； NYU（纽约大学） ； Boston University（波士顿大学） ； University of Cambridge（剑桥大学） ； Georgia Tech（佐治亚理工学院） ； UC San Diego（南加州大学） ； Georgetown University（乔治城大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 BabyLM研讨会征文通知，聚焦多语言预训练与认知建模，包含训练效率、小规模数据集、模型评估等主题

Comments 8 pages, 1 table. arXiv admin note: substantial text overlap with arXiv:2502.10645

Satellite-Based Detection of Looted Archaeological Sites Using Machine Learning

基于卫星的考古遗址盗掘检测使用机器学习

Girmaw Abebe Tadesse, Titien Bartette, Andrew Hassanali, Allen Kim, Jonathan Chemla, Andrew Zolli, Yves Ubelmann, Caleb Robinson, Inbal Becker-Reshef, Juan Lavista Ferres

机构 * Microsoft AI for Good Research Lab（微软AI for Good研究实验室） ； Iconem ； Planet Labs PBC（Planet Labs公司） 纠错

专题命中 预训练与数据 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 利用机器学习和卫星图像检测考古遗址盗掘，通过CNN和传统ML方法对比，实现高精度识别

RPDR: A Round-trip Prediction-Based Data Augmentation Framework for Long-Tail Question Answering

RPDR：基于回程预测的数据增强框架用于长尾问答

Yiming Zhang, Siyue Zhang, Junbo Zhao, Chen Zhao

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） ； NYU Shanghai（纽约大学上海分校） ； Center for Data Science, New York University（纽约大学数据科学中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 RPDR通过数据增强框架提升长尾问答性能，利用回程预测选择易学实例并动态路由查询以优化检索效果。

Leveraging LLMs for Semi-Automatic Corpus Filtration in Systematic Literature Reviews

利用LLMs实现系统文献综述中的半自动语料筛选

Lucas Joos, Daniel A. Keim, Maximilian T. Fischer

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出利用多个大型语言模型实现系统文献综述中的半自动语料筛选，通过人类监督和交互式控制提高效率和准确性。

Journal ref Computers & Graphics, 2026

What if Deception Cannot be Detected? A Cross-Linguistic Study on the Limits of Deception Detection from Text

如果欺骗无法被检测呢？一项跨语言研究：从文本中检测欺骗的局限性

Aswathy Velutharambath, Kai Sassenberg, Roman Klinger

机构 * Institut für Maschinelle Sprachverarbeitung, University of Stuttgart, Germany（机器语言处理研究所，斯图加特大学，德国） ； Fundamentals of Natural Language Processing, University of Bamberg, Germany（自然语言处理基础， Bamberg大学，德国） ； Leibniz Institute for Psychology, Trier, Germany（莱布尼茨心理学研究所，特里尔，德国） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文通过构建DeFaBel语料库，发现基于语言线索的欺骗检测效果有限，挑战了传统假设，呼吁重新审视NLP中欺骗的研究方法。

Position Encoding with Random Float Sampling Enhances Length Generalization of Transformers

基于随机浮点采样的位置编码增强变换器的长度泛化能力

Atsushi Shimizu, Shohei Taniguchi, Yutaka Matsuo

机构 * Daiwa Securities（大和证券） ； The University of Tokyo（东京大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本研究提出随机浮点采样方法，通过增强位置编码的泛化能力，提升变换器在长序列处理和常识推理任务中的表现。

Comments To appear at EACL 2026

Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules

核回归中的功能缩放定律：损失动态与学习率调度

Binghui Li, Fengling Chen, Zixun Huang, Lean Wang, Lei Wu

机构 * Center for Machine Learning Research, Peking University（北京大学机器学习研究中心） ； School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学多媒体信息处理国家重点实验室） ； AI for Science Institute, Beijing（北京人工智能科学研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出功能缩放定律，通过分析核回归模型中的损失动态，揭示学习率调度对训练效率的影响，并验证了WSD调度在大规模预训练中的有效性。

Comments 60 pages, accepted by NeurIPS 2025 as a spotlight paper

Non-Contrastive Vision-Language Learning with Predictive Embedding Alignment

非对比视觉语言学习与预测嵌入对齐

Lukas Kuhn, Giuseppe Serra, Florian Buettner

机构 * Goethe University Frankfurt（法兰克福歌德大学） ； German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ）） ； German Cancer Consortium (DKTK)（德国癌症联合会（DKTK）） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 NOVA通过联合嵌入预测与分布正则化，实现非对比视觉语言学习，简化训练目标并提升稳定性与效果。

Beyond Quantity: Trajectory Diversity Scaling for Code Agents

超越数量：代码代理的轨迹多样性扩展

Guhong Chen, Chenghao Sun, Cheng Fu, Qiyao Wang, Zhihong Huang, Chaopeng Wei, Guangxu Chen, Feiteng Fang, Ahmadreza Argha, Bing Zhao, Xander Xu, Qi Han, Hamid Alinejad-Rokny, Qiang Qu, Binhua Li, Shiwen Ni, Min Yang, Hu Wei, Yongbin Li

机构 * SIAT, CAS（中国科学院软件研究所） ； Alibaba Group（阿里巴巴集团） ； UNSW Sydney（新南威尔士大学悉尼分校） ； SUAT（上海大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 TDScaling通过提升轨迹多样性而非单纯增加数据量，优化代码代理训练的性能-成本平衡，提升工具使用泛化和编码能力。

Tracing Multilingual Representations in LLMs with Cross-Layer Transcoders

通过跨层转码器追踪LLM中的多语言表示

Abir Harrasse, Florent Draye, Punya Syon Pandey, Zhijing Jin, Bernhard Schölkopf

机构 * Max Planck Institute for Intelligent Systems, Tübingen, Germany（马克斯·普朗克智能系统研究所） ； Mohammed VI Polytechnic University, Morocco（穆莱·伊斯梅尔polytechnic大学） ； University of Toronto, Canada（多伦多大学） ； Vector Institute, Canada（向量研究所） ； ELLIS Institute, Tübingen, Germany（ELLIS研究所） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过跨层转码器研究LLM中多语言表示的共享机制及语言解码过程。

Comments 42 pages, 43 figures, under review. Extensive supplementary materials. Code and models available at https://huggingface.co/collections/CausalNLP/multilingual-tinystories-6862b6562414eb84d183f82a and https://huggingface.co/collections/CausalNLP/multilingual-gpt2-models and https://huggingface.co/collections/CausalNLP/multilingual-clts and https://github.com/abirharrasse/MultilingualCLTs

OpenGVL -- Benchmarking Visual Temporal Progress for Data Curation

OpenGVL -- 视觉时间进程数据整理的基准测试

Paweł Budzianowski, Emilia Wiśnios, Michał Tyrolski, Gracjan Góral, Igor Kulakov, Viktor Petrenko, Krzysztof Walas

机构 * Lute ； IDEAS Research Institute（IDEAS研究机构） ； Simple Automation ； Poznań University of Technology（波兹南技术大学） ； University of Warsaw（华沙大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；foundation model(abstract)；分类 cs.CL

AI总结 OpenGVL通过评估开源模型在时序任务预测中的表现，揭示其在机器人数据整理中的局限性，并提供自动化数据筛选的实用工具。

Comments Workshop on Making Sense of Data in Robotics: Composition, Curation, and Interpretability at Scale at CoRL 2025

AutoMixer: Checkpoint Artifacts as Automatic Data Mixers

AutoMixer：检查点 artifacts 作为自动数据混合器

Ernie Chang, Yang Li, Patrick Huber, Vish Vogeti, David Kant, Yangyang Shi, Vikas Chandra

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 AutoMixer通过利用检查点模型的新兴能力，自动优化数据混合，提升预训练性能达1.93%。

Comments Accepted at ACL 2025

Private PoEtry: Private In-Context Learning via Product of Experts

Private PoEtry: 通过专家产品实现隐私保护的上下文学习

Rob Romijnders, Mohammad Mahdi Derakhshani, Jonathan Petit, Max Welling, Christos Louizos, Yuki M. Asano

机构 * University of Amsterdam（阿姆斯特丹大学） ； QUvA lab（QUvA实验室） ； Qualcomm Inc.（高通公司） ； University of Technology Nuremberg（努尔堡技术大学） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出通过专家产品模型实现隐私保护的上下文学习，有效提升准确率并保持隐私保障。

Comments 8 pages

PolarGrad: A Class of Matrix-Gradient Optimizers from a Unifying Preconditioning Perspective

PolarGrad：从统一预条件化视角出发的一类矩阵-梯度优化器

Tim Tsz-Kit Lau, Qi Long, Weijie Su

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Wharton（沃顿商学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 PolarGrad是一种基于矩阵梯度极分解的新型预条件优化方法，通过统一视角分析矩阵感知预条件方法，提升语言模型预训练和矩阵优化性能。

Comments Minor typos corrected

Automatic Classification of Pedagogical Materials against CS Curriculum Guidelines

根据CS课程指南自动分类教学材料

Erik Saule, Kalpathi Subramanian, Razvan Bunescu

机构 * Department of Computer Science（计算机科学系） ； The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出利用自然语言处理技术自动分类教学材料，以加速根据CS课程指南评估课程内容覆盖情况的过程。

Predicting and improving test-time scaling laws via reward tail-guided search

通过奖励尾部引导搜索预测并改进测试时间扩展规律

Muheng Li, Jian Qian, Wenlong Mou

机构 * Department of Statistical Sciences, University of Toronto（多伦多大学统计科学系） ； Department of AI and Data Science, University of Hong Kong（香港大学人工智能与数据科学系） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出通过奖励尾部引导搜索预测并改进LLM测试时间扩展规律，通过动态分配计算资源提升推理能力。

Comments 33 pages, 5 figures

Context-Free Synthetic Data Mitigates Forgetting

无上下文合成数据缓解遗忘

Parikshit Bansal, Sujay Sanghavi

机构 * Parikshit Bansal（独立研究者） ； Sujay Sanghavi（独立研究者） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 通过无上下文生成缓解语言模型微调中的遗忘问题，保持零样本和推理性能。

Contamination Detection for VLMs using Multi-Modal Semantic Perturbation

使用多模态语义扰动检测VLMs中的污染

Jaden Park, Mu Cai, Feng Yao, Jingbo Shang, Soochahn Lee, Yong Jae Lee

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； University of California, San Diego（加州大学圣地亚哥分校） ； Kookmin University（韩国庆北大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出了一种基于多模态语义扰动的检测方法，用于识别和验证受污染的视觉语言模型。

Comments Accepted at ICLR 2026