语言大模型 / LLM

Measuring the Impact of Lexical Training Data Coverage on Hallucination Detection in Large Language Models

测量词汇训练数据覆盖对大型语言模型中幻觉检测的影响

Shuo Zhang, Fabrizio Gotti, Fengran Mo, Jian-Yun Nie

机构 * Université de Montréal（蒙特利尔大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 本研究探讨词汇训练数据覆盖对大型语言模型幻觉检测的影响，通过构建后缀数组和n-gram统计，发现结合出现特征与对数概率可提升检测效果。

Llama2Vec: Unsupervised Adaptation of Large Language Models for Dense Retrieval

Llama2Vec: 无监督适应大型语言模型用于密集检索

Zheng Liu, Chaofan Li, Shitao Xiao, Yingxia Shao, Defu Lian

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； University of Science and Technology of China（中国科学技术大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 Llama2Vec通过无监督适应LLM提升密集检索性能，实现新的最先进结果。

Comments ACL 2024

SmolKalam: Ensemble Quality-Filtered Translation at Scale for High Quality Arabic Post-Training Data

SmolKalam：大规模质量过滤翻译用于高质量阿拉伯语后训练数据

Sultan Alrashed, Chadi Helwe, Francesco Orabona

机构 * King Abdullah University of Science and Technology (KAUST)（卡斯特大学） 纠错

专题命中 预训练与数据 ：post-training(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 SmolKalam通过多模型集成和质量过滤技术，提升大规模阿拉伯语后训练数据的翻译质量。

Comments Work in progress

Power Lines: Scaling Laws for Weight Decay and Batch Size in LLM Pre-training

电力线：大规模预训练中权重衰减和批量大小的缩放定律

Shane Bergsma, Nolan Dey, Gurpreet Gosal, Gavia Gray, Daria Soboleva, Joel Hestness

机构 * Cerebras Systems（Cerebras系统） 纠错

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了大规模语言模型预训练中权重衰减和批量大小的缩放定律，揭示了超参数在不同训练设置下的优化规律，并提出了基于令牌数比的精确预测方法。

Comments NeurIPS 2025

In Machina N400: Pinpointing Where a Causal Language Model Detects Semantic Violations

在机器中N400：定位因果语言模型检测语义违规的位置

Christos-Nikolaos Zacharopoulos, Revekka Kyriakoglou

机构 * Independent Researcher（独立研究者） ； Université Paris 8 Vincennes - Saint-Denis, Paris, France（巴黎第八大学凡尔赛-圣但尼分校） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨因果语言模型如何检测语义违规，发现模型在中间层能有效区分合理与不合理句子，且违规信息在中间瓶颈后坍塌，与人类阅读中语义异常检测的理论相呼应。

Comments Accepted at AICS2025

Beyond Surface-Level Similarity: Hierarchical Contamination Detection for Synthetic Training Data in Foundation Models

超越表层相似性：面向基础模型合成训练数据的分层污染检测

Sushant Mehta

机构 * Sushant Mehta 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出分层污染检测框架，用于检测基础模型中合成训练数据的语义污染问题，提升评估准确性与数据可靠性。

Tiny-TSM: Efficiently Training a Lightweight SOTA Time Series Foundation Model

Tiny-TSM：高效训练轻量级SOTA时间序列基础模型

Felix Birkel

机构 * Prior Labs（Prior实验室） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 Tiny-TSM通过高效训练方法，在资源受限环境下实现了轻量级时间序列基础模型的最先进性能。

LLM-Driven Kernel Evolution: Automating Driver Updates in Linux

基于大语言模型的内核进化：自动化Linux驱动更新

Arina Kharlamova, Jiawen Liu, Tianyi Zhang, Xinrui Yang, Humaid Alqasimi, Youcheng Sun, Chun Jason Xue

专题命中 预训练与数据 ：LLM(title,abstract)；分类 cs.AI

AI总结 基于大语言模型的AUTODRIVER系统通过整合提示工程、多智能体协作等技术，实现了Linux驱动程序的自动化维护，提升了驱动与内核协同进化的安全性与效率。

Assessing the alignment between infants' visual and linguistic experience using multimodal language models

利用多模态语言模型评估婴儿的视觉和语言经验一致性

Alvin Wei Ming Tan, Jane Yang, Tarun Sepuri, Khai Loong Aw, Robert Z. Sparks, Zi Yin, Virginia A. Marchman, Michael C. Frank, Bria Long

机构 * Department of Psychology, Stanford University（心理学系，斯坦福大学） ； Department of Psychology, University of California, San Diego（心理学系，加州大学圣地亚哥分校） ； Department of Psychology, Tsinghua University（心理学系，清华大学） 纠错

专题命中 预训练与数据 ：language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 基于多模态语言模型评估婴儿视觉与语言经验一致性，揭示日常学习中视觉与语言对齐的稀有性及跨儿童差异。

Leveraging Language Models for Interpretable Analysis of Narratives in a Large Corpus

利用语言模型对大规模语料库中叙述进行可解释性分析

Eric A. Bai, Minling Zhou, Ricardo Henao, Kyle M. Schwing, Lawrence Carin

专题命中 预训练与数据 ：language model(title)；LLM(abstract)

AI总结 本文提出一种结合词袋模型和LLM的问题回答模型，通过共享再生核希尔伯特空间表示，实现对大规模语料库中叙述的可解释性量化分析。

Synthesizing Precise Protocol Specs from Natural Language for Effective Test Generation

从自然语言合成精确的协议规范以实现有效的测试生成

Kuangxiangzi Liu, Dhiman Chakraborty, Alexander Liggesmeyer, Andreas Zeller

机构 * CISPA Helmholtz Center for Information Security（CISPA 欧洲信息安全研究中心） 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究提出了一种两阶段方法，利用大语言模型从自然语言规范生成形式化协议规范，以提高测试生成的效率和准确性。

What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models

什么推动跨语言排序？具有多语言语言模型的检索方法

Roksana Goworek, Olivia Macmillan-Scott, Eda B. Özyiğit

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； Queen Mary University of London（伦敦女王学院） ； University College London（伦敦大学学院） 纠错

专题命中 预训练与数据 ：language model(title)；分类 cs.CL、cs.AI

AI总结 本文研究了跨语言检索中影响排序的因素，发现专门训练的密集检索模型和对比学习在低资源和跨脚本场景中表现更优，优于传统的翻译和单语言检索方法。

Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding

Evo-0：具有隐式空间理解的视觉-语言-动作模型

Tao Lin, Gen Li, Yilei Zhong, Yanwen Zou, Yuxin Du, Jiting Liu, Encheng Gu, Bo Zhao

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； EvoMind Tech（EvoMind科技） ； IAAR-Shanghai（IAAR-上海） ； University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；foundation model(abstract)；pretraining(abstract)

AI总结 Evo-0通过隐式整合3D几何特征，提升视觉-语言-动作模型在现实世界中的空间理解能力。

OmniStruct: Universal Text-to-Structure Generation across Diverse Schemas

OmniStruct: 跨多样的模式生成的通用文本到结构生成

James Y. Huang, Wenxuan Zhou, Nan Xu, Fei Wang, Qin Liu, Sheng Zhang, Hoifung Poon, Muhao Chen

机构 * University of Southern California（南加州大学） ； University of California, Davis（加州大学戴维斯分校） ； Microsoft Research（微软研究院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 OmniStruct提出了一种跨多种模式的通用文本到结构生成方法，通过合成数据训练小型模型，实现与GPT-4o相当的性能。

Skeletons Matter: Dynamic Data Augmentation for Text-to-Query

骨架很重要：面向文本到查询的动态数据增强

Yuchen Ji, Bo Xu, Jie Shi, Jiaqing Liang, Deqing Yang, Yu Mao, Hai Chen, Yanghua Xiao

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； School of Computer Science and Technology, Donghua University（东华大学计算机科学与技术学院） ； College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； Ant Group（蚂蚁集团） ； Shanghai Key Laboratory of Data Science（上海数据科学 key laboratory） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种动态数据增强框架，通过识别查询骨架作为共同优化目标，提升文本到查询任务的泛化能力和效率。

Comments Accepted at EMNLP 2025

Exploring Weak-to-Strong Generalization for CLIP-based Classification

探索基于CLIP的分类中的弱到强泛化

Jinhao Li, Sarah M. Erfani, Lei Feng, James Bailey, Feng Liu

机构 * School of Computing and Information Systems University of Melbourne, Australia（墨尔本大学计算机与信息系统学院） ； School of Computing and Information Systems University of Melbournem, Australia（墨尔本大学计算机与信息系统学院） ； School of Computer Science and Engineering Southeast University, China（东南大学计算机科学与工程学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 本文提出类别原型学习方法，通过弱监督提升CLIP模型分类性能，实验显示在预训练受限情况下取得显著改进。

Comments TMLR

A superpersuasive autonomous policy debating system

一种超级有说服力的自主辩论系统

Allen Roush, Devin Gonier, John Hines, Judah Goldfeder, Philippe Martin Wyder, Sanjay Basu, Ravid Shwartz Ziv

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 DeepDebater是一种能够自主参与并赢得完整政策辩论的AI系统，通过多智能体协作生成高质量论证并战胜人类对手。

Comments Accepted to CLIP workshop at AAAI 2026

VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval

VideoLights: 用于联合视频亮点检测和时刻检索的特征细化与跨任务对齐变换器

Dhiman Paul, Md Rizwan Parvez, Nabeel Mohammed, Shafin Rahman

机构 * North South University（北南大学） ； Qatar Computing Research Institute (QCRI)（卡塔尔计算研究 institute） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI

AI总结 VideoLights通过引入特征细化、跨模态融合和联合任务反馈机制，提升视频亮点检测与时刻检索的性能。

Zero-Shot Coreset Selection via Iterative Subspace Sampling

通过迭代子空间采样进行零样本聚类选择

Brent A. Griffin, Jacob Marks, Jason J. Corso

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本文提出ZCore方法，通过迭代子空间采样在无标签数据上实现高效的聚类选择，提升下游模型性能并降低成本。

Comments WACV 2026

Large-Scale Pre-training Enables Multimodal AI Differentiation of Radiation Necrosis from Brain Metastasis Progression on Routine MRI

大规模预训练使多模态AI能够区分放射性坏死与脑转移瘤进展的常规MRI

Ahmed Gomaa, Annette Schwarz, Ludwig Singer, Arnd Dörfler, Matthias Stefan May, Pluvio Stephan, Ishita Sheth, Juliane Szkitsak, Katharina Breininger, Yixing Huang, Benjamin Frey, Oliver Schnell, Daniel Delev, Roland Coras, Daniel Höfler, Philipp Schubert, Jenny Stritzelberger, Sabine Semrau, Andreas Maier, Dieter H Heiland, Udo S. Gaipl, Andrea Wittig, Rainer Fietkau, Christoph Bert, Stefanie Corradini, Florian Putz

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 本研究通过大规模预训练和多模态深度学习策略，利用常规MRI区分放射性坏死与肿瘤进展，实现高准确率的可解释AI解决方案。

Show Me: Unifying Instructional Image and Video Generation with Diffusion Models

Show Me: 用扩散模型统一指令图像和视频生成

Yujiang Pu, Zhanbo Huang, Vishnu Boddeti, Yu Kong

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 ShowMe通过统一视频扩散模型的空间和时间组件，提升指令图像和视频生成的性能与一致性。

Comments Accepted by WACV 2026

VALUE: Value-Aware Large Language Model for Query Rewriting via Weighted Trie in Sponsored Search

VALUE: 用于通过加权前缀树进行查询重写的值感知大语言模型

Xiao Zhang, Guanyu Chen, Boyang Zuo, Feng Li, Pengjie Wang, Jian Xu, Bo Zheng

机构 * Alibaba Group（阿里巴巴集团） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

AI总结 VALUE通过加权前缀树整合价值感知，提升搜索引擎广告中查询重写的语义相关性和商业价值

Be My Eyes: Extending Large Language Models to New Modalities Through Multi-Agent Collaboration

Be My Eyes: 通过多智能体协作扩展大型语言模型到新模态

James Y. Huang, Sheng Zhang, Qianchu Liu, Guanghui Qin, Tinghui Zhu, Tristan Naumann, Muhao Chen, Hoifung Poon

机构 * University of Southern California（南加州大学） ； Microsoft Research（微软研究院） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 BeMyEyes通过多智能体协作扩展LLMs到多模态推理，利用高效VLMs与强大LLMs的互补优势，实现轻量级开源解决方案。

VideoPerceiver: Enhancing Fine-Grained Temporal Perception in Video Multimodal Large Language Models

VideoPerceiver: 提升视频多模态大语言模型的细粒度时序感知能力

Fufangchen Zhao, Liao Zhang, Daiqi Shi, Yuanjun Gao, Chen Ye, Yang Cai, Jian Gao, Danfeng Yan

机构 * State Key Laboratory of Networking and Switching Technology, BUPT（网络与交换技术国家重点实验室） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)

AI总结 VideoPerceiver通过两阶段训练框架提升视频多模态大语言模型对细粒度动作和短暂事件的感知能力，显著优于现有模型。

Parameter-Efficient Fine-Tuning of Large Language Models for Unit Test Generation: An Empirical Study

大型语言模型参数高效微调用于单元测试生成：一项实证研究

André Storhaug, Jingyue Li

机构 * Norwegian University of Science and Technology（挪威科学技术大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文通过实证研究探讨了大型语言模型在单元测试生成中的参数高效微调方法，发现LoRA在某些情况下性能可与全量微调媲美，提示微调在成本效益上表现最佳。

Comments 26 pages, 2 figures, 6 tables, 1 listing

LoKI: Low-damage Knowledge Implanting of Large Language Models

LoKI: 大型语言模型的低损伤知识植入

Runyu Wang, Peng Ping, Zhengyu Guo, Xiaoye Zhang, Quan Shi, Liting Zhou, Tianbo Ji

专题命中 指令微调 ：large language model(title)；language model(title)；pretraining(abstract)；分类 cs.CL

AI总结 LoKI通过利用transformer架构的知识存储机制，实现了在保持通用能力的同时提升任务特定性能的参数高效微调方法。

Comments AAAI-26 Oral

Personalized LLM Decoding via Contrasting Personal Preference

通过对比个人偏好实现个性化大语言模型解码

Hyungjune Bu, Chanjoo Jung, Minjae Kang, Jaehyung Kim

机构 * Yonsei University（延世大学） ； Opt-AI Inc.（Opt-AI公司） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CoPe方法，通过奖励引导解码实现个性化，提升ROUGE-L指标10.57%。

Comments EMNLP 2025 Main

Self-Refined Generative Foundation Models for Wireless Traffic Prediction

用于无线交通预测的自精炼生成基础模型

Chengming Hu, Hao Zhou, Di Wu, Xi Chen, Jun Yan, Xue Liu

专题命中 指令微调 ：foundation model(title)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出TrafficLLM，通过上下文学习实现无线交通预测，通过三步迭代精炼提升预测性能。

UFO: Unfair-to-Fair Evolving Mitigates Unfairness in LLM-based Recommender Systems via Self-Play Fine-tuning

UFO: 通过自我对战微调缓解基于大语言模型的推荐系统中的不公平性

Jiaming Zhang, Yuyuan Li, Xiaohua Feng, Zhifei Ren, Li Zhang, Chaochao Chen

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；SFT(abstract)

AI总结 UFO框架通过自我对战机制，缓解基于大语言模型的推荐系统中的不公平性，同时提升推荐性能。

Drift No More? Context Equilibria in Multi-Turn LLM Interactions

多轮交互中不再漂移：多轮LLM交互中的上下文均衡

Vardhan Dongre, Ryan A. Rossi, Viet Dac Lai, David Seunghyun Yoon, Dilek Hakkani-Tür, Trung Bui

机构 * Adobe Research（Adobe研究院） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出了一种动态框架，通过KL散度和递归模型解释多轮交互中的上下文漂移，展示可控干预能有效减少漂移，表明漂移是可控均衡现象而非必然衰减。