语言大模型 / LLM

The Homogenizing Effect of Large Language Models on Human Expression and Thought

大语言模型对人类表达与思维的同质化效应

Zhivar Sourati, Alireza S. Ziabari, Morteza Dehghani

机构 * Department of Computer Science（计算机科学系） ； Center for Computational Language Sciences（计算语言学中心） ； Department of Psychology, University of Southern California（心理学系，南加州大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 大语言模型通过标准化语言和推理，加剧了人类认知多样性的同质化效应，影响集体智慧和适应性。

Forging Time Series with Language: A Large Language Model Approach to Synthetic Data Generation

用语言锻造时间序列：一种基于大语言模型的合成数据生成方法

Cécile Rousseau, Tobia Boschi, Giandomenico Cornacchia, Dhaval Salwala, Alessandra Pascale, Juan Bernabe Moreno

机构 * IBM Research Europe（IBM欧洲研究院） 纠错

专题命中 预训练与数据 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 SDForger通过大语言模型生成高质量多变量时间序列，利用文本条件化实现高效合成数据生成及多模态建模。

Journal ref NeurIPS 2025, https://openreview.net/forum?id=A2pmvkqOgp

Extracting books from production language models

从生产语言模型中提取书籍

Ahmed Ahmed, A. Feder Cooper, Sanmi Koyejo, Percy Liang

机构 * Stanford University（斯坦福大学） ； Yale University（耶鲁大学） 纠错

专题命中 预训练与数据 ：language model(title)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过两阶段方法测试从生产LLM中提取书籍的可行性，发现部分模型可提取受版权保护文本，但需不同劫持策略，揭示生产LLM存在训练数据泄露风险。

Comments We ran experiments from mid-August to mid-September 2025, notified affected providers shortly after, and now make our findings public after a 90-day disclosure window

Learning from Prompt itself: the Hierarchical Attribution Prompt Optimization

从提示本身学习：层次归因提示优化

Dongyu Chen, Jian Ma, Xianpeng Zhang, Lei Zhang, Haonan Lu, Chen Chen, Chuangchuang Wang, Kai Tang

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 HAPO框架通过动态归因机制、语义单元优化和多模态支持，提升提示优化效率，适用于多任务场景。

Activation Oracles: Training and Evaluating LLMs as General-Purpose Activation Explainers

激活 oracle：训练和评估 LLM 作为通用目的激活解释器

Adam Karvonen, James Chua, Clément Dumas, Kit Fraser-Taliente, Subhash Kantamneni, Julian Minder, Euan Ong, Arnab Sen Sharma, Daniel Wen, Owain Evans, Samuel Marks

机构 * MATS ； Truthful AI ； EPFL（瑞士联邦理工学院） ； ENS Paris-Saclay（巴黎-萨克雷大学） ； Northeastern University（东北大学） ； Anthropic 纠错

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种通用的 LLM 激活解释器，通过多样化训练在多个下游任务中表现出色，能恢复模型内部信息。

Comments 36 pages

SyncLipMAE: Contrastive Masked Pretraining for Audio-Visual Talking-Face Representation

SyncLipMAE：用于音频视觉谈话面部表示的对比掩码预训练

Zeyu Ling, Xiaodong Gu, Jiangnan Tang, Changqing Zou

机构 * State Key Laboratory of CAD&CG（CAD与CG国家重点实验室） ； ByteDance（字节跳动） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI

AI总结 SyncLipMAE通过对比掩码预训练实现音频视觉谈话面部的同步感知表示，适用于多下游任务。

DataParasite Enables Scalable and Repurposable Online Data Curation

DataParasite 实现可扩展和可复用的在线数据整理

Mengyi Sun

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DataParasite通过轻量级配置和自然语言指令实现高效、可复用的在线数据收集，显著降低数据整理成本与技术门槛。

Learning to Act Robustly with View-Invariant Latent Actions

通过视图不变的潜在动作学习鲁棒性

Youngjoon Jeong, Junha Chun, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学） ； Department of Electrical and Computer Engineering, Seoul National University（电气与计算机工程系，首尔国立大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 VILA通过建模基于物理动态的视图不变潜在动作，提升机器人策略在不同视角下的鲁棒性和泛化能力。

Comments Website: https://joon-stack.github.io/VILA/

A Versatile Multimodal Agent for Multimedia Content Generation

多功能多模态代理用于多媒体内容生成

Daoan Zhang, Wenlin Yao, Xiaoyang Wang, Yebowen Hu, Jiebo Luo, Dong Yu

机构 * University of Rochester（罗切斯特大学） ； Tencent AI Lab, Bellevue（腾讯AI实验室） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 预训练与数据 ：preference optimization(abstract)

AI总结 本文提出了一种多功能多模态代理，通过技能获取理论和两阶段相关策略，实现复杂多媒体内容生成任务的自动化。

Towards Agnostic and Holistic Universal Image Segmentation with Bit Diffusion

面向无偏和整体通用图像分割的位差分扩散

Jakob Lønborg Christensen, Morten Rieger Hannemose, Anders Bjorholm Dahl, Vedrana Andersen Dahl

机构 * Technical University of Denmark（丹麦技术大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文提出了一种基于扩散的通用图像分割框架，通过位置感知调色板和tanh激活函数提升性能，缩小了与基于掩码方法的性能差距，并引入了原理化的模糊建模能力。

Comments Accepted at NLDL 26

How Many Images Does It Take? Estimating Imitation Thresholds in Text-to-Image Models

需要多少张图片？文本到图像模型中模仿阈值的估计

Sahil Verma, Royi Rassin, Arnav Das, Gantavya Bhatt, Preethi Seshadri, Chirag Shah, Jeff Bilmes, Hannaneh Hajishirzi, Yanai Elazar

机构 * University of Washington, Seattle（华盛顿大学） ； Bar-Ilan University（巴伊兰大学） ； University of California, Irvine（加州大学伊文斯顿分校） ； Allen Institute of AI（人工智能研究院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 研究通过评估文本到图像模型的模仿阈值，探讨其在版权和隐私合规中的应用。

Comments Accepted at TMLR 2025, ATTRIB, RegML, and SafeGenAI workshops at NeurIPS 2024 and NLLP Workshop 2024. https://openreview.net/forum?id=x0qJo7SPhs

Socratic Students: Teaching Language Models to Learn by Asking Questions

苏格拉底学生：教语言模型通过提问学习

Rajeev Bhatt Ambati, Tianyi Niu, Aashu Singh, Shlok Mishra, Snigdha Chaturvedi, Shashank Srivastava

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Meta 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 本文提出ODQS框架，通过任务结果训练语言模型提问技能，提升交互推理的准确性和效率。

Chronicals: A High-Performance Framework for LLM Fine-Tuning with 3.51x Speedup over Unsloth

Chronicals: 一种高性能的LLM微调框架，相比Unsloth提速3.51倍

Arjun S. Nair

机构 * Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Chronicals通过四种协同优化，实现了比Unsloth快3.51倍的LLM微调速度，并提供了完整的数学基础和实现。

Comments 61 pages, 25 figures, open-source framework available at https://github.com/Ajwebdevs/Chronicals and pip install chronicals

GEM-Style Constraints for PEFT with Dual Gradient Projection in LoRA

基于LoRA的GEM风格约束与双梯度投影的持续学习

Brian Tekmen, Jason Yin, Qianqian Tong

机构 * Department of Computer Science University of North Carolina Greensboro（计算机科学系北卡罗来纳州立大学） ； Department of Computer Science North Carolina State University（计算机科学系北卡罗来纳州立大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 I-GEM通过在LoRA子空间内应用GEM约束，实现低开销的持续学习，有效提升模型性能并减少计算成本。

Comments Work accepted to the NSF REU Symposium at the 2025 IEEE International Conference on Data Mining (ICDM). Correspondence to: betekmen@uncg.edu

Interpretable All-Type Audio Deepfake Detection with Audio LLMs via Frequency-Time Reinforcement Learning

通过频率-时间强化学习实现可解释的多类型音频深度伪造检测

Yuankun Xie, Xiaoxuan Guo, Jiayi Zhou, Tao Wang, Jian Liu, Ruibo Fu, Xiaopeng Wang, Haonan Cheng, Long Ye

机构 * Communication University of China（中国通信大学） ； Machine Intelligence, Ant Group（蚂蚁集团机器智能部） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI

AI总结 本文提出FT-GRPO方法，通过频率-时间强化学习实现多类型音频深度伪造检测的可解释性与高性能。

Tackling the Inherent Difficulty of Noise Filtering in RAG

应对RAG中噪声过滤的固有难度

Jingyu Liu, Jiaen Lin, Yong Liu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室） ； School of Software Tsinghua University（清华大学软件学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种新的微调方法，旨在提升LLM在RAG中对相关信息和不相关信息的区分能力，从而增强模型的鲁棒性和性能。

Safety at One Shot: Patching Fine-Tuned LLMs with A Single Instance

单次实例实现安全：用一个实例修补微调的LLM

Jiawen Zhang, Lipeng He, Kejia Chen, Jian Lou, Jian Liu, Xiaohu Yang, Ruoxi Jia

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过单个安全示例高效修复微调后的LLM安全性，无需牺牲实用性且成本极低。

InfiAgent: An Infinite-Horizon Framework for General-Purpose Autonomous Agents

InfiAgent: 通用自主代理的无限时间 horizon 框架

Chenglin Yu, Yuchen Wang, Songmiao Wang, Hongxia Yang, Ming Li

机构 * The University of Hong Kong（香港大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 指令微调 ：LLM(abstract)；prompting(abstract)；分类 cs.AI

AI总结 InfiAgent 通过外部化持久状态实现无限时间 horizon 任务的稳定推理，无需任务特定微调即可在长时间任务中超越传统方法。

DoPE: Denoising Rotary Position Embedding

DoPE: 去噪旋转位置嵌入

Jing Xiong, Liyang Fan, Hui Shen, Zunhai Su, Min Yang, Lingpeng Kong, Ngai Wong

机构 * The University of Hong Kong（香港大学） ； University of Michigan, Ann Arbor（密歇根大学安阿伯分校） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DoPE通过去噪旋转位置嵌入提升大型语言模型在长上下文外推和鲁棒性方面的性能。

Comments Technical Report

S2ST-Omni: Hierarchical Language-Aware SpeechLLM Adaptation for Multilingual Speech-to-Speech Translation

S2ST-Omni: 多语言语音到语音翻译的分层语言感知语音LLM适应

Yu Pan, Xiongfei Wu, Yuguang Yang, Jixun Yao, Lei Ma, Jianjun Zhao

机构 * Tencent（腾讯） ； ByteDance Ltd.（字节跳动） 纠错

专题命中 指令微调 ：LLM(abstract)；prompting(abstract)

AI总结 S2ST-Omni通过分层语言感知架构和模块化TTS后端，实现多语言语音到语音翻译的高准确性和灵活性。

Comments Working in progress

Steerability of Instrumental-Convergence Tendencies in LLMs

在大语言模型中操控工具收敛倾向的可行性

Jakub Hoscilowicz

机构 * Warsaw University of Technology（华沙技术大学） 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.CL

AI总结 该研究通过反工具提示显著降低大语言模型的收敛率，揭示了可控性与安全之间的矛盾，为AI系统的设计提供了新的安全策略。

Comments Code is available at https://github.com/j-hoscilowicz/instrumental_steering

Block-Diagonal LoRA for Eliminating Communication Overhead in Tensor Parallel LoRA Serving

分块对角LoRA用于消除张量并行LoRA服务中的通信开销

Xinyu Wang, Jonas M. Kübler, Kailash Budhathoki, Yida Wang, Matthäus Kleindessner

机构 * University of Warwick（沃里克大学） ； Amazon Web Services（亚马逊网络服务） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.LG

AI总结 本文提出分块对角LoRA方法，通过限制LoRA因素为分块对角，减少通信开销，提升端到端服务效率。

Netflix Artwork Personalization via LLM Post-training

通过LLM后训练实现Netflix作品个性化

Hyunji Nam, Sejoon Oh, Emma Kong, Yesu Feng, Moumita Bhattacharya

机构 * Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(title)；large language model(abstract)；language model(abstract)

AI总结 通过LLM后训练实现Netflix作品个性化推荐，提升用户满意度和参与度。

Comments 6 pages

DiRL: An Efficient Post-Training Framework for Diffusion Language Models

DiRL：一种高效的扩散语言模型后训练框架

Ying Zhu, Jiaxin Wan, Xiaoran Liu, Siyang He, Qiqi Wang, Xu Guo, Tianyi Liang, Zengfeng Huang, Ziwei He, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； OpenMoss Team（OpenMoss团队） 纠错

专题命中 后训练与偏好优化 ：language model(title,abstract)；post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 DiRL是一种高效的扩散语言模型后训练框架，通过整合FlexAttention加速的分块训练与LMDeploy优化的推理，实现了高效的两阶段后训练，提升了在复杂推理任务如数学中的性能。

Prioritized Replay for RL Post-training

训练后强化学习的优先级回放

Mehdi Fatemi

机构 * IEEE 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一种基于经验成功统计的优先级回放方法，用于大型语言模型训练后强化学习，无需预定义难度层级或外部标签，通过动态调整优先级提升学习效率。

Stable Preference Optimization: A Bilevel Approach to Catastrophic Preference Shift

稳定偏好优化：一种针对灾难性偏好转移的双层方法

Chengtao Jian, Kai Yang, Tianhao Gao, Wuguang Ni, Keying Yang, Bowen Xiao, Jiajun Liu, Ye Ouyang

机构 * Tongji University（同济大学） ； AsiaInfo Technologies（亚洲信息科技） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出稳定偏好优化框架，通过约束偏好学习在安全对齐区域，解决灾难性偏好转移问题，提升偏好学习方法的稳定性和性能。

SOP: A Scalable Online Post-Training System for Vision-Language-Action Models

SOP：一种可扩展的在线后训练系统用于视觉-语言-动作模型

Mingjie Pan, Siyuan Feng, Qinglin Zhang, Xinchen Li, Jianheng Song, Chendi Qu, Yi Wang, Chuankang Li, Ziyu Xiong, Zhi Chen, Yi Liu, Jianlan Luo

机构 * Agibot Research（Agibot研究机构） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)

AI总结 SOP系统通过在线分布式后训练提升视觉-语言-动作模型在现实世界中的性能，实现高效可靠的多任务适应。

SPO-CLAPScore: Enhancing CLAP-based alignment prediction system with Standardize Preference Optimization, for the first XACLE Challenge

SPO-CLAPScore: 通过标准化偏好优化提升基于CLAP的对齐预测系统，用于首次XACLE挑战

Taisei Takano, Ryoya Yoshida

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)

AI总结 本文提出SPO-CLAPScore方法，通过标准化偏好优化和听众筛选提升基于CLAP的音频-文本对齐预测性能，在XACLE挑战中取得第六名。

Comments https://github.com/ttakano398/SPO-CLAPScore

Openpi Comet: Competition Solution For 2025 BEHAVIOR Challenge

Openpi Comet: 2025 BEHAVIOR挑战的竞赛解决方案

Junjie Bai, Yu-Wei Chao, Qizhi Chen, Jinwei Gu, Moo Jin Kim, Zhaoshuo Li, Xuan Li, Tsung-Yi Lin, Ming-Yu Liu, Nic Ma, Kaichun Mo, Delin Qu, Shangkun Sun, Hongchi Xia, Fangyin Wei, Xiaohui Zeng

机构 * Openpi Comet 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)；post-training(abstract)

AI总结 Openpi Comet通过系统构建方法，在2025 BEHAVIOR挑战中取得优异成绩，展示了在长期移动操作任务中的高效解决方案

Comments Post-challenge bug fix

Punctuation-aware Hybrid Trainable Sparse Attention for Large Language Models

具有标点意识的混合可训练稀疏注意力机制用于大语言模型

Junxiang Qiu, Shuo Wang, Zhengsu Chen, Hengheng Zhang, Jinda Lu, Changcheng Li, Qi Tian

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Inc.（华为公司） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 PHSA通过利用标点符号作为语义边界锚点，提出了一种混合可训练稀疏注意力机制，有效减少信息损失并提升大语言模型的长上下文处理能力。