语言大模型 / LLM

Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens

通过交错语义、音频和文本标记扩展开放离散音频基础模型

Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

机构 * Stanford University（斯坦福大学） ； University of Southern California（南加州大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；LLM(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出SODA模型，通过交错语义、音频和文本标记扩展开放离散音频基础模型，实现通用音频生成和跨模态能力。

Campaign-2-PT-RAG: LLM-Guided Semantic Product Type Attribution for Scalable Campaign Ranking

Campaign-2-PT-RAG: LLM引导的语义产品类型归因用于可扩展的活动排名

Yiming Che, Mansi Ranjit Mane, Keerthi Gopalakrishnan, Parisa Kaghazgaran, Murali Mohana Krishna Dandu, Archana Venkatachalapathy, Sinduja Subramaniam, Yokila Arora, Evren Korpeoglu, Sushant Kumar, Kannan Achan

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 Campaign-2-PT-RAG通过LLM解析活动内容并推断产品类型，生成高质量标签以提升电子商务活动排名优化

Comments fix typo and author names

RoboSpatial: Teaching Spatial Understanding to 2D and 3D Vision-Language Models for Robotics

RoboSpatial: 教授机器人2D和3D视觉-语言模型空间理解能力

Chan Hee Song, Valts Blukis, Jonathan Tremblay, Stephen Tyree, Yu Su, Stan Birchfield

机构 * The Ohio State University（俄亥俄州立大学） ； NVIDIA（英伟达） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 RoboSpatial通过构建大规模空间理解数据集，提升机器人2D和3D视觉-语言模型的空间推理能力。

Comments CVPR 2025 (Oral); Project Website: https://chanh.ee/RoboSpatial

Parameter-free representations outperform single-cell foundation models on downstream benchmarks

无需参数的表示方法在下游基准测试中优于单细胞基础模型

Huan Souza, Pankaj Mehta

机构 * Department of Physics, Boston University, Boston, MA, 02215, USA ； Faculty of Computing ； Data Science, Boston University, \ , MA, 02215, USA 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 无需参数的表示方法在单细胞基础模型的下游任务中表现优异，通过简单线性方法超越传统深度学习模型。

Automated Histopathology Report Generation via Pyramidal Feature Extraction and the UNI Foundation Model

通过金字塔特征提取和UNI基础模型实现自动化病理报告生成

Ahmet Halici, Ece Tugba Cebeci, Musa Balci, Mustafa Cini, Serkan Sokmen

机构 * ViseurAI 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出基于UNI基础模型和Transformer解码器的框架，通过金字塔特征提取和生物医学术语分词技术，实现全切片图像的自动化报告生成，并通过检索验证提升可靠性。

Comments 9 pages. Equal contribution: Ahmet Halici, Ece Tugba Cebeci, Musa Balci

Mitigating Gradient Inversion Risks in Language Models via Token Obfuscation

通过令牌混淆缓解语言模型中的梯度倒置风险

Xinguo Feng, Zhongkui Ma, Zihan Wang, Alsharif Abuadbba, Guangdong Bai

机构 * The University of Queensland（昆士兰大学） ； CSIRO's Data61（CSIRO的数据61部门） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出GHOST机制，通过令牌混淆解耦梯度、嵌入和令牌空间的联系，有效缓解语言模型的梯度倒置风险，同时保持模型性能。

Creating a digital poet

创造一个数字诗人

Vered Tohar, Tsahi Hayat, Amir Leshem

机构 * Department of Jewish Literature, Bar-Ilan University（巴伊兰大学犹太文学系） ； Department of Communication, Reichman University（雷赫曼大学传播系） ； Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 通过迭代专家反馈，大语言模型在无需重新训练的情况下发展出独特风格，成功创作诗歌集并引发对创造性和作者权的讨论。

Comments 24 pages, 3 figures

Cardinality-Preserving Attention Channels for Graph Transformers in Molecular Property Prediction

保持基数的注意力通道用于分子属性预测中的图变换器

Abhijit Gupta

机构 * PhD（博士） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 CardinalGraphFormer通过引入保持基数的注意力通道，提升分子属性预测的性能，结合结构稀疏注意力与自监督预训练，实现对分子属性的更准确预测。

FairTabGen: High-Fidelity and Fair Synthetic Health Data Generation from Limited Samples

FairTabGen: 从有限样本生成高保真且公平的合成健康数据

Nitish Nagesh, Salar Shakibhamedan, Mahdi Bagheri, Ziyu Wang, Nima TaheriNejad, Axel Jantsch, Amir M. Rahmani

机构 * University of California, Irvine（加州大学尔湾分校） ； TU Wien (Vienna University of Technology)（维也纳技术大学） ； Heidelberg University（海德堡大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 FairTabGen通过结合上下文学习、提示整理和结构约束，以更少的数据生成高保真且公平的合成医疗数据，提升公平性的同时保持预测效用。

Training Models on Dialects of Translationese Shows How Lexical Diversity and Source-Target Syntactic Similarity Shape Learning

在翻译语中训练模型显示了词汇多样性与源-目标句法相似性如何塑造学习

Jenny Kunz

机构 * Department of Computer and Information Science（计算机与信息科学系） ； Linköping University（林雪平大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本文研究了在不同源语言翻译的机器翻译数据上训练模型，探讨词汇多样性和源-目标句法相似性如何影响模型学习与语言建模。

Transformers for Tabular Data: A Training Perspective of Self-Attention via Optimal Transport

表格数据的Transformer：通过最优传输视角审视自注意力的训练

Alessandro Quadrio, Antonio Candelieri

机构 * Università degli studi di Milano–Bicocca（米兰-比科卡大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出一种基于最优传输的表格分类方法，通过生成虚拟分布和优化对齐来提升自注意力的训练效率和准确性。

Random Scaling of Emergent Capabilities

涌现能力的随机缩放

Rosie Zhao, Tian Qin, David Alvarez-Melis, Sham Kakade, Naomi Saphra

机构 * Harvard University（哈佛大学） ； Kempner Institute for the Study of Natural（自然与人工智能研究学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 研究通过分析随机种子对模型性能的影响，揭示了语言模型在特定规模下的涌现能力突破现象。

When Stereotypes GTG: The Impact of Predictive Text Suggestions on Gender Bias in Human-AI Co-Writing

当刻板印象GTG：预测文本建议对人类-人工智能共写中性别偏见的影响

Connor Baumler, Hal Daumé

机构 * University of Maryland（马里兰大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 研究探讨了预测文本建议对人类-人工智能共写中性别偏见的影响，发现挑战刻板印象的建议可能增加反刻板印象故事的比例，但刻板印象叙事仍占主导，表明技术去偏见效果有限。

Comments CHI 2026

From Collapse to Improvement: Statistical Perspectives on the Evolutionary Dynamics of Iterative Training on Contaminated Sources

从崩溃到改进：对迭代训练在受污染源上演变动力学的统计视角

Soham Bakshi, Sunrit Chakraborty

机构 * Department of Statistics, University of Michigan, Ann Arbor（统计系，密歇根大学，安娜堡） ； Department of Statistical Science, Duke University（统计科学系，杜克大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本文从统计学角度研究了在受污染数据上迭代训练生成模型的演变动力学，发现通过适当样本量训练可避免崩溃并恢复真实分布。

EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data

EgoScale：利用多样化的视点人类数据进行规模化灵巧操作

Ruijie Zheng, Dantong Niu, Yuqi Xie, Jing Wang, Mengda Xu, Yunfan Jiang, Fernando Castañeda, Fengyuan Hu, You Liang Tan, Letian Fu, Trevor Darrell, Furong Huang, Yuke Zhu, Danfei Xu, Linxi Fan

机构 * NVIDIA ； University of California, Berkeley（加州大学伯克利分校） ； University of Maryland（马里兰大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 EgoScale通过大规模视点人类数据训练视觉语言动作模型，实现高效的灵巧操作转移，提升机器人任务成功率54%。

PoeTone: A Framework for Constrained Generation of Structured Chinese Songci with LLMs

PoeTone: 一个用于基于LLM生成结构化中文词的约束生成框架

Zhan Qu, Shuzhou Yuan, Michael Färber

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；prompting(abstract)

AI总结 PoeTone框架通过约束生成和评估方法，提升LLM在生成结构化中文词中的表现，实现正式符合度提升5.88%。

P-RAG: Prompt-Enhanced Parametric RAG with LoRA and Selective CoT for Biomedical and Multi-Hop QA

P-RAG：结合LoRA和选择性CoT的增强型参数RAG

Xingda Lyu, Gongfu Lyu, Zitai Yan, Yuxin Jiang

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 P-RAG通过LoRA和选择性CoT提升生物医学问答的准确性和可扩展性。

Journal ref Proceedings of International Conference on Computing and Data Science Symposium: Application of Machine Learning in Engineering, 2025

Label-Consistent Data Generation for Aspect-Based Sentiment Analysis Using LLM Agents

基于 LLM 代理的标签一致数据生成用于基于方面的情感分析

Mohammad H. A. Monfared, Lucie Flek, Akbar Karimi

机构 * Bonn-Aachen International Center for Information Technology, University of Bonn, Germany（波恩-阿赫恩国际信息科技中心，波恩大学，德国） ； Lamarr Institute for Machine Learning and Artificial Intelligence, Germany（拉马尔机器学习与人工智能研究所，德国） 纠错

专题命中 指令微调 ：LLM(title)；prompting(abstract)；分类 cs.CL

AI总结 本文提出了一种基于 LLM 代理的数据增强方法，通过迭代生成和验证提升 ABSA 中标签一致性的效果，尤其在方面术语生成任务中表现更优。

Comments Accepted to WASSA Workshop at EACL 2026

Doc-to-LoRA: Learning to Instantly Internalize Contexts

Doc-to-LoRA: 学习即时内化上下文

Rujikorn Charakorn, Edoardo Cetin, Shinnosuke Uesaka, Robert Tjarko Lange

机构 * Minerva University, California, USA（明维大学，美国加利福尼亚州） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Doc-to-LoRA通过轻量级超网络实现单次前向传递中的近似上下文蒸馏，提升大语言模型在长上下文任务中的推理效率和准确性。

Enhancing Action and Ingredient Modeling for Semantically Grounded Recipe Generation

增强语义 grounded 的动作和成分建模以实现语义 grounded 的食谱生成

Guoshan Liu, Bin Zhu, Yian Li, Jingjing Chen, Chong-Wah Ngo, Yu-Gang Jiang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出语义 grounded 的框架，通过两阶段流程结合监督微调和强化微调，提升食谱生成的语义准确性与成分预测能力。

A Contrastive Learning Framework Empowered by Attention-based Feature Adaptation for Street-View Image Classification

一种由基于注意力的特征适应增强的对比学习框架用于街景图像分类

Qi You, Yitai Cheng, Zichao Zeng, James Haworth

机构 * SpaceTimeLab（时空实验室） ； University College London（伦敦大学学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 CLIP-MHAdapter通过引入基于注意力的特征适应机制，提升街景图像属性分类的准确性和效率

Beyond Learning: A Training-Free Alternative to Model Adaptation

超越学习：一种无需训练的模型适应替代方法

Namkyung Yoon, Kyeonghyun Yoo, Wooyong Jung, Sanghong Kim, Hwangnam Kim

机构 * School of Electrical Engineering, Korea University（韩国大学电气工程学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出无需训练的模型移植方法，通过移植语言模型中局部激活模块提升性能，实现显著的性能提升和基线恢复。

Comments 7 pages, 3 figures, 5 tables. Preprint submitted to Pattern Recognition Letters

Optimizing Soft Prompt Tuning via Structural Evolution

通过结构进化优化软提示微调

Zhenzhen Huang, Chaoning Zhang, Haoyu Bian, Songbo Zhang, Chi-lok Andy Tai, Jiaquan Zhang, Caiyan Qin, Jingjing Qu, Yalan Ye, Yang Yang, Heng Tao Shen

机构 * School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； College of Professional and Continuing Education, The Hong Kong Polytechnic University（香港理工大学专业及继续教育学院） ； School of Robotics and Advanced Manufacture, Harbin Institute of Technology（哈尔滨工业大学机器人与先进制造学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.CL

AI总结 本文提出基于拓扑形态演化的软提示微调优化方法，通过拓扑持久同调量化结构表示，改进模型收敛速度和微调性能，提升可解释性。

Comments This manuscript has been submitted to IEEE Transactions on Knowledge and Data Engineering (TKDE) for peer review

Deep TPC: Temporal-Prior Conditioning for Time Series Forecasting

深度时间序列预测中的时间先验条件：时间序列预测中的时间先验条件

Filippos Bellos, NaveenJohn Premkumar, Yannis Avrithis, Nam H. Nguyen, Jason J. Corso

专题命中 指令微调 ：LLM(abstract)；分类 cs.LG

AI总结 本文提出TPC方法，通过时间先验条件提升时间序列预测性能，实现低参数预算下的长周期预测优化。

Comments Accepted to ICASSP 2026

To boost or not to boost, that's the question

提升还是不提升，这是个问题

Yu Nakayama

专题命中 指令微调 ：SFT(abstract)

AI总结 本文探讨了在非单位场论中，尺度不变性与共形不变性之间的区别，并通过爱因斯坦-以太理论作为例子，展示了在宇宙相关子中的不同理论预测。

Comments 26 pages, v2: contaminated referece updated manually

CADEvolve: Creating Realistic CAD via Program Evolution

CADEvolve: 通过程序进化创建逼真的CAD

Maksim Elistratov, Marina Barannikov, Gregory Ivanov, Valentin Khrulkov, Anton Konushin, Andrey Kuznetsov, Dmitrii Zhemchuzhnikov

专题命中 指令微调 ：foundation model(abstract)

AI总结 CADEvolve通过程序进化生成逼真的CAD，利用VLM引导的编辑和验证，生成8000个复杂零件的可执行参数化生成器，并在多个基准测试中取得最佳性能。

Updating Parametric Knowledge with Context Distillation Retains Post-Training Capabilities

通过上下文蒸馏更新参数化知识可保留训练后能力

Shankar Padmanabhan, Mustafa Omer Gul, Tanya Goyal

机构 * Department of Computer Science, Cornell University（康奈尔大学计算机科学系） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出DiSC方法，通过上下文蒸馏实现持续知识适应，有效平衡新知识学习与原有能力保持。

Comments 15 pages. Preprint, under review

Shrinking the Variance: Shrinkage Baselines for Reinforcement Learning with Verifiable Rewards

缩减方差：用于具有可验证奖励的强化学习的收缩基线

Guanning Zeng, Zhaoyi Zhou, Daman Arora, Andrea Zanette

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 本文提出了一种基于收缩估计的基线方法，用于改进具有可验证奖励的强化学习中策略梯度估计器的方差，通过结合每个提示和跨提示的均值来提高估计准确性。

Comments Preprint. Under Review

Recursive language models for jailbreak detection: a procedural defense for tool-augmented agents

递归语言模型用于对抗检测：一种针对工具增强代理的程序性防御

Doron Shavit

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文提出基于递归语言模型的RLM-JB框架，通过程序化方法检测对抗性输入，实现高检测效果与高精度的平衡。

Comments 5 pages and 1 figure. Appendix: an additional 5 pages

CLAA: Cross-Layer Attention Aggregation for Accelerating LLM Prefill

CLAA: 跨层注意力聚合用于加速大语言模型预填

Bradley McDanel, Steven Li, Harshit Khaitan

机构 * Franklin and Marshall College（弗兰克林与马歇尔学院） ； Meta Reality Labs（Meta现实实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.LG

AI总结 CLAA通过跨层聚合注意力分数，提升大语言模型预填阶段的推理速度，将TTFT降低至39%。

Comments 15 pages, 8 figures