语言大模型 / LLM

Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens

通过交错语义、音频和文本标记扩展开放离散音频基础模型

Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

机构 * Stanford University（斯坦福大学） ； University of Southern California（南加州大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；LLM(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出SODA模型，通过交错语义、音频和文本标记扩展开放离散音频基础模型，实现通用音频生成和跨模态能力。

Campaign-2-PT-RAG: LLM-Guided Semantic Product Type Attribution for Scalable Campaign Ranking

Campaign-2-PT-RAG: LLM引导的语义产品类型归因用于可扩展的活动排名

Yiming Che, Mansi Ranjit Mane, Keerthi Gopalakrishnan, Parisa Kaghazgaran, Murali Mohana Krishna Dandu, Archana Venkatachalapathy, Sinduja Subramaniam, Yokila Arora, Evren Korpeoglu, Sushant Kumar, Kannan Achan

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 Campaign-2-PT-RAG通过LLM解析活动内容并推断产品类型，生成高质量标签以提升电子商务活动排名优化

Comments fix typo and author names

RoboSpatial: Teaching Spatial Understanding to 2D and 3D Vision-Language Models for Robotics

RoboSpatial: 教授机器人2D和3D视觉-语言模型空间理解能力

Chan Hee Song, Valts Blukis, Jonathan Tremblay, Stephen Tyree, Yu Su, Stan Birchfield

机构 * The Ohio State University（俄亥俄州立大学） ； NVIDIA（英伟达） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 RoboSpatial通过构建大规模空间理解数据集，提升机器人2D和3D视觉-语言模型的空间推理能力。

Comments CVPR 2025 (Oral); Project Website: https://chanh.ee/RoboSpatial

Parameter-free representations outperform single-cell foundation models on downstream benchmarks

无需参数的表示方法在下游基准测试中优于单细胞基础模型

Huan Souza, Pankaj Mehta

机构 * Department of Physics, Boston University, Boston, MA, 02215, USA ； Faculty of Computing ； Data Science, Boston University, \ , MA, 02215, USA 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.LG

AI总结 无需参数的表示方法在单细胞基础模型的下游任务中表现优异，通过简单线性方法超越传统深度学习模型。

Automated Histopathology Report Generation via Pyramidal Feature Extraction and the UNI Foundation Model

通过金字塔特征提取和UNI基础模型实现自动化病理报告生成

Ahmet Halici, Ece Tugba Cebeci, Musa Balci, Mustafa Cini, Serkan Sokmen

机构 * ViseurAI 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出基于UNI基础模型和Transformer解码器的框架，通过金字塔特征提取和生物医学术语分词技术，实现全切片图像的自动化报告生成，并通过检索验证提升可靠性。

Comments 9 pages. Equal contribution: Ahmet Halici, Ece Tugba Cebeci, Musa Balci

Mitigating Gradient Inversion Risks in Language Models via Token Obfuscation

通过令牌混淆缓解语言模型中的梯度倒置风险

Xinguo Feng, Zhongkui Ma, Zihan Wang, Alsharif Abuadbba, Guangdong Bai

机构 * The University of Queensland（昆士兰大学） ； CSIRO's Data61（CSIRO的数据61部门） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；分类 cs.CL

AI总结 本文提出GHOST机制，通过令牌混淆解耦梯度、嵌入和令牌空间的联系，有效缓解语言模型的梯度倒置风险，同时保持模型性能。

Creating a digital poet

创造一个数字诗人

Vered Tohar, Tsahi Hayat, Amir Leshem

机构 * Department of Jewish Literature, Bar-Ilan University（巴伊兰大学犹太文学系） ； Department of Communication, Reichman University（雷赫曼大学传播系） ； Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 通过迭代专家反馈，大语言模型在无需重新训练的情况下发展出独特风格，成功创作诗歌集并引发对创造性和作者权的讨论。

Comments 24 pages, 3 figures

Cardinality-Preserving Attention Channels for Graph Transformers in Molecular Property Prediction

保持基数的注意力通道用于分子属性预测中的图变换器

Abhijit Gupta

机构 * PhD（博士） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 CardinalGraphFormer通过引入保持基数的注意力通道，提升分子属性预测的性能，结合结构稀疏注意力与自监督预训练，实现对分子属性的更准确预测。

FairTabGen: High-Fidelity and Fair Synthetic Health Data Generation from Limited Samples

FairTabGen: 从有限样本生成高保真且公平的合成健康数据

Nitish Nagesh, Salar Shakibhamedan, Mahdi Bagheri, Ziyu Wang, Nima TaheriNejad, Axel Jantsch, Amir M. Rahmani

机构 * University of California, Irvine（加州大学尔湾分校） ； TU Wien (Vienna University of Technology)（维也纳技术大学） ； Heidelberg University（海德堡大学） 纠错

专题命中 预训练与数据 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 FairTabGen通过结合上下文学习、提示整理和结构约束，以更少的数据生成高保真且公平的合成医疗数据，提升公平性的同时保持预测效用。

Training Models on Dialects of Translationese Shows How Lexical Diversity and Source-Target Syntactic Similarity Shape Learning

在翻译语中训练模型显示了词汇多样性与源-目标句法相似性如何塑造学习

Jenny Kunz

机构 * Department of Computer and Information Science（计算机与信息科学系） ； Linköping University（林雪平大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 本文研究了在不同源语言翻译的机器翻译数据上训练模型，探讨词汇多样性和源-目标句法相似性如何影响模型学习与语言建模。

Transformers for Tabular Data: A Training Perspective of Self-Attention via Optimal Transport

表格数据的Transformer：通过最优传输视角审视自注意力的训练

Alessandro Quadrio, Antonio Candelieri

机构 * Università degli studi di Milano–Bicocca（米兰-比科卡大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出一种基于最优传输的表格分类方法，通过生成虚拟分布和优化对齐来提升自注意力的训练效率和准确性。

Random Scaling of Emergent Capabilities

涌现能力的随机缩放

Rosie Zhao, Tian Qin, David Alvarez-Melis, Sham Kakade, Naomi Saphra

机构 * Harvard University（哈佛大学） ； Kempner Institute for the Study of Natural（自然与人工智能研究学院） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 研究通过分析随机种子对模型性能的影响，揭示了语言模型在特定规模下的涌现能力突破现象。

When Stereotypes GTG: The Impact of Predictive Text Suggestions on Gender Bias in Human-AI Co-Writing

当刻板印象GTG：预测文本建议对人类-人工智能共写中性别偏见的影响

Connor Baumler, Hal Daumé

机构 * University of Maryland（马里兰大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL

AI总结 研究探讨了预测文本建议对人类-人工智能共写中性别偏见的影响，发现挑战刻板印象的建议可能增加反刻板印象故事的比例，但刻板印象叙事仍占主导，表明技术去偏见效果有限。

Comments CHI 2026

From Collapse to Improvement: Statistical Perspectives on the Evolutionary Dynamics of Iterative Training on Contaminated Sources

从崩溃到改进：对迭代训练在受污染源上演变动力学的统计视角

Soham Bakshi, Sunrit Chakraborty

机构 * Department of Statistics, University of Michigan, Ann Arbor（统计系，密歇根大学，安娜堡） ； Department of Statistical Science, Duke University（统计科学系，杜克大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本文从统计学角度研究了在受污染数据上迭代训练生成模型的演变动力学，发现通过适当样本量训练可避免崩溃并恢复真实分布。

EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data

EgoScale：利用多样化的视点人类数据进行规模化灵巧操作

Ruijie Zheng, Dantong Niu, Yuqi Xie, Jing Wang, Mengda Xu, Yunfan Jiang, Fernando Castañeda, Fengyuan Hu, You Liang Tan, Letian Fu, Trevor Darrell, Furong Huang, Yuke Zhu, Danfei Xu, Linxi Fan

机构 * NVIDIA ； University of California, Berkeley（加州大学伯克利分校） ； University of Maryland（马里兰大学） 纠错

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 EgoScale通过大规模视点人类数据训练视觉语言动作模型，实现高效的灵巧操作转移，提升机器人任务成功率54%。