语言大模型 / LLM

Can Large Language Models Capture Video Game Engagement?

大语言模型能否捕捉视频游戏参与度？

David Melhart, Matthew Barthet, Georgios N. Yannakakis

机构 * Institute of Digital Games, University of Malta Msida, Malta（马耳他大学数字游戏研究所） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文研究了大语言模型在多模态输入下预测视频游戏参与度的能力，发现尽管LLMs在多个领域表现优异，但其在连续情绪标注上仍无法超越人类注释。

Comments This work has been submitted to the IEEE for publication

ToolWeaver: Weaving Collaborative Semantics for Scalable Tool Use in Large Language Models

ToolWeaver: 为大语言模型中的可扩展工具使用编织协作语义

Bowen Fang, Wen Ye, Yunyue Su, Jinghao Zhang, Qiang Liu, Yesheng Liu, Xin Sun, Shu Wu, Jiabing Yang, Baole Wei, Liang Wang

机构 * New Laboratory of Pattern Recognition (NLPR), Institute of Automation, Chinese Academy of Sciences (CASIA)（模式识别新实验室（NLPR），自动化研究所，中国科学院（CASIA）） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Zhongguancun Academy（中关村学院） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究所） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

AI总结 ToolWeaver通过编码工具为层次序列，解决大语言模型中工具使用中的语义和可扩展性问题，提升工具协作学习的效率与效果。

Comments 10pages, 12 figures, Accepted to ICLR 2026

Scaling Laws for Downstream Task Performance of Large Language Models

大语言模型下游任务性能的扩展定律

Berivan Isik, Natalia Ponomareva, Hussein Hazimeh, Dimitris Paparas, Sergei Vassilvitskii, Sanmi Koyejo

机构 * Google Research（谷歌研究） ； OpenAI（开放人工智能） ； Stanford University（斯坦福大学） 纠错

专题命中 预训练与数据 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 本研究探讨了预训练数据规模和分布对齐对大语言模型下游任务性能的影响，揭示了扩展定律在迁移学习中的应用及翻译质量的预测方法。

Comments Published at the International Conference on Learning Representations (ICLR) 2025, with title: "Scaling Laws for Downstream Task Performance in Machine Translation"

Mix, MinHash, and Match: Cross-Source Agreement for Multilingual Pretraining Datasets

混合、最小哈希与匹配：多语言预训练数据集的跨源一致性

Sultan Alrashed, Francesco Orabona

专题命中 预训练与数据 ：pretraining(title,abstract)；LLM(abstract,comments)；language model(abstract)；分类 cs.CL

AI总结 通过跨源一致性技术，结合多语言语料库进行最小哈希去重，提升预训练数据质量并增加独特标记数量。

Comments Multilingual LLM pretraining dataset curation

Bridging Synthetic and Real Routing Problems via LLM-Guided Instance Generation and Progressive Adaptation

通过LLM引导的实例生成和渐进适应弥合合成与现实路由问题

Jianghan Zhu, Yaoxin Wu, Zhuoyi Lin, Zhengyuan Zhang, Haiyan Yin, Zhiguang Cao, Senthilnath Jayavelu, Xiaoli Li

机构 * A*STAR（新加坡科技研究局） 纠错

专题命中 预训练与数据 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过LLM引导的实例生成和渐进适应方法，提升神经求解器在现实路由问题中的泛化能力。

Comments 21 pages; Published in AAAI 2026, Main Technical Track

Zonkey: A Hierarchical Diffusion Language Model with Differentiable Tokenization and Probabilistic Attention

Zonkey：一种具有可微分分词和概率注意力的分层扩散语言模型

Alon Rozental

机构 * Alon Rozental（独立研究者） 纠错

专题命中 预训练与数据 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 Zonkey是一种通过可微分分词和概率注意力机制实现的分层扩散语言模型，能够从噪声中生成连贯文本并提升领域适应性。

Turning Language Model Training from Black Box into a Sandbox

将语言模型训练从黑箱转变为沙盒

Nicolas Pope, Matti Tedre

专题命中 预训练与数据 ：language model(title,abstract)；prompting(abstract)

AI总结 通过让学生直接训练语言模型，研究发现可视化训练过程能显著提升学生对AI数据驱动本质的理解。

Comments 4 pages, 2 figures, WIP, accepted to IEEE conference

Finetune-Informed Pretraining Boosts Downstream Performance

微调引导预训练提升下游性能

Atik Faysal, Mohammad Rostami, Reihaneh Gh. Roshan, Nikhil Muralidhar, Huaxia Wang

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 FIP通过优化目标模态的表示学习，提升多模态下游任务性能，无需额外数据或计算资源。

Scaling Offline Model-Based RL via Jointly-Optimized World-Action Model Pretraining

通过联合优化的世界-动作模型扩展离线模型基于的强化学习

Jie Cheng, Ruixi Qiao, Yingwei Ma, Binhua Li, Gang Xiong, Qinghai Miao, Yongbin Li, Yisheng Lv

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；分类 cs.AI、cs.LG

AI总结 JOWA通过联合优化的世界-动作模型扩展离线RL，实现高效泛化和高性能

Comments Accepted by ICLR 2025

Do Pathology Foundation Models Encode Disease Progression? A Pseudotime Analysis of Visual Representations

病理基础模型是否编码疾病进展？对视觉表示的伪时间分析

Pritika Vig, Ren-Chin Wu, William Lotter

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Department of Pathology, Dana-Farber Cancer Institute（达纳-法伯癌症研究所病理部） ； Department of Data Science, Dana-Farber Cancer Institute（达纳-法伯癌症研究所数据科学部） ； Brigham and Women's Hospital（布里奇沃特医院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 预训练与数据 ：foundation model(title,abstract)

AI总结 研究探讨视觉基础模型是否能隐式学习连续疾病进程，通过伪时间分析发现模型在表示空间中能组织疾病状态，轨迹保真度与分类性能相关。

Comments 21 pages, 17 figures. Appendix included

AdaptBPE: From General Purpose to Specialized Tokenizers

AdaptBPE: 从通用到专用的分词器

Vijini Liyanage, François Yvon

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 AdaptBPE通过后训练适应策略优化分词器，提升特定领域或任务的分词效率。

Comments EACL 2026

Text-driven Online Action Detection

基于文本的在线动作检测

Manuel Benavent-Lledo, David Mulero-Pérez, David Ortiz-Perez, Jose Garcia-Rodriguez

机构 * Department of Computer Technology, University of Alicante（阿拉维大学计算机技术系） ； ValgrAI - Valencian Graduate School and Research Network of Artificial Intelligence（瓦伦西亚人工智能研究生学校和研究网络） ； Institute of Informatics Research, University of Alicante（阿拉维大学信息研究所） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 本文提出TOAD模型，利用CLIP文本嵌入实现高效的零样本和少样本在线动作检测，其在THUMOS14数据集上的mAP达到82.46%

Comments Published in Integrated Computer-Aided Engineering

Journal ref Integrated Computer-Aided Engineering. 2025;32(4):415-423

HERS: Hidden-Pattern Expert Learning for Risk-Specific Vehicle Damage Adaptation in Diffusion Models

HERS：隐藏模式专家学习用于扩散模型中特定风险车辆损伤适应

Teerapong Panboonyuen

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)

AI总结 HERS通过领域特定专家学习提升扩散模型中车辆损伤生成的保真度与可控性，提高保险领域应用的安全性与可靠性。

Comments 26 pages

Intrinsic Reward Policy Optimization for Sparse-Reward Environments

内在奖励策略优化用于稀疏奖励环境

Minjae Cho, Huy Trong Tran

机构 * The Grainger College of Engineering, University of Illinois Urbana-Champaign, Urbana, USA（伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 IRPO通过利用多种内在奖励直接优化策略，提升稀疏奖励环境下的性能和样本效率。

The Depth Delusion: Why Transformers Should Be Wider, Not Deeper

深度幻觉：为什么Transformer应更宽而非更深

Md Muhtasim Munif Fahim, Md Rezaul Karim

机构 * Data Science Research Lab, Department of Statistics, University of Rajshahi, Rajshahi-6205, Bangladesh.（数据科学研究实验室，统计学系，拉贾沙希大学，拉贾沙希-6205，孟加拉国） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究发现Transformer模型应更宽而非更深，通过分析不同架构的缩放定律，揭示了增加层数反而会增加损失的现象，展示了宽度增长对模型性能的积极影响。

FastDINOv2: Frequency Based Curriculum Learning Improves Robustness and Training Speed

FastDINOv2：基于频率的课程学习提高鲁棒性和训练速度

Jiaqi Zhang, Juntuo Wang, Zhixin Sun, John Zou, Randall Balestriero

专题命中 预训练与数据 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 FastDINOv2通过频率过滤课程学习和高斯噪声补丁增强，提升DINOv2的鲁棒性和训练效率

Comments Accepted by 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

MK-SGC-SC: Multiple Kernel Guided Sparse Graph Construction in Spectral Clustering for Unsupervised Speaker Diarization

MK-SGC-SC：多核引导的稀疏图构建在谱聚类中的语音说话人分离

Nikhil Raghav, Avisek Gupta, Swagatam Das, Md Sahidullah

机构 * Institute for Advancing Intelligence, TCG CREST（先进智能研究所） ； Department of Computer Science, RKMVERI（计算机科学系） ； Electronics and Communication Sciences Unit, Indian Statistical Institute（印度统计研究所电子与通信科学单元） 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出基于多核引导的稀疏图构建方法，用于无监督语音说话人分离，通过多项式核和反余弦核测量嵌入相似性，提升局部相似性，实现高性能的说话人区域分割。

Comments 5 pages

Do Foundational Audio Encoders Understand Music Structure?

基础音频编码器是否理解音乐结构？

Keisuke Toyama, Zhi Zhong, Akira Takahashi, Shusuke Takahashi, Yuki Mitsufuji

机构 * Sony Group Corporation, Japan（日本索尼集团公司） ； Sony AI, USA（美国索尼人工智能） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.LG

AI总结 本研究探讨了基础音频编码器在音乐结构分析中的有效性，发现自监督学习方法在该任务中表现优异。

Comments Accepted to ICASSP 2026