Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations
破损的标记?你的语言模型可以秘密处理非标准标记化
AI总结 研究发现语言模型在面对非标准标记化时表现出意外的鲁棒性,通过指令训练可提升特定任务性能,揭示模型对标记化的依赖程度较低。
Comments NeurIPS 2025 (spotlight)
作者
Natural Language Processing
破损的标记?你的语言模型可以秘密处理非标准标记化
AI总结 研究发现语言模型在面对非标准标记化时表现出意外的鲁棒性,通过指令训练可提升特定任务性能,揭示模型对标记化的依赖程度较低。
Comments NeurIPS 2025 (spotlight)
面向执行导向的自动化AI研究
机构 * Stanford University(斯坦福大学)
AI总结 本研究提出自动化执行器,通过执行反馈学习改进LLM预训练和后训练方法,验证了进化搜索在样本效率上的优势,但强化学习存在模式崩溃问题。
K-EXAONE 技术报告
机构 * LG AI Research(LG人工智能研究所)
AI总结 K-EXAONE是一款由LG AI Research开发的大型多语言语言模型,基于专家混合架构,支持256K-token上下文窗口,具备多语言能力,其性能与同类开源模型相当,适用于多种工业和研究应用。
Comments 29 pages
GDPO:多奖励强化学习优化中的组奖励解耦归一化策略优化
机构 * NVIDIA
AI总结 GDPO通过解耦奖励归一化提升多奖励强化学习优化的稳定性和准确性,优于GRPO。
Comments NVIDIA-Tech Report
NitroGen:一种通用游戏代理的开源基础模型
机构 * NVIDIA ; Stanford(斯坦福大学) ; Caltech(加州理工学院) ; UChicago(芝加哥大学) ; UT Austin(得克萨斯大学奥斯汀分校)
AI总结 NitroGen通过大规模行为克隆训练,实现跨游戏泛化能力,提升任务成功率达52%
Comments 16 pages, 7 figures
Infini-gram mini:基于FM-索引的互联网级精确n-gram搜索
AI总结 infini-gram mini是一种基于FM索引的高效系统,可实现互联网级大规模文本的精确n-gram搜索,显著提升索引速度和内存使用效率。
端到端的测试时间训练用于长上下文
机构 * NVIDIA(NVIDIA公司) ; Stanford University(斯坦福大学) ; UC Berkeley(伯克利大学) ; UC San Diego(圣地亚哥大学)
AI总结 本文提出了一种端到端的测试时间训练方法,通过在测试时进行token预测和训练时的元学习,实现长上下文处理,具有与完整注意力相同的扩展性但更高效的推理速度。
Comments Code: https://github.com/test-time-training/e2e
NVIDIA Nemotron 3:高效且开放的智能
机构 * NVIDIA
AI总结 NVIDIA推出的Nemotron 3系列模型通过混合Mamba-Transformer架构实现高效推理与大上下文长度,提供多种规模模型以满足不同应用场景需求。
Nemotron 3 Nano:开放、高效专家混合混合Mamba-Transformer模型用于代理推理
机构 * NVIDIA
AI总结 Nemotron 3 Nano是一种高效混合Mamba-Transformer模型,通过预训练和微调在代理推理任务中实现更高准确性和吞吐量。
LOTUS: 一种用于从质量到社会偏见和用户偏好的详细图像描述的排行榜
机构 * NVIDIA Research(NVIDIA研究)
AI总结 LOTUS是一种用于评估详细图像描述质量、偏见和社会偏见的排行榜,通过定制标准满足不同用户偏好,揭示了模型在不同评估标准上的表现差异。
Comments Accepted to ACL 2025. Leaderboard: huggingface.co/spaces/nvidia/lotus-vlm-bias-leaderboard
ToolOrchestra:通过高效模型和工具协同提升智能
机构 * NVIDIA ; University of Hong Kong(香港大学)
AI总结 ToolOrchestra通过高效模型和工具协同提升智能,实现更高效且更有效的工具增强推理系统。
Comments 21 pages, 6 figures
机构 * ByteDance Seed(字节跳动种子) ; UNC-Chapel Hill(北卡罗来纳大学教堂山分校) ; UC Santa Cruz(圣克拉拉大学) ; Stanford(斯坦福大学)
Comments 28 pages, 15 figures
机构 * Seoul National University(首尔国立大学) ; Stanford University(斯坦福大学) ; NVIDIA(英伟达) ; University of Washington(华盛顿大学)
Comments 29 pages
机构 * University of California, Los Angeles(加州大学洛杉矶分校) ; Seoul National University(首尔国立大学) ; Qatar Computing Research Institute(卡塔尔计算研究所) ; Google(谷歌) ; George Washington University(乔治华盛顿大学) ; Stanford University(斯坦福大学) ; Scale AI ; University of Washington(华盛顿大学)
Comments NeurIPS 2025 D&B Paper (Oral); Camera-Ready Version
Comments 9 pages, 2 figures. Equal contribution: Minghao Sun, Hanqun Cao, Zhou Zhang. Corresponding author: Fang Wu, Yang Zhang
机构 * Department of Chemistry, University of Liverpool(利兹大学化学系) ; Leverhulme Research Centre for Functional Materials Design, University of Liverpool(利兹大学功能性材料设计研究所以) ; Department of Computer Science, University of Stanford(斯坦福大学计算机科学系) ; School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院)
Comments 18 pages, 7 figures
机构 * Northwestern University(西北大学) ; University of Washington(华盛顿大学) ; Stanford University(斯坦福大学) ; Microsoft(微软) ; University of Wisconsin-Madison(威斯康星大学麦迪逊分校) ; University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Comments Accepted to NeurIPS 2025
机构 * NVIDIA
Comments NVIDIA-Tech Report
机构 * Department of Computer Science University of Washington(华盛顿大学计算机科学系) ; Department of Computer Science Stanford University(斯坦福大学计算机科学系)
Comments NLPerspectives: The 4th Workshop on Perspectivist Approaches to Natural Language Processing at EMNLP 2025
机构 * NVIDIA ; Osaka University(大阪大学) ; UC Berkeley(加州大学伯克利分校) ; Stanford University(斯坦福大学)
Comments ICCV 2025
机构 * NVIDIA ; Carnegie Mellon University(卡内基梅隆大学) ; Boston University(波士顿大学) ; Stanford University(斯坦福大学)
机构 * The Chinese University of Hong Kong(香港中文大学) ; Peking University(北京大学) ; Stanford University(斯坦福大学) ; Nanjing University(南京大学) ; University of Pennsylvania(宾夕法尼亚大学) ; National University of Singapore(新加坡国立大学) ; University of Illinois Urbana-Champaign(伊利诺伊大学香槟分校) ; Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
Comments 24 pages, 7 figures, 4 tables
机构 * NVIDIA ; Stanford University(斯坦福大学) ; University of Washington(华盛顿大学)
Comments 16 pages, 4 figures
Comments Project Page: https://deeptracereward.github.io/
Comments 42 pages, 16 figures
机构 * Salesforce AI Research(Salesforce AI研究院) ; Intel Labs(英特尔实验室) ; University of Washington(华盛顿大学)
机构 * NVIDIA
机构 * NVIDIA
机构 * Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所) ; Allen Institute for AI(人工智能研究院)
Comments Both the second and third authors contributed equally