PhysCount: Do MLLMs Count Visual Appearances or Physical Entities?
PhysCount:多模态大语言模型(MLLMs)是计数视觉外观还是物理实体?
机构 * Nanjing University(南京大学) ; NVIDIA(英伟达)
AI总结 本研究推出PhysCount基准,测试40个MLLMs区分图像视觉外观与物理实体的能力,发现其计数可见外观易、恢复实体身份难,性能受实体外观数量及观察模式影响。
大厂专区
PhysCount:多模态大语言模型(MLLMs)是计数视觉外观还是物理实体?
机构 * Nanjing University(南京大学) ; NVIDIA(英伟达)
AI总结 本研究推出PhysCount基准,测试40个MLLMs区分图像视觉外观与物理实体的能力,发现其计数可见外观易、恢复实体身份难,性能受实体外观数量及观察模式影响。
LucidLyra:通过多任务蒸馏实现前馈式生成三维场景重建与联合理解
机构 * NVIDIA(英伟达) ; TU Darmstadt(达姆施塔特工业大学) ; Università degli Studi di Modena e Reggio Emilia(摩德纳-雷焦艾米利亚大学) ; ELIZA
AI总结 LucidLyra是一种通过多任务蒸馏将视频扩散模型与2D视觉基础模型知识整合的框架,可实现前馈式生成三维场景重建与联合理解,支持多种下游应用且性能优于基线。
Comments Project Page: https://research.nvidia.com/labs/sil/projects/lucidlyra
ScheduleGen:基于技能调度的演示生成用于多臂模仿学习
机构 * NVIDIA(英伟达) ; The University of Texas at Austin(德克萨斯大学奥斯汀分校)
AI总结 针对多臂机器人演示生成忽略多臂约束的问题,提出ScheduleGen算法,在28个模拟任务上实现79.6%平均数据生成成功率,策略优于基线,且在8个现实任务上零样本迁移达50-80%成功率。
Comments 22 pages, 9 figures, 5 tables. Project website and videos: https://schedulegen.github.io/
机构 * Massachusetts Institute of Technology(麻省理工学院) ; NVIDIA(英伟达)
AI总结 提出WISD框架,通过构建弱模型(量化/剪枝)利用其与原模型的对比训练,在数学和代码推理任务上提升Qwen系列模型准确率,实现无特权信息的先进自蒸馏效果。
Comments Work in progress. Code is released at https://github.com/jet-ai-projects/WISD
机构 * Aalto University(阿尔托大学) ; NVIDIA(英伟达) ; Metropolia University of Applied Sciences(梅塔波利亚应用科学大学)
AI总结 REVBRAIN是基于残差向量量化的概率深度学习方法,可实现50倍以上WaveNet的实时脑电预测,精度更优,能助力BCI应用发展。
Nemotron 3.5 Super与Lightning:面向智能体AI的开源高效混合Mamba-Transformer混合专家模型
机构 * NVIDIA(英伟达)
AI总结 推出两款开源高效混合Mamba-Transformer混合专家模型Nemotron 3.5 Super与Lightning,结合多技术优化,在多任务上实现性能提升与高效部署,Super在SWE-bench Pro等测试中表现优异。
机构 * NVIDIA(英伟达) ; Dollhouse Robotics(Dollhouse 机器人公司)
AI总结 本研究提出可提示的人形机器人全身执行层METATRON,结合生成式基础策略与可编程技能层,经训练后冻结策略,通过编码智能体生成新技能,在Unitree G1机器人及模拟角色上验证了其在多种任务中的性能优势。
Comments Project page: https://research.nvidia.com/labs/par/projects/metatron/
机构 * Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室) ; NVIDIA Corporation(英伟达公司)
AI总结 本研究以惯性约束聚变为用例构建含250题的基准,对比多款大模型,发现专用模型Prospero得分提升10.7个百分点,前沿模型仍存物理错误,检索对小模型有效,建议先评估现有能力与检索增益再推进专用化。
Comments 33 pages, 16 figures
Delta-Matching:弥合大语言模型原生8位训练的最后差距
机构 * Carnegie Mellon University(卡内基梅隆大学) ; NVIDIA(英伟达) ; Massachusetts Institute of Technology(麻省理工学院)
AI总结 本文提出Delta-Matching方法,通过恢复softmax梯度零行和不变性,解决FP8注意力前向-后向不一致导致的优化误差,实现大语言模型原生8位训练,匹配混合精度性能。
机构 * Singapore University of Technology and Design(新加坡科技设计大学) ; NVIDIA Corporation(英伟达公司)
AI总结 本研究针对IBM掺杂克利福德采样实验,设计确定性时间边界张量网络收缩方法完成经典模拟,获精确振幅与log-XEB值,为实验诊断及未来实验设计提供工具。
Comments 25 pages, 12 figures
机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; Vanderbilt University(范德比大学) ; HKUST(香港科技大学) ; NVIDIA(英伟达) ; Texas A&M University(德克萨斯农工大学)
AI总结 研究针对扩散模型服务效率低的问题,提出FlashDiff系统,通过自适应区域执行和调度,利用扩散细化特性及三种机制,有效降低端到端服务延迟,提高吞吐量。
机构 * NVIDIA(英伟达) ; KAIST(韩国科学技术院)
AI总结 该研究提出ThinkWorld框架,通过将动作表示为动力学链并结合世界想象的强化学习,解决VLA模型泛化受限问题,实现人到机器人的经验迁移与任务泛化。
Comments Project Page: https://thinkworld-project.github.io/
机构 * NVIDIA(英伟达) ; UC San Diego(加州大学圣迭戈分校)
AI总结 提出ActiveAlign框架,通过主动感知的两个互补模块缩小真实-仿真差距,在Unitree G1机器人上实现毫米级物体精细操作,还可用于整理机器人操作数据集的仿真环境。
机构 * NVIDIA(英伟达) ; Carnegie Mellon(卡内基梅隆大学) ; University of Sydney(悉尼大学)
AI总结 针对现有多臂操作规划方法速度慢、扩展性差的问题,提出与GPU并行性协同设计的cuArms规划器,结合高层调度器实现多维度联合优化,达到最优性能且无需大量领域训练。
Comments 8 pages, 8 figures
机构 * NVIDIA(英伟达)
AI总结 本研究提出EgoHand单目三维手部重建模型,通过1400万张多源数据训练,在零样本评估中泛化能力强,优于相关基线,获用户偏好认可且支持免费商业使用。
Comments Authors are listed alphabetically. Project leads are Chao-Yeh Chen, Tiffany Chen, and Umar Iqbal https://github.com/NVIDIA/IsaacCapture/tree/main/src/python/isaaccapture_egopost
Lightning Weave:通过能力组合提升推理模型的精度-效率前沿
机构 * Massachusetts Institute of Technology(麻省理工学院) ; NVIDIA(英伟达)
AI总结 Lightning Weave通过在线策略蒸馏组合独立后训练模型的精度与效率能力,在数学和代码基准上显著提升精度并减少响应词元,实现最先进的精度-效率前沿。
Comments Work in progress
LoBE-GS:负载均衡且高效的3D高斯点散射用于大规模场景重建
机构 * National Tsing Hua University(国立清华大学) ; NVIDIA AI Technology Center (NVAITC)(NVIDIA AI技术中心(NVAITC))
AI总结 LoBE-GS通过负载均衡的KD树分区和优化切线,提升大规模3DGS场景重建效率,实现两倍更快的端到端训练时间,同时保持重建质量并支持无法用传统3DGS处理的场景。
Comments WACV 2027. Project Page: https://sunnyhong0326.github.io/lobe-gs/
机构 * Robotic Systems Lab (RSL), ETH Zurich, Switzerland(苏黎世联邦理工学院机器人系统实验室) ; Stanford University(斯坦福大学) ; UC Berkeley(加州大学伯克利分校) ; NVIDIA(NVIDIA公司)
AI总结 DeFM通过自监督学习从深度图像中学习基础表示,为机器人应用提供强大的泛化能力和仿真到现实的迁移性能。
Comments Accepted to IEEE Transactions on Robotics (T-RO), 2026
机构 * NVIDIA(英伟达) ; Microsoft Research(微软研究院) ; Scicom-AI-Enterprise-Organization(Scicom-AI企业组织)
AI总结 本研究针对单麦克风转录时收录多声源的问题,训练因果语音隔离器,结合WavLM权重优化权衡,发布的模型在词错误率上优于多数基准模型,还可蒸馏为轻量模型在CPU上实时运行并开源。
机构 * NVIDIA(英伟达) ; UC Berkeley(加州大学伯克利分校)
AI总结 该研究针对现有指令层级训练集缺失目标-目标冲突的问题,微调Qwen3.5-9B等模型,提升了模型在真实世界任务中的指令层级表现,且无冲突任务的效用变化极小。
每个音素对应一个平均对数梅尔向量:用于语音识别的简单快速文本注入方法
机构 * RWTH Aachen University(亚琛工业大学) ; AppTek GmbH(AppTek 有限公司) ; NVIDIA(英伟达)
AI总结 本文提出用音素对应平均对数梅尔向量的查找表替代TTS模型的文本注入方法,训练速度快1.8倍,在LibriSpeech数据集上取得仅用该数据的最先进WER结果,代码公开。
机构 * NVIDIA(英伟达) ; OpenAI(开放人工智能公司) ; Anthropic(安索罗皮克)
AI总结 该研究提出RSI Arena,通过两阶段实验让10个前沿模型作为智能体自主训练语言模型,结合人类反馈推进递归自我改进,为自主模型开发提供可审计环境。
Comments 39 pages. Project website: https://rsiarena.org
机构 * NVIDIA(英伟达) ; Graz University of Technology(格拉茨工业大学)
AI总结 该研究提出变分图集自编码器,通过自监督的潜在证据路由实现无标签的图分配,在CelebA等图像数据集上获得更优潜在空间与样本质量。
FG-ConvNO:一种用于螺旋桨CFD预测的几何感知神经算子
机构 * Tsinghua University(清华大学) ; California Institute of Technology(加州理工学院) ; University of Tennessee(田纳西大学) ; NVIDIA(英伟达公司)
AI总结 提出FG-ConvNO模型,通过几何感知编码等技术解决低数据下螺旋桨CFD预测的泛化问题,在相关数据集上实现更高精度。
Comments 18 pages, 5 figures. Presented at the AAAI 2026 AI2ASE Workshop (non-archival)
Nemotron 3.5 Bolt 74B-A9B 24GB:一款面向本地AI的混合视觉语言模型
机构 * NVIDIA(英伟达)
AI总结 本研究推出Nemotron 3.5 Bolt 74B-A9B 24GB混合视觉语言模型,结合Star Elastic压缩与2-bit量化感知蒸馏,搭配LiLiCorr推测草稿模型,在多基准上准确率更高,TPS达84,适配本地内存受限的智能体应用。
用于内部物流的物理AI:针对工业移动机器人的Cosmos增强型COMPASS导航,对NVIDIA虚实一体生态系统进行基准测试
机构 * NVIDIA(英伟达)
AI总结 本文针对工业移动机器人,测试NVIDIA虚实一体生态系统,发现用Cosmos增强数据训练的COMPASS导航策略,可大幅提升真实场景任务成功率、缩短行驶时间,接近生产导航堆栈性能。
机构 * Tsinghua University(清华大学) ; NVIDIA(英伟达公司) ; CMU(卡内基梅隆大学) ; UC Berkeley(加州大学伯克利分校) ; Princeton(普林斯顿大学) ; NUS(新加坡国立大学)
AI总结 研究推出交互式流式视频生成统一基准StreamEval,含300个测试用例,评估37种模型后发现,高视觉质量与可靠请求执行难兼顾,请求执行是全模态实时交互系统的核心挑战。
机构 * Politecnico di Milano(米兰理工大学) ; Stanford University(斯坦福大学) ; Air Force Research Laboratory(美国空军研究实验室) ; NVIDIA(英伟达公司)
AI总结 该研究针对VLA策略推理压缩为单一表示导致替代方案缺失的问题,提出GPL将推理状态表示为计划分布,实现计划采样、引导与结果适配,在多机器人任务中验证了其引导计划的有效性。
WorldOracle:针对真实世界执行情况评估动作条件世界模型的基准
机构 * AgiBot(智元机器人) ; NVIDIA(英伟达) ; Princeton University(普林斯顿大学) ; University of Texas at Austin(德克萨斯大学奥斯汀分校) ; University of Toronto(多伦多大学)
AI总结 研究人员推出WorldOracle基准,通过四个维度评估动作条件世界模型,在含成功与失败执行的真实场景上测试7种模型,为推进操纵任务的动作条件世界建模提供系统基础并将发布相关资源。
RMS-AQA:面向真实世界家庭环境的双阶段空间音频问答基准
机构 * NVIDIA(英伟达)
AI总结 针对家庭具身助手的空间音频理解需求,提出双阶段SAQA基准RMS-AQA,结合真实FOA录音与RIR合成数据,并引入轻量空间插件,实验揭示并发源、远距离及域差距为主要挑战。
Comments Project page: https://github.com/rmsaqachallenge/rmsaqa-code