NeurIPS

Good Scores, Bad Data: A Metric for Multimodal Coherence

好分数，坏数据：一种多模态一致性度量

Vasundra Srinivasan

机构 * AI Architect（人工智能架构师） ； Author, Data Engineering for Multimodal AI (O’Reilly)（多模态AI数据工程作者（O’Reilly）） ； Stanford School of Engineering, Graduate Certificate (in progress)（斯坦福工程学院，研究生证书（在读）） 纠错

AI总结 本文提出多模态一致性度量（MCS），用于评估多模态融合质量，不依赖下游模型。通过四个维度（身份、空间、语义、决策）评估，MCS在1000张视觉基因组图像和150张COCO图像上验证，比任务准确率更敏感。

Comments 9 pages, 6 figures, NeurIPS 2024 format

NPN: Non-Linear Projections of the Null-Space for Imaging Inverse Problems

NPN：非线性投影的空域用于成像反问题

Roman Jacome, Romario Gualdrón-Hurtado, Leon Suarez, Henry Arguello

机构 * Department of Electrical, Electronics, and Telecommunications Engineering（电气电子与电信工程系） ； Department of Systems Engineering and Informatics（系统工程与信息学系） ； Universidad Industrial de Santander（圣安德烈大学） 纠错

AI总结 本文提出NPN，一种新的正则化方法，通过神经网络在传感矩阵的空域低维投影中促进解，提升成像反问题的重建精度。

Comments 25 pages, 12 tables, 10 figures. Accepted to NeurIPS 2025

Journal ref Proceedings of the The Thirty-ninth Annual Conference on Neural Information Processing Systems (NeurIPS 2025)

DeepASA: An Object-Oriented Multi-Purpose Network for Auditory Scene Analysis

DeepASA: 一种面向多用途的面向对象网络用于听觉场景分析

Dongheon Lee, Younghoo Kwon, Jung-Woo Choi

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） 纠错

AI总结 DeepASA提出了一种多用途模型，通过统一框架实现多输入多输出声源分离、消回声、声音事件检测、音频分类和到达方向估计。采用面向对象处理策略，通过链式推理机制提升任务鲁棒性。

Comments 21 pages, 13 figures, 11 tables, published in NeurIPS 2025

Training Hamiltonian neural networks without backpropagation

无需反向传播训练哈密顿神经网络

Atamert Rahma, Chinmay Datar, Felix Dietrich

机构 * School of Computation, Information and Technology（计算、信息与技术学院） ； Technical University of Munich（慕尼黑技术大学） ； Institute for Advanced Study（高级研究学院） ； Munich Data Science Institute（慕尼黑数据科学研究所） 纠错

AI总结 本文提出无需反向传播的算法，通过数据驱动与数据无关的方法加速训练近似哈密顿系统的神经网络，展现更高的效率与精度。

Comments 5 pages, 2 figures and 2 tables in the main text, includes an Appendix section, accepted to NeurIPS 2024 Workshop ML4PS

Journal ref In Workshop on Machine Learning and the Physical Sciences, Advances in Neural Information Processing Systems (NeurIPS), 2024

What to Say and When to Say it: Live Fitness Coaching as a Testbed for Situated Interaction

说什么和何时说：Live Fitness Coaching作为情境交互的测试平台

Sunny Panchal, Apratim Bhattacharyya, Guillaume Berger, Antoine Mercier, Cornelius Bohm, Florian Dietrichkeit, Reza Pourreza, Xuanlin Li, Pulkit Madan, Mingu Lee, Mark Todorovich, Ingo Bax, Roland Memisevic

机构 * TwentyBN GmbH（TwentyBN公司） ； Qualcomm AI Research（高通人工智能研究） ； Aignostics GmbH（Aignostics公司） ； UC San Diego（加州大学圣地亚哥分校） 纠错

AI总结 本文提出QEVD基准和数据集，研究人类与AI在健身指导中的情境交互，测试视觉语言模型在实时反馈中的能力，揭示现有模型的局限并提出异步流式基线方法。

Comments Accepted to the 2024 NeurIPS Datasets and Benchmarks track; Data: https://www.qualcomm.com/developer/software/qevd-dataset Dataset quick start guide: https://github.com/varworkshop/ai_coach_fitness_2026 and Stream-VLM code: https://github.com/Qualcomm-AI-research/FitCoach

Cracking the Code of Juxtaposition: Can AI Models Understand the Humorous Contradictions

破解 juxtaposition 的密码：AI 模型能否理解幽默的矛盾

Zhe Hu, Tuo Liang, Jing Li, Yiren Lu, Yunlai Zhou, Yiran Qiao, Jing Ma, Yu Yin

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； Department of Computer and Data Sciences, Case Western Reserve University（凯斯西储大学计算机与数据科学系） 纠错

AI总结 本文探讨了AI在理解基于矛盾叙事的幽默中的挑战，通过引入YesBut基准测试，评估大型语言模型在识别和解释漫画中的表现，发现即使是最先进的模型仍无法匹敌人类水平。

Comments NeurIPS 2024 (Oral)