Beyond the Linear Separability Ceiling: Aligning Representations in VLMs
Applied Artificial Intelligence Group（应用人工智能小组）；Tallinn University of Technology（塔林技术大学）
提出线性可分上限（LSC）诊断框架，发现VLM存在对齐差距，并通过对比目标重塑视觉流形，使模型在抽象组合推理任务上显著超越LSC。
2026-06-18 cs.CV
Don't Show Pixels, Show Cues: Unlocking Visual Tool Reasoning in Language Models via Perception Programs
Huawei Technologies, Canada（华为技术（加拿大））；University of Alberta, Canada（阿尔伯塔大学（加拿大））
本文提出感知程序（P²），通过将视觉工具输出转换为结构化摘要，提升语言模型的视觉推理能力，在六个任务中均取得显著提升。
2026-04-14 cs.CV cs.LG
Students' Perceptions and Preferences of Generative Artificial Intelligence Feedback for Programming
North Carolina State University（北卡罗来纳州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本研究探讨ChatGPT为CS1课程Java作业提供自动化反馈的可行性，通过调查发现学生认可其形成性价值，偏好含代码的针对性纠错反馈，为优化AI教育反馈提供了方向。
2023-12-17 cs.AI cs.CY cs.HC
Distilling Neuro-Symbolic Programs into 3D Multi-modal LLMs
University of California, Berkeley（加州大学伯克利分校）
提出APEIRIA，通过三阶段课程学习将符号推理模式蒸馏到3D多模态大语言模型中，实现透明推理与开放词汇空间推理的统一。
2026-06-29 cs.AI cs.CL cs.CV
Synthesizing Visual Concepts as Vision-Language Programs
本研究提出视觉-语言程序（VLP），结合视觉模型的感知灵活性与程序合成的系统推理能力，通过生成结构化视觉描述并编译成神经符号程序，提升复杂逻辑推理任务的性能。
2025-11-24 cs.AI
Spatial Colour Mixing Illusions as a Perception Stress Test for Vision-Language Models
National University of Science and Technology POLITEHNICA Bucharest（波兰布加勒斯特技术大学）；IDSIA, The Dalle Molle Institute for Artificial Intelligence（达摩信息技术研究所）
研究通过空间色彩混合错觉测试视觉-语言模型的感知鲁棒性，发现模型在结构化色彩扭曲下表现下降，而人类表现更优，预处理步骤可提升模型性能。
2026-03-06 cs.CV
Structure-Aware Corpus Construction and User-Perception-Aligned Metrics for Large-Language-Model Code Completion
本文提出LCP和ROUGE-LCP评估指标，从概率建模角度解决代码补全中用户感知与现有指标的差距问题，并通过SPSR-Graph方法提升模型性能。
2025-05-19 cs.AI cs.SE
Learning Differentiable Logic Programs for Abstract Visual Reasoning
针对抽象视觉推理中一阶逻辑表达受限与内存开销大的问题，提出图基可微前向推理器NEUMANN及高效结构学习算法，并引入幕后视觉推理任务，实验表明其性能优于神经、符号及神经符号基线。
2025-07-04 cs.AI cs.CV cs.LG
HumanPhys: A Human-Centric Physical-World Perception Benchmark for Real-World Visual Reasoning
Nanyang Technological University（南洋理工大学）；Ant Group（蚂蚁集团）
本研究推出以人为中心的物理感知基准HumanPhys及配套训练语料库，系统探究六大物理感知维度，测试发现现有MLLM在该基准的六个维度上仍具挑战性，有望推动多模态系统研究。
2026-10-14 cs.CV
Insights from Social Shaping Theory: The Appropriation of Large Language Models in an Undergraduate Programming Course
University of Michigan（密歇根大学）
本研究基于社会塑造理论，通过调查、访谈和成绩数据发现，本科编程课程中学生对LLM的使用受职业预期和同伴感知影响，且早期使用与较低自我效能感和期中成绩相关，过度依赖感知则与后期自我效能下降相关。
2024-06-10 cs.AI cs.CY cs.HC
Conversational AI as a Coding Assistant: Understanding Programmers' Interactions with and Expectations from Large Language Models for Coding
Khoury College of Computer Sciences, Northeastern University（东北大学科里计算机科学学院）
本研究调研程序员使用LLM驱动的对话式编程助手的模式、认知与策略，梳理了工具的优劣势与用户拒绝使用的原因，提出设计准则，为该类工具融入软件开发流程提供参考。
2025-03-14 cs.AI cs.HC
Time is on my sight: scene graph filtering for dynamic environment perception in an LLM-driven robot
本文提出一种LLM驱动机器人控制架构，通过RGB-D语义场景图、粒子滤波定位与任务规划模块，实现动态环境中的高效人机协作与自适应任务执行。
2024-11-22 cs.AI cs.HC cs.RO
From Bytes to Biases: Investigating the Cultural Self-Perception of Large Language Models
Darla Moore School of Business, University of South Carolina（南卡罗来纳大学达拉·摩尔商学院）；ESCP Business School（欧洲工商管理学院）；University of Arkansas（阿肯色大学）
本文利用 GLOBE 项目的价值观问题测试 ChatGPT 和 Bard，发现其文化自我认知最贴近英语国家及持续经济竞争力国家，并强调识别 LLM 文化偏见以避免偏见循环的重要性。
2023-12-21 cs.AI cs.CL cs.HC
Solving the Clustering Reasoning Problems by Modeling a Deep-Learning-Based Probabilistic Model
Beijing Engineering Research Center of Industrial Spectrum Imaging, School of Automation and Electrical Engineering, University of Science and Technology Beijing（工业光谱成像北京工程研究中心，自动化与电气工程学院，北京科技大学）
本文提出基于深度学习的概率模型PMoC，用于解决Bongard-Logo聚类推理问题，通过重振概率方法实现高推理准确率。
2025-05-23 cs.CV
Chat with the Environment: Interactive Multimodal Perception Using Large Language Models
Universität Hamburg（汉堡大学）
本研究提出Matcha框架，利用大语言模型指导机器人在部分可观察的多模态环境中进行交互式感知与任务规划，实现高层推理与多模态信息融合。
2023-10-11 cs.AI cs.CL cs.LG
3DP3: 3D Scene Perception via Probabilistic Programming
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
我们提出了3DP 3，逆图形的框架，使用推理的对象，场景和图像的结构化生成模型。3DP 3使用（i）体素模型来表示对象的3D形状，（ii）分层场景图来将场景分解为对象和它们之间的接触，以及（iii）基于实时图形的深度图像似然性。给定观察到的RGB-D图像，3DP 3的推理算法使用快速自下而上的姿势建议、场景图结构的新颖对合MCMC更新以及可选的神经对象检测器和姿势估计器来推断潜在的潜在3D场景，包括对象姿势和这些姿势的简约联合参数化。我们表明，3DP 3使场景理解，是知道的3D形状，遮挡和接触结构。我们的研究结果表明，3DP 3在从真实图像中估计6DoF对象姿态时比深度学习基线更准确，并且对具有新视点、接触和部分可观察性的具有挑战性的场景表现出更好的泛化能力。
2021-10-30 cs.AI cs.CV
VProChart: Answering Chart Question through Visual Perception Alignment Agent and Programmatic Solution Reasoning
Xi’an Jiaotong University（西安交通大学）
针对图表问答中视觉理解及复杂逻辑、数值推理困难，本文提出 VProChart 框架，结合 VPAgent 对齐图表元素并用 LLM 生成结构化解答程序，在 ChartQA、PlotQA 上显著优于现有方法。
2025-06-08 cs.CV
Evidential Reasoning in Parallel Hierarchical Vision Programs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Wisconsin-Milwaukee（威斯康星大学密尔沃基分校）
本文提出了一种有效的适应和应用的证据理论，一个可以有效地用于大规模并行层次系统的视觉模式感知的Dempster-Shafer。它描述了所使用的技术，并在一个扩展的示例中显示了它们如何在应用多层次的过程集时提高系统的性能。
2013-03-27 cs.AI cs.CV
ShapeCodeBench: A Renewable Benchmark for Perception-to-Program Reconstruction of Synthetic Shape Scenes
Independent Researcher（独立研究者）
ShapeCodeBench是一个合成基准，用于测试从渲染图像生成可执行程序的能力。该基准包含不同难度层级的样本，评估了多种模型在精确匹配、像素精度和执行成功率上的表现。
2026-05-12 cs.CV
SHOP-VRB: A Visual Reasoning Benchmark for Object Perception
Imperial College London（帝国理工学院）
在本文中，我们提出了一种方法和机器人应用中的视觉推理基准，特别是小物体的抓取和操纵。该方法和基准测试的重点是从视觉和文本数据推断对象属性。它涉及小的家用对象与他们的属性，功能，自然语言描述以及问答对的视觉推理查询及其相应的场景语义表示。我们还提出了一种生成合成数据的方法，该方法允许将基准扩展到其他对象或场景，并提出了一种比现有数据集更具挑战性的评估协议。我们提出了一个基于符号程序执行的推理系统。获得视觉和文本输入的解纠缠表示，并用于执行表示算法的“推理过程”的符号程序。我们进行了一组实验，建议的基准和比较的结果，最先进的方法。这些结果暴露了现有基准的缺点，可能会导致误导性的结论的视觉推理系统的实际性能。
2020-04-06 cs.AI cs.CV cs.LG
Proof-of-Perception: Certified Tool-Using Multimodal Reasoning with Compositional Conformal Guarantees
University of Southern California（南加州大学）；Nuro
Proof-of-Perception通过组合性符合保证实现多模态推理的可信工具使用，提升性能和可靠性，同时更高效地利用计算资源。
2026-02-27 cs.CV
An Overview of the Burer-Monteiro Method for Certifiable Robot Perception
Northeastern University（东北大学）；University of Michigan（密歇根大学）；University of California, San Diego（加州大学圣地亚哥分校）；Massachusetts Institute of Technology（麻省理工学院）
本文综述 Burer-Monteiro 方法如何利用半定规划的低秩结构实时求解非凸机器人感知问题，并统一文献、阐明 LICQ 及总结实践经验。
2025-06-09 cs.CV cs.LG cs.RO
Think-Program-reCtify: 3D Situated Reasoning with Large Language Models
Renmin University of China（中国人民大学）；INRIA（法国国家信息与自动化研究所）；Alibaba Group（阿里巴巴集团）
提出LLM-TPC框架，通过Think-Program-reCtify循环利用大型语言模型的规划、工具调用和反思能力，解决3D情境推理中的数据稀缺与泛化问题，在SQA3D基准上验证了方法的有效性。
2024-04-23 cs.CV
ProTo: Program-Guided Transformer for Program-Guided Tasks
The Chinese University of Hong Kong（香港中文大学）；Georgia Institute of Technology（佐治亚理工学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
程序包含语义和结构信息，在人与智能体之间的通信中起着重要的作用。为了学习一般的程序执行器统一的感知，推理和决策，我们制定程序引导的任务，需要学习执行给定的程序上观察到的任务规范。此外，我们提出了程序引导的Transformer（ProTo），它集成了语义和结构的指导下，一个程序，利用交叉注意和掩蔽的自我注意之间的规范和程序中的例程传递消息。ProTo在学习的潜在空间中执行程序，比以前的神经符号方法具有更强的表示能力。我们证明了ProTo在GQA视觉推理和2D Minecraft策略学习数据集上的表现明显优于以前的最先进方法。此外，ProTo对看不见的、复杂的和人类编写的程序表现出更好的泛化能力。
2021-10-16 cs.AI cs.CV cs.LG
PixelRNN: In-pixel Recurrent Neural Networks for End-to-end-optimized Perception with Neural Sensors
Stanford University（斯坦福大学）；The University of Manchester（曼彻斯特大学）
本文提出像素内循环神经网络 PixelRNN，在传感器上以纯二值运算编码时空特征，将传输数据量减少 64 倍，并在 SCAMP-5 平台上验证了手势识别和唇读任务的竞争性准确率。
2023-04-11 cs.CV
Talking about the Moving Image: A Declarative Model for Image Schema Based Embodied Perception Grounding and Language Generation
University of Bremen（不来梅大学）；The DesignSpace Group（设计空间小组）；MANIT（迈普尔国家理工学院）
我们提出了动态视觉空间意象的具身基础和基于自然语言的分析总结的一般理论和相应的陈述模型。声明模型--ecompassing空间语言抽象，图像模式，和时空特征为基础的语言生成器-是模块化的约束逻辑编程（CLP）内实现。所实现的模型是这样的，即理论的原语，例如，与空间和运动有关的图像模式可用作具有适于推理和查询的“深层语义”的第一类对象。我们展示了广泛的动机，如电影，设计，地理，智能环境的分析自然语言为基础的外部化的运动图像的选择的例子模型是中央从人类互动的观点，基于证据的定性分析，和意义。保留字：运动图像，视觉语义和体现，视觉空间认知和计算，认知视觉，叙事的计算模型，陈述性空间推理
2015-08-13 cs.AI cs.CL cs.CV
Ripple Attention for Visual Perception with Sub-quadratic Complexity
The University of Hong Kong（香港大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Transformer体系结构现在是序列建模任务的核心。其核心是注意力机制，它可以对序列中的长期依赖关系进行有效建模。最近，Transformers已成功地应用于计算机视觉领域，其中2D图像首先被分割成块，然后被视为1D序列。然而，这种线性化削弱了图像中空间局部性的概念，而空间局部性承载着重要的视觉线索。为了弥补这一差距，我们提出了涟漪注意力，一个次二次注意力机制的视觉Transformer。基于最近的基于内核的高效注意力机制，我们设计了一种新的动态规划算法，权重的不同令牌的查询相对于他们的相对空间距离在二维空间中的线性观察时间的贡献。大量的实验和分析证明了涟漪注意对各种视觉任务的有效性。
2022-06-15 cs.CV cs.LG
The Percept-V Challenge: Can Multimodal LLMs Crack Simple Perception Problems?
IIT Delhi（德里印度理工学院）
Percept-V挑战通过简单感知任务测试多模态大语言模型的表现，发现其在基本感知任务上远低于人类水平。
2026-10-05 cs.CL cs.CV
VISION-SLS: Safe Perception-Based Control from Learned Visual Representations via System Level Synthesis
Institute for Dynamic Systems and Control, ETH Zürich（动态系统与控制研究所，苏黎世联邦理工学院）
本文提出VISION-SLS方法，通过高分辨率RGB图像实现非线性输出反馈控制，在校准的不确定性范围内保证约束满足。方法结合学习的低维观测映射和系统级合成策略，实现可扩展的安全控制。
2026-04-27 cs.CV cs.LG cs.RO
One Ring to Rule Them All: Certifiably Robust Geometric Perception with Outliers
Laboratory for Information and Decision Systems (LIDS)（信息与决策系统实验室（LIDS））；Massachusetts Institute of Technology（麻省理工学院）
我们提出了第一个通用的和实用的框架来设计可验证的算法，用于在存在大量离群值的情况下进行鲁棒的几何感知。我们调查使用截断最小二乘（TLS）的费用函数，这是已知的离群值是强大的，但会导致硬，非凸，和非光滑最优化的问题。我们的第一个贡献是表明-对于广泛的一类几何感知问题- TLS估计可以重新表述为多项式环上的优化，并且Lasserre的凸矩松弛层次在最小松弛阶处经验上是紧的（即，可证明地获得非凸TLS问题的全局极小值）。我们的第二个贡献是利用结构稀疏的目标和约束多项式和杠杆基减少，显着减少的大小的半定程序（SDP）的时刻放松，而不损害其紧密性。我们的第三个贡献是从平方和（SOS）松弛的角度开发可扩展的对偶最优性证明器，它可以计算次优性差距，并可能证明任何候选解的全局最优性（例如，由快速算法（例如RANSAC或分级非凸性）返回）。我们的双证明器利用Douglas-Rachford分裂来解决凸可行性SDP。不同感知问题的数值实验，包括单次旋转平均，形状对齐，3D点云和网格配准，以及高完整性卫星姿态估计，证明了我们的放松，认证的正确性，以及所提出的双认证器的可扩展性，以解决大问题，超出了当前SDP求解器的范围。
2020-10-19 cs.CV cs.RO math.OC
Scenic: A Language for Scenario Specification and Scene Generation
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种新的概率程序设计语言的设计和分析的感知系统，特别是那些基于机器学习。具体来说，我们认为训练感知系统处理罕见事件，测试其性能在不同的条件下，和调试失败的问题。我们展示了概率程序设计语言如何通过指定对有趣的输入类型进行编码的分布并对这些输入进行采样以生成专门的训练集和测试集来帮助解决这些问题。更一般地说，这种语言可以用于网络物理系统和机器人来编写环境模型，这是任何形式分析的必要先决条件。在本文中，我们专注于自动驾驶汽车和机器人等系统，其环境是一个“场景”，一个物理对象和代理的配置。我们设计了一个特定领域的语言，风景，描述“场景”，分布在场景。作为一种概率程序设计语言，Scenic允许将分布分配给场景的特征，以及声明性地对场景施加硬约束和软约束。我们开发专门的技术，从产生的分布采样，利用风景区的特定于域的语法提供的结构。最后，我们将Scenic应用于一个卷积神经网络的案例研究中，该网络旨在检测道路图像中的汽车，从而提高其性能，超越了最先进的合成数据生成方法。
2019-06-21 cs.CV cs.LG cs.PL
Investigating Video Reasoning Capability of Large Language Models with Tropes in Movies
National Taiwan University（台湾大学）；Columbia University（哥伦比亚大学）；MobileDrive Technology（魔驾科技）
本文提出电影叙事套路数据集TiM，用于评估大语言模型的抽象感知与长程组合推理能力，并通过FEVoRI和ConQueR增强视觉编程，显著提升性能但仍低于人类水平。
2024-06-16 cs.CL cs.CV cs.LG
Certifiably Optimal Outlier-Robust Geometric Perception: Semidefinite Relaxations and Scalable Global Optimization
Massachusetts Institute of Technology（麻省理工学院）
我们提出了第一个通用的和可扩展的框架来设计可验证的算法，在存在离群值的情况下，鲁棒的几何感知。我们的第一个贡献是表明，估计使用常见的鲁棒成本，如截断最小二乘（TLS），最大共识，Geman-McClure，Tukey的biwight等，可以重新制定为多项式优化问题（POP）。通过关注TLS成本，我们的第二个贡献是利用POP中的稀疏性，并提出一个稀疏半定规划（SDP）松弛，它比标准的Lasserre层次结构小得多，同时保持经验精确性，即，SDP利用最优性证书恢复非凸POP的优化器。我们的第三个贡献是解决SDP松弛在一个前所未有的规模和准确性，提出STRIDE，求解器，融合了全局下降的凸SDP与快速局部搜索的非凸POP。我们的第四个贡献是六个几何感知问题，包括单次和多次旋转平均，点云和网格配准，绝对姿态估计，以及类别级对象姿态和形状估计。我们的实验表明，（i）我们的稀疏SDP松弛是经验上精确的，在应用程序中有高达60%-90%的离群值;（ii）虽然仍然远离实时，但STRIDE在中等规模问题上比现有的SDP求解器快100倍，并且是唯一可以解决具有数十万约束的大规模SDP的高精度求解器;（iii）STRIDE保障现有快速算法的可靠估计（例如，RANSAC或渐变非凸性），即，如果启发式估计是最优的，则它证明全局最优性，或者当启发式估计是次优的时，它检测并允许逃避局部最优。
2022-05-29 cs.CV cs.RO math.OC
