Cross-Cultural and Cultural-Specific Production and Perception of Facial Expressions of Emotion in the Wild
The Ohio State University(俄亥俄州立大学)
从面部表情中自动识别情感是一个激烈的研究领域,具有潜在的重要应用。然而,研究情绪需要知道哪些面部表情是在野外的文化中使用的,而不是在受控的实验室条件下;但这样的研究并不存在。人们通常使用哪些跨文化和文化特定的面部表情?那么,每个表情都向观察者传达了哪些影响变量?如果我们要设计能够理解用户情感的技术,我们需要回答这两个基本问题。在本文中,我们提出了第一个大规模的研究生产和视觉感知的面部表情的情绪在野外。我们发现,在人们理论上可以产生的16,384种可能的面部结构中,只有35种被成功地用于跨文化传递情感信息,而在少数文化中只有8种。至关重要的是,我们发现,跨文化表达的视觉分析产生一致的感知情感类别和效价,但不是唤醒。与此相反,视觉分析的文化特定的表达产生一致的感知价和唤醒,但不是情绪类别。此外,我们发现,用于传达每种情绪的表情数量也是不同的,例如,17个表情传递快乐,但只有1个用于表达厌恶。
2018-08-13 cs.CV
Real-time single image depth perception in the wild with handheld devices
深度感知对于解决从自动驾驶到消费者应用的现实问题至关重要。对于后者,来自单个图像的深度估计代表了最通用的解决方案,因为标准相机在几乎任何手持设备上都是可用的。然而,两个主要问题限制了其实际部署:i)在野外部署时的低可靠性,以及ii)实现实时的【形】性能的苛刻的资源要求,通常与这样的设备不兼容。因此,在本文中,我们深入研究了这些问题,展示了如何通过适当的网络设计和培训策略来解决这些问题-还概述了如何在手持设备上映射由此产生的网络以实现实时的【形】性能。我们的全面评估突出了这种快速网络在新环境中推广的能力,这是解决实际应用中所面临的极其不同的环境所需的一个关键功能。事实上,为了进一步支持这一证据,我们报告了有关实时的【形】深度感知增强现实和图像模糊智能手机在野外的实验结果。
2020-06-10 cs.CV cs.GR
Explainers in the Wild: Making Surrogate Explainers Robust to Distortions through Perception
University of Bristol(布里斯托大学)
解释模型的决策在图像处理领域变得越来越普遍,无论是通过使用事后方法还是通过创建固有的可解释模型。虽然替代解释器的广泛使用是检查和理解黑盒模型的一个受欢迎的补充,但评估解释的鲁棒性和可靠性是其成功的关键。此外,虽然可解释性领域的现有工作提出了各种策略来解决这个问题,但在野外使用数据的挑战往往被忽视。例如,在图像分类中,图像的失真不仅会影响模型分配的预测,还会影响解释。给定一个干净的图像和一个扭曲的图像,即使预测概率相似,解释可能仍然不同。在本文中,我们提出了一种方法来评估解释失真的影响,通过嵌入感知距离,定制用于训练代理解释器的邻域。我们还表明,通过以这种方式操作,我们可以使解释更强大的扭曲。我们在Imagenet-C数据集中生成图像的解释,并演示如何在代理解释器中使用感知距离为失真图像和参考图像创建更连贯的解释。
2021-06-16 cs.CV stat.ML
WILD SAM: A Simulated-and-Real Data Augmentation for Autonomous Driving Perception under Challenging Weather
Electrical and Computer Engineering(电气与计算机工程);Michigan State University(密歇根州立大学)
本文提出WILD SAM方法,通过伪标签去噪和模拟训练缓解恶劣天气导致的领域偏移问题,实验表明其在Four Seasons数据集上提升了AP至13%。
2026-05-01 cs.CV
WildLight: In-the-wild Inverse Rendering with a Flashlight
Australian National University(澳大利亚国立大学)
针对未知环境光照条件下的野外逆绘制这一具有挑战性的问题,提出了一种实用的光度解决方案。我们的系统恢复场景的几何形状和反射率,只使用多视图的智能手机捕获的图像。其关键思想是利用智能手机的内置闪光灯作为最低限度控制的光源,并将图像强度分解为两个光度分量-静态外观对应于环境通量,加上移动闪光灯引起的动态反射。我们的方法不需要闪光灯/非闪光灯图像被成对捕获。在神经光场成功的基础上,我们使用现成的方法来捕获环境反射,而手电筒组件可以实现物理上精确的光度约束,以解耦反射和照明。与现有的逆绘制方法相比,我们的设置适用于非暗室环境,但回避了显式解决环境反射的固有困难。我们通过大量的实验证明,我们的方法是很容易实现的,随意设置,并始终优于现有的野生逆渲染技术。最后,我们的神经重建可以很容易地导出到PBR纹理三角形网格,为工业渲染器做好准备。
2023-03-24 cs.CV
PAWS: Perception of Articulation in the Wild at Scale from Egocentric Videos
Aalto University(阿尔托大学);INSAIT, Sofia University(索菲亚大学INSAIT研究所);ETH Zurich(苏黎世联邦理工学院);TU Munich(慕尼黑工业大学);MCML(慕尼黑机器学习中心);ELLIS Institute Finland(芬兰ELLIS研究所);University of Oulu(奥卢大学)
PAWS通过直接提取手-物体互动中的动作结构,提升机器人、仿真和动画中的3D场景理解能力,实现大规模野外视频中的动作感知突破。
2026-03-26 cs.CV
Perception in Reflection
Johns Hopkins University(约翰斯·霍普金斯大学);StepFun(阶跃星辰);BUPT(北京邮电大学);HUST(华中科技大学);Tsinghua University(清华大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文提出反思性感知(RePer)双模型反思机制及反思性感知学习(RPL),通过策略与评判模型交替迭代精化视觉感知,在图像理解、描述精度和幻觉减少上取得可量化提升,为多模态智能体提供稳健范式。
2025-04-09 cs.CV
Robust Reflection Removal with Flash-only Cues in the Wild
The Hong Kong University of Science and Technology(香港科技大学)
提出利用闪光灯独有图像作为无反射线索,结合专用模型去除反射,在真实图像上PSNR提升超过5.23dB,并扩展至手持错位场景,提升超过3.19dB。
2023-11-13 cs.CV
Blindly Assess Quality of In-the-Wild Videos via Quality-aware Pre-training and Motion Perception
Wuhan University(武汉大学);Shanghai Jiao Tong University(上海交通大学)
对野外采集的视频进行感知质量评估对于保证视频服务的质量至关重要。原始质量的参考视频的不可访问性和真实失真的复杂性对这种盲视频质量评估(BVQA)任务提出了很大的挑战。虽然基于模型的迁移学习是BVQA任务的有效和高效的范例,但探索如何以及如何桥接域转移以获得更好的视频表示仍然是一个挑战。在这项工作中,我们建议从具有真实失真的图像质量评估(IQA)数据库和具有丰富运动模式的大规模动作识别中转移知识。我们依靠这两组数据来学习特征提取器。我们训练目标VQA数据库使用混合列表排序损失函数的模型。在六个数据库上的大量实验表明,我们的方法在单个数据库和混合数据库训练设置下都具有很强的竞争力。验证了该方法各组成部分的合理性,并探索了进一步改进的简单方法。
2022-04-05 cs.CV eess.IV
Fine-Grained Anomaly Perception in Wild UGC-Enhanced Images: A Comprehensive Dataset and Difference-Fusion Framework
ByteDance(字节跳动)
本文针对野生UGC增强图像的异常感知问题,定义了UEAP任务,构建了UEAP-4k数据集,提出DFAP-UGC方法及LADTP训练策略,实验表明其性能优于基线方法。
2026-09-03 cs.AI cs.CV
OpenRR-5k: A Large-Scale Benchmark for Reflection Removal in the Wild
OPPO AI Center(OPPO人工智能中心)
本文提出OpenRR-5k大规模反射去除基准,含5,300对像素对齐图像及100张真实测试图,并通过U-Net模型与五种指标验证其有效性。
2025-06-05 cs.CV
NTIRE 2026 Challenge on Single Image Reflection Removal in the Wild: Datasets, Results, and Methods
NTIRE 2026 Challenge on Single Image Reflection Removal in the Wild: Datasets, Results, and Methods(NTIRE 2026 挑战:单图像反射去除在野外:数据集、结果和方法)
本文回顾了2026年NTIRE挑战赛,旨在解决现实场景中单图像反射去除问题,通过OpenRR-5k数据集推动该领域的发展,提升真实场景下的反射去除性能。
2026-08-05 cs.CV
OpenRR-1k: A Scalable Dataset for Real-World Reflection Removal
OPPO AI Center(OPPO人工智能中心)
本文提出便捷、低成本且可扩展的反射数据采集范式,并构建含1000对野外高质量像素对齐图像的 OpenRR-1k 数据集,用于评估和提升真实场景反射去除方法的鲁棒性。
2025-06-10 cs.CV
Patch2CAD: Patchwise Embedding Learning for In-the-Wild Shape Retrieval from a Single Image
Google Research, Brain Team(谷歌研究院,大脑团队);Technical University of Munich(慕尼黑工业大学)
从RGB图像输入的物体形状的3D感知是语义场景理解的基础,在我们的空间三维现实世界环境中基于图像的感知。为了实现对象的图像视图和3D形状之间的映射,我们利用现有的大型数据库中的CAD模型先验,并提出了一种新的方法来构建一个联合嵌入空间之间的2D图像和3D CAD模型在一个补丁明智的方式-建立一个对象的图像视图的补丁和补丁的CAD几何形状之间的对应关系。这使得能够进行零件相似性推理,以检索与新图像视图相似的CAD,而无需在数据库中进行精确匹配。我们的补丁嵌入提供了更强大的CAD检索的形状估计在我们的端到端的CAD模型的形状和姿态的估计在一个单一的输入图像中检测到的对象。在野外,复杂的图像从ScanNet的实验表明,我们的方法是更强大的比最先进的在现实世界中的场景没有任何确切的CAD匹配。
2021-08-20 cs.CV
PhysReflect: Geometry and Perception Guided Diffusion for Physically-Plausible Mirror Reflections
Harbin Institute of Technology(哈尔滨工业大学)
PhysReflect提出几何与感知引导的扩散框架,通过几何损失和感知损失直接监督镜面反射,在合成和真实基准上超越现有方法,提升反射的物理合理性。
2026-09-22 cs.AI cs.CV
Recovering and Simulating Pedestrians in the Wild
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学);MIT(麻省理工学院)
传感器仿真是测试自动驾驶车辆性能和数据增强以改善训练感知系统的关键组成部分。典型的方法依赖于艺术家创建3D资源及其动画来生成新的场景。然而,这并不成比例。相比之下,我们建议从自动驾驶汽车在野外捕获的传感器读数中恢复行人的形状和运动。为了实现这一目标,我们制定了能源最小化的问题,在一个深层次的结构化模型,利用人体形状先验,重投影与从图像中提取的2D姿态的一致性,并鼓励重建的网格与激光雷达读数的光线投射器。重要的是,我们不需要任何地面实况3D扫描或3D姿态注释。然后,我们将重建的行人资产银行在一个现实的激光雷达模拟系统中,通过执行运动重定向,并表明模拟的激光雷达数据可以用来显着减少的注释的真实世界的数据量所需的视觉感知任务。
2020-11-16 cs.CV cs.RO
Invisible Reflections: Leveraging Infrared Laser Reflections to Target Traffic Sign Perception
University of California, Irvine(加利福尼亚大学尔湾分校);University of Florida(佛罗里达大学);Toyota InfoTech Labs(丰田信息技术实验室);The University of Electro-Communications(电气通信大学)
本研究提出了一种利用红外激光反射(ILR)对联网自动驾驶车辆交通标志感知系统进行不可见物理攻击的方法,在移动场景中攻击成功率超80.5%,并提出可检测96%此类攻击的防御策略。
2024-01-07 cs.CR cs.CV
VisReflect: Latent Visual Reflection for Fine-Grained Perception in Long Visual Context
King Abdullah University of Science and Technology(卡布斯大学)
针对长视觉上下文中细粒度感知的挑战,提出VisReflect框架,通过潜在空间中的连续视觉反射选择性强调相关区域,无需显式定位或额外前向传播,在图像和视频基准上分别提升4.1%和1.8%,并减少约44%推理时间。
2026-06-29 cs.CV
Seeing Around Street Corners: Non-Line-of-Sight Detection and Tracking In-the-Wild Using Doppler Radar
Algolux;Mercedes-Benz AG(梅赛德斯-奔驰股份公司);Princeton University(普林斯顿大学);Ulm University(乌尔姆大学);University of Kassel(卡塞尔大学)
传统的传感器系统记录有关直接可见物体的信息,而被遮挡的场景成分被认为在测量过程中丢失。非视线(NLOS)方法试图从间接反射中恢复这些隐藏的对象-微弱的信号分量,传统上被视为测量噪声。现有的NLOS方法很难在实验室外记录这些低信号分量,并且无法扩展到大规模户外场景和高速运动,这在汽车场景中很常见。特别地,光学NLOS捕获从根本上受到漫间接反射的四次强度衰减的限制。在这项工作中,我们离开可见光波长的方法,并证明检测,分类和跟踪隐藏的物体在大规模的动态环境中使用多普勒雷达,可以在低成本的批量生产。为了解开嘈杂的间接和直接反射,我们从多普勒速度和位置测量的时间序列中学习,随着时间的推移,我们在一个联合的NLOS检测和跟踪网络中融合。我们在野外汽车场景中验证了该方法,包括停放的汽车或房屋立面作为中继表面的序列,并在动态汽车环境中展示了低成本,实时的NLOS。
2020-03-31 cs.CV eess.IV
Native Association: Confidence-Aware Human Perception in the Wild with a Foundation VLM
WSC Sports(WSC体育公司(或WSC Sports,按原文保留))
本研究提出原生关联方法,通过微调0.77B的Florence-2模型,以语法约束序列直接输出球员属性,消除身份互换,相比零样本API将错误关联降低4倍,并实现检测F1达0.95,支持置信度拒绝与缩放重读,表明增益源于结构而非权重。
2026-09-29 cs.CV
OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction
MIT(麻省理工学院);Duke University(杜克大学);Brown University(布朗大学);University of Washington(华盛顿大学);Harvard University(哈佛大学)
OpenTouch是首个现实场景的第一人称全手触觉数据集,通过同步视频-触觉-姿态数据和详细注释,推动多模态感知和机器人操作研究。
2025-12-18 cs.AI cs.CV cs.RO
Challenges in Plane Symmetry: From Theory to Perception
Middle East Technical University(中东科技大学);TED University(TED大学)
本文选取一个具有挑战性的平面装饰图案,结合群论分析与感知实验,揭示人类所感知的对称性与理论规定之间存在不匹配。
2025-03-15 cs.CV
An Improved Baseline Framework for Pose Estimation Challenge at ECCV 2022 Visual Perception for Navigation in Human Environments Workshop
Beijing University of Posts and Telecommunications(北京邮电大学)
本技术报告描述了我们在ECCV 2022人类环境中导航视觉感知研讨会上应对姿态估计挑战的一流解决方案。在这个挑战中,我们的目标是从野外拼接的全景图像中估计人类的姿势。我们的方法是基于用于人体检测的Faster R-CNN和用于人体姿态估计的HRNet构建的。我们描述了JRDB-Pose数据集的技术细节,以及一些实验结果。在比赛中,我们在JRDB-Pose的测试集上获得了0.303 $\text{OSPA}_{\text{IOU}}$和64.047 $\text{AP}_{\text{0.5}}$。
2023-03-13 cs.CV
Stereoscopic Depth Perception Through Foliage
Johannes Kepler University Linz(约翰开普勒林茨大学);University of Cambridge(剑桥大学)
针对植被遮挡导致深度辨别困难的问题,提出结合计算光学合成孔径感知与人类立体视觉的方法,实验证明该协同系统能有效辨别隐藏物体深度,实现单一方法无法完成的任务。
2023-10-24 cs.CV eess.IV
Reconstructing Objects in-the-wild for Realistic Sensor Simulation
Waabi;University of Toronto(多伦多大学)
本文提出NeuSim方法,融合LiDAR与相机数据从稀疏野外数据重建物体精准几何与真实外观,视角合成性能优异,可生成多传感器数据用于自动驾驶感知模型评估。
2023-11-09 cs.CV cs.RO
Learning to Discover Reflection Symmetry via Polar Matching Convolution
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
反射对称检测的任务仍然具有挑战性,由于显着的变化和模糊的对称模式在野外。此外,由于局部区域需要在反射中匹配以检测对称模式,因此标准卷积网络很难学习该任务,因为标准卷积网络与旋转和反射不是等变的。为了解决这个问题,我们引入了一种新的卷积技术,称为极坐标匹配卷积,它利用了极坐标特征池,自相似编码和不同角度轴的系统内核设计。提出的高维核卷积网络有效地学习从真实世界的图像中发现对称模式,克服了标准卷积的局限性。此外,我们提出了一个新的数据集,并引入了一个自监督学习策略,通过合成图像来增强数据集。实验表明,我们的方法优于国家的最先进的方法在准确性和鲁棒性。
2021-09-03 cs.CV
Visual to Sound: Generating Natural Sound for Videos in the Wild
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Adobe Research(Adobe研究院)
视觉和声音作为人类传统的五种感官(视觉、听觉、味觉、嗅觉和触觉)中的两种,是人类认识世界的基本来源。在自然事件中,这两种模式往往相互关联,共同影响人类的感知。在本文中,我们提出的任务,产生声音给定的视觉输入。这些功能可以帮助实现虚拟现实中的应用程序(自动为虚拟场景生成声音),或者为视觉障碍者提供对图像或视频的额外访问。作为这个方向的第一步,我们应用基于学习的方法来生成给定输入视频帧的原始波形样本。我们在包含各种声音(例如环境声音和来自人/动物的声音)的视频数据集上评估我们的模型。我们的实验表明,生成的声音是相当逼真的,并有良好的时间同步与视觉输入。
2018-06-01 cs.CV
Local Region Perception and Relationship Learning Combined with Feature Fusion for Facial Action Unit Detection
University of Science and Technology of China(中国科学技术大学)
人类情感行为分析在人机交互系统中起着至关重要的作用。在本文中,我们介绍了我们提交的CVPR 2023年情感行为分析比赛(ABAW)。我们提出了一个单阶段训练的AU检测框架。具体来说,为了有效地提取与AU检测相关的面部局部区域特征,我们使用局部区域感知模块来有效地提取不同AU的特征。同时,我们使用一个基于图神经网络的关系学习模块来捕捉AU之间的关系。此外,考虑到目标人脸的整体特征对AU检测的作用,我们还利用特征融合模块对骨干网络提取的特征信息和关系学习模块提取的AU特征信息进行融合。我们还采用了一些抽样方法、数据增强技术和后处理策略来进一步提高模型的性能。
2023-03-19 cs.CV
V-Reflection: Transforming MLLMs from Passive Observers to Active Interrogators
AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州)人工智能方向);International Digital Economy Academy(国际数字经济学院);MedVisAI Lab, Lee Kong Chian School of Medicine, Nanyang Technological University, and Centre of AI in Medicine(医学视觉人工智能实验室,南洋理工大学Lee Kong Chian医学院,以及人工智能在医学中的中心);South China University of Technology(华南理工大学);Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(香港理工大学电子与电气工程系)
本文提出V-Reflection框架,通过'思考后再观察'的视觉反思机制,使多模态大语言模型能主动提问视觉特征空间,提升细粒度任务的感知能力。
2026-04-16 cs.AI cs.CV
ActiveMimic: Egocentric Video Pretraining with Active Perception
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);Current Robotics;NeoteAI
提出ActiveMimic框架,从自我中心人类视频中恢复同步的相机和手腕轨迹,将相机运动建模为视角动作,联合学习主动感知和操作技能,使预训练模型在机器人任务上达到与机器人数据预训练相当的性能。
2026-06-04 cs.CV cs.RO
CalibAnyView: Beyond Single-View Camera Calibration in the Wild
Monash University(蒙纳士大学);Technical University of Munich(慕尼黑技术大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
CalibAnyView通过多视角几何一致性建模,提升野外多视角相机校准的鲁棒性和精度,适用于复杂场景下的3D重建和机器人感知。
2026-08-13 cs.CV
ArchSym: Detecting 3D-Grounded Architectural Symmetries in the Wild
Cornell University(康奈尔大学);Kempner Institute, Harvard University(哈佛大学凯普勒研究所)
本文提出首个基于单张真实RGB图像检测3D基础反射对称性的框架,通过自动生成大规模建筑对称性数据集ArchSym,并引入单视角对称检测器,实现对3D对称性的精确定位。
2026-04-24 cs.CV
Primate Face Identification in the Wild
Indraprastha Institute of Information Technology Delhi(德里英德拉普拉斯塔信息技术学院);Wildlife Institute of India(印度野生动物研究所)
快速城市化和森林砍伐造成的生态失衡对几种野生动物的数量产生了不利影响。这种栖息地的丧失使黑猩猩和猕猴等几种非人类灵长类动物的数量发生了变化,并限制它们在人类住区附近共存,这往往导致人类与野生动物在争夺资源时发生冲突。为了有效地保护野生动物和管理冲突,有必要定期监测人口和冲突地区。然而,现有的方法,如用于数据汇集的实地访问和专家的手动分析是资源密集型的、繁琐的和耗时的,因此需要自动化的、非侵入性的、更有效的替代方案,如基于图像的面部识别。个体识别中的挑战由于不相关的因素而出现,如姿势、照明变化和由于不受控制的环境引起的遮挡,这进一步由于有限的训练数据而加剧。受人类感知的启发,我们建议学习对这些滋扰因素具有鲁棒性的表示,并捕获个体身份子流形的相似性概念。所提出的方法,灵长类人脸识别(PFID),通过训练网络来区分正面和负面的图像对来实现这一点。PFID损失增加了标准交叉熵损失与成对损失,以学习更多的判别和概括的功能,从而使其适用于其他相关的识别任务,如开集,闭集和验证。我们报告了两种灵长类动物,恒河猴和黑猩猩的面部识别的四个协议的分类,验证,闭集识别和开集识别的最先进的准确性。
2019-07-03 cs.CV eess.IV
RoSHI: A Versatile Robot-oriented Suit for Human Data In-the-Wild
Department of Electrical and Systems Engineering, University of Pennsylvania(宾夕法尼亚大学电气与系统工程系)
RoSHI结合低成本稀疏IMU与Project Aria眼镜,实现从第一人称感知中估计完整3D姿态和身体形状,用于真实世界机器人学习。
2026-04-08 cs.AI cs.CV cs.RO
SRN: Side-output Residual Network for Object Reflection Symmetry Detection and Beyond
在本文中,我们通过提出一个新的基准和一种端到端的深度学习方法,为复杂背景下的物体反射对称性检测建立了一个基线,为野外对称性检测开辟了一个有前途的方向。新的基准Sym-PASCAL跨越了包括对象多样性、多对象、部分不可见性和各种复杂背景在内的挑战,这些挑战远远超出了现有数据集。端到端的深度学习方法,被称为侧输出残差网络(SRN),利用输出残差单元(RU)来拟合对象真实对称性与多个阶段的侧输出之间的误差。通过以深到浅的方式级联RU,SRN利用多个阶段之间的错误“流”来解决用有限的卷积层拟合复杂输出、抑制复杂背景以及在不同尺度下有效匹配对象对称性的挑战。SRN进一步升级为多任务侧输出残差网络(MT-SRN),用于联合对称性和边缘检测,证明了其对图像到掩模学习任务的通用性。实验结果验证了Sym-PASCAL基准测试中与真实世界图像相关的挑战性方面以及所提出的SRN方法的最新性能。
2019-03-15 cs.CV
ActiveUMI: Robotic Manipulation with Active Perception from Robot-Free Human Demonstrations
Shanghai University(上海大学);Stanford University(斯坦福大学);Midea Group(美的集团)
本研究提出ActiveUMI框架,结合便携式VR遥操作与主动第一视角感知捕捉,将人类演示迁移至机器人,在双手操作任务上实现70%的分布内成功率与56%的跨场景泛化成功率,为构建通用机器人策略提供可扩展方案。
2025-10-02 cs.CV cs.RO
One-Shot Object Affordance Detection in the Wild
University of Science and Technology of China(中国科学技术大学);The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
示能检测是指识别图像中物体的潜在动作可能性,这是机器人感知和操作的关键能力。为了在不可见的场景中赋予机器人这种能力,我们首先在本文中研究了具有挑战性的一次性示能检测问题,即,给定描绘动作目的的支持图像,应当检测场景中具有共同示能表示的所有对象。为此,我们设计了一个单镜头启示检测网络(OSAD-Net),它首先估计人类的动作目的,然后将其转移到帮助检测所有候选图像的共同启示。通过协作学习,OSAD-Net可以捕获具有相同底层启示的对象之间的共同特征,并学习感知不可见启示的良好适应能力。此外,我们建立了一个大规模的目的驱动的示能数据集v2(PADv 2),收集和标记30 k图像从39个示能和103个对象类别。凭借复杂的场景和丰富的注释,我们的PADv 2数据集可以用作测试平台,以基准测试示能检测方法,还可以促进下游视觉任务,如场景理解、动作识别和机器人操作。具体来说,我们在PADv 2数据集上进行了综合实验,包括来自几个相关研究领域的11个先进模型。实验结果表明,我们的模型优于以前的代表性的客观指标和视觉质量。基准测试套件可在https://github.com/lhc1224/OSAD Net上获得。
2021-08-08 cs.CV
HandyPriors: Physically Consistent Perception of Hand-Object Interactions with Differentiable Priors
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Maryland College Park(马里兰大学帕克分校);Nvidia(英伟达)
HandyPriors提出统一可微物理与渲染先验的流水线,实现高精度或高速的手-物姿态估计,并泛化至机器人操作与野外感知。
2023-12-26 cs.CV cs.RO
Object Pose Distribution Estimation for Determining Revolution and Reflection Uncertainty in Point Clouds
SDU Robotics(SDU机器人研究所);The Mærsk Mc-Kinney Møller Institute(马士基麦金尼莫勒研究所);University of Southern Denmark(南部丹麦大学)
本文提出了一种基于深度学习的点云姿态分布估计方法,无需RGB输入,用于评估旋转和反射的不确定性。
2025-12-08 cs.CV
EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents
The University of Hong Kong(香港大学);Tampere University(坦佩雷大学);The Chinese University of Hong Kong(香港中文大学);Max-Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出EmbodMocap,利用两部移动iPhone实现低成本、便携式的人体-场景重建,通过联合校准双RGB-D序列,在无静态相机和标记的情况下实现日常环境中的度量尺度和场景一致的重建,提升具身智能研究。
2026-04-02 cs.CV
MindEdit-Bench: Benchmarking Object-Level Counterfactual Spatial Reasoning in VLMs from In-the-Wild Photos
ZODA;Zhejiang University(浙江大学);Tongji University(同济大学);The University of Tokyo(东京大学)
提出MindEdit-Bench基准,包含六项空间推理任务,其中两项新任务(L4和L5)测试对象级反事实推理,VLM平均准确率仅8%-31%,远低于人类的81%-97%。
2026-07-02 cs.AI cs.CL cs.CV
Semantic Analysis of (Reflectional) Visual Symmetry: A Human-Centred Computational Model for Declarative Explainability
University of Bremen(不来梅大学);Norwegian University of Science and Technology(挪威科技大学)
我们提出了一个计算模型的语义解释对称性的自然场景。主要特征包括以人为中心的表示,以及基于知识表示和基于深度学习的计算机视觉方法集成的支持深度语义问答的声明性、可解释的解释模型。在视觉艺术的背景下,我们展示了框架的能力,以产生以人为中心的,可查询的,关系结构,还评估了框架与人类视觉对称感知的实证研究。我们的框架代表了基础的、综合的视觉和知识表示以及推理方法在艺术、心理和社会科学中的应用,并由这些方法驱动。
2018-09-14 cs.AI cs.CV cs.LO
Designing for Difference: How Human Characteristics Shape Perceptions of Collaborative Robots
本文通过在线实验和认知-情感映射方法,研究人类特征与交互范式如何影响人们对协作机器人的评价,发现反社会行为评分最低、高龄协作评价更敏感、物体交接场景更受认可,强调亲社会设计和反思方法对包容性机器人开发的重要性。
2025-07-22 cs.AI cs.CV cs.ET