EgoErrorVQA: Assess Egocentric Comprehension Capabilities through Procedural Errors for Ego-Agentic AI
The Hong Kong Polytechnic University(香港理工大学);Nanyang Technological University(南洋理工大学)
针对现有视觉智能体和VLMs忽略以自我为中心视角评估程序理解能力的问题,本文提出EgoErrorVQA任务,开发基于A2A协议的评估智能体,引入Ego-ADR框架提升模型对程序错误的理解,取得良好效果。
2026-08-26 cs.CV
TI-PREGO: Chain of Thought and In-Context Learning for Online Mistake Detection in PRocedural EGOcentric Videos
Sapienza University of Rome(萨皮恩扎罗马大学);ItalAI;University of Catania(卡塔尼亚大学);National Institute of Nuclear Physics - LNF(国家核物理研究所 - LNF)
TI-PREGO通过双分支架构结合思维链和上下文学习,实现对第一人称视频中开放集程序错误的在线检测,展现方法在动态场景中的鲁棒性和有效性。
2026-01-05 cs.CV
EgoOops: A Dataset for Mistake Action Detection from Egocentric Videos referring to Procedural Texts
Kyoto University(京都大学);Sony Interactive Entertainment(索尼互动娱乐)
针对现有错误检测研究缺乏流程文本支撑、相关数据集覆盖领域有限的问题,本文提出跨领域第一人称错误动作检测数据集EgoOops及结合视频文本对齐与标签分类的检测方法,验证了流程文本对错误检测的重要性。
2025-07-31 cs.AI cs.CL cs.CV
Differentiable Task Graph Learning: Procedural Activity Representation and Online Mistake Detection from Egocentric Videos
University of Catania(卡塔尼亚大学)
本文提出可微任务图学习框架,通过边权重最大似然优化实现梯度学习,提升任务图预测与第一人称视频在线错误检测性能。
2025-01-09 cs.CV
Technical Report for Egocentric Mistake Detection for the HoloAssist Challenge
Technical University of Munich(慕尼黑技术大学)
针对真实场景中的在线失误检测,本文提出可识别程序性与执行错误、并用 LLM 生成反馈的框架,在 HoloAssist 基准上获得第二名。
2025-06-06 cs.CV
Pair2Scene: Learning Local Object Relations for Procedural Scene Generation
The University of Hong Kong(香港大学);Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Shenzhen Loop Area Institute(深圳河套学院)
本文提出Pair2Scene框架,通过学习局部规则与场景层次和物理算法,生成高保真的3D室内场景,优于现有方法。
2026-05-10 cs.CV
Assembly101: A Large-Scale Multi-View Video Dataset for Understanding Procedural Activities
Meta Reality Labs Research(Meta现实实验室);National University of Singapore(新加坡国立大学)
Assembly101是一个新的程序性活动数据集,包含4321个视频,这些视频是人们组装和拆卸101个“可拆卸”玩具车的视频。参与者在没有固定指令的情况下工作,序列在动作顺序、错误和纠正方面具有丰富而自然的变化。Assembly101是第一个多视图动作数据集,同时具有静态(8)和自我中心(4)记录。序列注释有超过100K的粗粒度和1M的细粒度动作段,以及18M的3D手部姿势。我们基准三个动作理解任务:识别,预测和时间分割。此外,我们提出了一个新的任务检测错误。独特的记录格式和丰富的注释集使我们能够研究新玩具的泛化,跨视图传输,长尾分布以及姿势与外观。我们设想Assembly101将作为一个新的挑战,调查各种活动的理解问题。
2022-05-01 cs.CV
YETI (YET to Intervene) Proactive Interventions by Multimodal AI Agents in Augmented Reality Tasks
University of Maryland(马里兰大学);Google(谷歌公司)
针对现有多模态AI智能体被动响应的局限,研究提出YETI智能体,基于SSIM场景理解信号与对齐信号判断主动干预时机,在AR任务辅助场景的HoloAssist基准上验证了效果。
2025-01-16 cs.AI cs.CV cs.ET
Semi-Supervised Adversarial Recognition of Refined Window Structures for Inverse Procedural Façade Modeling
Southwest Jiaotong University(西南交通大学);Capital Normal University(首都师范大学)
深度学习方法是众所周知的数据饥渴,这需要大量的标记样本。不幸的是,大量的交互式样本标记工作极大地阻碍了深度学习方法的应用,特别是对于需要异构样本的3D建模任务。为了减轻立面学习3D建模的数据标注工作,提出了一种嵌入逆过程建模的半监督对抗识别策略。从纹理细节层次模型(LOD-2)出发,利用经典的卷积神经网络对图像块进行窗口类型识别和参数估计。然后将窗口类型和参数组装成过程语法。在现有的3D建模软件中构建了一个简单的程序引擎,生成细粒度的窗口几何形状。为了从少量标记样本中获得有用的模型,我们利用生成对抗网络以半监督的方式训练特征提取器。对抗训练策略还可以利用未标记的数据,使训练阶段更加稳定。使用公开的立面图像数据集的实验表明,所提出的训练策略可以获得约10%的分类精度和50%的改进,在相同的网络结构下的参数估计。此外,在针对具有不同外观样式的不可见数据进行测试时,性能提升更加明显。
2022-09-24 cs.CV
Neural inverse procedural modeling of knitting yarns from images
University of Bonn(波恩大学);KAUST(阿卜杜拉国王科技大学);Delft University of Technology(代尔夫特理工大学)
我们研究了神经逆过程建模的能力,以从所描绘的纱线样品的单个图像中推断具有纤维级细节的高质量过程纱线模型。虽然直接推断所有参数的基础上,一个单一的神经网络的纱线模型似乎是一个直观的选择,我们表明,纱线结构的复杂性方面的扭曲和迁移特性的所涉及的纤维可以更好地遇到在合奏的网络,专注于个人的特点。我们分析了不同的损失函数的影响,包括参数损失,以惩罚推断参数与地面实况注释的偏差,- 重建损失,以强制与训练图像相比针对所估计的参数生成的图像的类似统计,以及附加的正则化项,以显式地惩罚合成图像的潜码与训练图像中的真实图像的平均潜码之间的偏差。编码器的潜在空间。我们证明了精心设计的参数化,程序化纱线模型与各自的网络集成以及损失函数的组合,甚至允许在仅对合成数据进行训练时进行鲁棒的参数推断。由于我们的方法依赖于具有参数注释的纱线数据库的可用性,并且我们不知道这样的相应的可用数据集,因此据我们所知,我们还提供了具有关于相应纱线参数的注释的纱线图像的第一数据集。为此,我们使用了一种新的纱线生成器,提高了现实主义的生产结果比以前的方法。
2023-03-01 cs.CV
Procedural Modeling and Physically Based Rendering for Synthetic Data Generation in Automotive Applications
Linköping University(林雪平大学);D Labs(7D实验室)
我们提出了一个新的,系统的方法,用于生成高度逼真的,注释的合成数据的训练深度神经网络在计算机视觉任务的概述和评估。主要贡献是一个程序化的世界建模方法,使高可变性加上物理上准确的图像合成,是一个偏离的手建模的虚拟世界和近似的图像合成方法中使用的实时应用。我们的方法的好处包括灵活的,物理上准确和可扩展的图像合成,隐式的广泛覆盖的类和功能,以及完整的数据内省的注释,这一切都有助于质量和成本效益。为了评估我们的方法和所得数据的有效性,我们将自动驾驶汽车和机器人导航的语义分割作为主要应用,并使用合成数据对多个深度学习架构进行训练,并对有机(即真实世界)数据进行微调。评估表明,我们的方法提高了神经网络的性能,即使是适度的实施努力产生国家的最先进的结果。
2017-10-18 cs.CV
Guided Proceduralization: Optimizing Geometry Processing and Grammar Extraction for Architectural Models
Purdue University(普渡大学)
我们描述了一个引导程序化框架,优化几何处理的建筑输入模型,以提取目标语法。我们的目标是通过从现有的3D模型创建程序表示来提供高效的艺术工作流程,其中程序表现力由用户控制。建筑重建和建模任务已经被处理为耗时的手动过程或难以控制和艺术影响的程序生成。我们通过将现有的手动建模的架构转换为过程可编辑的参数化模型,并通过让用户定义目标过程表示来进行过程域的指导,从而弥合了创建和生成之间的差距。此外,我们提出了各种应用程序的表示,包括指导完成点云模型,可控的三维城市建模,以及其他好处的程序建模。
2018-07-06 cs.CV cs.GR
Single-view 3D reconstruction via inverse procedural modeling
Moscow State University(莫斯科国立大学);Keldysh Institute of Applied Mathematics(克尔德什应用数学研究所)
提出基于逆向过程建模的 3D 重建方法,结合可微渲染与可微及不可微过程生成器,在单张或少量输入图像下实现高精度且无伪影的复杂对象重建。
2023-10-20 cs.CV cs.GR
Hand-Aware Transition Modeling for Bimanual Procedural Anomaly Detection
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Hunan University(湖南大学)
提出HACT过渡模型,通过角色保持历史和标记时间点过程建模双手事件,实现程序性异常检测,在双手电动工具程序上取得最优AUPRC和F1,且无需重训即可泛化。
2026-09-21 cs.CV
Modeling Multiple Normal Action Representations for Error Detection in Procedural Tasks
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Peng Cheng Laboratory(鹏城实验室)
针对程序化任务中因存在多种有效后续动作导致静态原型错误检测失效的问题,提出AMNAR框架,通过预测所有有效后续动作并重构其正常动作表示与当前动作对比来检测错误,达到了最先进的性能。
2025-04-02 cs.CV
WorldPrediction: A Benchmark for High-level World Modeling and Long-horizon Procedural Planning
Meta FAIR Paris(Meta FAIR巴黎);The Hong Kong University of Science and Technology(香港科技大学);ISIR Sorbonne Université(索邦大学ISIR)
本文提出WorldPrediction基准,通过区分正确动作或动作序列来评估AI模型的高层世界建模与长时程程序化规划能力,并发现当前前沿模型准确率远低于人类。
2025-06-04 cs.CV
TexPro: Text-guided PBR Texturing with Procedural Material Modeling
Zhejiang University(浙江大学);Pico, ByteDance Inc(字节跳动旗下Pico公司);Communication University of Zhejiang(浙江传媒学院)
该研究提出TexPro方法,结合文生图模型与可微程序化材质建模,实现文本引导的3D网格PBR纹理生成,解决多视角图像与网格不对齐问题,性能优于现有最优方法且支持重新打光。
2025-05-18 cs.CV cs.GR
3DCodeBench: Benchmarking Agentic Procedural 3D Modeling Via Code
Google DeepMind(谷歌DeepMind);University of Southern California(南加州大学);Google Research(谷歌研究)
提出3DCodeBench基准,评估12种视觉语言模型将文本和图像参考转换为程序化3D建模代码的能力,并构建基于人类偏好的3DCodeArena排名平台。
2026-05-31 cs.AI cs.CV cs.GR
IndustReal: A Dataset for Procedure Step Recognition Handling Execution Errors in Egocentric Videos in an Industrial-Like Setting
Eindhoven University of Technology(埃因霍温理工大学);ASML Research(ASML研究院)
针对工业场景中程序性动作缺乏成功度量的问题,提出程序步骤识别(PSR)任务,并发布包含程序性错误和执行错误的多模态 IndustReal 数据集,同时提供动作识别、装配状态检测及 PSR 的基准。
2023-10-26 cs.CV
3D-GPT: Procedural 3D Modeling with Large Language Models
University of Oxford(牛津大学);Australian National University(澳大利亚国立大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);Cybever
3D-GPT利用大型语言模型分解程序化3D建模任务,通过三个核心代理实现指令驱动建模,并与Blender集成,提升自动化内容创作效率。
2024-05-29 cs.CV cs.GR cs.LG
Towards Neuro-Symbolic Procedural Reasoning for Long-Horizon Vision-Language-Action Manipulation
Fraunhofer IPK(弗劳恩霍夫生产系统与设计技术研究所);Technische Universität Berlin(柏林工业大学)
该研究针对长视距VLA操作的脆弱性,提出结合VLA控制、任务图与多模态过程记忆的神经符号框架,利用伪注视指导微调,在两操作领域验证了结构化推理与视觉指导的互补作用。
2026-09-07 cs.CV cs.RO
ESTANet: Efficient Online Error Detection in Procedural Videos via Prediction Inconsistency
Honda Research Institute, USA(本田研究所(美国));Northeastern University(东北大学)
提出ESTANet轻量框架,利用多个动作检测器在正确与错误执行时的预测不一致性,通过多数投票实现实时在线错误检测,在三个数据集上达到最优性能。
2026-06-25 cs.AI cs.CV
Procedura: Agentic 3D Modeling with Procedural Control
针对原生3D生成器缺乏部件结构与可编辑性的问题,提出Procedura框架,以LLM编码能力构建参数化程序集,在P3D-Bench和MechBench-36上表现优于现有方法,生成可编辑的部件结构化3D模型。
2026-08-28 cs.CV cs.GR
FloraForge: LLM-Assisted Procedural Generation of Editable and Analysis-Ready 3D Plant Geometric Models For Agricultural Applications
Iowa State University(爱荷华州立大学);Purdue University(普渡大学)
FloraForge利用大语言模型辅助生成可编辑且适用于分析的3D植物几何模型,结合参数化表示与生物约束,实现农业应用中的高效建模与分析。
2025-12-11 cs.AI cs.CV
Design and Deployment of Photo2Building: A Cloud-based Procedural Modeling Tool as a Service
Purdue University(普渡大学)
我们提出了一个Photo 2Building工具来创建一个合理的3D模型的建筑物,只有一张照片。我们的工具是基于以前的桌面版本,如本文所述,转换成一个客户端-服务器模型,与作业排队,网页支持,并支持并发使用。据报道,基于云的网络访问工具平均可以在40秒内重建一座建筑物,目前的价格仅为0.60美元。这提供了一个非常可扩展和可能广泛的工具,用于创建城市设计和规划应用中使用的建筑模型。随着快速城市化对天气和气候以及资源可用性的影响越来越大,获得这种服务预计将有助于世界各地的城市规划者、城市气象学家等广泛的用户,以改善对城市天气的预测,并设计未来具有气候抗御力的城市。
2020-08-04 cs.CV cs.DC cs.GR
Generating 3D models from sketches of human faces using a combined approach of Convolutional Neural Networks, Procedural Modeling, and Contour Mapping
Behaviour Digital
提出一种结合卷积神经网络、参数化3D人脸模型和主动蛇形轮廓的新方法,首次通过训练CNN检测素描中的表情并生成对应3D模型。
2026-05-25 cs.CV cs.GR cs.LG
EgoExoLearn: A Dataset for Bridging Asynchronous Ego- and Exo-centric View of Procedural Activities in Real World
OpenGVLab, Shanghai AI Laboratory(上海人工智能实验室OpenGVLab);The University of Tokyo(东京大学);Nanjing University(南京大学);Fudan University(复旦大学);Zhejiang University(浙江大学);USTC(中国科学技术大学);SIAT, CAS(中国科学院深圳先进技术研究院)
本文提出EgoExoLearn数据集,通过模拟人类示范跟随过程,提供120小时的自我中心与示范视频、注视数据及多模态标注,并建立跨视角关联、动作规划和技能评估基准,以促进AI智能体在真实世界中通过观察人类进行学习。
2025-03-06 cs.CV
ProxyBuild: Text-Guided Structured 3D Building Generation with Mesh-Anchored Procedural Proxies
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室);Harbin Institute of Technology(哈尔滨工业大学);Harbin Institute of Technology, Suzhou Research Institute(哈尔滨工业大学苏州研究院)
提出ProxyBuild混合框架,利用网格锚定程序化代理(MAPP)解耦生成过程,结合面-边二分图编码器和LLM解析,实现文本引导的结构化三维建筑生成,显著缓解过平滑、碰撞等问题。
2026-09-22 cs.CV cs.GR
A Benchmark for Structured Procedural Knowledge Extraction from Cooking Videos
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research Asia(微软亚洲研究院);Beijing Institute of Technology(北京理工大学);University of Southern California(南加利福尼亚大学)
观看教学视频通常用于了解程序。视频描述是自动收集这些知识的一种方式。然而,它只提供了一个间接的,多模态模型的整体评估,没有更细粒度的量化措施,他们学到了什么。相反,我们建议,从烹饪视频中提取的结构化程序知识的基准。这项工作是对现有任务的补充,但需要模型以动词-参数元组的形式产生可解释的结构化知识。我们的手动注释开放词汇资源包括356个教学烹饪视频和15,523个视频剪辑/烹饪级注释。我们的分析表明,所提出的任务是具有挑战性的和标准的建模方法,如无监督分割,语义角色标注,和视觉动作检测时,被迫预测每一个动作的程序在一个结构化的形式表现不佳。
2020-10-09 cs.CL cs.CV
Checklist for responsible deep learning modeling of medical images based on COVID-19 detection studies
Warsaw University of Technology(华沙理工大学);Medical University of Warsaw(华沙医科大学);University of Warsaw(华沙大学)
COVID-19疾病的突然爆发和不受控制的传播是当今最重要的全球问题之一。在很短的时间内,它导致了许多用于COVID-19检测的深度神经网络模型的开发,这些模型具有可解释性模块。在这项工作中,我们提出的模型的各个方面进行了系统的分析。我们的分析揭示了在数据采集、模型开发和解释构建的不同阶段所犯的许多错误。在这项工作中,我们概述了在调查机器学习文章中提出的方法,并指出了由于缺乏对放射摄影领域的深入了解而出现的典型错误。我们提出了两个方面的观点:该领域的专家-放射科医生和处理模型解释的深度学习工程师。最终的结果是一份建议清单,其中包含可靠的COVID-19诊断模型所需满足的最低条件。
2021-04-23 cs.CV cs.LG eess.IV
InstrAct: Towards Action-Centric Understanding in Instructional Videos
Pennsylvania State University(宾夕法尼亚州立大学);Microsoft Research(微软研究院);Nanyang Technological University(南洋理工大学)
本文提出InstrAction框架,通过数据驱动策略和辅助目标提升指令视频中动作识别与建模,建立InstrAct基准测试集,优于现有视频基础模型。
2026-04-09 cs.AI cs.CV