Reverse Prompt: Cracking the Recipe Inside Text-to-Image Generation
Nanyang Technological University(南洋理工大学);JD Explore Academy(京东探索研究院)
本文提出自动反向提示优化(ARPO)方法,通过迭代模仿梯度优化从参考图像解码文本提示,实现高质量反向提示生成,并支持编辑提示创作多样新图像。
2025-03-25 cs.AI cs.CV
CookingDiffusion: Cooking Procedural Image Generation with Stable Diffusion
University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理大学);Hefei University of Technology(合肥工业大学)
针对食谱烹饪步骤过程图像序列生成的空白,提出烹饪过程图像生成新任务,引入CookingDiffusion方法结合Stable Diffusion与记忆网络建模多模态提示,在YouCookII基准上实现高质量且序列一致的生成,还支持食材和烹饪方法操纵。
2025-02-09 cs.CV cs.GR cs.LG
WeAgent-MMGenEdit: A Full-Stack Recipe for Multimodal Agentic Image Generation and Editing
Weixin AI, Tencent(腾讯微信人工智能)
WeAgent-MMGenEdit针对多模态智能体图像生成编辑的局限,提出含WeAgent-Harness等的全栈方案,构建基准与训练方法,使30B总规模策略性能接近1T参数智能体
2026-09-07 cs.CV
EarthGen: Generating the World from Top-Down Views
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究提出EarthGen地形建模方法,通过超分辨率扩散模型级联与分块生成,实现高分辨率大规模真实地表生成,在1024倍变焦任务上优于基线,还可扩展至可控世界生成等应用。
2024-09-07 cs.AI cs.CV
Retrieval Augmented Recipe Generation
Fudan University(复旦大学);Singapore Management University(新加坡管理大学)
针对大型多模态模型在食谱生成中存在的幻觉问题,提出结合随机多样化检索增强与自一致性集成投票的检索增强模型,在Recipe1M数据集上实现了食谱生成任务的SOTA性能。
2024-12-09 cs.CV
Structure-Aware Generation Network for Recipe Generation from Images
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly, NTU(南洋理工大学-不列颠哥伦比亚大学老年人积极生活联合卓越研究中心);Singapore Management University(新加坡管理大学)
随着社交媒体的发展,分享食物变得非常流行。对于许多现实世界的应用程序,人们热衷于了解食品的基本配方。在本文中,我们感兴趣的是自动生成烹饪指令的食物。我们调查了一个开放的研究任务,生成烹饪说明的基础上,只有食物的图像和成分,这是类似的图像描述的任务。然而,与图像描述数据集相比,目标配方是长长度的段落,并且不具有关于结构信息的注释。为了解决上述局限性,我们提出了一个新的框架结构感知生成网络(SGN)来解决食品配方生成任务。我们的方法在一个系统的框架中汇集了几个新的想法:(1)利用无监督学习方法在训练前获得图像级树结构标签;(2)在从(1)学习的树结构标签的监督下从图像生成目标食谱的树;以及(3)将推断的树结构与食谱生成过程相结合。我们提出的模型可以产生高质量和一致的食谱,并在基准Recipe 1 M数据集上实现最先进的性能。
2020-09-02 cs.CV
RecipeGen: A Step-Aligned Multimodal Benchmark for Real-World Recipe Generation
Jilin University(吉林大学);Guangdong University of Technology(广东工业大学);National Chiao Tung University(交通大学);National Taiwan University(国立台湾大学)
针对食谱目标、步骤与视觉内容缺乏细粒度对齐的问题,本文提出包含大规模食谱、图像和视频的 RecipeGen 基准,并通过领域指标评测 T2I、I2V 与 T2V 模型。
2025-06-11 cs.CV
Flow Matching in Feature Space for Stochastic World Modeling
FAIR at Meta(Meta的FAIR)
提出FlowWM,在预训练特征空间中直接进行流匹配,通过可微一步投影机制实现高效训练,在合成和真实基准上提升感知性能、模式覆盖和时域鲁棒性。
2026-07-17 cs.AI cs.CV
minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models
ShengShu(盛书);THU(清华大学);RUC(中国人民大学);HKUST(香港科技大学);UT-Austin(德克萨斯大学奥斯汀分校)
提出minWM全栈开源框架,通过因果强制/因果强制++流水线将双向视频扩散模型转化为可控制、低延迟的自回归世界模型,支持相机控制与多种骨干架构。
2026-09-23 cs.CV
DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos
Tencent AI Lab(腾讯AI实验室);The Hong Kong University of Science and Technology(香港科技大学);ARC Lab, Tencent PCG(腾讯 PCG ARC 实验室)
针对开放世界视频深度估计挑战,提出DepthCrafter方法,无需额外信息,通过三阶段训练策略从预训练图像到视频扩散模型训练,实现零样本下最先进性能,支持长序列生成及多种下游应用。
2024-11-27 cs.AI cs.CV cs.GR
SolarWM: Open Data and Scalable Training for Long-Horizon Video World Models
CUHK-SZ(香港中文大学(深圳));SLAI(深圳先进人工智能研究院);NUS(新加坡国立大学);CUHK(香港中文大学);HKUST(香港科技大学);HKUST-GZ(香港科技大学(广州));NVIDIA(英伟达公司);UCLA(加利福尼亚大学洛杉矶分校);MSRA(微软亚洲研究院)
SolarWM是面向长时序视频世界模型的开放基础框架,通过多源数据引擎与适配框架实现异构数据训练,实例化多款5B至33B模型,仅用5秒序列训练即可支持长时序实时交互,为相关研究提供可复扩展的基础。
2026-09-03 cs.CV
WOVEN: Weaving Visual World Modeling into Multimodal LLMs
Northwestern University(西北大学);Carnegie Mellon University(卡内基梅隆大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Amazon(亚马逊)
该研究针对多模态大语言模型的视觉推理缺陷,推出WOVEN训练源与基准,发现其可提升模型在多数外部基准的性能,确立视觉过渡推理为视觉世界建模的可复用基础。
2026-10-09 cs.CL cs.CV cs.LG
WorldWeaver: Generating Long-Horizon Video Worlds via Rich Perception
The University of Hong Kong(香港大学);ByteDance Seed(字节跳动种子)
WorldWeaver提出联合建模RGB帧与深度等感知条件的长时程视频生成框架,通过统一表示预测、深度记忆库和分段噪声调度减少时间漂移,提升生成视频的时间一致性与保真度。
2025-08-21 cs.CV
WorldGrow: Generating Infinite 3D World
MoE Key Lab of Artificial Intelligence, School of Computer Science, SJTU(人工智能前沿实验室,计算机科学学院,上海交通大学);Huawei Inc.(华为公司);Huazhong University of Science and Technology(华中科技大学)
WorldGrow提出分层框架,利用预训练3D模型的先验,通过数据整理、块修复和从粗到细策略,实现无限3D场景的生成,在3D-FRONT上达到几何重建最优。
2025-10-24 cs.CV cs.GR
T2M-GPT: Generating Human Motion from Textual Descriptions with Discrete Representations
Jilin University(吉林大学);Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出T2M-GPT,结合VQ-VAE离散表示与GPT,通过简单训练策略在HumanML3D上以FID 0.116显著优于扩散方法,证明VQ-VAE在文本驱动人体运动生成中仍具竞争力。
2023-09-24 cs.CV
PanoWorld-X: Generating Explorable Panoramic Worlds via Sphere-Aware Video Diffusion
Beijing Jiaotong University(北京交通大学);Skywork AI;Tsinghua University(清华大学);University of Toronto(多伦多大学);Beijing Normal University(北京师范大学)
本文提出PanoWorld-X框架,利用Unreal Engine构建全景视频探索数据集,并通过球面感知Diffusion Transformer实现高保真、相机可控的360度可探索全景视频生成。
2025-09-29 cs.CV
WorldMesh: Generating Navigable Multi-Room 3D Scenes via Mesh-Conditioned Image Diffusion
Technical University of Munich(慕尼黑技术大学)
本文提出WorldMesh方法,通过网格条件图像扩散生成大规模多房间3D场景,结合结构化网格与真实外观合成,实现高丰富度和多样性的3D环境生成。
2026-07-07 cs.CV
GEM: Generating LiDAR World Model via Deformable Mamba
NJU(南京大学);SJTU(上海交通大学);FDU(福建师范大学);NTU(南京理工大学)
GEM通过可变形Mamba架构提升LiDAR世界模型的逼真度与想象力,解决点云无序和动态静态区分难题,实现空间时间感知与自主探索能力。
2026-09-03 cs.CV
Recipe Generation from Unsegmented Cooking Videos
Graduate School of Informatics, Kyoto University(京都大学情报学研究科);OMRON SINIC X Corporation(欧姆龙 SINIC X 公司);Academic Center for Computing and Media Studies, Kyoto University(京都大学信息与媒体学术中心)
本文研究从未分割烹饪视频生成食谱,提出基于transformer的多模态循环方法,训练事件选择器和句子生成器,从DVC输出中选择关键事件并生成基于视觉内容的句子,并引入配料信息,优于现有DVC模型。
2024-02-18 cs.CL cs.CV cs.MM
RecipeSnap -- a lightweight image-to-recipe model
Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们要解决的问题,自动识别拍摄的烹饪菜肴,并产生相应的食物食谱。目前的图像到配方模型计算昂贵,需要强大的GPU来进行模型训练和实现。高计算成本阻止了这些现有模型部署在便携式设备上,如智能手机。为了解决这个问题,我们引入了一个轻量级的图像到配方预测模型RecipeSnap,它将内存成本和计算成本降低了90%以上,同时仍然实现了2.0 MedR,这与最先进的模型一致。使用预先训练的配方编码器来计算配方嵌入。Recipe 1 M数据集的配方和相应的配方嵌入被收集为配方库,用于图像编码器训练和图像查询。我们使用MobileNet-V2作为图像编码器的骨干,这使得我们的模型适用于便携式设备。这个模型可以进一步开发成一个应用程序的智能手机与一些努力。本文提出了这种轻量级模型与其他重型模型之间的性能比较。代码、数据和模型可以在github上公开访问。
2022-05-04 cs.CV
A Recipe for Unbounded Data Augmentation in Visual Reinforcement Learning
UC San Diego(加利福尼亚大学圣迭戈分校)
针对视觉强化学习中数据增强的局限性,提出通用配方SADA,提升训练稳定性与泛化能力。
2024-07-16 cs.CV cs.LG cs.RO
Meta CLIP 2: A Worldwide Scaling Recipe
FAIR, Meta(FAIR与Meta公司);MIT(麻省理工学院);Princeton University(普林斯顿大学);New York University(纽约大学)
针对CLIP扩展至全球数据时的非英语数据筛选难、多语言诅咒问题,本文提出Meta CLIP 2方案,通过最小改动的消融实验实现多语言数据互利,在多项多语言基准上刷新最优性能。
2025-08-01 cs.CL cs.CV
Multi-Task Learning for Calorie Prediction on a Novel Large-Scale Recipe Dataset Enriched with Nutritional Information
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在线发布的内容数量迅速增长,例如食物食谱,为视觉和语言交叉的新的令人兴奋的应用打开了大门。在这项工作中,我们的目标是通过学习人们在互联网上发布的食谱,直接从图像中估计一餐的卡路里量,从而跳过耗时的手动数据注释。由于在无约束环境中捕获的大规模公开数据集很少,因此我们提出了pic2kcal基准,包括来自70,000多个食谱的308,000张图像,包括照片,成分和说明。为了获得成分的营养信息并自动确定真实的卡路里值,我们将食谱中的项目与食物项目数据库中的结构化信息相匹配。我们评估了各种神经网络的热量回归,并将其扩展为多任务范式。我们的学习过程将卡路里估计与蛋白质、碳水化合物和脂肪量的预测以及多标签成分分类相结合。我们的实验表明,多任务学习对卡路里估计有明显的好处,超过单任务卡路里回归9.9%。为了鼓励对这项任务的进一步研究,我们公开了生成数据集和模型的代码。
2020-11-02 cs.CV
VLANeXt Family: A Systematic Study of VLA Models from Core Recipes to Emerging Paradigms
S-Lab, Nanyang Technological University(南洋理工大学S实验室);SenseTime Research(商汤科技研究院);Sun Yat-sen University(中山大学);Shanghai Jiao Tong University(上海交通大学)
本文通过统一框架和评估设置重新审视VLA设计空间,系统分析了基础组件、感知要素和动作建模视角,总结出12项关键发现,提出了一种简单有效的VLA模型VLANeXt,并在LIBERO和LIBERO-plus基准测试中超越了现有方法,同时提供了易于使用的代码库。
2026-09-28 cs.AI cs.CV cs.RO
Deep Image-to-Recipe Translation
Georgia Institute of Technology(佐治亚理工学院)
本文研究从食物图像预测食材并生成食谱步骤,提出自定义卷积网络与基于迁移学习和预训练词嵌入的序列到序列模型,验证了迁移学习对性能的显著提升。
2024-07-01 cs.CL cs.CV cs.LG
The Multimodal And Modular Ai Chef: Complex Recipe Generation From Imagery
PeopleTec(PeopleTec公司)
本文提出一种基于图像模型与LLM串行结合的轻量级模块化API方法,解决了从冰箱食材照片生成满足复杂约束食谱的问题,并证明其优于缺乏连贯记忆的单体多模态模型。
2023-03-20 cs.CL cs.CV cs.LG
PRUE: A Practical Recipe for Field Boundary Segmentation at Scale
Arizona State University(亚利桑那州立大学);Microsoft AI for Good(微软人工智能公益);Washington University in St. Louis(圣路易斯华盛顿大学);Oregon State University(俄勒冈州立大学);Wherobots;Clark University(克拉克大学)
本文提出一种结合U-Net和复合损失函数的分割方法,提升田界分割的性能和鲁棒性,实现了76%的IoU和47%的object-F1,为大规模可靠田界分割提供了实用框架。
2026-11-18 cs.CV cs.LG
MedXIAOHE: A Comprehensive Recipe for Building Medical MLLMs
ByteDance XiaoHe Medical AI(字节跳动小荷医疗AI)
MedXIAOHE通过实体感知持续预训练框架和强化学习提升医疗理解与推理,实现医疗多模态大模型的突破性进展。
2026-04-07 cs.AI cs.CL cs.CV
SceneFoundry: Generating Interactive Infinite 3D Worlds
National Yang Ming Chiao Tung University(国家阳明交通大学);National Tsing Hua University(国立清华大学);NVIDIA AI Technology Center(NVIDIA AI技术中心);National Taiwan University(国立台湾大学)
SceneFoundry通过语言引导的扩散框架生成功能性强的3D环境,用于机器人训练和具身智能研究。
2026-01-16 cs.AI cs.CV cs.LG
Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards
Adobe Research(奥多比研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本研究推出含1170个环境的Tev-Gym数据集,结合进度潜力奖励塑形(PPRS)训练出Tev-27B,在多基准测试中性能超越多款模型,达到顶尖水平。
2026-10-14 cs.AI cs.CL cs.CV
A Simple Recipe for Contrastively Pre-training Video-First Encoders Beyond 16 Frames
Google DeepMind(谷歌DeepMind)
本文针对长视频建模中内存瓶颈和空间能力下降问题,提出在对比预训练中对视频进行高达75%的掩码,以简易方法将视频优先编码器扩展至10亿参数并处理4.3分钟视频,在长程时序基准上超越基于大语言模型聚合的流行范式。
2024-12-30 cs.CL cs.CV
VisualChef: Generating Visual Aids in Cooking via Mask Inpainting
ETH Zürich(苏黎世联邦理工学院);Microsoft(微软);TU Munich(慕尼黑工业大学);MCML
针对烹饪过程缺乏一致视觉引导的问题,提出VisualChef方法,通过基于掩码的视觉定位生成保留环境一致性的烹饪动作视觉辅助内容,还配套自动化帧提取流程,在三个第一视角数据集上表现优于现有最优方法。
2025-10-05 cs.CV
PhysGAN: Generating Physical-World-Resilient Adversarial Examples for Autonomous Driving
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
尽管深度神经网络(DNN)在基于视觉的自动驾驶系统中得到了广泛应用,但它们被发现容易受到对抗攻击的攻击,在测试期间对输入的小幅度扰动会导致输出的剧烈变化。虽然最近的大多数攻击方法都针对数字世界的对抗场景,但目前还不清楚它们在物理世界中的表现,更重要的是,这些方法下产生的扰动将覆盖整个驾驶场景,包括那些固定的背景图像,如天空,使它们不适用于物理世界的实现。我们提出了PhysGAN,它以连续的方式生成物理世界弹性对抗示例,用于误导自动驾驶系统。我们通过广泛的数字和现实世界的评估显示了PhysGAN的有效性和鲁棒性。数字实验表明,PhysGAN对各种转向模型和场景都是有效的,在各种场景下,平均转向角的误导高达23.06度。现实世界的研究进一步证明,PhysGAN在实践中具有足够的弹性,这会误导平均转向角高达19.17度。我们将PhysGAN与一组最先进的基线方法进行比较,包括我们自行设计的几种方法,这进一步证明了我们方法的鲁棒性和有效性。我们还表明,PhysGAN的性能优于最先进的基线方法。据我们所知,PhysGAN可能是第一种生成现实和物理世界弹性对抗示例的技术,用于攻击常见的自动驾驶场景。
2021-05-11 cs.CV
SphericalDreamer: Generating Navigable Immersive 3D Worlds with Panorama Fusion
Université Côte d'Azur, CNRS, I3S, France(法国蔚蓝海岸大学、国家科学研究中心、I3S研究所);Criteo AI Lab, Paris, France(法国Criteo人工智能实验室)
本研究提出SphericalDreamer方法,通过生成多个全景图像并将其提升到3D空间中进行融合,从而生成高度细节且可导航的沉浸式3D户外环境,显著提升了尺度和可导航性。
2026-05-19 cs.CV
Generating Coherent Sequences of Visual Illustrations for Real-World Manual Tasks
Universidade NOVA de Lisboa(NOVA里斯本大学);Google Research(谷歌研究院)
针对多步骤说明配套图像序列的步骤匹配与视觉一致性难题,提出融合LDM与LLM并加入复制机制的生成方法,在人类偏好和自动指标上均优于现有方法。
2024-05-16 cs.CV
HunyuanWorld 1.0: Generating Immersive, Explorable, and Interactive 3D Worlds from Words or Pixels
Tencent(腾讯)
针对文本或图像生成3D世界中存在的一致性与效率问题,提出HunyuanWorld 1.0框架,利用全景图像代理和语义分层3D网格表示,实现沉浸式、可探索且可交互的3D世界生成,并支持网格导出与解耦对象表示。
2025-08-13 cs.CV
WorldSculpt: Generating Compositional Worlds from Grounded Videos
Alaya Lab(阿里达摩院Alaya实验室);The University of Tokyo(东京大学)
本研究提出WorldSculpt,通过适配单物体3D生成先验到多视图观测,实现从接地视频生成含数百物体的复杂组合式3D世界,所提Pixal3D方法在基准测试中优于现有技术,还可转换3DGS世界为组合网格场景。
2026-09-09 cs.CV
DeepBillboard: Systematic Physical-World Testing of Autonomous Driving Systems
The University of Texas at Dallas(得克萨斯大学达拉斯分校);Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong(香港中文大学)
深度神经网络(DNN)已广泛应用于自动驾驶等许多自主系统中。最近,DNN测试已经被广泛研究,以自动生成对抗性示例,这些示例将小幅度的扰动注入到输入中,以在极端情况下测试DNN。虽然现有的测试技术被证明是有效的,但它们主要集中在生成数字对抗扰动(特别是对于自动驾驶),例如,改变图像像素,这在物理世界中可能永远不会发生。关于自动驾驶测试的文献中有一个关键的缺失:理解和利用数字和物理对抗扰动生成来影响转向决策。在本文中,我们提出了DeepBillboard,这是一种系统的物理世界测试方法,针对一种常见而实用的驾驶场景:驾车广告牌。DeepBillboard能够生成一个强大且有弹性的可打印对抗性广告牌,它可以在动态变化的驾驶条件下工作,包括视角,距离和照明。目标是通过生成的对抗性广告牌最大化自动驾驶车辆驾驶的转向角错误的可能性、程度和持续时间。我们通过数字和物理世界的实验,广泛评估了DeepBillboard的有效性和鲁棒性。结果表明,DeepBillboard是有效的各种转向模型和场景。此外,DeepBillboard具有足够的鲁棒性和弹性,可以在各种天气条件下为真实世界的驾驶生成物理世界的对抗性广告牌测试。据我们所知,这是第一项研究,证明了为实际的自动驾驶系统生成真实和连续的物理世界测试的可能性。
2018-12-27 cs.CV
GenEx: Generating an Explorable World
Johns Hopkins University(约翰斯·霍普金斯大学)
GenEx通过生成性想象力从单张RGB图像创建3D一致环境,支持具身智能体的探索与导航,实现高质量世界生成和主动3D映射。
2025-01-20 cs.CV cs.RO