ProMRVL-CAD: Proactive Dialogue System with Multi-Round Vision-Language Interactions for Computer-Aided Diagnosis
Stevens Institute of Technology(史蒂文斯理工学院);Nokia Bell Labs(诺基亚贝尔实验室)
针对LLM生成的医患交互与实际咨询存在差距的问题,提出ProMRVL-CAD系统,通过知识图谱集成、双生成器设计提升报告质量,在两个数据集上表现更优且低图像质量下稳健,还构建了合成对话数据集。
2025-02-15 cs.AI
EvoCAD: Evolutionary CAD Code Generation with Vision Language Models
Institute of Advanced Computer Science, Leiden University, Leiden, The Netherlands(先进计算机科学研究所,莱顿大学,莱顿,荷兰)
EvoCAD 结合视觉语言模型与进化算法生成并优化 CAD 对象,在 CADPrompt 基准上表现优于先前方法,尤其擅长生成拓扑正确的对象。
2025-10-13 cs.AI cs.CV cs.NE
MUSE: Benchmarking Assembly Structure and Interface Geometry in Multi-Component Text-to-CAD Generation
The Hong Kong Polytechnic University(香港理工大学);Curvature Flow Co., Limited(曲率流有限公司)
提出MUSE基准,通过三阶段评估协议(代码检查、几何检查、设计意图对齐)和基于规则的语言模型评判,衡量文本到CAD生成模型在功能、制造和装配方面的实际设计质量。
2026-10-20 cs.AI
CAD-Coder: An Open-Source Vision-Language Model for Computer-Aided Design Code Generation
Massachusetts Institute of Technology(麻省理工学院)
针对现有AI驱动CAD生成模型的诸多局限,研究团队构建了含16.3万组样本的GenCAD-Code数据集,推出开源VLM模型CAD-Coder,可从图像生成可编辑CAD代码,性能优于主流基线,且具备一定泛化能力。
2025-05-20 cs.AI cs.CV
CAD-Assistant: Tool-Augmented VLLMs as Generic CAD Task Solvers
SnT, University of Luxembourg(斯诺特研究所,卢森堡大学);Artec3D, Luxembourg(Artec3D,卢森堡)
提出CAD-Assistant通用CAD智能体,以VLLM为规划器结合CAD专用工具,通过Python API在FreeCAD上迭代执行动作,评估命令影响并调整后续操作,在基准上优于基线和特定方法,展示通用求解潜力。
2025-08-26 cs.AI cs.CV cs.LG
CadVLM: Bridging Language and Vision in the Generation of Parametric CAD Sketches
Université de Montréal(蒙特利尔大学);MILA(蒙特利尔学习算法研究所);Autodesk AI Lab(欧特克人工智能实验室)
本文提出CadVLM,一种端到端视觉语言模型,通过整合草图图元序列与图像,首次将多模态大语言模型成功应用于参数化CAD生成,在多项草图生成任务上表现优异。
2024-09-26 cs.AI cs.CV
GACO-CAD: Geometry-Augmented and Conciseness-Optimized CAD Model Generation from Single Image
本文提出两阶段后训练框架 GACO-CAD,通过深度/法线几何先验与组长度奖励,提升单图像参数化 CAD 生成的几何准确性和建模简洁性。
2025-10-20 cs.AI cs.CV
BlenderLLM: Training Large Language Models for Computer-Aided Design with Self-improvement
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Information Technology Research Institute, China Tower(中国铁塔信息技术研究院)
本文提出BlenderLLM框架,结合自我改进方法和微调训练大语言模型用于CAD任务,并构建数据集BlendNet与基准CADBench,显著提升了CAD脚本生成的功能与准确性。
2024-12-16 cs.AI cs.HC
A Design-Intent-Preserving Agent Harness for Parametric CAD Modeling
Tsinghua University(清华大学)
Vision2CAD通过视觉语言模型与确定性CAD内核结合,解决参数化建模中的几何引用与定位难题,显著提升精度并保持参数依赖。
2026-11-03 cs.AI cs.CV
Text-to-CadQuery: A New Paradigm for CAD Generation with Scalable Large Model Capabilities
School of Computing and Augmented Intelligence, Arizona State University(计算与增强智能学院,亚利桑那州立大学)
本文提出 Text-to-CadQuery 范式,直接由文本生成 CadQuery 代码以消除 CAD 中间表示,并通过增补 17 万标注和微调多规模 LLM,显著提升精确匹配与几何相似度。
2025-05-10 cs.AI cs.CV cs.LG
CIT-CAD: Constraint Intent Tree-based CAD Code Generation and Verification
National Key Laboratory for Novel Software Technology(计算机软件新技术国家重点实验室);School of Artificial Intelligence(人工智能学院);Nanjing University(南京大学)
CIT-CAD通过从自然语言推断约束意图树来指导CAD代码生成并验证,利用约束不匹配定位修复设计违规,在复杂多实体设计中显著提升生成性能。
2026-09-15 cs.AI cs.SE
A Solver-Aided Hierarchical Language for LLM-Driven CAD Design
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of Washington(华盛顿大学);Adobe(奥多比公司)
本文提出求解器辅助分层 DSL AIDL,将 CAD 空间推理交给几何约束求解器,使 LLM 能完成生成式设计,并在少样本设置下优于 OpenSCAD。
2025-02-13 cs.AI cs.CV cs.GR
Error Notebook-Guided, Training-Free Part Retrieval in 3D CAD Assemblies via Vision-Language Models
Fujitsu Research & Development Center Shanghai, China(富士通研发中心上海)
本研究提出一种无训练的3D CAD部件检索方法,通过结合错误笔记本与RAG技术,显著提升基于VLM的推理性能,实验显示在专有模型和开源模型上均取得显著效果。
2026-02-25 cs.AI
CADmium: Fine-Tuning Code Language Models for Text-Driven Sequential CAD Design
Chandar Research Lab(昌德拉研究实验室);Mila – Quebec AI Institute(魁北克人工智能研究所);Polytechnique Montréal(蒙特利尔理工学院);Ansys(安世仿真);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
CADmium通过微调代码语言模型,利用大规模标注数据集实现文本驱动的CAD设计自动化,提升设计效率。
2026-01-08 cs.AI cs.CV cs.GR
CAD-GPT: Synthesising CAD Construction Sequence with Spatial Reasoning-Enhanced Multimodal LLMs
CAD-GPT利用空间推理增强的多模态大语言模型,通过三维建模空间机制将空间位置和旋转角度映射到语言特征空间,实现从图像或文本精确合成CAD模型,性能优于现有方法。
2025-06-23 cs.AI cs.CV cs.GR
Generative AI for CAD Automation: Leveraging Large Language Models for 3D Modelling
Georgia State University(佐治亚州立大学);Amazon LLC(亚马逊公司);Vanderbilt University(范德比尔特大学);Temple University(Temple 大学)
本研究提出将LLM与FreeCAD集成的CAD自动化框架,可根据自然语言生成并迭代优化CAD脚本,实验验证了其在中低复杂度设计中的有效性,同时指出了高约束场景的局限及未来优化方向。
2025-07-05 cs.AI cs.HC cs.SE
LLM Agents for Interactive Exploration of Historical Cadastre Data: Framework and Application to Venice
DH-Lab, EPFL, Lausanne, Switzerland(DH实验室,日内瓦联邦理工学院,洛桑,瑞士)
本文提出基于 LLM 的 text-to-programs 框架,通过 SQL agent 与 coding agent 支持自然语言查询威尼斯历史地籍数据,并以分类法、执行一致性和定性分析验证其有效性。
2025-09-30 cs.AI cs.SE
Foundation Models for Automatic CAD Generation
BARCELONA Supercomputing Center(巴塞罗那超级计算中心);Universidad Pontificia Comillas(庞培法布拉大学);Chung-Ang University(中央大学);LUXEMBOURG Institute of Science and Technology(卢森堡科学技术研究所)
研究利用统一评估管道和基准,对用于机械零件自动CAD生成的基础模型展开实证。介绍LLMForge框架,通过两种批判机制评估七个基础模型,展示了紧凑模型的效果,以及VLM批判的作用,还探讨了相关设计及影响。
2026-07-08 cs.AI cs.CE
CADBench: A Multimodal Benchmark for AI-Assisted CAD Program Generation
Massachusetts Institute of Technology(麻省理工学院)
本文提出CADBench,一个统一的多模态CAD程序生成基准,包含18000个样本和六类基准,评估11种视觉语言模型,揭示了CAD程序生成中的三种常见失败模式。
2026-06-19 cs.AI cs.CV
AutoCAD: Automatically Generating Counterfactuals for Mitigating Shortcut Learning
Tsinghua University(清华大学);Tencent Inc(腾讯公司)
最近的研究表明,反事实增强数据(CAD)在减少NLU模型对虚假特征的依赖和提高其泛化能力方面具有令人印象深刻的效果。然而,目前的方法仍然严重依赖于人类的努力或特定于任务的设计来生成反事实,从而阻碍了CAD对广泛的NLU任务的适用性。在本文中,我们提出了AutoCAD,一个全自动和任务无关的CAD生成框架。AutoCAD首先利用分类器来无监督地将基本原理识别为要干预的跨度,从而解开虚假和因果特征。然后,AutoCAD执行通过不可能训练增强的可控生成,以产生不同的反事实。对多个域外和挑战基准的广泛评估表明,AutoCAD在不同的NLU任务中持续显著地提高了强大的预训练模型的分布性能,这与以前最先进的人在回路或特定于任务的CAD方法相当甚至更好。该代码可在https://github.com/thu-coai/AutoCAD上公开获取。
2022-11-29 cs.AI cs.CL
SketchGen: Generating Constrained CAD Sketches
KAUST(阿卜杜拉国王科技大学);Adobe Research(奥多比研究院);University of Leeds(利兹大学);University College London(伦敦大学学院);Stanford University(斯坦福大学)
计算机辅助设计(CAD)是技术设计中使用最广泛的建模方法。这些设计的典型起点是2D草图,随后可以将其挤出并组合以获得复杂的三维组件。这些草图通常由参数基元(如点、线和圆弧)组成,并增加了链接基元的几何约束(如重合、平行或正交)。草图可以表示为图形,其中图元作为节点,约束作为边。训练模型自动生成CAD草图可以实现几种新颖的工作流程,但由于图形的复杂性以及图元和约束的异构性,这是一项挑战。特别地,每种类型的原语和约束可能需要不同大小和参数类型的记录。我们建议SketchGen作为一个生成模型的基础上的Transformer架构,以解决异构性问题,通过仔细设计一个顺序语言的原语和约束,允许区分不同的原语或约束类型和它们的参数,同时鼓励我们的模型,以重用相关参数的信息,编码共享结构。我们工作的一个特别亮点是能够产生通过约束链接的图元,从而使最终输出能够通过约束求解器进一步正则化。我们评估我们的模型,展示约束预测给定的图元集和完整的草图生成从头开始,显示我们的方法显着执行的CAD草图生成的最先进的。
2021-06-04 cs.AI cs.CV cs.GR
Image2CADSeq: Computer-Aided Design Sequence and Knowledge Inference from Product Images
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出Image2CADSeq神经网络,从产品2D图像直接生成可转为B-rep的CAD操作序列,并构建多层次评估框架验证其逆向工程潜力。
2025-01-09 cs.AI cs.CV
CADIR: A Cross-Backend Editable Intermediate Representation for Agentic CAD Generation
本研究提出CADIR跨后端可编辑中间表示,结合几何签名匹配与构造图检索,解决现有CAD生成方法的跨系统编辑与建模历史保留问题,实验验证其几何保真度与可靠性优于现有方案。
2026-08-04 cs.AI
Intelligent requirements engineering from natural language and their chaining toward CAD models
ECAM Rennes(雷恩ECAM学院);Université de Bourgogne Franche-Comté(勃艮第-弗朗什-孔泰大学);UTBM(贝尔福-蒙贝利亚尔技术大学)
本文认为设计语言在设计师的设计中起着重要的作用,对设计师的创造力起着重要的作用。设计师使用和开发模型作为思维的辅助工具,讨论和决策的焦点以及评估建议可靠性的手段。提出了一种从自然语言及其与CAD模型的链接实现需求工程的智能方法。从语言分析到工程需求表示的过渡包括将句法结构转换为由概念图表示的语义形式。基于概念图与谓词逻辑之间的同构,提出了一种规格说明的形式语言。这种语言的结果被链接并翻译成计算机辅助三维交互应用(CATIA)模型。开发了工程需求语义网络表示工具EGEON。最后以汽车车门铰链的设计为例说明了所提出的方法。
2020-07-14 cs.AI cs.CL
RA-CAD: Learning Post-Execution Critique for State-Aware Text-to-CAD Generation
该研究针对文本到CAD生成的反馈利用不足问题,提出RA-CAD智能体,通过生成-执行-批判-重写循环结合CCB、FAO优化,在CADFusion和Text2CAD上实现最优性能。
2026-10-08 cs.AI
CADSmith: Multi-Agent CAD Generation with Programmatic Geometric Validation
Carnegie Mellon University(卡内基梅隆大学)
CADSmith通过多智能体管道生成CadQuery代码,并通过双重嵌套修正循环进行迭代优化,结合精确测量和视觉评估提升CAD生成质量。
2026-03-27 cs.AI
CAD-Prompted Generative Models: A Pathway to Feasible and Novel Engineering Designs
Massachusetts Institute of Technology(麻省理工学院);University of California, San Diego(加利福尼亚大学圣迭戈分校);Utrecht University(乌得勒支大学)
本文提出用CAD图像提示文本到图像模型,在自行车设计案例中验证了该方法能提升设计可行性,且在低提示权重下保持新颖性,为工程设计应用提供指导。
2024-07-22 cs.AI
CADEngBench: It Looks Like CAD, but Does It Work? Evaluating Parametric Design, Assembly Reasoning, and Physics Simulation
本文提出CADEngBench双轨基准,从参数化设计、装配推理等维度评估8种多模态代码模型,发现编辑现有CAD更易,复杂编辑与匹配FEA仍难,装配预测存在缺陷,强调CAD评估需关注工程行为而非外观。
2026-08-11 cs.AI cs.CV cs.LG
GenCAD-3D: CAD Program Generation using Multimodal Latent Space Alignment and Synthetic Dataset Balancing
Massachusetts Institute of Technology(麻省理工学院)
GenCAD-3D通过多模态对比学习对齐CAD与几何潜在空间并结合潜在扩散模型生成CAD程序,同时提出SynthBal合成数据增强策略平衡数据集,显著提升复杂几何体重建精度并超越现有基准。
2025-09-17 cs.AI cs.GR
Reinforcement Learning for Block Decomposition of CAD Models
Georgia Institute of Technology(佐治亚理工学院);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
我们提出了一种新的AI辅助方法,用于将平面CAD(计算机辅助设计)模型分解(分割)成形状良好的矩形块,作为适用于复杂2D和3D CAD模型的一般分解方法的原理证明。分解块需要生成高质量的网格(四边形或六面体的平铺),适用于守恒定律所管辖的物理系统的数值模拟。一般CAD模型的六面体网格生成问题已经困扰了研究人员超过30年,分析人员通常花费超过50%的设计分析周期时间将复杂模型分解为可通过现有技术网格化的简单部分。我们的方法使用强化学习来训练代理对CAD模型执行一系列优化切割,从而产生高质量的块分解。我们表明,代理快速学习一个有效的策略,选择的位置和方向的削减,并最大限度地提高其回报,而不是随机削减。本文是第一个成功的演示代理自主学习如何有效地执行这个块分解任务,从而保持一个可行的方法来自动化这个具有挑战性的过程的承诺。
2023-02-21 cs.AI cs.LG
IterCAD: Iterative Program Repair for CAD Code Generation from Orthographic Views
Fudan University(复旦大学);ByteDance Inc.(字节跳动公司)
IterCAD是一种迭代框架,将正交视图转CAD代码任务重构为渐进式程序修复,通过三阶段训练与监督集优化,在CADExpert上显著提升了代码可执行性与几何保真度。
2026-09-09 cs.AI cs.CV
Self-supervised Graph Neural Network for Mechanical CAD Retrieval
Paradigm Inc.(第四范式公司)
针对机械CAD检索中传统方法效果差、标注成本高且参数化结构难适配的问题,提出基于自监督对比图神经网络的GC-CAD方法,直接建模CAD原始文件,实现准确率与效率的显著提升。
2024-06-18 cs.AI cs.CV cs.IR
Agent-Aided Design for Dynamic CAD Models
Independent Researcher(独立研究者);MIT(麻省理工学院)
本文提出AADvark代理系统,能生成具有运动部件的复杂3D装配体,通过整合外部约束求解器和视觉反馈机制解决空间推理问题。
2026-04-27 cs.AI
RLCAD: Reinforcement Learning Training Gym for Revolution Involved CAD Command Sequence Generation
Zhejiang University, China(浙江大学);Shenzhen Poisson Software Co., Ltd., China(深圳Poisson软件有限公司)
本文提出基于CAD几何引擎的RL训练环境,支持生成更复杂的CAD命令序列,实现从B-Rep几何体的高精度生成。
2025-12-09 cs.AI cs.LG
ComplexGen: CAD Reconstruction by B-Rep Chain Complex Generation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);University of Science and Technology of China(中国科学技术大学)
我们认为,在边界表示(B-Rep)的CAD模型的重建作为不同的顺序,即顶点,边缘和表面补丁,和图元的对应关系,这是整体建模为一个链复杂的几何图元的检测,并表明,通过建模这样的综合结构更完整和正则化的重建可以实现。我们分两步解决复杂的生成问题。首先,我们提出了一种新的神经框架,由一个稀疏的CNN编码器的输入点云处理和三路径Transformer解码器生成几何图元和它们的相互关系与估计的概率。其次,给定的概率结构预测的神经网络,我们恢复一个明确的B-Rep链复杂的解决方案的全局优化最大化的可能性下的结构有效性的约束和应用几何细化。在大规模CAD数据集上的大量测试表明,B-Rep链复杂结构的建模能够更准确地检测学习和更受约束的重建优化,导致结构上更忠实和完整的CAD B-Rep模型比以前的结果。
2022-05-29 cs.AI cs.CV cs.GR
GIFT: Bootstrapping Image-to-CAD Program Synthesis via Geometric Feedback
DeCoDE Lab, MIT(麻省理工学院DeCoDE实验室);Core AI, IBM(IBM核心人工智能);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
本文提出GIFT框架,通过几何反馈生成高质量训练样本,提升CAD程序生成的鲁棒性,无需额外标注。
2026-03-28 cs.AI cs.CE cs.LG
FllumaOne: A Code-Native Multimodal CAD Dataset with Executable Programs and Kernel-Validated Feature Histories
Qt/C++ OpenCASCADE-based CAD system(基于Qt/C++ OpenCASCADE的CAD系统)
提出FllumaOne数据集,通过可执行Python程序生成CAD模型,对齐程序、特征树、几何等模态,支持可编辑逆向工程等任务。
2026-06-17 cs.AI cs.GR
L-CAD: Language-based Colorization with Any-level Descriptions using Diffusion Priors
Peking University(北京大学);Beijing University of Posts and Telecommunications(北京邮电大学);International Digital Economy Academy(国际数字经济研究院)
提出统一模型L-CAD,利用预训练跨模态生成模型的扩散先验处理任意层级语言描述的固有模糊性,设计对齐模块保留空间结构防鬼影,通过新颖采样策略实现实例感知上色,优于现有方法。
2023-10-23 cs.AI cs.CV
Unlock the Potential of Counterfactually-Augmented Data in Out-Of-Distribution Generalization
Shanghai Jiao Tong University(上海交通大学);Sun Yat-sen University(中山大学)
针对反事实增强数据在分布外泛化中因短视现象而潜力未充分释放的问题,提出基于数据集级和句子级结构特性的两个额外约束,以提取更完整因果特征,在情感分析和自然语言推理任务上提升OOD泛化性能1.0%-5.9%。
2023-10-10 cs.AI cs.CL cs.LG
Generating Natural Language Descriptions from OWL Ontologies: the NaturalOWL System
Athens University of Economics and Business(雅典经济与商业大学);Institute for Language and Speech Processing(语言与语音处理研究所)
我们提出NaturalOWL,一个自然语言生成系统,产生描述个人或类的OWL本体的文本。不像简单的OWL verbalizers,通常表示一个单一的公理在一个时间在控制,往往不是完全流畅的自然语言主要是为了领域专家的利益,我们的目标是为最终用户生成流畅和连贯的多句子文本。有了像NaturalOWL这样的系统,人们可以在Web上发布OWL中的信息,以及自动生成的多种语言的相应文本,使信息不仅可以被计算机程序和领域专家访问,而且可以被最终用户访问。我们讨论了NaturalOWL的处理阶段,系统可以在每个阶段使用的可选域相关语言资源,以及它们为什么有用。我们还提出的试验表明,当域相关的语言资源可用,NaturalOWL产生显着更好的文本相比,一个简单的verbalizer,可以创建相对较轻的努力的资源。
2014-04-24 cs.AI cs.CL
Hierarchical Decision Making by Generating and Following Natural Language Instructions
Facebook AI Research(Facebook人工智能研究院);New York University(纽约大学)
我们探索使用潜在的自然语言指令作为层次决策的复杂行动的表达和组合表示。我们的代理不是直接选择微动作,而是首先用自然语言生成一个潜在的计划,然后由一个单独的模型执行。我们介绍了一个具有挑战性的实时战略游戏环境中,大量的单位的行动必须在很长的时间尺度上进行协调。我们从人类游戏中收集了76000对指令和执行的数据集,并训练教练和执行者模型。实验表明,使用自然语言作为潜在变量的模型明显优于直接模仿人类行为的模型。语言的组成结构被证明是其有效性的行动表示的关键。我们还发布我们的代码、模型和数据。
2019-10-02 cs.AI cs.CL
Chart-to-Text: Generating Natural Language Descriptions for Charts by Adapting the Transformer Model
York University(约克大学)
信息可视化(如条形图和折线图)在探索数据和传达见解方面非常受欢迎。对某些人来说,解释和理解这种可视化可能具有挑战性,例如那些视力受损或视觉素养低的人。在这项工作中,我们引入了一个新的数据集,并提出了一个神经模型自动生成图表的自然语言摘要。生成的摘要提供了对图表的解释,并传达了在该图表中发现的关键见解。我们的神经模型是通过扩展数据到文本生成任务的最先进模型开发的,该模型利用了基于transformer的编码器-解码器架构。我们发现,我们的方法在内容选择指标上远远优于基础模型(55.42% vs. 8.49%),并生成了更多信息,简洁和连贯的摘要。
2020-11-29 cs.AI cs.CL
Generating Persona Consistent Dialogues by Exploiting Natural Language Inference
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
一致性是对话代理人面临的主要挑战之一。一个类人的对话代理不仅应该自然地响应,而且还应该保持一致的角色。在本文中,我们利用自然语言推理(NLI)技术的优势,以解决生成人物角色一致性对话的问题。不同于现有的工作,重新排序检索到的响应通过NLI模型,我们投任务作为一个强化学习问题,并建议利用NLI信号从响应人物对作为奖励的对话生成过程。具体来说,我们的生成器采用了基于注意力的编码器-解码器来生成基于角色的响应。我们的评估器由两部分组成:一个adversarially训练的自然度模块和一个基于NLI的一致性模块。此外,我们使用另一个表现良好的NLI模型中的人物角色一致性的评价。对人工和自动度量的实验结果,包括基于模型的一致性评价,表明所提出的方法优于强大的生成基线,特别是在生成的响应的人物一致性。
2021-03-22 cs.AI cs.CL
Generating Natural Adversarial Hyperspectral examples with a modified Wasserstein GAN
University of South Brittany(南布列塔尼大学);CNRS(法国国家科学研究中心);IRISA(雷恩第一大学计算机科学与应用数学研究所)
对抗性示例是一个热门话题,因为它们能够欺骗分类器的预测。有两种策略可以创建这样的例子,一种使用被攻击的分类器的梯度,而另一种只需要访问分类器的预测。这在分类器不完全已知(黑箱模型)时特别有吸引力。在本文中,我们提出了一种新的方法,它能够从真实数据中生成自然的对抗性例子,遵循第二范式。基于生成对抗网络(GANs)[5],它重新加权真实数据的经验分布,以鼓励分类器生成对抗样本。我们通过在遥感数据集上生成对抗性高光谱签名来证明我们的方法的概念。
2020-01-27 cs.AI cs.LG stat.ML
Text2Shape: Generating Shapes from Natural Language by Learning Joint Embeddings
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
提出了一种从自然语言生成彩色三维图形的方法。为此,我们首先学习自由形式的文本描述和彩色3D形状的联合嵌入。我们的模型结合并扩展了关联学习和度量学习方法,以学习隐式跨模态连接,并产生一个联合表示,该表示捕获了语言与3D形状的物理属性(如颜色和形状)之间的多对多关系。为了评估我们的方法,我们在ShapeNet数据集中收集了一个大型的物理3D对象的自然语言描述数据集。通过这种学习联合嵌入,我们证明了文本到形状检索优于基线方法。使用我们的嵌入与一个新的条件Wasserstein GAN框架,我们从文本生成彩色3D形状。我们的方法是第一个连接自然语言文本与现实的3D对象表现出丰富的变化,颜色,纹理和形状的细节。观看视频https://youtu.be/zraPvRdl13Q
2018-03-22 cs.AI cs.CV cs.GR
Rationalization: A Neural Machine Translation Approach to Generating Natural Language Explanations
Georgia Institute of Technology(佐治亚理工学院);University of Kentucky(肯塔基大学)
我们介绍了AI合理化,一种用于生成自治系统行为解释的方法,就像人类执行了该行为一样。我们描述了一种合理化技术,该技术使用神经机器翻译将自主智能体的内部状态-动作表示翻译成自然语言。我们评估我们的技术在Frogger游戏环境中,训练一个自主的游戏代理,合理化其行动选择使用自然语言。自然语言训练语料库是从人类玩家在玩游戏时大声思考中收集的。我们激励使用合理化的解释生成的方法,并显示两个实验的结果评估合理化的有效性。这些评估的结果表明,神经机器翻译能够准确地生成描述代理行为的合理化,并且合理化比其他替代解释方法更令人满意。
2017-12-19 cs.AI cs.CL cs.HC