Generating unseen complex scenes: are we there yet?
Facebook AI Research（Facebook人工智能研究院）；École Polytechnique de Montréal（蒙特利尔高等理工学院）；Mila, Quebec AI Institute（魁北克人工智能研究所Mila）；McGill University（麦吉尔大学）
尽管最近的复杂场景条件生成模型生成越来越吸引人的场景，但很难评估哪些模型表现更好以及为什么。这通常是由于模型被训练以适应不同的数据分割，并定义了自己的实验设置。在本文中，我们提出了一种方法来比较复杂的场景条件生成模型，并提供了一个深入的分析，评估每个模型的能力（1）适合训练分布，因此在可见条件下表现良好，（2）推广到由可见对象组合组成的不可见条件，（3）推广到由不可见对象组合组成的不可见条件。因此，我们观察到，最近的方法是能够产生可识别的场景看到的条件，并利用组合推广到看不见的条件与看到的对象组合。然而，所有的方法都遭受显着的图像质量下降时，要求从条件组成的看不见的对象组合生成图像。此外，通过我们的分析，我们确定了不同流水线组件的优点，并发现（1）通过实例空间条件化规范化来鼓励组合性增加了对两种类型的不可见条件的鲁棒性，（2）使用语义感知损失，如场景图感知相似性，有助于改善生成过程的某些维度，以及（3）增强所生成的掩模的质量和各个对象的质量是提高对这两种类型的不可见条件的鲁棒性的关键步骤。
2020-12-07 cs.AI cs.CV
Fail-Aware and Explainable Test Oracle Prediction
Department of Computer and Systems Sciences（计算机与系统科学系）
研究针对测试预言机构建难题，提出基于代码语言模型的FOCAL方法预测测试前缀成败，通过学习带标签数据、强调失败案例损失及基于行为证据预测，相比基线方法提升了未见过项目失败案例性能并提供更丰富解释。
2026-07-14 cs.AI cs.SE
Generating Data-Driven Reasoning Rubrics for Domain-Adaptive Reward Modeling
Johns Hopkins University（约翰霍普金斯大学）；Amazon Web Services（亚马逊网络服务）
本文提出数据驱动的推理评分标准，用于提升领域自适应奖励建模的错误检测能力，实验显示其在技术领域任务准确性提升达45%
2026-02-06 cs.AI cs.CL
Simulation to Rules: A Dual-VLM Framework for Formal Visual Planning
MIT（麻省理工学院）；Harvard University（哈佛大学）；MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）
本文提出VLMFP框架，结合SimVLM和GenVLM实现自动生成PDDL问题和领域文件，提升视觉规划的精确性和泛化能力。
2026-03-18 cs.AI cs.CL cs.RO
AgentKernelArena: Generalization-Aware Benchmarking of GPU Kernel Optimization Agents
AMD
本文提出AgentKernelArena，一个用于评估GPU核优化代理的开源基准，通过隔离工作区和统一评分机制，测试代理在不同任务和硬件目标上的性能和通用化能力，发现大多数任务在正确性和编译效率上表现优异，但在PyTorch到HIP的转换任务中存在显著的正确性下降。
2026-05-16 cs.AI cs.CL cs.LG
zrLLM: Zero-Shot Relational Learning on Temporal Knowledge Graphs with Large Language Models
LMU Munich（慕尼黑大学）；Siemens AG（西门子公司）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Stuttgart（斯图加特大学）
本文提出zrLLM方法，利用大语言模型从关系文本描述生成表示，融入基于嵌入的时态知识图谱预测模型，以解决零样本关系预测难题，实验证明该方法在不牺牲已见关系预测性能的同时，显著提升了对未见关系的预测能力。
2024-03-15 cs.AI cs.CL cs.LG
FaultExplainer: Leveraging Large Language Models for Interpretable Fault Detection and Diagnosis
Davidson School of Chemical Engineering, Purdue University（普渡大学戴维森化学工程学院）
本文提出交互式工具FaultExplainer，结合实时可视化、PCA故障检测与大型语言模型，在TEP中提升故障检测与诊断的可解释性，并利用GPT-4o等模型验证了其在生成可操作解释方面的优势与局限。
2024-12-19 cs.AI cs.LG cs.SY
Generating Unseen Nonlinear Evolution in Sea Surface Temperature Using a Deep Learning-Based Latent Space Data Assimilation Framework
Tianjin University（天津大学）；Minjiang University（闽江学院）
本文提出纯数据驱动的潜空间数据同化框架DeepDA，利用生成式AI捕捉海表温度非线性演变，在观测缺失时保持稳定且具可解释性。
2024-12-18 cs.AI cs.CV cs.LG
Domain Transformer: Predicting Samples of Unseen, Future Domains
Institute of Information Systems（信息系统研究所）；University of Liechtenstein（列支敦士登大学）
数据分布通常会随着时间的推移而演变，从而导致概念漂移等问题，这些问题通常会降低分类器的性能。目前的技术不足以解决这个问题，因为它们要么需要详细的知识的转换或不适合预测看不见的域，但只能适应域，其中数据样本是可用的。我们寻求预测看不见的数据（及其标签），使我们能够以主动的方式应对非恒定数据分布的挑战，而不是检测和应对可能已经导致错误的现有变化。为此，我们以无监督的方式学习域Transformer，该方式允许生成看不见的域的数据。我们的方法首先使用Cycle-GAN匹配从自动编码器获得的两个给定域的独立学习的潜在表示。反过来，可以学习原始样本的变换，其可以迭代地应用以外推到看不见的域。我们对CNN在图像数据上的评估证实了这种方法的有用性。它在著名的无监督域自适应问题上也取得了很好的效果，在这个问题上，只有标签而没有样本需要预测。代码可在https://github.com/JohnTailor/DoTra上获得。
2022-06-10 cs.AI cs.LG
SubeventWriter: Iterative Sub-event Sequence Generation with Coherence Controller
HKUST（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）；NVIDIA（英伟达）
在本文中，我们提出了一个新的任务的子事件生成的一个看不见的过程，以评估子事件的行动和对象的一致性的理解。为了解决这个问题，我们设计了SubeventWriter，一个带有一致性控制器的子事件序列生成框架。给定一个看不见的过程，框架可以通过在每次迭代中生成一个子事件来迭代地构造子事件序列。我们还设计了一个非常有效的相干控制器来解码更多的相干子事件。正如我们广泛的实验和分析表明，SubeventWriter可以为看不见的过程生成更可靠和有意义的子事件序列。
2022-10-19 cs.AI cs.CL
RefineGAN: Universally Generating Waveform Better than Ground Truth with Highly Accurate Pitch and Intensity Responses
大多数基于GAN（生成对抗网络）的高保真波形生成方法严重依赖于鉴别器来提高其性能。然而，GAN方法在生成过程中引入了许多不确定性，并且经常导致音高和强度的不匹配，这在涉及到诸如歌唱声音合成（SVS）之类的敏感用例时是致命的。为了解决这个问题，我们提出了一种高保真神经声码器RefineGAN，专注于鲁棒性，音调和强度精度以及高速全频带音频生成。我们采用了一种音高引导的细化架构，并使用基于多尺度谱图的损失函数来帮助稳定训练过程，并在使用基于GAN的训练方法时保持神经声码器的鲁棒性。使用这种方法生成的音频在主观测试中表现出更好的性能时，与地面实况音频相比。这一结果表明，通过消除记录过程产生的缺陷，在波形重构期间甚至改善了保真度。此外，它表明，在特定类型的数据上训练的模型可以在完全看不见的语言和看不见的说话者上表现得同样好。生成的示例对在https：//www.example.com上提供。timedomain-tech.github.io/refinegan/
2022-03-20 cs.AI cs.SD eess.AS
AffordGen: Generating Diverse Demonstrations for Generalizable Object Manipulation with Afford Correspondence
Shanghai Qi Zhi Institute（上海启智研究院）；Tsinghua University（清华大学）；Fudan University（复旦大学）；UC Berkeley（伯克利大学）
提出AffordGen框架，利用3D生成模型和视觉基础模型在大规模3D网格上的语义对应生成多样化操作轨迹，训练鲁棒的闭环视觉运动策略，实现零样本泛化到未见物体。
2026-05-30 cs.AI cs.RO
ProofWriter: Generating Implications, Proofs, and Abductive Statements over Natural Language
Allen Institute for AI（艾伦人工智能研究所）
Transformers已经被证明可以在自然语言理论（以自然语言表达的逻辑规则）上模拟逻辑演绎，可靠地将真/假标签分配给候选含义。然而，它们产生理论含义的能力尚未得到证明，并且重建答案证明的方法也不完善。在这项工作中，我们表明，生成模型，称为ProofWriter，可以可靠地生成理论的含义和支持它们的自然语言证明。特别是，迭代一步隐含生成器会产生高度可靠的证明，并代表实际的模型决策（而不是事后合理化）。在RuleTaker数据集上，ProofWriter证明的准确性超过了之前的方法+9%的绝对值，并且在某种程度上概括了训练和域外问题中看不到的证明深度。我们还表明，生成技术可以高精度地执行一种类型的溯因推理：给定一个理论和一个不可证明的结论，确定一个缺失的事实，使结论得到证明，以及一个证明。这些结果显着提高了系统推理自然语言的神经方法的可行性。
2021-06-03 cs.AI cs.CL
HyperSound: Generating Implicit Neural Representations of Audio Signals with Hypernetworks
Warsaw University of Technology（华沙理工大学）；Jagiellonian University（雅盖隆大学）；IDEAS NCBR；Tooploox
针对 INR 多用于视觉且每个音频样本需单独训练的问题，本文提出 HyperSound，通过超网络元学习为未见音频生成 INR，并实现与最先进模型相当的声波重建质量。
2024-01-25 cs.AI cs.LG cs.NE
ByteSized32: A Corpus and Challenge Task for Generating Task-Specific World Models Expressed as Text Games
University of Arizona（亚利桑那大学）；Microsoft Research Montréal（微软蒙特利尔研究院）；New York University（纽约大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究调查语言模型生成科学与常识推理任务的显式交互式世界模型的能力，提出ByteSized32语料库，并实证GPT-4通过单次学习和自我反思提升生成可运行文本游戏的效果，引入自动化评估指标，作为世界建模与代码生成交汇领域的挑战任务。
2023-10-23 cs.AI cs.CL
Conditional Diffusion-Flow models for generating 3D cosmic density fields: applications to f(R) cosmologies
Grupo Signos, Departamento de Matemáticas, Universidad El Bosque（埃尔博斯克大学数学系信号组）；Data Science Research Centre, Liverpool John Moores University（利物浦约翰·莫尔斯大学数据科学研究中心）；Departamento de Física, Universidad de Córdoba（科尔多瓦大学物理系）
本文提出条件扩散-流生成模型来生成三维暗物质密度场，并引入多输出模型编码宇宙学参数，在f(R)宇宙学中实现高精度且低计算成本的宇宙网模拟。
2025-02-24 astro-ph.CO cs.AI
Modeling the Data-Generating Process is Necessary for Out-of-Distribution Generalization
Microsoft Research（微软研究院）
该研究针对现有领域泛化算法在多属性分布偏移下表现不佳的问题，通过因果图理论证明单一固定约束无法适配所有偏移，提出了自适应应用独立性约束的CACM算法，验证了建模数据生成过程因果关系的重要性。
2024-05-17 cs.AI cs.LG
DocPrompting: Generating Code by Retrieving the Docs
Carnegie Mellon University（卡内基梅隆大学）；Inspired Cognition（Inspired Cognition公司）
公开可用的源代码库在不断增长和变化。这使得代码模型不可能通过简单地在现有代码存储库上训练这些模型来与所有可用的API保持同步。因此，现有的模型本质上不能推广到使用看不见的函数和库，因为这些函数和库永远不会出现在训练数据中。相比之下，当人类程序员第一次使用函数和库时，他们经常参考文本资源，如代码手册和文档，以探索和理解可用的功能。受此观察的启发，我们引入了文档化：一种自然语言到代码生成的方法，该方法通过以下方式显式地利用文档：（1）检索给定NL意图的相关文档片段，以及（2）基于NL意图和检索到的文档生成代码。文档整理是通用的：它可以应用于任何程序设计语言，并且与底层神经模型无关。我们证明了Doctending持续改进了NL-to-code模型：Doctending在pass@1中将CodeT 5等强基础模型提高了2.85%（52%相对增益）和4.39%通过@10（30%的相对增益）在基于执行的评估流行的Python CoNaLa基准;在一个新的Bash数据集tldr上，Doctering将CodeT 5和GPT-Neo 1.3B的绝对精确匹配提高了6.9%。
2023-02-18 cs.AI cs.CL cs.SE
Stylized Text-to-Motion Generation via Hypernetwork-Driven Low-Rank Adaptation
Visual Media Lab, KAIST（韩国庆熙大学视觉媒体实验室）
本文提出轻量级风格条件框架，通过超网络生成LoRA参数动态调节预训练扩散模型，实现高效且通用的风格化动作生成。
2026-05-13 cs.AI cs.CV cs.GR
Style-Extracting Diffusion Models for Semi-Supervised Histopathology Segmentation
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；University Hospital Erlangen（埃尔朗根大学医院）
提出风格提取扩散模型，通过风格和内容双条件机制零样本生成未见风格图像，并利用合成数据半监督训练提升了组织病理学分割性能。
2024-03-21 cs.AI cs.CV cs.LG
Logically Consistent Language Models via Neuro-Symbolic Integration
University of Trento（特伦托大学）；University of Edinburgh（爱丁堡大学）
针对LLM易生成非事实信息且推理时自相矛盾的问题，提出基于神经符号推理的损失函数，使模型与外部事实和规则保持逻辑一致，提升自洽性，支持多约束组合，并增强对未见事实知识的系统外推能力。
2024-09-09 cs.AI cs.CL cs.LG
