The Convergence of Schema-Guided Dialogue Systems and the Model Context Protocol
SBB-IT
本文通过分析模式引导对话系统与模型上下文协议的收敛，提出五条模式设计原则，揭示了SGD与MCP的内在联系及软件3.0中的关键监督机制。
2026-03-04 cs.AI cs.CL
Plugging Schema Graph into Multi-Table QA: A Human-Guided Framework for Reducing LLM Reliance
Chalmers University of Technology（查尔姆斯理工大学）
本文提出一种基于图的框架，利用人工整理的关系知识减少对大语言模型的依赖，有效解决多表问答中复杂表格模式链接的问题。
2025-10-15 cs.AI cs.CL
Which bird does not have wings: Negative-constrained KGQA with Schema-guided Semantic Matching and Self-directed Refinement
Department of Computer Science, Yonsei University（延世大学计算机科学系）
本文提出负约束知识图谱问答任务NEST-KGQA，设计PyLF逻辑形式和CUCKOO框架，通过模式引导语义匹配和自导向细化提升负约束问题的解答能力。
2026-04-16 cs.AI cs.CL
Language-Guided Traffic Simulation via Scene-Level Diffusion
Columbia University（哥伦比亚大学）；NVIDIA Research（英伟达研究院）；Stanford University（斯坦福大学）；Georgia Tech（佐治亚理工学院）
为解决交通仿真控制难的问题，提出场景级条件扩散模型CTG++，利用大语言模型将语言指令转化为损失函数，引导时空Transformer生成逼真且符合查询要求的交通仿真。
2023-10-18 cs.AI cs.LG cs.RO
SEGRA: A Structured Experience Guided Reasoning Agent for Property Graph Question Answering
University of British Columbia（英属哥伦比亚大学）；Amazon（亚马逊）
针对企业文本到Gremlin问答难题，SEGRA引入经验引导代理，集成多种技术，包括意图路由、查询生成等。在企业IT支持基准测试中成绩出色，平均评判分数大幅提高，技能库还降低了成本，提升了企业图问答的准确性与效率。
2026-08-31 cs.AI
Seeing Roads Through Words: A Language-Guided Framework for RGB-T Driving Scene Segmentation
National University of Singapore（新加坡国立大学）；University of Technology Sydney（悉尼科技大学）
提出CLARITY框架，利用视觉语言模型先验动态调整RGB-T融合策略，并引入暗目标语义保留和层次化解码器，在MFNet数据集上达到62.3% mIoU和77.5% mAcc的新SOTA。
2026-06-16 cs.AI cs.CV cs.LG
RAG-3DSG: Enhancing 3D Scene Graphs with Re-Shot Guided Retrieval-Augmented Generation
RAG-3DSG通过重拍引导的不确定性估计缓解3D场景图中的语义不一致问题，利用对象级检索增强生成方法提升机器人任务中的场景表示可靠性。
2026-08-11 cs.AI cs.CV cs.RO
Language-guided Semantic Style Transfer of 3D Indoor Scenes
University of Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；Peking University（北京大学）；Intel Labs（英特尔实验室）
我们解决的新问题的语言引导的语义风格转移的三维室内场景。输入是一个3D室内场景网格和几个描述目标场景的短语。首先，三维顶点坐标映射到RGB残差的多层感知器。其次，彩色三维网格微分渲染成二维图像，通过视点采样策略定制的室内场景。第三，通过预先训练的视觉语言模型将渲染的2D图像与短语进行比较。最后，将错误反向传播到多层感知器，以更新与某些语义类别相对应的顶点颜色。我们使用公共ScanNet和SceneNN数据集进行了大规模定性分析和A/B用户测试。我们证明：（1）视觉上令人愉快的结果，是潜在的多媒体应用程序的有用。(2)从与人类先验一致的视点渲染3D室内场景是重要的。(3)结合语义显著地提高了风格转换质量。(4)HSV正则化项导致与输入更一致的结果，并且通常评级更好。代码和用户学习工具箱可在https://github.com/AIR-DISCOVER/LASST上获得
2022-08-16 cs.AI cs.CV
MPerS: Dynamic MLLM MixExperts Perception-Guided Remote Sensing Scene Segmentation
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Southwest Jiaotong University（西南交通大学）
本文提出MPerS方法，通过设计多提示生成高质量遥感描述，结合DINOv3提取视觉特征，利用动态混合专家模块和语言查询引导注意力实现精准分割。
2026-05-11 cs.AI cs.CV
LLM-Guided Transformation of Non-Critical Driving Scenes into Safety-Critical Scenarios Using Augmented Reality
C-DRiVeS Lab: Cognitive Driving Research in Vehicular Systems（C-DRiVeS实验室：车辆系统认知驾驶研究实验室）；German University in Cairo（开罗德国大学）
本文提出一种结合计算机视觉、LLM和AR的自动化流水线，将安全驾驶场景转换为安全关键场景，在nuScenes上实现97.52%分类准确率，生成逼真测试场景。
2026-09-18 cs.AI cs.CV cs.RO
LLMs4SchemaDiscovery: A Human-in-the-Loop Workflow for Scientific Schema Mining with Large Language Models
TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学与技术信息中心（TIB））；TU/e Eindhoven University of Technology（埃因霍温理工大学）；University of Warwick（华威大学）；University of Brescia（布雷西亚大学）；L3S Research Center（L3S研究中心）
本文提出结合大语言模型与人类反馈的自动化工具schema-miner，通过迭代工作流整合专家输入与领域本体，从非结构化文本中提取语义丰富的科学模式，并在材料科学领域验证了其有效性与可扩展性。
2025-04-01 cs.AI cs.CL cs.DL
VideoDirectorGPT: Consistent Multi-scene Video Generation via LLM-Guided Planning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
针对现有文本生成视频方法多聚焦单场景短视频、难以实现长视频时间一致性的问题，提出VideoDirectorGPT框架，用GPT-4生成视频规划，结合Layout2Vid生成器实现多场景一致视频生成，性能媲美单场景SOTA。
2024-07-12 cs.AI cs.CL cs.CV
CS-CLIP: Compositional Scene Graph-guided CLIP for Robust Compositional Reasoning
Seoul National University（首尔国立大学）
提出CS-CLIP，利用场景图构建结构化负样本，解决组合推理中元素特定偏差，实现稳健的最先进性能并保留通用能力。
2026-09-09 cs.AI cs.CV
SceneAware: Scene-Constrained Pedestrian Trajectory Prediction with LLM-Guided Walkability
Inha University（仁荷大学）
针对现有行人轨迹预测方法忽略环境上下文的问题，提出SceneAware框架，结合ViT场景编码器和MLLM生成的可步行性掩码，加入碰撞惩罚机制，在ETH/UCY基准上性能较现有模型提升超50%。
2025-06-17 cs.AI cs.CV
SG-Layout: Structured Scene Graph-Guided Layout Generation with LLMs
Chongqing University（重庆大学）
SG-Layout通过两阶段训练将结构化空间知识融入LLMs，在三类任务中提升了空间推理与几何一致性，尤其适配关系密集的复杂场景。
2026-08-04 cs.AI cs.CV
Scene Graph-Guided Generative AI Framework for Synthesizing and Evaluating Industrial Hazard Scenarios
Ph.D. Student, Dept. of Civil Eng., University of Texas at Arlington. E-mail；Assistant Professor, Dept. of Computer Sci. \& Eng., University of Texas at Arlington. E-mail；Assistant Professor, Dept. of Civil Eng., University of Texas at Arlington. E-mail
针对工业危险场景数据集获取困难的问题，提出场景图引导的生成式AI框架，基于OSHA事故报告提取危险推理生成场景图，引导扩散模型合成逼真危险图像，并通过VQA框架验证其优于现有指标。
2025-11-17 cs.AI cs.CV
HyperAgent: Planning and Acting over Tool-Schema Hypergraphs for Tool-Use LLM Agents
HyperAgent是一种基于工具-模式超图的LLM智能体框架，通过构建相关图引导任务规划与执行，在AppWorld实验中提升了任务完成性能并降低了资源消耗。
2026-08-05 cs.AI cs.SE
Schema-Guided Paradigm for Zero-Shot Dialog
Carnegie Mellon University（卡内基梅隆大学）
开发机制，灵活地适应对话系统看不见的任务和领域是对话研究的一个主要挑战。神经模型从训练数据中隐式地记忆特定于任务的对话策略。我们认为这种内隐记忆排除了zero-shot迁移学习。为此，我们利用模式引导的范例，其中任务特定的对话策略显式地提供给模型。我们介绍了模式注意力模型（SAM）和改进的STAR语料库的模式表示。SAM在zero-shot设置中获得了显著的改进，与先前的工作相比，F1分数提高了+22。这些结果验证了对话中zero-shot概化的可行性。烧蚀实验也证明SAM的功效。
2021-06-13 cs.AI cs.CL cs.LG
Span-Selective Linear Attention Transformers for Effective and Robust Schema-Guided Dialogue State Tracking
Samsung Research（三星研究院）
针对模式引导对话状态跟踪中现有方法泛化性差、依赖建模不足的问题，提出SPLAT架构，结合跨度限制与线性注意力，在多个数据集和基准上实现更优性能与鲁棒性。
2023-06-15 cs.CL cs.LG
PluRel-to-RDB-PFN: Schema-Guided Synthetic Relational Pretraining
该研究将合成关系数据库生成器PluRel作为RDB-PFN的外部预训练数据源，通过三种课程策略对比，发现模式优先引导策略仅用少量数据即可恢复RDB-PFN近94%的性能，证实早期接触真实模式的有效性。
2026-08-03 cs.LG
Schema-Guided Event Graph Completion
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；JP Olive S&T Management LLC（JP Olive科技管理有限责任公司）
我们解决了一个新的任务，事件图完成，其目的是预测事件图丢失的事件节点。现有的链接预测或图补全方法难以处理事件图，因为它们通常是针对诸如社交网络或知识图谱之类的单个大型图而设计的，而不是针对多个小的动态事件图。此外，它们只能预测丢失的边缘，而不是丢失的节点。在这项工作中，我们建议利用事件模式，一个模板，描述了事件图的定型结构，以解决上述问题。我们的模式引导的事件图完成方法首先映射一个实例事件图的模式图的一个子图的启发式子图匹配算法。然后，它预测模式图中的候选事件节点是否应该被添加到实例化的模式子图，通过表征模式图的两种类型的局部拓扑结构：候选节点和子图的邻居，以及连接候选节点和子图的路径。这两个模块随后组合在一起用于最终预测。我们还提出了一个自我监督的策略来构建训练样本，以及一个专门设计用于完成事件图的推理算法。在四个数据集上的大量实验结果表明，我们提出的方法实现了最先进的性能，在四个数据集上的最佳基线方法上具有4.3%至19.4%的绝对F1增益。
2022-06-06 cs.AI cs.CL cs.LG
DemoSG: Demonstration-enhanced Schema-guided Generation for Low-resource Event Extraction
Beijing University of Posts and Telecommunications（北京邮电大学）
提出DemoSG模型，通过演示学习和模式引导生成，在低资源事件抽取中显著提升性能。
2023-10-16 cs.AI cs.CL cs.IR
DynaVieW: Schema-Guided World Modeling for Understanding Hierarchical Visual Dynamics
EPFL, Switzerland（瑞士联邦理工学院）；Harvard University（哈佛大学）；Sony Group Corporation（索尼集团）；ETH Zurich, Switzerland（瑞士苏黎世联邦理工学院）
针对多模态语言模型难以系统建模视频视觉场景时间演变的问题，提出DynaVieW模型，通过学习交错状态转换序列理解视觉动态，在多架构下联合建模，提升下游视觉叙事创作等任务表现。
2026-07-07 cs.AI cs.CL cs.CV
SGD-QA: Fast Schema-Guided Dialogue State Tracking for Unseen Services
NVIDIA（英伟达）
对话状态跟踪是面向目标的对话系统的重要组成部分，而大多数这些状态跟踪模型往往无法处理看不见的服务。在本文中，我们提出了SGD-QA，一个简单的和可扩展的模式引导的对话状态跟踪模型的基础上的问答方法。所提出的多通道模型在域信息和对话话语之间共享单个编码器。领域的描述表示查询，对话话语充当上下文。与SGD数据集上的单通道基线模型相比，该模型将看不见的服务的性能提高了至少1.6倍。与最先进的多遍模型相比，SGD-QA显示出具有竞争力的性能，同时在内存消耗和训练性能方面显着更高效。我们提供了一个全面的讨论模型与烧蚀研究和误差分析。
2021-05-17 cs.CL cs.LG
TASER: Table Agents for Schema-guided Extraction and Recommendation
J.P. Morgan AI Research（摩根大通人工智能研究）
TASER 是一种持续学习的表格提取与推荐系统，通过模式引导提升复杂表格数据的提取效率和准确性。
2026-02-23 cs.AI cs.CL cs.IR
A Fast and Robust BERT-based Dialogue State Tracker for Schema-Guided Dialogue Dataset
NVIDIA（英伟达）
对话状态跟踪（DST）是面向目标的对话系统中最关键的模块之一。在本文中，我们介绍FastSGT（快速模式引导跟踪器），一个快速和强大的基于BERT的模型，面向目标的对话系统的状态跟踪。所提出的模型是专为模式引导对话（SGD）数据集，其中包含自然语言描述的所有实体，包括用户意图，服务和插槽。该模型采用了两个结转程序处理提取的值没有明确提到的当前用户的话语。它还在一些解码器中使用多头注意力投影，以更好地建模编码器输出。在进行的实验中，我们将FastSGT与SGD数据集的基线模型进行了比较。我们的模型在计算和内存消耗方面保持了效率，同时显着提高了准确性。此外，我们提出了消融研究测量模型的不同部分对其性能的影响。我们还展示了数据增强在不增加计算资源的情况下提高精度的有效性。
2020-08-27 cs.LG stat.ML
A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking
National Technical University of Athens（雅典国立技术大学）；Athena Research Center（雅典娜研究中心）
面向任务的对话系统通常采用对话状态跟踪器（DST）来成功地完成对话。最近的最先进的DST实现依赖于不同服务的模式来提高模型鲁棒性并处理对新域的zero-shot泛化[1]，然而这样的方法[2，3]通常需要多个大规模Transformer模型和长输入序列才能良好地执行。我们提出了一个单一的多任务BERT为基础的模型，共同解决了意图预测，请求插槽预测和插槽填充三个DST任务。此外，我们提出了一个有效的和简约的编码的对话历史和服务模式，以进一步提高性能。对SGD数据集的评估表明，我们的方法比基线SGP-DST的性能要好得多，与最先进的方法相比，性能也很好，同时计算效率要高得多。进行了广泛的消融研究，以检查我们模型成功的因素。
2022-07-02 cs.CL cs.LG
Sparse Attention Guided Dynamic Value Estimation for Single-Task Multi-Scene Reinforcement Learning
Australian National University（澳大利亚国立大学）
在具有来自同一任务的多个级别/场景的环境中训练深度强化学习代理，对于许多旨在实现从模拟到现实世界的泛化和域转移的应用来说已经变得至关重要。虽然这种策略有助于泛化，但使用多个场景会显著增加为策略梯度计算收集的样本的方差。当前方法有效地继续将该场景集合视为单个马尔可夫决策过程（MDP），并且因此学习场景通用价值函数V（s）。然而，我们认为多场景环境的样本方差最好通过将每个场景视为不同的MDP来最小化，然后学习依赖于状态s和MDP M的联合价值函数V（s，M）。我们进一步证明了多场景环境的真正联合价值函数遵循传统的基于CNN / LSTM的评论家网络无法捕获的多模态分布。为此，我们提出了一种动态值估计（DVE）技术，它通过稀疏的注意力机制在多个价值函数假设/模式近似的真正的联合价值函数。由此产生的代理不仅在一系列OpenAI ProcGen环境中显示出最终奖励分数的显着改善，而且还表现出增强的导航效率，并为无监督状态空间技能分解提供了一种隐式机制。
2021-02-14 cs.AI cs.LG cs.RO
Executable Schema Contracts: From Automatic Ingestion to Multi-Source Retrieval
Intuit AI Research（Intuit AI研究）
提出一种自动从多源数据中发现可执行模式并将其作为共享合约的系统，通过模式约束的检索路由和结构化分析提升多源问答性能。
2026-10-30 cs.AI cs.CL cs.LG
GTC: Guided Training of CTC Towards Efficient and Accurate Scene Text Recognition
Nanyang Technological University（南洋理工大学）；SenseTime Group Ltd.（商汤集团有限公司）
连接主义时态分类和注意力机制是当前场景文本识别研究中的两种主要方法。与基于注意力的方法相比，CTC解码器具有更短的推理时间，但准确率较低。为了设计一个高效和有效的模型，我们提出了CTC的指导训练（GTC），其中CTC模型从更强大的注意力指导中学习更好的对齐和特征表示。CTC模型通过引导式训练，在保持快速推理速度的同时，实现了对规则和不规则场景文本的鲁棒和准确预测。此外，为了进一步利用CTC解码器的潜力，提出了一种图卷积网络（GCN）来学习提取的特征的局部相关性。在标准基准上的大量实验表明，我们的端到端模型实现了规则和不规则场景文本识别的新的最先进水平，并且比基于注意力的方法需要短6倍的推理时间。
2020-02-04 cs.CV cs.LG eess.IV
Occlusion Guided Scene Flow Estimation on 3D Point Clouds
Tel Aviv University（特拉维夫大学）
3D场景流估计是感知给定深度或距离传感器的环境的重要工具。与光流不同，数据通常是稀疏的，并且在大多数情况下，在两个时间采样之间被部分遮挡。在这里，我们提出了一个新的场景流架构称为OGSF-Net紧密耦合的学习帧之间的流动和闭塞。它们的耦合共生导致更准确地预测空间流动。与传统的多动作网络不同，我们的统一方法在整个网络中融合，提高了遮挡检测和流量估计的性能。我们的架构是第一个衡量点云上的3D场景流估计中的遮挡。在Flyingthings 3D和KITTI等关键数据集中，我们实现了最先进的结果。
2021-04-19 cs.CV cs.LG
Local Class-Specific and Global Image-Level Generative Adversarial Networks for Semantic-Guided Scene Generation
University of Trento（特伦托大学）；University of Oxford（牛津大学）；Texas State University（德克萨斯州立大学）；Huawei Research Ireland（华为爱尔兰研究院）
在本文中，我们解决的任务语义引导场景生成。场景生成中的一个公开挑战是难以生成小物体和详细的局部纹理，这在全局图像级生成方法中已被广泛观察到。为了解决这个问题，在这项工作中，我们考虑在本地上下文中学习场景生成，并相应地设计了一个本地类特定的生成网络，以语义映射为指导，单独构建和学习子生成器集中在不同的类的生成，并能够提供更多的场景细节。为了学习更多的判别类特定的特征表示的本地生成，还提出了一种新的分类模块。为了结合全局图像级和局部类别级生成的优点，设计了一种具有注意力融合模块和双隐层结构的联合生成网络。在两个场景图像生成任务上的大量实验表明，该模型具有优越的生成性能。在这两项任务和具有挑战性的公共基准方面，都取得了很大的进步。源代码和训练模型可在https://github.com/Ha0Tang/LGGAN上获得。
2020-03-31 cs.CV cs.LG eess.IV
Knowledge-Guided Object Discovery with Acquired Deep Impressions
Fudan University（复旦大学）
我们提出了一个框架，称为收购深印象（ADI），不断学习知识的对象作为“印象”的组成场景理解。在这个框架中，该模型首先从包含一个单一的对象在监督的方式场景图像中获取知识，然后继续从新的多对象场景图像，其中可能包含以前没有见过的对象没有任何进一步的监督，在学习知识的指导下，人类做的。通过将物体的印象记忆到神经网络的参数中并应用生成重放策略，可以重用所学习的知识来生成具有伪注释的图像，从而帮助学习新的场景。建议的ADI框架侧重于知识的获取和利用，并补充现有的深度生成模型提出的组合场景表示。我们调整一个基础模型，使其落入ADI框架内，并在两种类型的数据集上进行实验。实验结果表明，该框架能够有效地利用所获得的印象，提高场景分解性能。
2021-03-19 cs.CV cs.LG
