Diversifying Neural Text Generation with Part-of-Speech Guided Softmax and Sampling
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
神经文本生成模型可能会受到低多样性问题的困扰。各种解码策略和基于训练的方法已经被提出,以促进多样性,只有利用上下文特征,但很少考虑到结合句法结构线索。在这项工作中,我们建议使用语言注释,即,词性(POS),用于指导文本生成。详细地说,我们引入了POS Guided Softmax来显式地对两个后验概率进行建模:(i)下一个POS,以及(ii)来自目标POS词汇表的下一个令牌。进一步提出了一种POS引导抽样策略,通过丰富POS的多样性来解决低多样性问题。大量的实验和人工评估表明,与现有的最先进的方法相比,我们的POS引导Softmax和采样(POSG)可以生成更多样化的文本,同时保持相当的质量。
2022-09-10 cs.AI cs.CL
Injecting Entity Types into Entity-Guided Text Generation
University of Notre Dame(圣母大学);Microsoft Cognitive Services Research(微软认知服务研究院)
最近在深度生成建模方面的成功导致了自然语言生成(NLG)的重大进展。通过帮助推断摘要主题和生成连贯的内容,将实体转换为神经生成模型已经证明了很大的改进。为了增强实体在自然语言生成中的作用,本文提出在解码阶段对实体类型进行建模,以准确生成上下文词语。我们开发了一种新的NLG模型,根据给定的实体列表产生靶序列。我们的模型有一个多步骤的解码器,将实体类型注入到实体提及生成的过程中。在两个公共新闻数据集上的实验表明,类型注入的性能优于现有的类型嵌入串联基线。
2021-09-07 cs.CL cs.LG
Stylized Story Generation with Style-Guided Planning
Tsinghua University(清华大学)
目前的故事讲述系统更多地关注生成情节连贯的故事,而较少关注叙事风格,这对于可控的文本生成是非常重要的。因此,我们提出了一个新的任务--风格化故事生成,即在给定的主导语境下生成具有特定风格的故事。为了解决这个问题,我们提出了一种新的生成模型,首先规划风格化的关键词,然后在关键词的指导下生成整个故事。此外,我们还提出了两个自动度量标准来评估生成的故事与指定风格之间的一致性。实验证明,我们的模型可以基于ROCStories数据集可控地生成情感驱动或事件驱动的故事(Mostafazadeh等人,2016)。我们的研究为进一步的研究提供了启发。
2021-08-19 cs.AI cs.CL
Operations Guided Neural Networks for High Fidelity Data-To-Text Generation
Sun Yat-Sen University(中山大学);Microsoft Research Asia(微软亚洲研究院)
最近用于数据到文本生成的神经模型主要基于编码器-解码器网络上的数据驱动的端到端训练。尽管生成的文本大多是流畅的和信息丰富的,但它们通常会生成与输入结构化数据不一致的描述。这是一个关键问题,特别是在需要对原始数据进行推理或计算的领域。在本文中,我们试图通过利用预先执行的符号操作来提高神经数据到文本生成的保真度。我们提出了一个框架称为操作引导的基于注意力的序列到序列网络(OpAtt),具有专门设计的门控机制以及操作结果的量化模块,以利用来自预执行操作的信息。在两个体育数据集上的实验表明,该方法明显提高了生成文本对输入结构化数据的保真度。
2018-09-08 cs.AI cs.CL
Visualize Before You Write: Imagination-Guided Open-Ended Text Generation
UC Santa Barbara(加州大学圣巴巴拉分校);UC San Diego(加州大学圣地亚哥分校);UC Santa Cruz(加州大学圣克鲁兹分校)
文本到图像合成的最新进展使得在给定的上下文中可视化机器想象成为可能。另一方面,在生成文本时,人类作家擅长创造性的视觉化,这通过在将故事写下来之前形成想象力作为蓝图来增强他们的写作。受这样一个认知过程的启发,我们提出了一个自然的问题,即我们是否可以赋予机器同样的能力来利用视觉信息,并构建一个上下文的总体图像来指导文本生成。在这项工作中,我们提出了iNLG,使用机器生成的图像来指导开放式文本生成中的语言模型。实验和分析表明,在开放式文本生成任务,包括文本完成,故事生成,概念到文本生成在Few-Shot和全数据场景的有效性。自动度量和人工评估都验证了我们的iNLG生成的文本片段是连贯的和信息丰富的,同时显示轻微的退化。
2023-02-15 cs.AI cs.CL
Pareto-Guided Teacher Alignment for Fair Personalized Text Generation
Purdue University(普渡大学)
提出帕累托引导的教师对齐框架,通过修订候选生成、对感知可行性门控、帕累托候选选择和偏好优化,在减少人口统计差异的同时保持个性化保真度,实验表明公平缓解效果依赖于目标且跨域迁移不一致。
2026-06-08 cs.AI cs.CL cs.CY
Emotion-Cause Pair Extraction as Question Answering
Cinnamon AI(肉桂人工智能公司);Hung Yen University of Technology and Education(兴安技术教育大学)
情感-原因对抽取(ECPE)的任务是在没有任何情感或原因子句注释的情况下抽取文档中所有潜在的情感-原因对。以前的方法ECPE试图改善传统的两步处理方案,通过使用复杂的架构建模的情绪-原因的相互作用。在本文中,我们将ECPE任务转换为问答(QA)问题,并提出了简单而有效的基于BERT的解决方案来解决它。给定一个文档,我们的Guided-QA模型首先使用一个固定的问题来预测最佳的情感子句。然后,预测的情绪被用作一个问题来预测情绪的最潜在原因。我们评估我们的模型在一个标准的ECPE语料库。实验结果表明,尽管它的简单性,我们的引导QA取得了可喜的成果,很容易重现。并给出了Guided-QA的代码。
2023-01-06 cs.CL
Agent-Guided Evidence Acquisition for Emotion-Cause Pair Extraction
Universiti Malaya(马来亚大学);Suzhou University of Technology(苏州科技大学);VinUniversity
该研究针对情感-原因对抽取(ECPE),提出智能体引导的证据获取方法,在10%查询率下使平均对F1提升2.64-3.88个百分点,为ECPE的高效证据获取提供了实证基础。
2026-10-14 cs.CL
Target-Guided Dialogue Response Generation Using Commonsense and Data Augmentation
Carnegie Mellon University(卡内基梅隆大学)
目标引导的响应生成使得对话系统能够将对话从对话上下文平滑地过渡到目标句子。这种控制对于设计将对话引导到特定目标的对话系统是有用的,例如创建非侵扰性推荐或在对话中引入新主题。在本文中,我们介绍了一种新的技术,目标引导的响应生成,首先找到一个桥接路径的常识性知识概念之间的源和目标,然后使用确定的桥接路径生成过渡响应。此外,我们提出的技术,重新利用现有的对话数据集为目标引导的生成。实验表明,所提出的技术优于各种基线上这项任务。最后,我们观察到,现有的自动化指标,这项任务的相关性很差,与人类的判断评级。我们提出了一种新的评价指标,我们证明是更可靠的目标导向的响应评估。我们的工作通常使对话系统设计者能够对他们的系统产生的对话进行更多的控制。
2022-05-19 cs.CL
InFillmore: Frame-Guided Language Generation with Bidirectional Context
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一个结构化的扩展双向上下文条件语言生成,或“填充”,框架语义理论(Fillmore,1976)的启发。通过两种方法提供指导:(1)模型微调,直接对观察到的符号框架进行调节,以及(2)利用框架语义词汇单元的析取词汇约束解码的新扩展。自动和人工评估证实,框架引导的生成允许显式操纵预期的填充语义,与人类生成的文本的可扩展性损失最小。我们的方法灵活地适用于各种使用场景,我们提供了一个代码库和互动演示,可从https://nlp.jhu.edu/demos/infillmore获得。
2022-03-22 cs.CL
Learning from Repaired Reasoning: Root-Cause-Guided On-Policy Distillation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);School of Information Technology and Management, University of International Business and Economics(对外经济贸易大学信息与技术管理学院)
针对在线策略自蒸馏中参考引导与所需修正不匹配及蒸馏陷阱问题,提出根因引导的在线策略蒸馏(RC-OPD),通过定位学生推理最早错误并迭代修复,实现根因与锚点双重引导,显著提升性能。
2026-10-05 cs.CL
Thinking Clearly, Talking Fast: Concept-Guided Non-Autoregressive Generation for Open-Domain Dialogue Systems
Fudan University(复旦大学)
人类的对话包含不断发展的概念,说话者自然会将多个概念联系起来组成一个响应。然而,目前的seq 2seq框架的对话模型缺乏有效管理概念转换的能力,并且很难以顺序解码的方式将多个概念引入响应。为了促进可控和连贯的对话,在这项工作中,我们设计了一个概念引导的非自回归模型(CG-nAR)的开放域对话生成。所提出的模型包括一个多概念规划模块,学习识别多个相关联的概念,从概念图和定制的插入Transformer,执行概念引导的非自回归生成,以完成响应。在两个公共数据集上的实验结果表明,CG-nAR可以产生多样化和连贯的响应,在自动和人工评估中均优于最先进的基线,推理速度更快。
2021-09-09 cs.CL
Schema-Guided Semantic Accuracy: Faithfulness in Task-Oriented Dialogue Response Generation
University of Cambridge(剑桥大学)
确保生成的话语忠实于对话行为是面向任务的对话响应生成的关键。时隙出错率(SER)仅部分地测量生成质量,因为它仅评估从期望精确再现其值的非分类时隙生成的话语。从类别槽,这是更多变的,产生的话语,不评估SER。我们提出了模式引导的语义准确性(SGSAcc),以评估产生的话语从类别和非类别槽识别文本蕴涵。我们表明,SGSAcc可以应用于评估从广泛的对话行动中产生的话语的模式引导对话(SGD)数据集与人类的判断很好的协议。我们还确定了一个以前被忽视的弱点,在生成忠实的话语从分类插槽看不见的域。我们表明,前缀调整适用于T5代可以解决这个问题。我们进一步构建了一个前缀调整和微调模型的集合,该模型在SGD数据集上实现了最低的SER报告和高SGSAcc。
2023-01-29 cs.CL
Hierarchical Aspect-guided Explanation Generation for Explainable Recommendation
Nanyang Technological University(南洋理工大学);Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY)(南洋理工大学-不列颠哥伦比亚大学活跃老龄生活卓越联合研究中心);Victoria University(维多利亚大学)
可解释推荐系统为推荐结果提供解释,以提高推荐结果的透明度和说服力。现有的可解释推荐方法生成文本解释,而没有明确考虑用户对项目的不同方面的偏好。在本文中,我们提出了一种新的解释生成框架,命名为层次化的Aesthetic-guided解释生成(HAG),可解释的推荐。具体地说,HAG采用了一个基于审查的语法图来提供用户/项目细节的统一视图。提出了一种方面引导的图池操作符,从基于评论的语法图中提取方面相关信息,以在方面级别上对用户对项目的偏好进行建模。然后,开发了一个层次解释解码器,根据注意力机制生成方面和方面相关解释。在三个真实数据集上的实验结果表明,HAG在单方面和多方面解释生成任务中的性能优于最先进的解释生成方法,并且也实现了与强基线方法相当甚至更好的偏好预测准确性。
2021-10-23 cs.CL
Macro-Queries: An Exploration into Guided Chart Generation from High Level Prompts
Laboratory for Advanced Visualization and Applications(高级可视化与应用实验室);East-West Center(东西方中心);Water Resources Research Center(水资源研究中心)
本文提出一种基于LLM的引导式流水线,通过高层用户问题(macro-queries)将数据转化为多样化可视化,结合提示技术、受Abela图表分类法启发的微调及SQL工具,旨在让新手用户更易访问广泛的数据可视化类型。
2024-08-22 cs.CL
Query and Conquer: Execution-Guided SQL Generation
Snowflake AI Research(Snowflake AI研究部)
提出一种利用执行结果从多候选查询中选择语义最一致者的新方法,使小模型在text-to-SQL任务中超越o1等大模型,并将推理成本降低30倍,提供实用可扩展的SOTA方案。
2025-03-31 cs.CL
Discourse Coherence and Response-Guided Context Rewriting for Multi-Party Dialogue Generation
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本文提出DRCR框架,通过对话上下文重写提升多方对话生成效果,利用对话连贯性和响应质量构建偏好数据,并采用动态自进化学习方法增强重写与响应能力。
2026-04-13 cs.CL
Guided Decoding and Its Critical Role in Retrieval-Augmented Generation
Newmind AI Istanbul, Türkiye(新 mind AI 伊斯坦布尔,土耳其)
本研究比较了三种引导解码方法在RAG系统中的性能,发现多轮交互影响显著,为结构化输出生成提供了理论见解和实践指导。
2025-09-08 cs.CL
PTCG: Persona-guided Tree-based Counterargument Generation
Sungkyunkwan University(成均馆大学);Seoul National University(首尔大学);University of Richmond(里士满大学);NAVER Cloud(NAVER云)
提出PTCG框架,结合思维树式逐步生成与剪枝及说话人人格选择,从原始论证估计作者人格并融入多样观点,以生成多样且具说服力的反论证,经多种评估验证优于基线方法。
2026-09-09 cs.CL
Stylistic Dialogue Generation via Information-Guided Reinforcement Learning Strategy
University of Cambridge(剑桥大学);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
文体响应生成对于构建用于工业用途的吸引人的对话系统至关重要。虽然它吸引了很多研究兴趣,现有的方法往往产生文体的反应,在内容质量(相关性和流畅性)的成本。为了在内容质量和风格之间实现更好的平衡,我们引入了一种新的训练策略,称为信息引导强化学习(IG-RL)。在IG-RL中,鼓励训练模型探索风格表达,同时限制其内容质量。这是通过采用强化学习策略与统计风格的信息指导质量保持的探索。在两个数据集上的实验表明,该方法在整体响应性能方面优于几个强基线。
2020-04-05 cs.CL
Dictionary-Guided Editing Networks for Paraphrase Generation
Microsoft Research(微软研究院);Beihang University(北京航空航天大学)
一个人写释义句子的直观方法是用相应的同义词替换原句子中的单词或短语,并进行必要的修改,以确保新句子流畅且语法正确。我们提出了一种新的方法来建模的过程与字典引导的编辑网络,有效地进行重写的源句子生成释义句子。它共同学习选择合适的单词级和短语级释义对的上下文中的原始句子从现成的字典,以及流畅的自然语言句子的生成。具体地说,该系统检索一组词级和短语级araphrased对派生的释义数据库(PPDB)的原始句子,这是用来指导的决定,哪些词可能会被删除或插入与软注意力机制下的序列到序列的框架。我们进行实验的两个基准数据集的释义生成,即MSCOCO和Quora数据集。评估结果表明,我们的字典引导的编辑网络优于基线方法。
2018-06-21 cs.CL
Social Commonsense-Guided Search Query Generation for Open-Domain Knowledge-Powered Conversations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对被动用户对话中难以确定检索信息的问题,提出社交常识引导的搜索查询生成方法,整合主题跟踪、常识响应生成和指令驱动查询生成,生成更相关具体的查询以提升对话吸引力。
2023-10-22 cs.CL
Template Guided Text Generation for Task-Oriented Dialogue
Google(谷歌);Google Research(谷歌研究院)
Google Assistant、Amazon Alexa和Apple Siri等虚拟助手使用户能够使用自然语言与Web上的大量服务和API进行交互。在这项工作中,我们研究了两种方法自然语言生成(NLG)使用一个单一的领域独立的模型在大量的API。首先,我们提出了一个模式引导的方法,条件上的模式描述的API在自然语言的生成。我们的第二种方法研究了使用少量的模板,在插槽数量上线性增长,以传达API的语义。为了生成任意时隙组合的话语,首先连接几个简单的模板以给出语义正确但可能不连贯且不合语法的话语。一个预先训练的语言模型随后被用来将其重写成连贯的、自然的文本。通过自动度量和人工评估,我们表明我们的方法在强基线上有所改进,对域外输入具有鲁棒性,并显示出改进的样本效率。
2020-11-13 cs.CL
Title-Guided Encoding for Keyphrase Generation
The Chinese University of Hong Kong(香港中文大学);Shenzhen Research Institute, The Chinese University of Hong Kong(香港中文大学深圳研究院);Department of Computer Science and EngineeringThe Chinese University of Hong Kong(香港中文大学计算机科学与工程学系)
关键词生成是在给定文档的情况下生成一组关键词的过程,是自然语言处理中的一项基本任务。大多数以前的方法以提取的方式解决这个问题,而最近,在生成环境下使用深度神经网络进行了几次尝试。然而,现有的生成方法简单地将文档标题和文档主体等同对待,忽视了标题对整个文档的主导作用。为了解决这个问题,我们引入了一个新的模型,称为标题引导网络(TG-Net),用于基于编码器-解码器架构的自动关键词生成任务,具有两个新功能:(i)标题额外用作查询式输入,以及(ii)标题引导编码器收集文档中每个单词的标题相关信息。在一系列KG数据集上的实验表明,我们的模型优于最先进的模型,具有较大的保证金,特别是对于标题长度比率非常低或非常高的文档。
2019-01-16 cs.CL
Expert-Guided Extinction of Toxic Tokens for Debiased Generation
The Hong Kong Polytechnic University(香港理工大学);University of Technology Sydney(悉尼科技大学);The Education University of Hong Kong(香港教育大学)
本文提出EXPOSED方法,通过构建去偏专家暴露并抑制有毒词元,在无需大量无偏语料或多轮指令的情况下,显著降低大型语言模型的社会偏见并平衡公平性与生成性能。
2024-05-29 cs.CL
PPL-MCTS: Constrained Textual Generation Through Discriminator-Guided MCTS Decoding
CNRS(法国国家科学研究中心);IRISA(法国信息与随机系统研究所);Univ. Rennes 1(雷恩第一大学);IMATAG
基于Transformers的大语言模型(LM)允许生成合理的长文本。在本文中,我们将探讨如何在解码时进一步控制这一代,以满足某些限制(例如无毒,传达某些情感,使用特定的写作风格等)。不需要微调LM。准确地说,我们正式约束生成树的探索过程中指导下的一个约束,表明如何以及相关的序列尊重的约束。除了比微调LM更容易和更便宜地进行训练之外,该方法还允许更精细和动态地应用约束。我们提出了几种原始的方法来搜索这棵生成树,特别是蒙特卡罗树搜索(MCTS),它提供了理论上的保证的搜索效率,但也更简单的方法的基础上重新排序的不同序列的池使用的candidscores。这些方法进行评估,自动和基于人类的指标,两种类型的约束和语言:审查极性和情绪控制在法语和英语。我们发现,歧视引导的MCTS解码达到国家的最先进的结果,而不必调整的语言模型,在任务和语言。我们还表明,其他建议的解码方法的基础上重新排名可以真正有效的时候,鼓励所产生的命题之间的多样性。
2022-05-04 cs.CL
DiSCoL: Toward Engaging Dialogue Systems through Conversational Line Guided Response Generation
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Columbia University(哥伦比亚大学);University of California Los Angeles(加州大学洛杉矶分校)
与用户进行有吸引力和信息量的对话是开放域对话系统的最终目标。基于transformer的语言模型及其在对话系统中的应用的最新进展已经成功地产生了流畅的和类似人类的响应。然而,他们仍然缺乏对生成过程的控制,以生成内容丰富的响应并实现引人入胜的对话。为了实现这一目标,我们提出了\textbf{DiSCoL}(\textbf{Di}通过\textbf{Co}功能性\textbf{L}行引导反应生成的\textbf{S}系统)。DiSCoL是一个开放领域的对话系统,利用会话线(简称\textbf{convlines})作为可控和信息内容规划元素,以指导生成模型产生引人入胜和信息丰富的响应。DiSCoL管道中的两个主要模块是条件生成器,用于1)预测对话上下文的相关和信息性convlines,以及2)根据预测的convlines生成高质量的响应。用户还可以将返回的convlines更改为\textit{control},使对话的方向朝向他们更感兴趣的主题。通过自动和人工评估,我们证明了convlines在产生引人入胜的对话中的效率。
2021-02-03 cs.CL
Guided Profile Generation Improves Personalization with LLMs
University of Southern California(南加利福尼亚大学)
提出引导式画像生成(GPG)方法,通过生成自然语言个人画像,提升大语言模型在个性化任务中的表现,偏好预测准确率提高37%。
2024-09-19 cs.AI cs.CL
Multimodal Event Transformer for Image-guided Story Ending Generation
Australian AI Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
图像引导故事结局生成是根据给定的故事情节和结局图像生成故事结局。现有的方法侧重于跨模态特征融合,而忽略了推理和挖掘故事情节和结局图像中的隐含信息。为了解决这个问题,我们提出了一个多模态事件Transformer,一个基于事件的推理框架IgSEG。具体来说,我们从故事情节和结局图像构建视觉和语义事件图,并利用基于事件的推理推理和挖掘隐含的信息在一个单一的模态。接下来,我们连接视觉和语义事件图,并利用跨模态融合来集成不同的模态特征。此外,我们提出了一个多模态注入器,自适应地传递必要的信息到解码器。此外,我们提出了一个不连贯的检测,以提高理解的故事情节的背景和图建模的鲁棒性,我们的模型。实验结果表明,我们的方法实现了国家的最先进的性能图像引导的故事结局生成。
2023-01-26 cs.CL cs.CV
Dependency-Guided Code Generation: Structured Matrix Decomposition and Consistency-Guided Refinement
University of the Chinese Academy of Sciences(中国科学院大学);ByteDance Inc.(字节跳动公司);Zhejiang University(浙江大学);National Taiwan University(台湾国立大学);Peking University(北京大学);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学);Liaoning Technical University(辽宁技术大学)
针对现有代码生成方法无法充分捕捉代码实体依赖关系的问题,提出依赖感知代码生成框架,通过结构化矩阵分解和一致性引导细化生成代码,经实验验证该方法能生成语义对齐和结构保真度更高的代码。
2026-07-28 cs.CL cs.SE
Efficient Guided Generation for Large Language Models
Normal Computing
该研究将神经文本生成重构为有限状态机状态转移问题,提出基于正则表达式与上下文无关文法的模型无关高效引导生成方法,开销低、性能优于现有方案,已在开源Python库Outlines中实现。
2023-08-19 cs.CL cs.LG
Visual Information Guided Zero-Shot Paraphrase Generation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
由于大规模高质量的释义语料库的有限性,Zero-shot释义生成受到了广泛的关注。反向翻译,也称为基于翻译的方法,是这方面的典型方法。一些作品利用不同的信息作为“支点”,如语言,语义表征等。本文探讨了使用视觉信息,如图像作为“支点”的回译。与流水线回译方法不同,本文提出了一种基于图像-字幕数据的视觉信息引导的zero-shot释义生成方法。它联合训练图像描述模型和释义模型,并利用图像描述模型指导释义模型的训练。自动评测和人工评测结果表明,该模型能够生成相关性、流畅性和多样性较好的释义,图像是实现zero-shot释义生成的一种有效手段。
2022-09-22 cs.AI cs.CL
Grounded Conversation Generation as Guided Traverses in Commonsense Knowledge Graphs
Brown University(布朗大学);Microsoft Research AI(微软人工智能研究院);Tsinghua University(清华大学)
人类的对话自然会围绕相关的概念发展,并分散到多跳概念。本文提出了一种新的会话生成模型ConceptFlow,它利用常识知识图谱来显式地对会话流进行建模。通过将会话接地到概念空间,ConceptFlow将潜在的会话流表示为沿着常识关系在概念空间中遍历。遍历由概念图中的图注意力引导,朝着概念空间中更有意义的方向移动,以生成更多语义和信息的响应。在Reddit会话上的实验证明了ConceptFlow的有效性,超过了以前的知识感知会话模型和基于GPT-2的模型,同时使用的参数减少了70%,证实了显式建模会话结构的优势。本工作的所有源代码都可以在https://github.com/thunlp/ConceptFlow上获得。
2020-05-05 cs.AI cs.CL
Lesion Guided Explainable Few Weak-shot Medical Report Generation
Xiamen University(厦门大学);Tencent Healthcare (Shenzhen) Co., LTD(腾讯医疗健康(深圳)有限公司)
医学图像在临床实践中被广泛用于诊断。自动生成可解释的医疗报告可以减轻放射科医生的负担并促进及时护理。然而,大多数现有的自动报告生成方法需要足够的标记数据进行训练。此外,学习的模型只能为训练类生成报告,缺乏适应以前未见过的新疾病的能力。为此,我们提出了一个病变引导的可解释的几个弱镜头的医疗报告生成框架,通过视觉和语义特征对齐学习看到的和新的类之间的相关性,旨在为训练中未观察到的疾病生成医疗报告。它集成了以病变为中心的特征提取器和基于Transformer的报告生成模块。具体地说,病变为中心的特征提取器检测异常区域,并学习多视图(视觉和词汇)嵌入看到的和新的类之间的相关性。然后,检测到的区域和相应的嵌入的特征被连接为多视图输入到报告生成模块,用于可解释的报告生成,包括文本描述和在图像中检测到的相应异常区域。我们对FFA-IR进行了实验,这是一个提供可解释注释的数据集,表明我们的框架在新疾病的报告生成方面优于其他框架。
2022-11-17 cs.CL cs.CV
Psychology-guided Controllable Story Generation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
可控故事生成是自然语言处理领域的一个具有挑战性的课题,近年来引起了越来越多的研究兴趣。然而,现有的作品大都是以特定的关键词或情感为条件来生成一个完整的故事,而忽略了主人公的心理变化。受心理学理论的启发,我们引入了全局心理状态链,其中包括主角的需求和情感,以帮助故事生成系统创建更可控和精心策划的故事。在本文中,我们提出了一个心理引导的可控故事生成系统(PICS),以生成故事,坚持给定的主导背景和期望的心理状态链的主角。具体来说,心理状态跟踪器被用来记忆主人公的局部心理状态,以捕捉他们的内部时间关系。此外,还采用心理状态规划器来获得主人公的整体心理状态,以进行故事规划。最后,心理控制器的设计,以整合本地和全球的心理状态到故事的背景表示组成心理指导的故事。自动和手动评估表明,PICS优于基线,PICS的每一部分都显示出撰写具有更一致心理变化的故事的有效性。
2022-10-14 cs.AI cs.CL
Guided by the Plan: Enhancing Faithful Autoregressive Text-to-Audio Generation with Guided Decoding
The Hong Kong Polytechnic University(香港理工大学);IROOTECH TECHNOLOGY(IROOTECH技术公司);Wolf 1069 b Lab, Sany Group(三一集团沃尔夫1069实验室);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Zhejiang University(浙江大学)
本研究提出Plan-Critic模型,通过引导解码提升自回归文本到音频生成的忠实度,实现CLAP分数提升10分,达到新状态。
2026-01-18 cs.CL cs.SD eess.AS
BadGraph: A Backdoor Attack Against Latent Diffusion Model for Text-Guided Graph Generation
School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院)
本文提出BadGraph,一种针对文本引导图生成的潜在扩散模型的后门攻击方法,通过文本触发器污染训练数据,在推理时触发指定子图,同时保持对清洁输入的正常性能。
2026-04-11 cs.CL cs.LG q-bio.BM
Knowledge Graph-Guided Retrieval Augmented Generation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Alibaba Group(阿里巴巴集团)
针对现有RAG方法检索孤立块忽略内在关系的问题,提出KG²RAG框架,利用知识图谱提供块间事实关系,经块扩展与组织提升检索结果多样性和连贯性,在HotpotQA数据集上实验证明其响应和检索质量更优。
2025-02-08 cs.AI cs.CL
Contrastive Representation Learning for Exemplar-Guided Paraphrase Generation
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
范例引导的释义生成(Exemplar-Guided Paraphrase Generation,EGPG)旨在生成一个符合给定范例风格的目标句子,同时封装源句子的内容信息。在本文中,我们提出了一种新的方法,其目标是学习更好地表示风格和内容。这种方法的主要动机是最近成功的对比学习,它已经证明了它的权力,在无监督的特征提取任务。我们的想法是设计两个对比损失方面的内容和风格,考虑到两个问题的特点,在培训。第一个特点是目标句与源句共享相同的内容,第二个特点是目标句与范例共享相同的风格。这两个对比损失被纳入一般的编码器-解码器范例。在QQP-Pos和ParaNMT两个数据集上的实验证明了我们提出的补偿损失的有效性。
2021-09-03 cs.CL cs.LG
Data Boost: Text Data Augmentation Through Reinforcement Learning Guided Conditional Generation
Moody College of Communication, University of Texas at Austin(得克萨斯大学奥斯汀分校穆迪传播学院);Dartmouth College(达特茅斯学院)
数据增强在许多NLU任务中被证明是有效的,特别是对于那些数据稀缺的人。在本文中,我们提出了一个强大且易于部署的文本增强框架Data Boost,它通过强化学习引导的条件生成来增强数据。我们在五种不同的分类器架构下对三种不同的文本分类任务进行了评估。实验结果表明,Data Boost算法能够有效提高分类器的性能,尤其是在低资源数据的情况下。例如,当只提供10%的数据用于训练时,Data Boost将三个任务的F1平均提高了8.7%。我们还将Data Boost与六种先前的文本增强方法进行了比较。通过人工评估(N=178),我们确认Data Boost增强在可读性和类一致性方面具有与原始数据相当的质量。
2020-12-05 cs.CL cs.LG
PassGPT: Password Modeling and (Guided) Generation with Large Language Models
ETH Zürich(苏黎世联邦理工学院);Swiss Data Science Center(瑞士数据科学中心);SRI International(SRI国际)
该研究提出基于密码泄露数据训练的大语言模型PassGPT,其密码猜测能力是现有GAN方法的两倍,还支持引导式生成符合任意约束的密码,并可用于增强密码强度估计。
2023-06-14 cs.AI cs.CL cs.CR
TagRAG: Tag-guided Hierarchical Knowledge Graph Retrieval-Augmented Generation
East China Normal University(东华师范大学)
TagRAG通过构建标签知识图谱和标签引导的检索生成框架,提升小语言模型的全局推理能力和知识增量效率,实验显示其在多个领域数据集上表现优异。
2026-05-02 cs.CL cs.IR
Cluster-Guided Label Generation in Extreme Multi-Label Classification
Amazon Alexa AI(亚马逊Alexa人工智能);University of Minnesota(明尼苏达大学)
对于极端多标签分类(XMC),现有的基于分类的模型对尾部标签的分类效果不佳,并且常常忽略标签之间的语义关系,例如将“Wikipedia”和“Wiki”视为独立的标签。在本文中,我们将XMC转换为生成任务(XLGen),在这里我们受益于预训练的文本到文本模型。然而,在没有任何约束或指导的情况下,从极大的标签空间生成标签是具有挑战性的。因此,我们建议使用标签聚类信息来指导标签生成,以分层方式生成较低级别的标签。我们还发现,基于频率的标签排序和使用解码集成方法是XLGen改进的关键因素。具有集群指导的XLGen在尾部标签上的性能显著优于分类和生成基线,并且在四个流行的XMC基准测试中也普遍提高了整体性能。在人体评价中,我们还发现XLGen生成看不见但似乎合理的标签。我们的代码现在可以在https://github.com/alexa/xlgen-eacl-2023上找到。
2023-02-17 cs.CL cs.LG
When Context Misleads: Intent-Guided Decoding for Robust Retrieval-Augmented Generation
针对现有RAG系统固定信任策略的缺陷,提出意图引导解码(IGD)框架,经多基准评估,可显著提升事实恢复能力,同时保持或改善上下文遵循行为。
2026-08-18 cs.AI cs.CL
Mined Prompting and Metadata-Guided Generation for Wound Care Visual Question Answering
EXL Health AI Lab at MEDIQA-WV 2025(EXL健康AI实验室)
针对异步远程护理中临床医生工作负荷加剧的问题,提出挖掘提示(少样本演示)和元数据引导生成(动态调整输出)两种互补方法,提升伤口护理视觉问答的响应相关性与临床精度,为AI驱动伤口护理工具提供方向。
2025-11-13 cs.AI cs.CL
SurveyGen-I: Consistent Scientific Survey Generation with Evolving Plans and Memory-Guided Writing
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
针对现有基于LLM的综述生成方法连贯性和引文覆盖不足的问题,提出SurveyGen-I框架,结合粗到细检索、自适应规划和记忆引导生成,在四领域实验中内容质量、一致性和引文覆盖均优于现有方法。
2025-08-20 cs.CL cs.IR
Diagnostic Benchmark and Iterative Inpainting for Layout-Guided Image Generation
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft Research(微软研究院)
针对布局引导图像生成在任意未见布局上泛化不足的问题,提出诊断基准LayoutBench和迭代修复基线IterInpaint,后者在OOD布局上显著优于现有模型,并在真实物体基准上全面超越SOTA。
2024-07-21 cs.AI cs.CL cs.CV
SurGen: Text-Guided Diffusion Model for Surgical Video Generation
Stanford Medicine(斯坦福医学院);Johns Hopkins University(约翰斯·霍普金斯大学);Penn Medicine(宾夕法尼亚医学院)
本研究提出专为手术视频合成定制的文本引导扩散模型SurGen,其生成的视频在现有同类模型中分辨率最高、时长最长,实验证明该模型可作为外科实习生的有价值教育工具。
2024-09-24 cs.AI cs.CL cs.CV
Text-Guided Molecule Generation with Diffusion Language Model
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出TGM-DLM,利用两阶段扩散语言模型更新SMILES token嵌入,在文本引导下生成有效分子,无需额外数据即超越MolT5-Base,推动药物发现。
2024-02-20 cs.AI cs.CE cs.CL
Interactive and Explainable Region-guided Radiology Report Generation
Technical University of Munich(慕尼黑工业大学);Helmholtz Zentrum Munich(慕尼黑亥姆霍兹中心);Imperial College London(伦敦帝国理工学院)
提出区域引导的放射学报告生成模型,通过检测并描述解剖区域,实现交互式且可解释的报告生成,优于现有最先进方法。
2023-04-17 cs.CL cs.CV cs.LG
Emotion-Aligned Generation in Diffusion Text to Speech Models via Preference-Guided Optimization
本文提出EASPO框架,通过偏好引导优化实现扩散文本到语音模型的情感对齐生成,提升语音的表达性和自然度。
2026-02-06 cs.AI cs.CL cs.SD
DemoSG: Demonstration-enhanced Schema-guided Generation for Low-resource Event Extraction
Beijing University of Posts and Telecommunications(北京邮电大学)
提出DemoSG模型,通过演示学习和模式引导生成,在低资源事件抽取中显著提升性能。
2023-10-16 cs.AI cs.CL cs.IR
GAP-Gen: Guided Automatic Python Code Generation
University of California, Irvine(加州大学欧文分校)
提出GAP-Gen方法,通过Syntax-Flow和Variable-Flow引入Python语法与语义约束,改进微调过程,在多个数据集上微调T5和CodeT5,显著提升自动Python代码生成性能。
2023-05-10 cs.CL cs.LG cs.PL