Enhancing Code LLMs with Reinforcement Learning in Code Generation: A Survey
SCU(四川大学);UMN(明尼苏达大学);SCNU(华南师范大学);UofT(多伦多大学);Henan Runtai Tech(河南润泰科技);AIGCode;OSU(俄亥俄州立大学);NJU(南京大学);Cornell(康奈尔大学);WashU(华盛顿大学);AMA University(阿曼大学);Emory(埃默里大学);ByteDance(字节跳动);UCSC(加州大学圣塔克鲁兹分校)
本文系统综述了强化学习在代码生成与优化中的应用,涵盖编译器优化、资源分配及框架工具,旨在为相关研究提供全面参考。
2025-08-07 cs.CL cs.SE
A Survey of Pun Generation: Datasets, Evaluations and Methodologies
School of Computer Science, University of Auckland(奥克兰大学计算机科学学院);Singapore University of Technology and Design(新加坡科技设计大学);School of Electronic Engineering and Computer Science, Queen Mary University of London(伦敦女王学院电子工程与计算机科学学院)
本文针对当前计算语言学领域缺乏双关语生成专门综述的空白,系统梳理了该领域的数据集、各阶段生成方法及评估指标,探讨了研究挑战并提出未来研究方向。
2025-10-03 cs.AI cs.CL
SurveyGen: Quality-Aware Scientific Survey Generation with Large Language Models
Nanjing University of Science and Technology(南京理工大学);University of Alberta(阿尔伯塔大学)
针对自动科学综述生成缺乏标准化评估数据集的问题,提出SurveyGen大规模数据集及QUAL-SG质量感知框架,系统评估不同人类参与度下LLMs的性能,发现半自动生成具部分竞争力但全自动仍存引用质量低等问题。
2025-08-25 cs.CL cs.DL cs.IR
A Comprehensive Survey of Accelerated Generation Techniques in Large Language Models
Amirkabir University of Technology(阿米尔卡比尔理工大学);Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院);Columbia University(哥伦比亚大学);Amazon GenAI(亚马逊生成式AI部门)
本文综述了大型语言模型中加速文本生成的技术,分类探讨推测解码、早期退出和非自回归方法,旨在降低推理延迟并指导未来研究。
2024-05-24 cs.AI cs.CL
SurveyEval: Towards Comprehensive Evaluation of LLM-Generated Academic Surveys
Beijing Wenge Technology Co., Ltd.(北京文格科技有限公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
SurveyEval通过多维度评估LLM生成的学术调查,揭示了专门系统在质量上的优势,并为改进自动调查系统提供可扩展的测试平台。
2025-12-02 cs.AI cs.CL
Commonsense Knowledge Reasoning and Generation with Pre-trained Language Models: A Survey
虽然常识知识获取和推理传统上是知识表示和推理社区的核心研究课题,但近年来,自然语言处理社区对开发预训练模型并测试其解决各种新设计的常识知识推理和生成任务的能力的兴趣激增。本文介绍了这些任务的调查,讨论了最先进的预训练模型的优势和劣势,这些任务所揭示的常识推理和生成,并反映在未来的研究方向。
2022-01-28 cs.CL
Beyond the Parameters: A Technical Survey of Contextual Enrichment in Large Language Models: From In-Context Prompting to Causal Retrieval-Augmented Generation
本文综述了大型语言模型中通过增加结构化上下文来提升性能的技术,涵盖上下文学习、提示工程、检索增强生成等方法,并提出透明的文献筛选协议和可信检索增强NLP的研究优先级。
2026-04-03 cs.AI cs.CL
InteractiveSurvey: An LLM-based Personalized and Interactive Survey Paper Generation System
The Hong Kong Polytechnic University(香港理工大学);Huawei Technologies Co., Ltd(华为技术有限公司)
针对人工撰写综述耗时费力、现有LLM方法缺乏个性化的问题,提出InteractiveSurvey系统,结合在线检索与用户上传参考文献,支持用户通过直观界面定制中间组件,生成结构化多模态综述,在内容质量和时间效率上均优于多数现有方法。
2025-03-31 cs.AI cs.IR
SurveyX: Academic Survey Automation via Large Language Models
Renmin University of China(中国人民大学);Northeastern University(东北大学);Institute for Advanced Algorithms Research(先进算法研究院);The University of Sydney(悉尼大学)
针对现有自动化综述生成受限于上下文窗口、内容深度不足等问题,提出SurveyX系统,通过两阶段分解、在线检索、AttributeTree预处理和润色,提升内容与引用质量,接近人类专家水平。
2025-02-27 cs.CL
Code Reasoning for Software Engineering Tasks: A Survey and A Call to Action
IBM;Columbia University(哥伦比亚大学)
本文调查代码推理技术,探讨其在软件工程任务中的影响,提出未来研究方向。
2026-06-27 cs.AI cs.SE
SurveyForge: On the Outline Heuristics, Memory-Driven Generation, and Multi-dimensional Evaluation for Automated Survey Writing
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
本文提出SurveyForge,通过分析人类大纲逻辑与检索领域文献生成大纲,并利用学者导航代理检索高质量论文自动生成内容,同时构建SurveyBench多维度评估基准,显著提升了自动综述生成质量并超越AutoSurvey等先前工作。
2025-03-06 cs.CL
A Survey on Pretrained Language Models for Neural Code Intelligence
EPFL(洛桑联邦理工学院);UCLA(加州大学洛杉矶分校)
随着现代软件的复杂性不断升级,软件工程已成为一项日益艰巨和容易出错的工作。近年来,神经代码智能(NCI)领域已经成为一个有前途的解决方案,利用深度学习技术的力量来处理源代码的分析任务,目标是提高编程效率并最大限度地减少软件行业中的人为错误。预训练的语言模型已成为NCI研究中的主导力量,在广泛的任务中持续提供最先进的结果,包括代码摘要,生成和翻译。在本文中,我们对NCI领域进行了全面的调查,包括对预训练技术,任务,数据集和模型架构的全面审查。我们希望本文将作为自然语言和程序设计语言社区之间的桥梁,为这个快速发展的领域的未来研究提供见解。
2022-12-20 cs.CL cs.LG cs.SE
Pretrained Language Models for Text Generation: A Survey
Renmin University of China(中国人民大学);Université de Montréal(蒙特利尔大学)
文本生成的目的是从输入数据中生成人类语言的合理和可读的文本。深度学习的复兴极大地推动了这一领域的发展,特别是在基于预训练语言模型(PLM)的神经生成模型的帮助下。基于PLM的文本生成技术在学术界和工业界都被认为是一种很有前途的方法。在本文中,我们提供了一个调查利用PLM在文本生成。我们首先介绍了应用PLM文本生成的三个关键方面:1)如何将输入编码为保留输入语义的表示,这些表示可以融合到PLM中; 2)如何设计一个有效的PLM作为生成模型; 3)如何有效地优化给定参考文本的PLM,并确保生成的文本满足特殊的文本属性。然后,我们展示了在这些方面出现的主要挑战,以及可能的解决方案。我们还包括各种有用的资源和基于PLM的典型文本生成应用程序的摘要。最后,我们强调了未来的研究方向,这将进一步提高这些PLM的文本生成。本文旨在帮助对文本生成问题感兴趣的研究人员了解基于PLM的文本生成的核心概念、主要技术和最新进展。
2022-05-13 cs.CL
SurveyAgent-HKA: A multi-agent framework for scientific survey generation with LLMs and human knowledge augmentation
Nanjing University of Science and Technology(南京理工大学);University of Alberta(阿尔伯塔大学);Anhui University(安徽大学)
提出多智能体框架SurveyAgent-HKA,利用已发表综述和同行评审知识,通过多源检索、大纲细化及专家问题指导修订,提升科学综述生成的引用质量、结构一致性与内容质量。
2026-09-09 cs.CL cs.DL cs.IR
A Survey of Multimodal Retrieval-Augmented Generation
Huawei Cloud BU(华为云业务部)
本综述聚焦多模态检索增强生成(MRAG),其扩展纯文本RAG框架整合多模态数据以增强LLMs,减少幻觉并提升问答系统性能,还总结其组件、数据集等,指出挑战与未来方向。
2025-03-26 cs.AI cs.CL cs.ET
Large Language Models for Scientific Idea Generation: A Creativity-Centered Survey
本文综述了大型语言模型在科学思想生成中的应用,分析了不同方法在创新性与科学合理性之间的权衡,并提出了评估框架以指导未来研究方向。
2026-02-02 cs.CL
Retrieving Multimodal Information for Augmented Generation: A Survey
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Salesforce Research(Salesforce研究院)
本文综述了通过检索图像、代码、表格、图和音频等多模态知识来增强大型语言模型生成能力的方法,以提升模型在事实性、推理、可解释性和鲁棒性方面的表现。
2023-12-01 cs.CL
A Survey of Diffusion Based Image Generation Models: Issues and Their Solutions
Huawei Singapore Research Center(华为新加坡研究中心)
本综述聚焦基于扩散的图像生成模型,梳理了以Imagen、DALL-E 2、stable diffusion为代表的模型发展现状,指出其仍存在未解决的挑战,并将基于开源stable diffusion框架的研究基础,梳理现存问题与对应解决方案。
2023-08-25 cs.AI cs.CV
A Survey on Natural Language Counterfactual Generation
Nanyang Technological University(南洋理工大学);Shenzhen University(深圳大学)
本综述针对自然语言反事实生成领域,全面梳理相关方法尤其是大语言模型相关方法,提出新的四类分类体系与质量评估指标,探讨现有挑战并指明未来研究方向。
2024-10-05 cs.CL
Language Generation Models Can Cause Harm: So What Can We Do About It? An Actionable Survey
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);George Mason University(乔治梅森大学)
大语言模型生成类人文本的能力的最新进展导致它们在面向用户的设置中的采用增加。与此同时,这些改进也引发了一场激烈的讨论,围绕着它们所带来的社会危害的风险,无论是无意的还是恶意的。一些研究已经探索了这些危害,并呼吁通过开发更安全,更公平的模型来减轻这些危害。除了列举危害的风险,这项工作提供了一个调查的实用方法,以解决潜在的威胁和社会危害的语言生成模型。我们借鉴了几个以前的作品的语言模型风险的分类,提出了一个结构化的概述策略,用于检测和改善不同类型的风险/危害的语言生成器。这项调查旨在为LM研究人员和从业人员提供实用指南,并解释不同缓解策略的动机,其局限性以及未来研究的开放问题。
2023-02-21 cs.CL
Code LLMs: A Taxonomy-based Survey
George Mason University(乔治梅森大学);Rochester Institute of Technology(罗切斯特理工学院)
该综述针对大语言模型在自然语言与编程语言交叉的编码领域的应用,提出基于分类法的统一概念分类框架,梳理相关模型的方法、架构与训练情况,指明该领域的现状与未来方向。
2024-12-11 cs.CL
CodeSCM: Causal Analysis for Multi-Modal Code Generation
Columbia University(哥伦比亚大学)
本文提出结构因果模型 CodeSCM,通过因果中介分析量化自然语言、代码和输入-输出示例等提示模态对代码生成的影响,发现输入-输出示例同样具有显著作用。
2025-02-07 cs.CL
A Comprehensive Survey of AI-Driven Advancements and Techniques in Automated Program Repair and Code Generation
Indraprastha Institute of Information Technology(英迪拉普拉萨德信息技术学院)
本综述回顾27篇近期论文,系统对比了大型语言模型在自动程序修复与代码生成中的集成方法、技术趋势及未来挑战。
2024-11-12 cs.AI
Beyond Monolingual Assumptions: A Survey of Code-Switched NLP in the Era of Large Language Models across Modalities
IIT Gandhinagar(印度理工学院加尔各答分校);NMIMS Mumbai(孟买NMIMS学院);SVNIT Surat(Surat SVNIT学院);LINGO Research Group(LINGO研究小组)
本文综述了大语言模型时代跨语言自然语言处理的研究,分析了327项研究,涵盖五类研究领域、15+任务、30+数据集和80+语言,指出现有挑战及未来发展方向。
2026-04-21 cs.CL
A Survey on Artificial Intelligence for Source Code: A Dialogue Systems Perspective
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
在这篇调查论文中,我们概述了过去35年来自然语言处理(NLP)和源代码中使用的主要深度学习方法。接下来,我们将介绍人工智能(AI)在源代码中的应用,也称为代码智能(CI)和程序设计语言处理(PLP)。我们调查了超过287出版物,并提出了一个软件工程为中心的分类法CI放置到一个类别,描述它如何最好地协助软件开发周期的每一个作品。然后,我们概述了会话助理领域及其在软件工程和教育中的应用。最后,我们强调了人工智能与代码和会话助理交叉点的研究机会,并为研究具有CI功能的会话助理提供了未来的方向。
2022-02-10 cs.CL cs.CY cs.LG
Recent Advances in Neural Text Generation: A Task-Agnostic Survey
University of Surrey(萨里大学);The University of Sheffield(谢菲尔德大学)
本文是一篇任务无关的神经文本生成综述,从数据构建、神经框架等四大维度梳理最新进展,探讨未来研究方向,为该领域研发提供参考。
2023-06-12 cs.AI cs.CL
A Survey on Retrieval-Augmented Text Generation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);University of Cambridge(剑桥大学);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
近年来,检索增强的文本生成越来越受到计算语言学界的关注。与传统的文本生成模型相比,检索增强文本生成模型具有显著的优势,特别是在许多自然语言处理任务中,检索增强文本生成模型的性能达到了最先进的水平。本文旨在对检索增强的文本生成进行综述。首先介绍了检索增强生成的一般范式,然后根据对话响应生成、机器翻译和其他生成任务的不同,回顾了值得注意的方法。最后,它指出了一些重要的方向,最近的方法,以促进未来的研究。
2022-02-13 cs.CL
Natural Language Generation for Advertising: A Survey
CyberAgent, Inc.(CyberAgent公司)
本综述回顾了广告中自然语言生成的研究趋势,涵盖从模板到神经网络的抽取式和生成式方法,并讨论了指标优化、忠实性、多样性、多模态及基准数据集等关键挑战与方向。
2023-06-22 cs.CL
SurGE: A Benchmark and Evaluation Framework for Scientific Survey Generation
Tsinghua University(清华大学);Quan Cheng Laboratory(泉城实验室);Renmin University of China(中国人民大学);Fudan University(复旦大学)
为科学调查生成任务设计了SurGE基准和评估框架,通过测试实例和学术文献库评估生成质量,揭示LLM在该任务上的性能差距。
2026-05-02 cs.AI cs.CL cs.IR
A Survey of Natural Language Generation
Sun Yat-Sen University(中山大学);Tsinghua University(清华大学);Chinese Academy of Science(中国科学院)
本文综述了近二十年来自然语言生成(NLG)技术的研究进展,特别是数据到文本生成和文本到文本生成的深度学习方法,以及NLG技术的新应用。本次调查的目的是(a)给出NLG核心任务的深度学习研究的最新综合,以及该领域采用的架构;(b)细致全面地详细介绍各种NLG任务和数据集,并提请注意NLG评估中的挑战,重点关注不同的评估方法及其关系;(c)强调由于NLG与其他人工智能领域(如计算机视觉、文本和计算创造力)之间日益增强的协同作用而出现的一些未来重点和相对较新的研究问题。
2022-08-02 cs.AI cs.CL cs.LG
SGSimEval: A Comprehensive Multifaceted and Similarity-Enhanced Benchmark for Automatic Survey Generation Systems
The Hong Kong Polytechnic University(香港理工大学);The Education University of Hong Kong(香港教育大学);China Mobile (Hong Kong) Innovation and Research Institute(中国移动(香港)创新与研究院);Lingnan University(岭南大学)
针对自动综述生成评估中指标偏差、缺乏人类偏好和过度依赖LLM评判的问题,本文提出SGSimEval基准,融合大纲、内容、参考文献评估及相似度增强的人类偏好指标,实验证明其与人类评估高度一致。
2025-08-15 cs.AI cs.CL cs.IR
A Survey of Knowledge-Enhanced Text Generation
University of Notre Dame(圣母大学);Microsoft Research(微软研究院);The Chinese University of Hong Kong(香港中文大学);University of California at San Diego(加州大学圣迭戈分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
文本生成的目标是使机器能够用人类的语言进行表达。它是自然语言处理中最重要也是最具挑战性的任务之一。自2014年以来,Seq 2Seq开创的各种神经编码器-解码器模型已经被提出,通过学习将输入文本映射到输出文本来实现目标。然而,仅靠输入文本往往只能提供有限的知识来生成所需的输出,因此文本生成的性能在许多现实场景中仍然远远不能令人满意。为了解决这个问题,研究人员考虑将输入文本之外的各种形式的知识纳入生成模型。这一研究方向被称为知识增强文本生成。本文综述了近五年来知识增强文本生成的研究进展。主要内容包括两部分:(1)知识集成到文本生成中的一般方法和体系结构;(2)针对不同形式的知识数据,给出具体的技术和应用。这项调查可以有广泛的受众,包括学术界和工业界的研究人员和从业人员。
2022-01-22 cs.AI cs.CL cs.LG
MVSS: A Unified Framework for Multi-View Structured Survey Generation
Beijing University of Technology(北京工业大学);Peking University(北京大学);Beihang University(北京航空航天大学);Tsinghua University(清华大学)
本文提出MVSS框架,通过结构优先方法生成和对齐引用支撑的层级树、结构化比较表和调查文本,提升调查生成的结构组织和证据呈现质量。
2026-04-01 cs.CL
A survey on text generation using generative adversarial networks
São Paulo State University(圣保罗州立大学)
本文对使用生成对抗网络进行文本生成的研究进展进行了全面的综述。使用对抗学习来生成文本是有希望的,因为它提供了生成所谓的“自然”语言的替代方案。然而,对抗性文本生成并不是一项简单的任务,因为其最重要的架构生成对抗网络被设计用于处理连续信息(图像)而不是离散数据(文本)。因此,大多数作品都基于三种可能的选择,即,Gumbel-Softmax微分,强化学习和修改的训练目标。所有的替代品在本次调查中进行审查,因为他们提出了最新的方法来生成文本使用基于对抗的技术。所选的作品来自著名的数据库,如Science Direct,IEEEEXplore,Springer,Association for Computing Machinery和arXiv,而每一个选定的工作都经过严格的分析和评估,以呈现其目标,方法和实验结果。
2022-12-20 cs.AI cs.CL cs.LG
Positioning yourself in the maze of Neural Text Generation: A Task-Agnostic Survey
Carnegie Mellon University(卡内基梅隆大学)
神经文本生成演变成几个关键的自然语言应用,从文本完成到自由形式的叙事生成。为了推进文本生成的研究,吸收现有的研究成果,并在这个巨大的增长领域中定位是至关重要的。具体来说,本文调查了建模方法的基本组成部分,这些建模方法在各种生成任务(如讲故事、总结、翻译等)中传递任务不可知论的影响,在这种情况下,我们提出了一个抽象的必要技术方面的学习范式,预训练,建模方法,解码和关键的挑战,在每个领域突出。因此,我们为该领域的研究人员提供了一站式目的地,以便于了解在哪里重新设计他们的工作以及它如何影响其他密切相关的生成任务。
2021-03-26 cs.CL
SurveyLens: A Discipline-Aware Benchmark for Automatic Survey Generation
The Hong Kong Polytechnic University(香港理工大学);Sichuan University(四川大学);Central South University(中南大学);Alibaba Cloud(阿里巴巴云)
提出SurveyLens,首个学科感知的自动综述生成基准,包含跨10个学科的1000篇人工撰写综述数据集和双视角评估框架,发现深度研究智能体在跨学科鲁棒性上最优,而所有范式在参考文献质量上仍薄弱。
2026-06-08 cs.CL
A Survey on Deep Learning and Explainability for Automatic Report Generation from Medical Images
Pontificia Universidad Católica de Chile(智利天主教大学)
每年,医生都面临着越来越多的患者对基于图像的诊断的需求,这是一个可以通过最近的人工智能方法来解决的问题。在此背景下,我们调查了从医学图像自动生成报告领域的工作,重点是使用深度神经网络的方法,涉及:(1)数据集,(2)架构设计,(3)可解释性和(4)评估模型。我们的调查确定了有趣的发展,但也存在挑战。其中,目前对生成报告的评估尤其薄弱,因为它主要依赖于传统的自然语言处理(NLP)指标,无法准确捕捉医疗正确性。
2022-01-08 cs.AI cs.CL cs.CV
Toward Code Generation: A Survey and Lessons from Semantic Parsing
Intel Labs(英特尔实验室);University of Pennsylvania(宾夕法尼亚大学)
随着自然语言处理技术的发展和对提高软件工程效率的需求,人们对将意图从人类语言翻译成程序设计语言产生了兴趣。在这篇调查论文中,我们试图概述这一领域不断增长的研究。我们首先回顾自然语言语义解析技术,并与程序合成的努力。然后,我们认为语义解析作品从进化的角度来看,神经符号的方法,架构和监督的具体分析。然后,我们分析了代码生成的语义解析框架的进步。最后,我们提出了我们认为在这一领域正在出现的一些公开挑战。
2021-04-26 cs.CL cs.LG cs.PL
The Decades Progress on Code-Switching Research in NLP: A Systematic Survey on Trends and Challenges
Bloomberg(彭博);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Brown University(布朗大学)
本文系统综述了NLP领域数十年来语码转换研究的演进,从语言学理论方法到机器学习方法,梳理了趋势、挑战与未来研究方向。
2023-05-24 cs.CL
Survey of the State of the Art in Natural Language Generation: Core tasks, applications and evaluation
University of Malta(马耳他大学);Tilburg University(蒂尔堡大学)
本文综述了自然语言生成(NLG)的研究现状,NLG是指从非语言输入中生成文本或语音的任务。鉴于该领域在过去十年左右所经历的变化,特别是与新(通常是数据驱动)方法以及NLG技术的新应用有关的变化,对NLG进行调查是及时的。因此,本调查旨在(a)对NLG的核心任务以及组织这些任务所采用的架构进行最新的综合研究;(b)突出一些相对较新的研究主题,这些研究主题的出现部分是由于NLG与人工智能其他领域之间日益增长的协同效应;(c)提请注意NLG评估方面的挑战,将其与自然语言处理其他领域面临的类似挑战联系起来,重点是不同的评估方法及其之间的关系。
2018-01-29 cs.AI cs.CL cs.NE
Reference-free Evaluation Metrics for Text Generation: A Survey
Tohoku University(东北大学);Langsmith Inc.(Langsmith公司);Utrecht University(乌得勒支大学);RIKEN(理化学研究所)
本综述全面考察了文本生成领域的无参考评估指标,涵盖其常用方法、应用场景及除模型评估外的其他用途,并展望了未来研究方向。
2025-01-21 cs.CL
Innovations in Neural Data-to-text Generation: A Survey
Virginia Tech(弗吉尼亚理工大学)
本综述系统梳理了神经数据到文本生成的方法、基准与评估协议,并强调未来研究应兼顾语言能力与公平性、可问责性。
2024-04-02 cs.CL
Evaluation of Text Generation: A Survey
Facebook AI Research(Facebook人工智能研究);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
本文综述了近年来发展起来的自然语言生成系统的评价方法。我们将NLG评估方法分为三类:(1)以人为中心的评估指标,(2)不需要训练的自动指标,以及(3)机器学习的指标。对于每个类别,我们讨论了已经取得的进展和仍然面临的挑战,重点是最近提出的NLG任务和神经NLG模型的评估。然后,我们提出了两个特定任务的NLG评估的自动文本摘要和长文本生成的例子,并提出了未来的研究方向。
2021-05-18 cs.CL cs.LG
Recent Advances in SQL Query Generation: A Survey
Ss. Cyril and Methodius University(圣西里尔与美多德大学)
假设自然语言是许多领域的最佳用户界面。然而,在自然语言和任何其他领域之间提供接口的通用模型仍然不存在。为关系数据库提供自然语言接口可能会吸引绝大多数精通或不精通查询语言的用户。随着深度学习技术的兴起,在设计一个合适的关系数据库的自然语言接口方面有着广泛的研究。本调查旨在概述在从自然语言生成SQL查询方面提出的一些最新方法和模型。我们描述了各种架构的模型,如卷积神经网络,递归神经网络,指针网络,强化学习等几个数据集旨在解决SQL查询生成问题的解释和简要概述。最后,在该领域中使用的评价指标主要是执行准确性和逻辑形式准确性的组合。
2020-05-15 cs.AI cs.CL cs.LG
A Survey of Code-switched Speech and Language Processing
Microsoft Research India(微软印度研究院);Carnegie Mellon University(卡内基梅隆大学)
语码转换是一种常见的语言交际现象,在世界多语言社会中普遍存在。本文综述了码转换语音和自然语言处理的计算方法。我们激励为什么处理代码转换的文本和语音是必不可少的智能代理和系统,与用户在多语言社区。由于代码转换的数据和资源是稀缺的,我们列出了什么是可用的各种代码转换语言对的语言处理任务,他们可以用来。我们回顾了各种语音和NLP应用中的语码转换研究,包括语言处理工具和端到端系统。我们的结论与未来的方向和开放的问题在该领域。
2020-07-22 cs.CL cs.LG stat.ML
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
American University of Sharjah(沙迦美国大学)
“艺术是谎言,它使我们能够认识真理。- 巴勃罗·毕加索几个世纪以来,人类一直致力于创造艺术来表达他们的想象力。技术的进步,特别是深度学习,引起了许多研究人员的注意,他们试图研究计算机和算法是否可以产生艺术。使用生成对抗网络(GANs),实现了合成逼真的人脸和从图像自动创建字幕等应用。本调查全面介绍了最近使用GANs生成视觉艺术,音乐和文学文本的作品。各种GAN架构的性能比较和描述。最后,强调了使用GANs生成艺术的一些关键挑战,并对未来的工作提出了建议。
2021-08-14 cs.AI cs.CL cs.CV
JuICe: A Large Scale Distantly Supervised Dataset for Open Domain Context-based Code Generation
Paul G. Allen School of Computer Science and Engineering, Univ. of Washington(华盛顿大学保罗 G. 艾伦计算机科学与工程学院)
使用交错代码段单元格和自然语言标记的交互式编程最近以Quixyter笔记本的形式越来越受欢迎,这加速了原型设计和协作。为了研究代码生成的条件下,一个漫长的上下文历史,我们提出了JuICe,语料库的150万个例子与策划的测试集的3.7K实例的基础上在线编程任务。与现有的上下文代码生成数据集相比,JuICe提供了精细的人工策划数据、开放域代码和多一个数量级的训练数据。使用JuICe,我们为两个任务训练模型:(1)在代码单元中生成API调用序列,以及(2)完整代码单元生成,两者都以特定代码单元的NL代码历史为条件。使用当前基线代码生成模型的实验表明,上下文和远程监督都有助于生成,并且数据集对当前系统具有挑战性。
2019-10-09 cs.CL cs.LG cs.SE
What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种知识驱动的两阶段模型,用于在对话式调查中生成后续问题,并构建了带知识标注的数据集及无参考评估指标,实验证明其优于GPT基线。
2023-10-13 cs.CL cs.HC
Faithfulness in Natural Language Generation: A Systematic Survey of Analysis, Evaluation and Optimization Methods
Baidu Inc.(百度公司);Peking University(北京大学)
近年来,由于预训练语言模型等深度学习技术的发展,自然语言生成(NLG)取得了很大进展。这一进步导致了更流畅,连贯,甚至属性可控(例如风格,情感,长度等)。生成,自然导致下游任务的发展,例如抽象摘要、对话生成、机器翻译和数据到文本生成。然而,生成的文本往往包含不忠实或非事实信息的忠实性问题已成为最大的挑战,这使得文本生成的性能在许多现实场景中不能满足实际应用的要求。针对不同任务提出了许多关于忠诚问题的分析、评价和优化方法的研究,但没有以组合的方式进行组织、比较和讨论。本文系统地综述了自然语言学习者忠实性问题的研究进展,包括问题分析、评价指标和优化方法。我们将不同任务的评估和优化方法组织成一个统一的分类法,以便于跨任务的比较和学习。最后对几个研究方向进行了讨论。
2022-03-10 cs.CL
Survey of Hallucination in Natural Language Generation
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Hong Kong University of Science and Technology(香港科技大学)
本综述首次全面梳理自然语言生成领域的幻觉问题,涵盖度量指标、缓解方法、未来方向,以及多下游任务和大语言模型中的相关研究进展,以推动研究者协同应对该挑战。
2024-07-14 cs.CL
Diffusion Models for Non-autoregressive Text Generation: A Survey
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京大数据管理与分析方法重点实验室)
本综述系统梳理了扩散模型在非自回归文本生成中的应用,涵盖模型定义、主流方法、关键设计、预训练语言模型利用及优化技术,并展望了未来方向。
2023-05-13 cs.CL
Keyphrase Generation: A Multi-Aspect Survey
Charles University Prague(布拉格查理大学);Czech Republic(捷克)
提取关键短语生成的研究从90年代就开始了,但是基于编码器-解码器框架和序列到序列学习的更高级的抽象方法直到最近才被探索。事实上,在过去的三年里,已经提出了十几种抽象方法,产生了有意义的关键词,并获得了最先进的分数。在这篇综述中,我们研究了提取关键词生成方法的各个方面,主要集中在最近的基于神经网络的抽象方法。我们特别关注推动后者完善的机制。为研究社区创建并发布了大量科学文章元数据和相应的关键词。我们还介绍了过去二十年来各种关键词生成和文本摘要的研究模式和趋势。
2019-10-11 cs.CL cs.IR
Automatic Metrics in Natural Language Generation: A Survey of Current Evaluation Practices
trivago N.V.;Charles University(查理大学);Utrecht University(乌得勒支大学);Edinburgh Napier University(爱丁堡龙比亚大学);University of Aberdeen(阿伯丁大学)
该综述聚焦自然语言生成任务中自动评估指标的使用情况,调研了指标选用、选择原因及报告方式,发现存在使用不当、缺实现细节及与人类判断相关性缺失等问题,并提出提升领域严谨性的建议。
2024-08-17 cs.CL
Related Work and Citation Text Generation: A Survey
Department of Computer Science(计算机科学系);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本综述梳理了自动相关工作生成(RWG)领域的历史研究成果,总结其关键方法与任务定义,探讨现存挑战,指出RWG是检验SOTA NLP模型能力的重要测试平台。
2024-04-17 cs.CL