Explaining Relationships Among Research Papers
Department of Computer Science University of Texas at Dallas(计算机科学系 德克萨斯大学达拉斯分校)
针对现有研究忽略多论文间关系、仅孤立生成单条引用句的问题,提出基于特征的LLM提示方法生成丰富引用与多引用内容,专家评估证实人类偏好带过渡句的整合式高层引用风格。
2024-02-20 cs.CL
How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations
Clemson University(克莱姆森大学)
研究分析了LLM在不同领域和提示条件下引用伪造现象,提出多模型共识和重复验证过滤器,并开发轻量级分类器用于检测幻影引用。
2026-02-07 cs.CL
Generating Legal Commentaries from Case Databases via Retrieval, Clustering, and Generation
Technical University of Munich(慕尼黑技术大学)
提出一个全自动流水线,利用检索、聚类和生成方法,从法院判决中自动生成法律评论,无需人工教义框架。
2026-09-28 cs.CL
BioACE: An Automated Framework for Biomedical Answer and Citation Evaluations
Division of Intramural Research(院内研究部);National Library of Medicine(国家医学图书馆)
BioACE提出了一种自动化框架,用于评估生物医学答案和引用的质量,通过多方面指标和实验分析,提供最佳的评估方法。
2026-02-06 cs.CL
Learning Fine-Grained Grounded Citations for Attributed Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Huawei Inc.(华为公司)
本文提出训练框架FRONT,通过细粒度支持性引文引导LLM生成有据回复,在ALCE基准上以LLaMA-2-7B实现引用质量平均提升14.21%,超越ChatGPT。
2024-08-08 cs.AI cs.CL
Towards Generating Citation Sentences for Multiple References with Intent Control
National Taiwan University(国立台湾大学)
机器生成的引用语句可以帮助自动化的科学文献综述和文章写作。当前生成引文文本的方法仅限于使用引用文档和被引用文档作为输入的单个引文生成。然而,在现实世界中,作者经常在一句话中总结几项研究,或者在整个段落中讨论相关信息。此外,先前已经识别了多个引用意图,这意味着作者可能需要控制生成的句子的意图以覆盖不同的场景。因此,这项工作的重点是生成多个引文,并发布一个新收集的名为CiteMI的数据集,以推动未来的研究。我们首先建立了一个新的生成模型与融合解码器的方法,以应付多个长输入。其次,我们将预测的引用意图纳入意图控制的训练中。实验表明,所提出的方法提供了更全面的功能,生成引文句子。
2021-12-09 cs.CL
Lessons from Training Grounded LLMs with Verifiable Rewards
本研究利用GRPO和可验证奖励训练接地LLM,通过两阶段优化提升答案正确性、引用充分性与拒绝质量,实验证明推理增强显著优于仅指令调优。
2025-06-18 cs.CL
On the Capacity of Citation Generation by Large Language Models
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本研究系统分析了LLM在响应生成中的引用能力,提出“生成后精炼”方法在不改变响应文本的前提下优化引用,并引入新评估指标,显著提升了LLM生成响应的引用质量。
2024-10-15 cs.AI cs.CL cs.IR
Rate, Explain and Cite (REC): Enhanced Explanation and Attribution in Automatic Evaluation by Large Language Models
Salesforce AI Platform(Salesforce 人工智能平台)
针对大语言模型生成文本的质量评估难题,本文提出三个微调的通用自动评估器REC系列模型,可多维度评分并提供带可验证引用的详细解释,其中REC-70B性能优于现有最优模型,偏差更低。
2025-05-20 cs.AI cs.CL
MCite-RL: Towards Reliable Multimodal RAG via Citation-enhanced Agentic Reinforcement Learning
Peking University(北京大学);Panasonic Connect Co., Ltd.(松下连接株式会社)
针对现有多模态RAG存在的视觉引用不准或与答案脱节问题,本文提出MCite-RL框架,通过智能体优化模块和引用增强型奖励机制实现引用精度与答案质量的联合优化,经多基准实验验证有效。
2026-08-25 cs.CL
A Citation-Grounded Benchmark for Trustworthy Earnings Call Transcript Analysis with Large Language Models
American Express(美国运通);Singapore Decision Science Center of Excellence, American Express(美国运通新加坡决策科学卓越中心);Global Decision Science, American Express(美国运通全球决策科学部)
针对财报电话会议记录分析,提出无需专家标注的数值证据评估方法和自动化数据集构建流程,构建ECTs-100基准,发现LLMs在引用性上表现良好但正确性受限。
2026-10-02 cs.AI cs.CL
SelfCite: Self-Supervised Alignment for Context Attribution in Large Language Models
Massachusetts Institute of Technology(麻省理工学院);Meta FAIR
针对大语言模型上下文归因的引用生成问题,提出自监督方法SelfCite,通过上下文消融获取模型自身的奖励信号,用于推理采样和偏好优化,在长文本问答基准上显著提升引用F1值。
2025-06-15 cs.AI cs.CL cs.LG
Concise and Sufficient Sub-Sentence Citations for Retrieval-Augmented Generation
针对RAG引用粒度过粗或信息不足的问题,本文构建子句级引用数据集,并提出用LLM生成微调数据、credit model过滤低质样本的归因框架,以生成简洁充分且更可读的引用。
2025-10-18 cs.CL
Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models
Duke University(杜克大学);Meta
本文提出CitePretrainBench基准,通过修改训练过程使大语言模型在无检索情况下可靠归因于训练期间看到的文档。通过两阶段方法提升模型在短形式和长形式引用任务中的表现,实验显示Active Indexing在多个任务和模型中均取得30.2%的引用精度提升。
2026-10-14 cs.AI cs.CL cs.LG
Improving Attributed Text Generation of Large Language Models via Preference Learning
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出自动偏好优化(APO)框架,通过构建后训练数据集和合成偏好数据,并利用细粒度信息进行渐进式偏好优化,显著提升了大型语言模型归因文本生成的引用F1和答案质量。
2024-03-27 cs.AI cs.CL
Scientific Paper Extractive Summarization Enhanced by Citation Graphs
Shandong University(山东大学);Renmin University of China(中国人民大学);University of Notre Dame(圣母大学);KAUST(阿卜杜拉国王科技大学);Ant Group(蚂蚁集团)
在引用图中,相邻的论文节点共享相关的科学术语和主题。因此,该图传达了可以在论文摘要任务中利用的文档级相关性的唯一结构信息,用于探索超出文档内的信息。在这项工作中,我们专注于利用引文图,以提高科学论文摘要在不同的设置。我们首先提出了一个多粒度无监督摘要模型(MUS)作为一个简单的和低成本的解决方案的任务。MUS通过链接预测任务在引用图上微调预训练的编码器模型。然后,考虑到多粒度信息,从相应的文章中提取摘要句子。初步结果表明,即使在一个简单的无监督框架中,引用图也是有帮助的。受此启发,我们接下来提出了一个基于图的监督摘要模型(GSS),以在大规模标记数据可用时实现更准确的任务结果。除了采用链接预测作为辅助任务外,GSS还引入了一个门控语句编码器和一个图信息融合模块,以利用图信息来优化语句表示。在公共基准数据集上的实验表明,MUS和GSS比现有的最先进的模型带来了实质性的改进。
2022-12-08 cs.CL
Automatic Inter-document Multi-hop Scientific QA Generation
本文提出AIM-SciQA框架,通过大语言模型生成多文档多跳科学问答数据集,结合语义对齐和引用信息提升事实一致性,构建IM-SciQA数据集并验证其在检索增强推理中的有效性。
2026-03-15 cs.CL
Generating Event-oriented Attribution for Movies via Two-Stage Prefix-Enhanced Multimodal LLM
University of Science and Technology of China(中国科学技术大学);School of Computer Science(计算机学院);Anhui Province Key Lab of Big Data Analysis and Application(安徽省大数据分析与应用重点实验室)
针对现有电影事件研究缺乏全片因果分析、多模态大模型受上下文长度限制的问题,提出两阶段前缀增强TSPE方法,通过局部分段总结与全局关联事件聚焦实现精准事件归因,性能优于SOTA方法。
2024-09-14 cs.CL
Article citation study: Context enhanced citation sentiment detection
Pondicherry University(本地治里大学);HCL Technologies Ltd.(HCL技术有限公司);IDRBT(印度银行技术研究所);University at Buffalo(布法罗大学)
引文情感分析是科学计量学研究较少的课题之一。对于引文分析,我们开发了八个包含引文句子的数据集,这些数据集由我们手动注释为三种情感极性,即积极,消极和中性。在八个数据集中,三个是考虑到引文的整个背景而开发的。此外,我们提出了一个集成的特征工程方法,包括词嵌入获得的文本,词性标记,和依赖关系在一起。集成特征被认为是基于深度学习的引文情感分类方法的输入,进而与词袋方法进行比较。实验结果表明,深度学习是有用的,为更大的样本数量,而支持向量机是较小的样本数量的赢家。此外,基于上下文的样本被证明是更有效的引用情感分析比无上下文的样本。
2020-05-10 cs.CL cs.DL cs.IR
sui-1: Grounded and Verifiable Long-Form Summarization
ellamind
sui-1通过生成带引用的摘要,解决了大型语言模型摘要不可验证的问题,展示了任务特定训练在引用支持摘要中的优越性。
2026-01-13 cs.AI cs.CL
Verify-and-Edit: A Knowledge-Enhanced Chain-of-Thought Framework
Nanyang Technological University(南洋理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Salesforce AI(赛富时人工智能研究院)
针对大语言模型思维链提示在知识密集型任务中事实性不足的问题,提出Verify-and-Edit知识增强框架,通过外部知识后编辑推理链,基于GPT-3实现了多个开放域问答任务的准确率提升。
2023-05-05 cs.CL
EWEK-QA: Enhanced Web and Efficient Knowledge Graph Retrieval for Citation-based Question Answering Systems
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Waterloo(滑铁卢大学)
针对引用式问答中网络知识单一、网页切块易割裂信息的问题,提出EWEK-QA,通过自适应网络检索和免LLM调用的KG三元组整合,显著提升检索质量与问答表现。
2024-06-14 cs.CL
TracSum: A New Benchmark for Aspect-Based Summarization with Sentence-Level Traceability in Medical Domain
University of Duisburg-Essen(杜伊斯堡-埃森大学);Institute for AI in Medicine (IKIM)(医学人工智能研究所);University Hospital Essen(埃森大学医院)
TracSum提出了一种面向医学领域的可追溯摘要基准,通过句子级引用提高摘要准确性,并展示了基于Track-Then-Sum的基线方法及实验结果。
2025-08-19 cs.CL
Visualizing and Benchmarking LLM Factual Hallucination Tendencies via Internal State Analysis and Clustering
The Harker School(哈克尔学校);Monta Vista High School(蒙塔维斯高中);University of California Berkeley(加州大学伯克利分校);Algoverse AI Research(Algoverse AI研究)
通过FalseCite数据集评估大语言模型在误导性引用下的事实性幻觉倾向,并利用内部状态分析和聚类揭示隐藏状态的特征。
2026-01-18 cs.AI cs.CL
ECLAIR: Enhanced Clarification for Interactive Responses in an Enterprise AI Assistant
Adobe(奥多比公司)
ECLAIR是一个多智能体框架,通过交互式澄清流程解决企业级AI助手查询歧义,在真实数据上显著提升澄清问题生成质量。
2025-03-19 cs.CL
Early screening of potential breakthrough technologies with enhanced interpretability: A patent-specific hierarchical attention network model
Korea Institute of Science and Technology(韩国科学技术研究院);Konkuk University(建国大学);Korea University(高丽大学)
提出可解释的专利特定分层注意力网络(PatentHAN)模型,通过预训练语言模型、分层结构和自注意力机制从专利文本预测引用计数,在制药专利案例中有效实现突破性技术早期筛选并增强人机协作。
2024-07-24 cs.AI cs.CL
Generating Extractive Summaries of Scientific Paradigms
University of Michigan(密歇根大学);National Research Council Canada(加拿大国家研究委员会);University of Maryland(马里兰大学)
研究人员和科学家越来越多地发现自己处于必须快速理解大量技术材料的境地。我们的目标是通过使用文献计量学文本挖掘和摘要技术来生成科学文献摘要,从而有效地满足这一需求。我们展示了如何使用引文来生成自动生成的、易于消费的技术摘要。我们首先提出了C-LexRank,一个基于引用的科学论文摘要模型,它采用社区发现并提取显著的信息丰富的句子。接下来,我们进一步扩展我们的实验,以总结一组论文,其中涵盖了相同的科学主题。我们生成提取摘要的一组问答(QA)和依存句法分析(DP)的论文,他们的摘要,他们的引文句子,并表明,引文有独特的信息适合创建一个摘要。
2014-02-04 cs.CL cs.IR
Cited Text Spans for Citation Text Generation
Department of Computer Science University of Texas at Dallas(计算机科学系 德克萨斯大学达拉斯分校)
针对现有引用生成模型仅依赖被引论文摘要易产生幻觉的问题,提出以被引文本片段(CTS)为输入,通过远程标注和人在环路的关键词检索方法,实现基于全文的可靠引用生成。
2024-02-20 cs.CL
Multi-Agent LLMs for Generating Research Limitations
本文提出多智能体框架生成研究局限性,结合OpenReview评论和作者声明,利用引用论文捕捉上下文缺陷,通过不同角色智能体系统识别显性、隐性、同行评审和文献相关局限性,提升局限性描述的准确性。
2026-03-16 cs.AI cs.CL
T-KAER: Transparency-enhanced Knowledge-Augmented Entity Resolution Framework
School of Information Sciences, University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校信息科学学院);Informatics, University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校信息学系);National Center for Supercomputing Applications (NCSA)(国家超级计算应用中心)
本文提出T-KAER框架,通过日志记录实体解析过程并回答三个透明度问题,以定量和定性方式揭示知识增强的内容及其对预测的影响。
2024-09-30 cs.CL cs.DB
Scientific Article Summarization Using Citation-Context and Article's Discourse Structure
Georgetown University(乔治城大学)
本文提出了一种基于引文语境和文献语篇模型的科技论文摘要方法。虽然引文以前曾用于生成科学摘要,但它们缺乏引用文章的相关背景,因此不能准确反映文章的内容。我们的方法克服了引文摘要和文章的内容之间的不一致的问题,通过为每个引用提供上下文。我们还利用固有的科学文章的话语来制作更好的摘要。我们表明,我们提出的方法有效地提高了现有的总结方法(超过30%的最佳性能基线的改善)方面的\textsc{Rouge}评分TAC 2014科学总结数据集。虽然我们用于评估的数据集是在生物医学领域,但我们的大多数方法都是通用的,因此适用于其他领域。
2017-04-21 cs.CL cs.IR
Citations are not opinions: a corpus linguistics approach to understanding how citations are made
引文内容分析试图根据引文制作过程中使用的语言来理解引文。引文内容分析的一个关键问题是寻找表征不同类别引文的语言结构,以理解引文的意图和功能。以前的工作都集中在建模语言特征第一,并得出结论的语言结构独特的每一类引用功能的基础上的分类任务或注释者之间的协议的性能。在这项研究中,我们从一个预先分类的引文语料库的大样本开始,来自scite Smart Citation数据集的每个类别(支持,争议和提及引文)的200万篇引文,并分析其语料库语言学,以揭示属于每种类型的引文的独特和统计上显著的语言结构。通过为每种引文类型生成比较表,我们提出了一些有趣的语言特征,独特的特点引文类型。我们发现,在引文搭配中,引文类型和情感之间的相关性很低。此外,我们发现跨类引用搭配的主观性很低。这些研究结果表明,搭配词的情绪是不是一个预测的引用功能,由于他们的主观性较低,一个意见表达模式的理解引用,隐含在以前的引用情感分析文献,是不合适的。相反,我们建议,引用可以更好地理解为索赔制作设备,其中引用类型可以通过理解如何比较两个索赔来解释。通过提出这一方法,我们希望能启发类似的语料库语言学研究的引文,得出一个更强大的理论,从实证的基础上使用引文语料库
2021-04-16 cs.CL cs.DL
ChatEd: A Chatbot Leveraging ChatGPT for an Enhanced Learning Experience in Higher Education
University of British Columbia(不列颠哥伦比亚大学)
本研究提出一种结合ChatGPT与传统信息检索聊天机器人框架的创新架构,以解决LLMs在教育中生成错误答案的挑战,为高等教育提供增强的学生支持,实证评估显示其高度前景。
2023-12-29 cs.CL cs.CY
SourceMinds at CheckThat! 2026: NLI-Grounded Citation Auditing in a Multi-Agent Pipeline for Full Fact-Checking Article Generation
University of North Texas(北得克萨斯大学);Texas Academy of Mathematics and Science (TAMS)(德克萨斯数学与科学学院)
针对CLEF 2026 CheckThat!实验室任务3,提出多智能体管道系统,结合证据检索、结构化规划、文章生成、自我批判及引用审核等方法,强调证据选择、结构化生成与生成后引用验证对事实核查文章生成的重要性。
2026-07-31 cs.CL cs.IR
Generating Interesting Scientific Ideas using Knowledge Graphs and LLMs: Evaluations with 100 Research Group Leaders
Max Planck Institute for the Science of Light(马克斯·普朗克光科学研究所)
本研究提出SciMuse,结合5800万篇论文的知识图谱与LLM生成个性化研究想法,并通过100多位专家对4400多个想法的评估,发现图特征可预测想法趣味性,但概念对选择未优于标题基线。
2026-09-25 cs.AI cs.CL cs.DL
ReHoPER: Receding-Horizon Planning for Enhanced Reasoning
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出ReHoPER,一种仅推理的零样本方法,通过滚动规划中间问题并回答来增强LLM推理,在组合推理基准上优于强基线。
2026-10-02 cs.AI cs.CL cs.LG
Comprehensive Manuscript Assessment with Text Summarization Using 69707 articles
Peking University(北京大学);Fudan University(复旦大学)
本研究利用Scopus构建了包含69707篇跨学科文章的大规模数据集,提出了一种基于Transformer和文本融合层的深度学习方法,用于预测手稿的期刊影响力和未来影响力,实验验证了其优越性并展示了反馈生成潜力。
2025-03-26 cs.CL
Generating Full Length Wikipedia Biographies: The Impact of Gender Bias on the Retrieval-Based Generation of Women Biographies
FAIR(元人工智能基础研究团队);LORIA(洛林计算机科学及其应用实验室);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心)
生成像维基百科文章这样的事实性的长文本提出了三个关键挑战:如何收集相关证据,如何将信息结构化为格式良好的文本,以及如何确保生成的文本是事实正确的。我们通过开发一个英语文本模型来解决这些问题,该模型使用检索机制来识别网络上的相关支持信息,并使用基于缓存的预训练编码器-解码器逐节生成长篇传记,包括引用信息。为了评估可用的网络证据对输出文本的影响,我们比较了我们的方法在生成关于女性的传记(网络上提供的信息较少)与一般传记时的性能。为此,我们整理了一个包含1,500本女性传记的数据集。我们分析生成的文本,以了解可用的网络证据数据的差异如何影响生成。我们使用自动度量和人工评估来评估所生成文本的真实性、流畅性和质量。我们希望这些技术可以作为人类作家的起点,以帮助减少长格式,事实文本创作中固有的复杂性。
2022-04-12 cs.CL
Can Group Relative Policy Optimization Improve Thai Legal Reasoning and Question Answering?
VISAI AI(VISAI人工智能);Chulalongkorn University(朱拉隆功大学);Vidyasirimedhi Institute of Science and Technology(维达沙里梅迪科技研究院)
本文提出利用 GRPO 算法对齐 LLMs,结合 BGE-M3 嵌入作为低成本奖励,在 NitiBench 基准上显著提升了泰语法律问答的引用准确性和复杂推理鲁棒性。
2025-07-13 cs.CL
ABAI at COLIEE 2026 Task 1: Multi-Stage Retrieval with GraphRAG-Enhanced Meta-Learning, and a Post-Hoc Study of the Cross-Validation-to-Test Gap
AlphaBridge(阿尔法桥(AlphaBridge));Sungkyunkwan University(成均馆大学);National Assembly Research Service(国会研究服务处);Ewha Womans University(梨花女子大学)
本文提出ABAI系统用于COLIEE 2026判例法检索,采用多阶段流程,并事后分析交叉验证与测试差距,归因于召回上限、分布偏移和阈值校准,提出改进措施。
2026-09-23 cs.AI cs.CL cs.IR
An Enhanced MeanSum Method For Generating Hotel Multi-Review Summarizations
多文档摘要是将多个文本作为输入,并根据输入文本的内容生成简短摘要文本的过程。直到最近,多文档摘要器大多是监督提取的。然而,监督方法需要大型的成对文档摘要示例的数据集,这些示例很少且生产成本高。2018年,Chu和Liu提出了一种无监督的多文档摘要方法(Meansum),与提取方法相比表现出了竞争力。尽管在自动度量上有很好的评估结果,但Meansum有很多局限性,特别是无法处理多个方面。这项工作的目的是使用多方面掩蔽(MAM)作为内容选择器,以解决多方面的问题。此外,我们提出了一个正则化控制生成的摘要的长度。通过在Trip Advisor酒店数据集上的一系列实验,我们验证了我们的假设,并表明我们改进的模型比原来的Meansum方法实现了更高的ROUGE,情感准确性,并且还击败/可比较/接近监督基线。
2021-04-20 cs.AI cs.CL
Knowledge-enhanced Iterative Instruction Generation and Reasoning for Knowledge Base Question Answering
Peking University(北京大学)
多跳知识库问答(KBQA)的目的是在知识库中找到答案实体,该答案实体与问题中提到的主题实体相距若干跳。现有的基于检索的方法首先从问题中生成指令,然后使用它们来指导知识图谱上的多跳推理。由于在整个推理过程中指令是固定的,并且指令生成过程中不考虑知识图谱,因此模型一旦预测出中间实体错误,就无法修正错误。为了解决这个问题,我们提出了KBIGER(知识库迭代指令生成和推理),一种新颖的和有效的方法来生成动态的帮助下,推理图的指令。在推理之前,我们不生成所有的指令,而是考虑第(k-1)个推理图来构建第k个指令。通过这种方式,模型可以检查图中的预测,并生成新的指令来修改中间实体的错误预测。我们在两个多跳KBQA基准测试上进行了实验,实验结果表明,该方法的性能优于现有方法,成为最新的KBQA方法。进一步的实验表明,该方法能够检测中间实体的错误预测,并具有修正错误的能力。
2022-09-07 cs.CL
ArxEval: Evaluating Retrieval and Generation in Language Models for Scientific Literature
ArxEval提出基于ArXiv的两任务评估流程,衡量十五个语言模型在科学文献生成中的幻觉频率,以比较其可靠性。
2025-01-22 cs.AI cs.CL
IterKey: Iterative Keyword Generation with LLMs for Enhanced Retrieval Augmented Generation
Nara Institute of Science and Technology(奈良科学技術研究所);TDSE Inc.(TDSE公司)
针对现有RAG方法难以兼顾准确性与可解释性的问题,提出由LLM驱动的三阶段迭代关键词生成框架IterKey,通过稀疏检索增强RAG,在四项QA任务上准确率较BM25基线提升5%-20%,性能媲美密集检索类方法,实现了准确性与可解释性的平衡。
2025-07-30 cs.CL
Interactive Distillation of Large Single-Topic Corpora of Scientific Papers
LANL(洛斯阿拉莫斯国家实验室)
本文提出一种基于机器学习的交互式工具,通过核心语料、引文网络、文本嵌入和人在回路选择,从大规模文献中建设性地蒸馏出针对性的单主题科学论文数据集。
2023-09-19 cs.CL cs.DL cs.IR
Iterative Self-Tuning LLMs for Enhanced Jailbreaking Capabilities
University of California San Diego(加州大学圣迭戈分校);Microsoft Research(微软研究院);University of Virginia(弗吉尼亚大学)
本文提出ADV-LLM迭代自微调框架,以低计算成本构建高越狱能力的对抗性LLM,在开源模型上实现近100%攻击成功率,并具备向GPT-3.5和GPT-4等闭源模型的强迁移性。
2025-11-07 cs.CL cs.LG
Retrieval Enhanced Model for Commonsense Generation
New York University(纽约大学);Microsoft(微软)
常识生成是一项具有挑战性的任务,即使用所提供的概念生成描述日常场景的合理句子。它对常识知识的推理和组合泛化能力的要求甚至困扰着强大的预训练语言生成模型。我们提出了一个新的框架,使用检索方法,以提高预训练和微调常识生成。我们通过概念匹配检索原型句子候选,并将其用作辅助输入。为了进行微调,我们通过可训练的句子检索器进一步提高了它的性能。我们在大规模的CommonGen基准测试上通过实验证明,我们的方法取得了新的最先进的结果。
2021-05-24 cs.AI cs.CL
RECAP: Retrieval-Enhanced Context-Aware Prefix Encoder for Personalized Dialogue Response Generation
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
针对聊天机器人一致人设构建难题,提出名为RECAP的检索增强个性化对话回复生成方法,通过分层Transformer检索器和上下文感知前缀编码器实现信息融合,在英文Reddit对话数据集上表现优于现有最优基线。
2023-06-12 cs.AI cs.CL
Generating Knowledge Graphs by Employing Natural Language Processing and Machine Learning Techniques within the Scholarly Domain
University of Cagliari(卡利亚里大学);FIZ Karlsruhe - Leibniz Institute for Information Infrastructure(FIZ卡尔斯鲁厄——莱布尼茨信息基础设施研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);The Open University(开放大学);CNRS(法国国家科学研究中心);University Paris 13(巴黎第十三大学)
科学文献的不断增长带来了创新,同时也提出了新的挑战。其中之一是,由于大量发表的论文需要人工注释和管理,因此难以对其进行分析。需要新的技术基础设施来帮助研究人员、研究政策制定者和公司高效地浏览、分析和预测科学研究。知识图谱,即,大型实体和关系网络已被证明是这一领域的有效解决方案。科学知识图谱关注学术领域,通常包含描述研究出版物的元数据,如作者、地点、组织、研究主题和引用。然而,当前的知识图谱缺乏对研究论文中呈现的知识的明确表示。因此,在本文中,我们提出了一个新的架构,利用自然语言处理和机器学习方法提取实体和关系的研究出版物,并将它们集成在一个大规模的知识图谱。在这项研究工作中,我们i)通过采用几种最先进的自然语言处理和文本挖掘工具来应对知识提取的挑战,ii)描述了一种用于集成这些工具生成的实体和关系的方法,iii)显示了这种混合系统相对于替代方法的优势,以及vi)作为所选用例,我们生成了一个科学知识图谱,包括109,105个三元组,从语义网领域内的26,827篇论文摘要中提取。由于我们的方法是通用的,可以应用于任何领域,我们希望它可以促进科学知识的管理,分析,传播和处理。
2020-10-28 cs.AI cs.CL cs.LG