Utilizing GPT to Enhance Text Summarization: A Strategy to Minimize Hallucinations
University of Colorado - Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);DataCrunch Lab, LLC(DataCrunch实验室有限责任公司);North Carolina State University(北卡罗来纳州立大学)
本文提出利用GPT优化DistilBERT与T5生成的抽取式、生成式及混合式摘要,以最小化幻觉问题,并通过多指标评估验证了该方法能显著提升摘要的事实准确性与可靠性。
2024-05-07 cs.AI cs.CL cs.LG
GPT-3.5 for Grammatical Error Correction
University of Helsinki(赫尔辛基大学)
本研究探索 GPT-3.5 在多语言语法错误纠正中的三类应用,评估发现其英语表现较好但存在过度纠正问题,且在标点、时态等错误类型上仍有不足。
2024-05-14 cs.AI cs.CL
GUMSum: Multi-Genre Data and Evaluation for English Abstractive Summarization
Georgetown University(乔治城大学)
GUMSum构建了12种体裁的英语摘要数据集,评估发现GPT3虽流畅但仍有幻觉且不如人类,并揭示了不同方法生成摘要的错误类型与挑战。
2023-06-20 cs.CL
Fair Abstractive Summarization of Diverse Perspectives
Penn State University(宾夕法尼亚州立大学);Yale University(耶鲁大学);Salesforce Research(Salesforce研究院);Texas A&M University(德克萨斯农工大学);University of Southern California(南加利福尼亚大学);Columbia University(哥伦比亚大学)
本文针对用户生成数据中的公平抽象摘要问题,定义公平性并提出四个无参考自动指标,评估九个LLMs在六个数据集上的表现,分析不公平因素并提出三种缓解方法。
2024-03-30 cs.CL
Assessing LLMs for Zero-shot Abstractive Summarization Through the Lens of Relevance Paraphrasing
University of California, Davis(加利福尼亚大学戴维斯分校);University of South Florida(南佛罗里达大学)
本文提出相关性改写策略,通过识别并改写关键句子生成最小扰动数据集,评估4个数据集和4种不同规模LLM的零样本摘要鲁棒性,发现模型对扰动文章的摘要生成表现不一致,需进一步改进。
2025-02-01 cs.CL
A Guide To Effectively Leveraging LLMs for Low-Resource Text Summarization: Data Augmentation and Semi-supervised Approaches
Cheriton School of Computer Science, University of Waterloo(滑铁卢大学切尔顿计算机科学学院);ServiceNow Research(ServiceNow研究院);University of British Columbia(不列颠哥伦比亚大学)
本文提出MixSumm数据增强和PPSL半监督伪标签两种方法,利用LLaMA-3-70b-Instruct模型在低资源场景下有效提升文本摘要性能,仅用5%标注数据即可达到全监督效果。
2025-01-23 cs.AI cs.CL
Long Document Summarization with Top-down and Bottom-up Inference
Salesforce Research(赛富时研究院)
文本摘要旨在压缩长文档并保留关键信息。摘要模型成功的关键是对源文档中单词或标记的潜在表示的忠实推断。最新的模型推断潜在的表示与Transformer编码器,这是纯粹的自自底向上的【形】。此外,基于自我注意的推理模型面临着序列长度的二次复杂性的挑战。我们提出了一个原则性的推理框架,以改善这两个方面的摘要模型。我们的框架假设了一个分层的潜在结构的文档,其中顶层捕获的长距离依赖在一个粗略的时间尺度和底部令牌级别保留的细节。重要的是,这种层次结构使令牌表示能够以自自底向上的【形】和自顶向下的方式更新。在自自底向上的【形】的过程中,使用局部自我注意力来推断令牌表示以利用其效率。然后应用自上而下的校正以允许令牌捕获长范围依赖性。我们证明了所提出的框架在不同的摘要数据集上的有效性,包括叙事,会话,科学文档和新闻。我们的模型实现了(1)与全注意力Transformers相比,在具有更高内存和计算效率的短文档上具有竞争力或更好的性能,以及(2)与最近的高效Transformers相比,在广泛的长文档摘要基准上具有最先进的性能。我们还表明,我们的模型可以总结一整本书,并实现竞争力的性能使用$0.27\%$参数(464 M与175 B)和更少的训练数据,相比,最近的GPT-3为基础的模型。这些结果表明,所提出的框架的普遍适用性和好处。
2022-03-15 cs.CL
Automatic Summarization of Russian Texts: Comparison of Extractive and Abstractive Methods
Vyatka State University(维亚特卡国立大学)
GPT-3、T5、Switch Transformer、ERNIE等大型、大语言模型的开发,显著提高了文本生成的性能。这一领域的一个重要研究方向是带论元的语篇生成。这个问题的解决方案可以用于商务会议、政治辩论、对话系统、学生论文的准备。这些应用的主要领域之一是经济领域。俄语论证文本生成的关键问题是缺乏标注的论证语料库。在本文中,我们使用的翻译版本的议论文,说服性的文章和UKP句子语料库微调RuBERT模型。最后,利用该模型对经济新闻语料进行了论证性标注。然后利用标注的语料库对ruGPT-3模型进行微调,生成论元文本。结果表明,与原始ruGPT-3模型相比,这种方法将参数生成的准确性提高了20个百分点(63.2%对42.5%)。
2022-06-18 cs.CL
Enhancing Faithfulness in Abstractive Summarization via Span-Level Fine-Tuning
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文研究了通过片段级微调策略减少LLM生成式摘要中的幻觉问题,构建了含片段级标签的忠实与不忠实摘要数据集,并评估了梯度上升、不可能性训练和任务向量否定三种技术,发现不可能性训练效果最佳。
2025-10-10 cs.CL
Controlling Summarization Length Through EOS Token Weighting
本文提出一种通过加权EOS令牌损失来控制摘要长度的方法,无需修改模型架构,与解码算法无关,并在编码器-解码器和GPT风格大语言模型上验证了其有效性且不影响摘要质量。
2025-06-05 cs.CL cs.LG
SEval-Ex: A Statement-Level Framework for Explainable Summarization Evaluation
AgroParisTech - MIA(阿格罗巴黎科技-信息与自动化学院)
SEval-Ex框架通过将摘要评估分解为原子语句并进行语句级匹配,在保持可解释性的同时实现了优于GPT-4评估器的最先进性能。
2025-05-04 cs.AI cs.CL
Fair Summarization: Bridging Quality and Diversity in Extractive Summaries
Portland State University(波特兰州立大学)
针对多文档摘要中社会群体代表性不公的问题,提出 FairExtract 与 FairGPT,并结合质量和公平性复合指标验证其能在保持摘要质量的同时提升公平性。
2025-03-18 cs.AI cs.CL
Exploring the Limits of ChatGPT for Query or Aspect-based Text Summarization
University of California, Santa Barbara(加州大学圣巴巴拉分校);Microsoft(微软);NEC Laboratories America(NEC美国实验室)
文本摘要是自然语言处理中的一个重要问题。它旨在将冗长的文件压缩成较短的版本,同时保留最关键的信息。已经提出了各种文本摘要方法,包括抽取式和抽象式摘要。大语言模型(LLM)的出现,如GPT3和ChatGPT,最近产生了使用这些模型进行文本摘要任务的极大兴趣。最近的研究\cite{goyal2022news, zhang2023benchmarking}表明,LLMs生成的新闻摘要已经与人类不相上下。然而,LLM对于更实际的应用程序(如方面或基于查询的摘要)的性能还没有得到充分的研究。为了填补这一空白,我们在四个广泛使用的基准数据集上对ChatGPT的性能进行了评估,其中包括Reddit帖子,新闻文章,对话会议和故事的各种摘要。我们的实验表明,ChatGPT的性能与传统的微调方法在胭脂分数方面相当。此外,我们强调了ChatGPT生成的摘要和人类引用之间的一些独特差异,为ChatGPT在各种文本摘要任务中的强大功能提供了有价值的见解。我们的研究结果呼吁在这一领域的新方向,我们计划进行进一步的研究,通过广泛的人类评估系统地检查ChatGPT生成的摘要的特征。
2023-02-16 cs.AI cs.CL
A Multi-Model Metric-based Selection Framework for Abstractive Text summarization
University of Science and Technology of China(中国科学技术大学)
提出一种多模型自适应选择框架,通过集成多个微调的Transformer模型并基于自动评估指标选择最佳摘要,在CNN/DailyMail数据集上BERTScore达88.63%,优于GPT3-D2等大模型。
2026-07-16 cs.AI cs.CL
G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment
Microsoft Cognitive Services Research(微软认知服务研究院)
本文提出G-Eval框架,利用GPT-4结合思维链与表单填充进行无参考NLG评估,在摘要任务上取得0.514的Spearman相关系数,显著超越已有方法,并分析了LLM评估器的偏见问题。
2023-05-23 cs.AI cs.CL
Importance of Copying Mechanism for News Headline Generation
MIPT(莫斯科物理技术学院)
新闻标题的生成是文本摘要的一个基本问题,因为它是受约束的,定义明确的,并且仍然很难解决。词汇量有限的模型不能很好地解决这个问题,因为新的命名实体可能会经常出现在新闻中,这些实体通常应该出现在标题中。在形态丰富的语言,如俄语的新闻文章需要模型修改,由于大量的可能的单词形式。本研究旨在验证具有从原始文章复制单词的可能性的模型比没有这种选项的模型表现更好。所提出的模型在提供的测试数据集上实现了平均ROUGE得分23,这比没有复制机制的类似模型的结果高8分。此外,所得到的模型比任何已知的模型在新的俄罗斯新闻数据集上的表现更好。
2019-04-25 cs.AI cs.CL cs.LG
Balancing Rewards in Text Summarization: Multi-Objective Reinforcement Learning via HyperVolume Optimization
AI-4-Business of Li Auto Inc.(利汽车有限公司AI-4-Business)
本文提出超体积优化(HVO)策略,通过动态调整奖励分数引导模型逼近帕累托前沿,实现多目标平衡的文本摘要,在多个数据集上优于GRPO,且7B模型性能媲美GPT-4。
2025-10-22 cs.AI cs.CL
Exploring Transformers in Natural Language Generation: GPT, BERT, and XLNet
Middle East Technical University(中东技术大学);Marmara University(马尔马拉大学);Koç University(科奇大学)
近年来,注意力机制的激增和自然语言生成(NLG)中Transformers的兴起。以前,最先进的NLG架构(如RNN和LSTM)遇到了消失梯度问题;随着句子变大,位置之间的距离保持线性,顺序计算阻碍了并行化,因为句子是逐词处理的。Transformers开创了一个新时代。在本文中,我们探讨了三个主要的基于transformer的模型,即GPT,BERT和XLNet,进行重大影响的领域。NLG是一个新兴的领域,现在得到了注意力机制快速发展的支持。从诗歌生成到摘要,文本生成得益于基于transformer的语言模型取得的突破性成果。
2021-02-16 cs.CL cs.LG
LaMSUM: Amplifying Voices Against Harassment through LLM Guided Extractive Summarization of User Incident Reports
Indian Institute of Technology Delhi, India(印度理工学院德里分校);Delhi Technological University, India(德里技术大学);Indian Institute of Technology Kharagpur, India(印度理工学院哈里科特分校);Collaborative Dynamics, Texas, USA(协同动力公司);Indian Institute of Science Education and Research Kolkata, India(印度科学教育与研究学院科希拉分校)
本文提出LaMSUM框架,结合多级投票方法利用LLM生成用户事件报告的提取式摘要,有效应对多语言数据处理挑战,优于现有方法。
2026-04-17 cs.CL cs.LG
News Summarization and Evaluation in the Era of GPT-3
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究GPT-3对新闻摘要的影响,发现人类更偏好GPT-3摘要且其事实性更好,同时指出现有自动指标无法可靠评估GPT-3摘要,并发布了相关语料库和人类偏好判断数据。
2023-05-23 cs.CL
DSGPT: Domain-Specific Generative Pre-Training of Transformers for Text Generation in E-commerce Title and Review Summarization
JD.com Silicon Valley Research Center(京东硅谷研发中心)
本文提出了一种新的特定领域生成式预训练(DS-GPT)文本生成方法,并将其应用于电子商业移动显示的产品标题和评论摘要问题。首先,我们采用了一种仅解码器的Transformer架构,通过将输入和输出结合在一起,适合于微调任务。其次,我们证明了在相关领域中仅利用少量的预训练数据是强大的。从维基百科或CommonCrawl等通用语料库中预训练语言模型需要大量的时间和资源投入,如果下游任务的种类有限,则可能是浪费。OurDSGPT是在有限的数据集上进行预训练的,即中文短文本摘要数据集(LCSTS)。第三,我们的模型不需要与产品相关的人工标记数据。对于标题摘要任务,现有技术在训练和预测阶段明确使用额外的背景知识。相比之下,我们的模型隐含地捕获了这些知识,并在公共淘宝网上进行微调后,实现了对其他方法的显着改进。对于评论摘要任务,我们利用JD.com内部数据集,并观察到与标准机器翻译方法相比类似的改进,这些方法缺乏微调的灵活性。我们提出的工作可以简单地扩展到其他领域的文本生成任务。
2021-12-15 cs.AI cs.CL
Prompted Opinion Summarization with GPT-3.5
IIT Bombay(印度理工学院孟买分校);Salesforce AI(赛富时人工智能研究院);UT Austin(德克萨斯大学奥斯汀分校)
本文探索了使用GPT-3.5进行提示式意见摘要的流水线方法,通过递归摘要和监督聚类等技术处理大规模用户评论,并在人工评估中表现优异,同时引入了三个新评估指标。
2023-05-23 cs.CL
Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization
Microsoft Azure AI(微软Azure人工智能部门);Microsoft Research(微软研究院)
本文提出面向生成式摘要的预训练模型 Z-Code++,通过两阶段预训练、解耦注意力和 fusion-in-encoder,在多语言摘要基准及零/少样本设置中取得参数高效的最优性能。
2023-06-07 cs.AI cs.CL
uMedSum: A Unified Framework for Advancing Medical Abstractive Summarization
ASUS Intelligent Cloud Services (AICS)(华硕智能云服务)
本文提出uMedSum模块化混合摘要框架,通过顺序移除虚构并补充关键信息,在多个数据集和指标上显著优于基于GPT-4的SOTA方法,提升了医学摘要的忠实性与信息量。
2024-08-26 cs.AI cs.CL cs.LG
Finding a Wolf in Sheep's Clothing: Combating Adversarial Text-To-Image Prompts with Text Summarization
University of Arizona(亚利桑那大学)
针对文本到图像模型易受分而治之攻击(DACA)的问题,提出先摘要后分类的两层防御方法,在ATTIP数据集上使F1分数提升31%,最高达98%,验证了摘要预处理能有效抵御提示混淆。
2024-12-15 cs.AI cs.CL cs.CR
SummQA at MEDIQA-Chat 2023:In-Context Learning with GPT-4 for Medical Summarization
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于GPT-4的上下文学习医学对话摘要系统,通过选择语义相似对话作为上下文示例进行少样本提示,在MEDIQA 2023共享任务中取得多项前列成绩,验证了该方法的有效性并指出其不足。
2023-06-30 cs.CL
Modern Methods for Text Generation
National Research University Higher School of Economics(国立研究型大学高等经济学院)
合成文本生成具有挑战性,并且成功有限。最近,一种名为Transformers的新架构允许机器学习模型更好地理解顺序数据,例如翻译或摘要。BERT和GPT-2在其内核中使用了Transformers,在文本分类、翻译和NLI等任务中表现出了出色的性能。在这篇文章中,我们分析了这两种算法,并比较了它们在文本生成任务中的输出质量。
2020-09-10 cs.CL cs.LG
Argumentative Segmentation Enhancement for Legal Summarization
University of Pittsburgh(匹兹堡大学)
本文提出结合论证区域划分与法律论证方案进行法律判决论证性分割,并基于GPT-3.5生成摘要,在自动评估中优于GPT-4及非GPT模型。
2023-07-11 cs.CL
Evaluating Named Entity Recognition Models for Russian Cultural News Texts: From BERT to LLM
University of Bologna(博洛尼亚大学)
本文基于SPbLitGuide数据集比较了BERT类模型与GPT系列LLM在俄语文化新闻人名识别上的表现,发现GPT-4o在JSON提示下F1达0.93,GPT-4.1后续评估F1达0.94,揭示了LLM在该领域的优势与快速进展。
2025-06-03 cs.AI cs.CL cs.IR
InheritSumm: A General, Versatile and Compact Summarizer by Distilling from GPT
Microsoft Cognitive Services Research Group(微软认知服务研究组)
本文提出InheritSumm,通过从GPT-3.5蒸馏得到一个通用且紧凑的摘要模型,在保持与GPT-3.5相当的零样本和少样本性能的同时,支持高效微调并超越现有最优小模型。
2023-05-22 cs.CL
From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting
Salesforce AI(赛富时人工智能研究院);MIT(麻省理工学院);Columbia University(哥伦比亚大学)
本文提出“密度链”(CoD)提示方法,通过迭代纳入缺失显著实体引导 GPT-4 生成更密集的摘要,在信息量与可读性间取得平衡,且人类偏好度优于普通提示生成的摘要。
2023-09-08 cs.CL
Low-Resource Cross-Lingual Summarization through Few-Shot Learning with Large Language Models
Chung-Ang University(中央大学)
本文研究大语言模型在低资源跨语言摘要中的少样本学习性能,发现少样本学习显著提升GPT-3.5和GPT-4的表现,而Mistral-7B-Instruct-v0.2适应能力有限,并指出需进一步研究专用架构与预训练目标。
2024-06-07 cs.CL
BERT vs GPT for financial engineering
University College London(伦敦大学学院)
本文对比了BERT与GPT在金融工程中新闻情感判断任务的表现,发现微调BERT优于GPT,且CopBERT在可解释性上具有优势,是兼顾准确性与可解释性的有趣替代方案。
2024-04-24 cs.AI cs.CL q-fin.ST
Can GPT models Follow Human Summarization Guidelines? A Study for Targeted Communication Goals
Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学、国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔INP、实验室)
本研究探究GPT模型遵循人类摘要指南生成对话摘要的能力,通过多提示词在两个对话数据集实验,发现其生成的摘要更受人工评估青睐,但现有自动评估指标与人工评估存在差异,需更可靠的自动评估指标。
2025-10-04 cs.AI cs.CL
Cross-lingual Cross-temporal Summarization: Dataset, Models, Evaluation
University of Mannheim(曼海姆大学);Technische Universität Darmstadt(达姆施塔特工业大学)
本文针对跨语言跨时间摘要(CLCTS)任务,构建了首个历史英德双语语料库,评估了端到端模型与GPT-3.5的摘要性能,并设计对抗攻击测试数据污染,发现历史文本的复杂性显著增加了任务难度。
2024-06-02 cs.CL
GersteinLab at MEDIQA-Chat 2023: Clinical Note Summarization from Doctor-Patient Conversations through Fine-tuning and In-context Learning
Yale University(耶鲁大学)
本文提出通过微调预训练模型和GPT-4少样本上下文学习两种流程,解决医患对话临床笔记摘要任务,在ROUGE-1、BERTScore和BLEURT上取得优异分数,并利用专家注释验证ICL方法效果最佳。
2023-05-08 cs.CL
Cost-efficient generative AI summarization for scalable automated essay scoring in educational assessment
Princeton University(普林斯顿大学)
研究针对自动作文评分受输入长度限制问题,提出用生成式人工智能辅助摘要框架,用GPT-5变体生成摘要作输入,结合手工语言特征形成混合框架,评估其在评分等方面表现,揭示相关权衡,为AES提供初步评估及基线等。
2026-07-20 cs.CL cs.LG
Medically Aware GPT-3 as a Data Generator for Medical Dialogue Summarization
Curai(Curai公司)
在医学对话摘要中,摘要必须连贯一致,并且必须捕获对话中的所有医学相关信息。然而,学习有效的摘要模型需要大量的标记数据,这是特别难以获得的。我们提出了一种算法来创建合成的训练数据,明确侧重于捕获医学相关信息。我们利用GPT-3作为我们算法的主干,并扩展210个人类标记的示例,以产生与使用6400个人类标记的示例(约30倍)相媲美的结果,利用低拍摄学习和集成方法。在详细的实验中,我们表明,这种方法产生高质量的训练数据,可以进一步与人类标记的数据相结合,得到的摘要是强烈优选的模型训练人类数据单独在医疗准确性和一致性。
2021-09-09 cs.AI cs.CL cs.LG
Mechanistic Interpretability of GPT-like Models on Summarization Tasks
Rochester Institute of Technology(罗切斯特技术研究所)
本文提出一种机制可解释性框架,通过差分分析定位GPT类模型中的摘要回路,发现中间层和注意力头熵降低是关键,并证明针对性LoRA适配优于标准微调。
2025-05-20 cs.AI cs.CL cs.LG
Evaluating GPT-3.5's Awareness and Summarization Abilities for European Constitutional Texts with Shared Topics
University of Calabria(卡拉布里亚大学)
该研究针对欧洲宪法中公民权利与义务这类跨国家的共同主题,提出将生成式摘要应用于多来源宪法文本的新场景,验证了GPT-3.5可生成信息丰富、连贯忠实的相关摘要。
2024-01-25 cs.AI cs.CL cs.CY
Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);National University of Singapore(新加坡国立大学);Hupan Lab(湖畔实验室)
本研究分析了ChatGPT和GPT-4等LLMs作为抽象式摘要自动评估器的稳定性和可靠性,发现它们虽优于传统自动指标,但因评分不一致、维度依赖及对高质量摘要评估相关性低等局限,尚不能替代人类评估。
2023-10-20 cs.CL
Leveraging GPT-4 for Food Effect Summarization to Enhance Product-Specific Guidance Development via Iterative Prompting
Drexel University(德雷塞尔大学);United States Food and Drug Administration(美国食品药品监督管理局)
本研究提出一种三轮迭代提示方法,利用 GPT-4 从新药申请文件中生成食物效应摘要,实验表明其生成的摘要在事实一致性上表现优异,能显著提升特定产品指南评估的效率。
2023-06-28 cs.AI cs.CL cs.LG
Methods for Detoxification of Texts for the Russian Language
Skolkovo Institute of Science and Technology(斯科尔科沃科技学院);Mobile TeleSystems (MTS)(移动电信系统公司)
我们介绍的第一个研究自动解毒的俄语文本,以打击进攻性语言。例如,这种文本风格转移可以用于处理社交媒体中的有毒内容。虽然在这一领域已经为英语做了很多工作,但对于俄语来说,这一问题从未得到解决。我们测试了两种类型的模型-基于执行局部校正的BERT架构的无监督方法和基于预训练语言GPT-2模型的有监督方法-并将它们与几个基线进行比较。此外,我们还描述了评估设置,为自动评估提供训练数据集和指标。结果表明,测试的方法可以成功地用于解毒,虽然有改进的余地。
2021-05-19 cs.CL cs.LG
Disordered-DABS: A Benchmark for Dynamic Aspect-Based Summarization in Disordered Texts
Dartmouth College(达特茅斯学院)
针对非结构化、动态场景下基于方面摘要研究的不足,论文通过改造现有数据集构建 Disordered-DABS 基准,并经实验与人工评估证明其对 GPT-3.5 等现代摘要模型构成新挑战。
2024-06-17 cs.CL
Characterizing Multimodal Long-form Summarization: A Case Study on Financial Reports
Carnegie Mellon University(卡内基梅隆大学);JPMorgan AI Research(摩根大通人工智能研究院);The University of Chicago(芝加哥大学)
本研究以财务报告摘要为案例,提出多模态长文本摘要特征刻画框架,分析多款LLM的表现,发现Claude 2处理长多模态输入能力较强,还揭示了位置偏差、数值幻觉等问题并尝试优化。
2024-08-15 cs.AI cs.CL cs.LG
YaleNLP @ PerAnsSumm 2025: Multi-Perspective Integration via Mixture-of-Agents for Enhanced Healthcare QA Summarization
Yale University(耶鲁大学);Seoul National University(首尔大学)
本研究通过QLoRA微调与混合智能体框架解决医疗问答摘要任务,利用多层反馈聚合提升LLaMA性能,最终在PerAnsSumm共享任务中总排名第二。
2025-04-04 cs.CL
Binary Code Summarization: Benchmarking ChatGPT/GPT-4 and Other Large Language Models
The Ohio State University(俄亥俄州立大学);Microsoft Research(微软研究院)
本研究针对二进制代码摘要的难点,构建含55.7万+函数的BinSum基准,提出提示词优化方法与新语义相似度指标,经多LLM大规模评估得出10项关键洞见,明确了LLM的潜力与待解挑战。
2023-12-15 cs.CL cs.CR cs.LG
Findings of the The RuATD Shared Task 2022 on Artificial Text Detection in Russian
ABBYY(ABBYY公司);SberDevices(俄联邦储蓄银行设备部门);AIRI(AIRI研究所);Skolkovo Institute of Science and Technology(斯科尔科沃科技学院);Sber AI(俄联邦储蓄银行人工智能部);HSE University(高等经济大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Kazan Federal University(喀山联邦大学)
本文介绍2022年俄语人工文本检测RuATD共享任务,构建覆盖14个文本来源的数据集与两项分类任务,并报告基线、人工评估及38个参赛系统结果。
2022-06-03 cs.CL
Synthetic Imitation Edit Feedback for Factual Alignment in Clinical Summarization
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Fudan University(复旦大学);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
针对临床摘要任务中大语言模型易出现事实幻觉、人工标注反馈成本高的问题,提出用ChatGPT生成专家级编辑反馈的新流水线,验证了其在事实对齐方面的应用潜力。
2023-11-03 cs.AI cs.CL
Text Summarization Using Large Language Models: A Comparative Study of MPT-7b-instruct, Falcon-7b-instruct, and OpenAI Chat-GPT Models
本研究比较了MPT-7b-instruct、falcon-7b-instruct和OpenAI ChatGPT text-davinci-003三种大型语言模型在文本摘要任务上的性能,通过BLEU、ROUGE和BERT指标评估,发现text-davinci-003表现最优。
2023-10-17 cs.AI cs.CL cs.LG
SYNFAC-EDIT: Synthetic Imitation Edit Feedback for Factual Alignment in Clinical Summarization
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Fudan University(复旦大学);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
本文提出 SYNFAC-EDIT 流程,利用 100B+ 参数 GPT 变体作为合成专家生成编辑反馈,通过 DPO 和 SALT 算法对齐 10B 以下 LLM,以减少临床摘要中的幻觉并提升事实一致性。
2024-10-03 cs.AI cs.CL
Cross-Lingual Conversational Speech Summarization with Large Language Models
BBN Technologies(BBN技术公司)
针对跨语言对话语音摘要资源匮乏问题,研究者在Fisher和Callhome西英语音翻译语料库基础上补充GPT-4生成的摘要构建数据集,适配后的Mistral-7B模型摘要性能优于现成模型且媲美GPT-4。
2024-08-12 cs.AI cs.CL
FaithBench: A Diverse Hallucination Benchmark for Summarization by Modern LLMs
Vectara, Inc.(Vectara公司);Iowa State University(爱荷华州立大学);University of Southern California(南加利福尼亚大学);Entropy Technologies(熵技术公司);University of Waterloo(滑铁卢大学);University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
本文提出FaithBench基准,汇集10个现代LLM的挑战性摘要幻觉并由专家标注,发现GPT-4o和GPT-3.5-Turbo幻觉最少,但现有检测模型准确率仅约50%,揭示改进空间。
2024-10-17 cs.AI cs.CL
Exploring Fine-tuned Generative Models for Keyphrase Selection: A Case Study for Russian
University of Tyumen(塔戈茨克大学);Novosibirsk State University(新西伯利亚国立大学)
本文研究俄语文科学文本的关键词选择,微调并比较 ruT5、ruGPT、mT5、mBART,发现 mBART 在领域内显著优于三种抽取基线,跨领域亦有潜力。
2024-09-18 cs.AI cs.CL cs.LG