Notes on Applicability of GPT-4 to Document Understanding
Snowflake（斯诺flake（注：此处为企业名，通常保留英文原名））
本文对GPT-4系列模型在文档理解任务上进行可复现评估，发现结合外部OCR文本与图像输入的GPT-4 Vision Turbo表现最佳，并揭示了文本模型污染及长文档性能下降问题。
2024-05-28 cs.CL
GPT-who: An Information Density-based Machine-Generated Text Detector
The Pennsylvania State University（宾夕法尼亚州立大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
本文提出受心理语言学启发、基于统一信息密度特征的领域无关统计检测器GPT-who，用于识别LLM生成文本，并在4个基准上显著优于现有检测器。
2024-04-03 cs.CL
TURINGBENCH: A Benchmark Environment for Turing Test in the Age of Neural Text Generation
The Pennsylvania State University（宾夕法尼亚州立大学）；Carnegie Mellon University（卡内基梅隆大学）
生成语言模型的最新进展使机器能够生成极其逼真的文本。虽然这种模型有许多合法的应用，但也越来越需要区分机器生成的文本和人类书写的文本（例如，假新闻检测）。然而，据我们所知，目前还没有具有数据集和任务的基准环境来系统地研究神经文本生成方法的所谓“图灵测试”问题。在这项工作中，我们提出了TuringBench基准测试环境，它由（1）一个数据集，其中包含20万个人类或机器生成的样本，跨越20个标签{人类，GPT-1，GPT-2_small，GPT-2_medium，GPT-2_large，GPT-2_xl，GPT-2_PyTorch，GPT-3，GROVER_base，GROVER_large，GROVER_mega，CTRL，XLM，XLNET_base，XLNET_large，FAIR_wmt19，FAIR_wmt20，（2）两个基准任务--即，图灵测试（TT）和作者归属（AA），以及（3）一个网站与排行榜。我们使用TuringBench的初步实验结果表明，FAIR_wmt20和GPT-3是目前的赢家，在所有测试的语言模型，在生成最像人类的不可区分的文本与最低的F1分数由五个国家的最先进的TT检测模型。TuringBench可从以下网址获得：https://turingbench.ist.psu.edu/
2021-09-27 cs.CL
UM_FHS at the CLEF 2025 SimpleText Track: Comparing No-Context and Fine-Tune Approaches for GPT-4.1 Models in Sentence and Document-Level Text Simplification
University of Maribor, Faculty of Health Science（马里博大学健康科学学院）；University of Ljubljana, Faculty of Medicine（卢布尔雅那大学医学院）；University of Edinburgh, Usher Institute（爱丁堡大学usher研究所）
UM_FHS在CLEF 2025 SimpleText赛道上比较了GPT-4.1模型在句子和文档级文本简化中的无上下文与微调方法，发现无上下文方法在两个层级上表现稳健，而微调方法在文档级简化中表现突出。
2025-12-18 cs.CL
Detecting Hate Speech with GPT-3
University of Toronto（多伦多大学）；Schwartz Reisman Institute（施瓦茨·赖斯曼研究所）
像OpenAI的GPT-3这样复杂的语言模型可以生成针对边缘化群体的仇恨文本。鉴于这种能力，我们感兴趣的是大语言模型是否可以用来识别仇恨言论，并将文本分类为性别歧视或种族主义。我们使用GPT-3来识别具有性别歧视和种族主义的文本段落，其中包括零，一次和少样本学习。我们发现，通过零次和一次性学习，GPT-3可以识别性别歧视或种族主义文本，平均准确率在55%到67%之间，具体取决于文本类别和学习类型。通过少样本学习，该模型的准确率可高达85%。大语言模型在仇恨言论检测中发挥作用，随着进一步的发展，它们最终可用于打击仇恨言论。
2022-03-24 cs.CL
Shallow Synthesis of Knowledge in GPT-Generated Texts: A Case Study in Automatic Related Work Composition
University of Minnesota（明尼苏达大学）；UC Berkeley（加州大学伯克利分校）
本文通过引文图分析发现，GPT-4能生成粗粒度引文分组辅助头脑风暴，但无法独立完成详细的知识综合，建议写作辅助工具不应脱离人类作者独立起草文本。
2024-02-19 cs.CL
Towards Automating Text Annotation: A Case Study on Semantic Proximity Annotation using GPT-4
University of Stuttgart（斯图加特大学）；Institute for Natural Language Processing（自然语言处理研究所）
本文研究利用GPT-3.5和GPT-4结合自动提示技术实现语义邻近度标注自动化，通过复用人工指南设计提示并集成到开源工具中，发现精确提示设计至关重要且小幅修改人工指南即可提升性能。
2024-07-04 cs.CL
Assessing Discourse Relations in Language Generation from GPT-2
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
NLP的最新进展归功于大规模预训练语言模型的出现。特别是GPT-2，由于其从左到右的语言建模目标，它适合于生成任务，但其生成的文本的语言质量在很大程度上仍未被探索。我们的工作在理解GPT-2的输出语篇连贯性方面迈出了一步。我们对GPT-2在有机生成和微调情景下输出的显性话语关系的有效性进行了全面的研究。结果表明，GPT-2并不总是生成包含有效的话语关系的文本，然而，它的文本是更符合人类的期望在微调的情况下。我们提出了一个解耦的策略，以减轻这些问题，并强调显式建模话语信息的重要性。
2020-10-31 cs.CL
Collaborative Generative AI: Integrating GPT-k for Efficient Editing in Text-to-Image Generation
UC Santa Barbara（加州大学圣塔芭芭拉分校）；UC Santa Cruz（加州大学圣克鲁兹分校）
本文研究利用 GPT-k 语言模型辅助文本到图像生成的提示词编辑，通过实验对比发现 GPT-k 擅长插入修饰语而非预测主题变化，采用其建议可将剩余编辑减少 20-30%。
2023-10-28 cs.CL
Prior Art Search and Reranking for Generated Patent Text
National Taiwan University（国立台湾大学）
生成模型，如GPT-2，最近已经展示了令人印象深刻的结果。我们想要解决的一个基本问题是：生成的文本从何而来？这项工作是我们通过使用现有技术搜索来回答这个问题的初步努力。现有技术搜索的目的是在GPT-2的训练数据中找到最相似的现有文本。我们采取重新排序的方法，并将其应用到专利领域。具体来说，我们通过使用USPTO的专利数据从头开始预训练GPT-2模型。现有技术检索的输入是由GPT-2模型生成的专利文本。我们还从头开始预训练BERT模型，用于将专利文本转换为嵌入。重新排序的步骤是：（1）采用词袋排名方法（BM 25）在GPT-2的训练数据中搜索最相似的文本，（2）将文本格式的搜索结果转换为BERT嵌入，（3）通过对BERT嵌入进行排名来提供最终结果基于其与GPT-2生成的专利文本的相似性。在这项工作中的实验表明，这种重新排序是优于排名与嵌入单独。然而，我们的混合结果也表明，计算长文本跨度之间的语义相似性仍然具有挑战性。据我们所知，这项工作是第一个实现重新排序系统，以确定最相似的输入GPT模型的基础上，其输出回顾。
2021-07-18 cs.CL
Improving Short Text Classification With Augmented Data Using GPT-3
University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）
针对GPT-3小样本分类对训练示例要求高的问题，研究用其自生成示例扩充训练集，对比两种端点分类器，发现增强后的分类端点在未见过的样本上准确率更稳定，可提升分类性能。
2022-05-23 cs.CL
Measuring and Modifying the Readability of English Texts with GPT-4
UC San Diego（加州大学圣地亚哥分校）
本文实证研究GPT-4测量和修改英文文本可读性的能力，发现其零样本可读性估计与人类判断高度相关且优于传统方法，并能按需调整文本难度。
2024-10-17 cs.CL
Whose LLM is it Anyway? Linguistic Comparison and LLM Attribution for GPT-3.5, GPT-4 and Bard
Department of Information Science（信息科学系）；Bar Ilan University（巴伊兰大学）；Department of Information Systems（信息系统系）；University of Haifa（海法大学）；Department of Computing（计算机系）；Jonkoping University（约翰·科普林大学）
该研究通过语言学分析对比GPT-3.5、GPT-4、Bard的文本语言特征，发现三者存在显著差异，可借助现成分类模型以88%的准确率实现文本的大语言模型来源归因。
2025-08-30 cs.CL
G3Detector: General GPT-Generated Text Detector
针对现有检测系统无法识别ChatGPT和GPT-4等最新LLMs生成文本的问题，提出G3Detector，能在多领域、多架构与解码策略下高效检测合成文本并抵御规避技术。
2023-08-04 cs.CL
Text Compression for Efficient Language Generation
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达公司）
本文提出分层 transformer 模型 GPTHF，通过句子嵌入压缩、句子注意力及缓存复用机制减少计算，在小规模设置下显著提升同等规模 GPT 的 FLOPs 效率与运行速度。
2025-03-14 cs.CL
Heaps' Law in GPT-Neo Large Language Model Emulated Corpora
University of Prince Edward Island（爱德华王子岛大学）
本研究验证了GPT-Neo模型生成的模拟语料遵循Heaps定律，且模型规模越大，词汇增长越接近人类文本，为改进模型输出提供了方向。
2023-11-10 cs.CL
Sim-GPT: Text Similarity via GPT Annotated Data
Peking University（北京大学）；Zhejiang University（浙江大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Melbourne（墨尔本大学）；Bytedance（字节跳动）
针对语义文本相似度领域高质量标注数据匮乏的问题，提出Sim-GPT框架，利用GPT-4生成37.1万条标注数据训练BERT/RoBERTa模型，在7个STS基准上取得SOTA性能并开源相关资源。
2023-12-12 cs.AI cs.CL
All That's 'Human' Is Not Gold: Evaluating Human Evaluation of Generated Text
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
人类评估通常被认为是自然语言生成的黄金标准，但随着模型流畅性的提高，评估人员如何检测和判断机器生成的文本？我们进行了一项研究，评估非专家在三个领域（故事，新闻文章和食谱）区分人类和机器创作的文本（GPT2和GPT3）的能力。我们发现，在没有训练的情况下，评估者在随机机会水平上区分GPT3和人类创作的文本。我们探索了三种方法来快速训练评估者，以更好地识别GPT3作者的文本（详细说明，注释示例和配对示例），并发现虽然评估者的准确率提高了55%，但在三个领域中并没有显着提高。鉴于文本域之间的结果不一致，以及评估人员为他们的判断给出的往往相互矛盾的原因，我们研究了未经训练的人类评估在NLG评估中的作用，并为NLG研究人员提供了改进人类对从最先进的模型生成的文本的评估的建议。
2021-07-07 cs.CL
A Comprehensive Capability Analysis of GPT-3 and GPT-3.5 Series Models
Fudan University（复旦大学）
本研究选取六个GPT-3和GPT-3.5系列模型，在21个数据集上评估九个NLU任务的性能与鲁棒性，发现模型能力未随演变逐步提升，RLHF策略在增强类人响应的同时削弱了部分任务能力。
2023-12-23 cs.CL
DNA-GPT: Divergent N-Gram Analysis for Training-Free Detection of GPT-Generated Text
University of California, Santa Barbara（加州大学圣巴巴拉分校）；NEC Laboratories America（NEC美国实验室）；University of California, Los Angeles（加州大学洛杉矶分校）
针对大语言模型生成文本检测难、传统方法灵活性与可解释性不足的问题，提出免训练的DNA-GPT检测策略，通过文本截断重生成与差异分析实现检测，性能超越OpenAI分类器，兼具可解释性、抗改写攻击与模型溯源能力。
2023-10-04 cs.AI cs.CL
GPT-Sentinel: Distinguishing Human and ChatGPT Generated Content
Carnegie Mellon University（卡内基梅隆大学）
本文提出使用语言模型检测ChatGPT生成文本与人类文本的方法，发布了OpenGPTText数据集，并基于RoBERTa和T5训练分类模型，测试准确率超97%，同时通过可解释性研究展示了模型区分关键特征的能力。
2023-05-17 cs.CL
A Chat About Boring Problems: Studying GPT-based text normalization
Nvidia Corporation（英伟达公司）；City University of New York, Graduate Center（纽约城市大学研究生中心）
本文实证证明大型语言模型在少样本场景下具备文本规范化能力，通过自一致性推理与语言学提示工程使错误率比顶级系统降低约40%，并提出新的错误分类法以分析GPT模型的优势与不足。
2024-01-17 cs.AI cs.CL
BERT Transformer model for Detecting Arabic GPT2 Auto-Generated Tweets
Ferhat Abbas University, Setif 1（费尔哈特·阿巴斯大学塞提夫第一大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University (HBKU)（哈马德·本·哈利法大学）
在过去的二十年里，我们逐渐转向互联网和社交媒体来寻找新闻，娱乐对话和分享意见。最近，OpenAI开发了一个名为GPT-2的机器学习系统，用于生成预训练的Transformer-2，它可以生成deepfake文本。它可以根据简短的写作提示生成文本块，看起来像是人类写的，从而促进虚假或自动生成的文本的传播。根据这一进展，并为了对抗潜在的危险，已经提出了几种方法来检测这些语言模型编写的文本。在本文中，我们提出了一个基于迁移学习的模型，该模型将能够检测阿拉伯语句子是由人类写的还是由机器人自动生成的。我们的数据集基于以前工作中的推文，我们使用Twitter API对其进行了抓取和扩展。我们使用GPT 2-Small-Arabic来生成假的阿拉伯语句子。为了进行评估，我们比较了基于不同递归神经网络（RNN）词嵌入的基线模型，即：LSTM，BI-LSTM，GRU和BI-GRU，以及基于transformer的模型。我们新的迁移学习模型获得了高达98%的准确率。据我们所知，这项工作是第一项将ARABERT和GPT 2结合起来检测和分类阿拉伯语自动生成文本的研究。
2021-01-22 cs.CL
GPT3-to-plan: Extracting plans from text using GPT-3
Arizona State University（亚利桑那州立大学）
许多重要行业的运营，包括金融和银行业，其特点往往是需要执行重复的连续任务。尽管工作流对业务至关重要，但它们很少完全自动化，甚至很少正式指定，尽管可能存在许多自然语言文档为公司的员工描述这些过程。计划提取方法为我们提供了从计划/工作流的这种自然语言描述中提取结构计划的可能性，然后自动化系统可以利用该结构计划。在本文中，我们探讨了通用语言模型在执行这样的提取直接从这样的文本的效用。这种模型已经被证明在多个翻译任务中非常有效，我们的初步结果似乎也表明了它们在计划提取方面的有效性。特别是，我们发现，GPT-3是能够生成计划提取结果，是目前的许多国家的最先进的计划提取方法相媲美。
2021-06-14 cs.AI cs.CL
Fine-tuning GPT-3 for Russian Text Summarization
Federal State Budget Educational Institution of Higher Education «MIREA - Russian Technological University»（联邦国家预算高等教育机构「MIREA——俄罗斯技术大学」）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
自动摘要技术旨在缩短和概括文本中给出的信息，同时保留其核心信息和最相关的想法。这个任务可以用各种方法来处理和处理，然而，尽管现有的最先进的模型的本地化，但并没有进行很多尝试来产生专门针对俄语的解决方案。在本文中，我们的目标是展示ruGPT3的能力，总结文本，微调它对语料库的俄罗斯新闻与相应的人工生成的摘要。此外，我们采用超参数调整，使模型的输出变得不那么随机，更紧密地联系到原始文本。我们评估所产生的文本与一组指标，表明我们的解决方案可以超越国家的最先进的模型的性能，而无需额外的架构或损失函数的变化。尽管能够生成合理的摘要，但我们的模型仍然存在一些缺陷，即它容易改变原始文本中存在的命名实体（如姓氏，地点，日期），偏离给定文档中陈述的事实，并重复摘要中的信息。
2021-08-07 cs.CL
GPT-DETOX: An In-Context Learning-Based Paraphraser for Text Detoxification
LG Electronics（LG电子）；Toronto AI Lab（多伦多人工智能实验室）
本文提出 GPT-DETOX 框架，利用 GPT-3.5 Turbo 的零样本、少样本及集成上下文学习方法进行文本去毒化，在 ParaDetox 和 APPDIA 数据集上取得优于现有模型的性能。
2024-04-03 cs.CL
From Text to Emotion: Unveiling the Emotion Annotation Capabilities of LLMs
University of Michigan（密歇根大学）
本文探索了GPT4在情感标注中的潜力，发现其标注在多个数据集上比人工标注更受评估者偏好，且常用指标会低估其性能，并验证了GPT4用于标注过滤可改进模型训练。
2024-08-30 cs.CL
GPT-D: Inducing Dementia-related Linguistic Anomalies by Deliberate Degradation of Artificial Neural Language Models
Institute of Health Informatics, University of Minnesota（明尼苏达大学健康信息学研究所）；Mayo Clinic（妙佑医疗国际（梅奥诊所））；Biomedical and Health Informatics, University of Washington（华盛顿大学生物医学与健康信息学系）；Pharmaceutical Care and Health Systems, University of Minnesota（明尼苏达大学药学保健与卫生系统系）
涉及微调大量模型参数的深度学习（DL）技术在区分认知健康个体和阿尔茨海默病（AD）患者产生的语言方面表现出色。然而，问题仍然存在，他们的能力，以推广超出小的参考集，是公开的研究。作为直接拟合模型参数的替代方案，我们提出了一种新的方法，通过该方法，将在一般英语文本上预训练的Transformer DL模型（GPT-2）与其人工退化版本（GPT-D）配对，以计算这两个模型的\textit{perplexities}对认知健康和受损个体的语言的比率。该技术接近于广泛使用的"Cookie盗窃"图片描述任务的文本数据上的最先进性能，并且与已建立的替代方案不同，该技术还可以很好地推广到自发对话。此外，GPT-D生成的文本具有已知与AD相关的特征，表明诱导痴呆相关的语言异常。我们的研究朝着更好地理解生成神经语言模型的内部工作机制、它们产生的语言以及痴呆症对人类语言和语言特征的有害影响之间的关系迈出了一步。
2022-03-25 cs.CL
Optimal path for Biomedical Text Summarization Using Pointer GPT
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对GPT模型在生物医学文本摘要中存在事实错误、缺上下文、过度简化的问题，提出用指针网络替换GPT注意力机制的Pointer-GPT模型，经ROUGE评测优于原模型，可提升电子病历摘要质量。
2024-03-22 cs.AI cs.CL
Distinguishing ChatGPT(-3.5, -4)-generated and human-written papers through Japanese stylometric analysis
Mejiro University（目白大学）
本文通过日语文体计量特征比较 GPT-3.5/GPT-4 与人类文本，并用随机森林实现最高100%的分类性能，证明日语中可有效识别 ChatGPT 生成论文。
2023-06-03 cs.CL
DeID-GPT: Zero-shot Medical Text De-Identification by GPT-4
The University of Georgia（佐治亚大学）；Lehigh University（莱恩大学）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Massachusetts General Hospital and Harvard Medical School（麻省总医院和哈佛医学院）；Mayo Clinic（梅奥诊所）；ShanghaiTech University（上海科技大学）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能科技有限公司）；Shanghai Clinical Research and Trial Center（上海临床研究与试验中心）
DeID-GPT利用GPT-4实现医疗文本的零样本去标识化，具有高准确性和可靠性，有效保护隐私信息。
2025-11-28 cs.CL cs.CY
Prompt-Efficient Fine-Tuning for GPT-like Deep Models to Reduce Hallucination and to Improve Reproducibility in Scientific Text Generation Using Stochastic Optimisation Techniques
Higher School of Economics (HSE)（高等经济大学（HSE））；AI for Computational biology (AIC)（计算生物学人工智能研究所（AIC））
本研究提出一种参数高效微调方法（PEFT），通过LoRA适配器微调GPT-2为MS-GPT，用于质谱科学文本生成，以减少幻觉并提高可复现性，实验显示其在BLEU、ROUGE和困惑度上优于基线，并提出了基于余弦相似性的可复现性度量。
2024-11-10 cs.AI cs.CL
Generative AI-Based Text Generation Methods Using Pre-Trained GPT-2 Model
Praxis Tech School（Praxis 科技学院）
该研究基于预训练 GPT-2 比较贪心、束搜索、top-k、top-p、对比及局部典型搜索等文本生成方法，并用标准指标评估其优劣与应用前景。
2024-04-02 cs.CL
''Fifty Shades of Bias'': Normative Ratings of Gender Bias in GPT Generated English Text
Microsoft Research India（微软研究院印度分院）；University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）
本文构建了首个带有性别偏见规范性评分的GPT生成英文文本数据集，采用Best–Worst Scaling进行人工比较标注，系统分析偏见主题变化，发现身份攻击与性别偏见最相关，并评估了现有自动模型在该数据集上的表现。
2023-10-26 cs.CL
GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation
NAVER AI Lab；NAVER Clova AI
像GPT-3这样的大规模语言模型是优秀的Few-Shot学习器，允许通过自然文本提示来控制它们。最近的研究报告，基于直接分类消除了微调的需要，但缺乏数据和推理的可扩展性。本文提出了一种新的数据增强技术，利用大规模的语言模型，从真实样本的混合生成逼真的文本样本。我们还建议利用软标签预测的语言模型，有效地从大规模的语言模型中提取知识，同时创建文本扰动。我们在不同的分类任务上进行了数据增强实验，并表明我们的方法大大优于现有的文本增强方法。消融研究和定性分析为我们的方法提供了更多见解。
2021-11-18 cs.AI cs.CL
Zero-shot Learning with Minimum Instruction to Extract Social Determinants and Family History from Clinical Notes using GPT Model
IUPUI（印第安纳大学-普渡大学印第安纳波利斯分校）；Florida State University（佛罗里达州立大学）；Oklahoma State University（俄克拉荷马州立大学）
本研究使用GPT-3.5模型通过零样本学习从真实临床笔记中提取人口统计学、社会决定因素和家族史信息，实验显示其在不同任务上F1分数介于0.615至0.975之间，并指出模型微调或少样本学习可进一步提升性能。
2023-09-13 cs.CL
Coreference Resolution for Vietnamese Narrative Texts
University of Information Technology, Ho Chi Minh City, Vietnam（信息技术大学，胡志明市，越南）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学，胡志明市，越南）
针对越南语低资源共指消解挑战，研究构建了基于VnExpress叙事文本的标注数据集，并评估了GPT-3.5-Turbo和GPT-4的性能，发现GPT-4在准确性和一致性上表现更优。
2025-04-28 cs.CL
Can GPT-4 Identify Propaganda? Annotation and Detection of Propaganda Spans in News Articles
Qatar Computing Research Institute（卡塔尔计算研究所）
本文构建含 8K 段落、23 类宣传技巧的片段级阿拉伯语数据集 ArPro，并评估 GPT-4 的细粒度及跨语言宣传检测能力，发现其明显落后于微调模型。
2024-02-27 cs.CL
Selective Fine-Tuning of GPT Architectures for Parameter-Efficient Clinical Text Classification
本文提出一种参数高效的GPT-2选择性微调框架，通过冻结大部分参数仅更新关键模块，实现高效临床文本分类，在5万份放射报告上达到91%的准确率，兼顾性能与效率。
2026-03-15 cs.CL
When Automated Assessment Meets Automated Content Generation: Examining Text Quality in the Era of GPTs
University of Notre Dame（圣母大学）；Georgia Tech（佐治亚理工学院）；Shenzhen University（深圳大学）
本文构建涵盖评分模型、人类与GPT作文及统计分析的框架，基于18,460篇作文实证发现Transformer PLM给GPT文本评分平均高10–15%，揭示生成式AI对自动评分的影响。
2023-09-25 cs.AI cs.CL
The Hidden Structure -- Improving Legal Document Understanding Through Explicit Text Formatting
Osborne Clarke（奥斯本·克劳克）
本研究探究输入文本结构与提示工程对LLM法律问答表现的影响，发现合理的输入结构化与系统提示优化可显著提升GPT-4.1的法律任务准确率，验证了格式与提示设计对高风险法律场景LLM应用的关键作用。
2025-05-19 cs.AI cs.CL
Grounded Intuition of GPT-Vision's Abilities with Scientific Images
University of Pennsylvania（宾夕法尼亚大学）
本文提出结合扎根理论与主题分析的定性评估框架，通过科学图表替代文本生成考察 GPT-Vision，揭示其对提示、反事实文本和空间关系的敏感性。
2023-11-03 cs.CL
Selecting Between BERT and GPT for Text Classification in Political Science Research
Fudan University（复旦大学）
本研究比较了BERT微调与GPT提示工程在政治科学文本分类低数据场景下的表现，发现GPT零样本和少样本学习适合早期探索，但性能通常不及或至多持平BERT微调，并提供了实用指导。
2024-11-07 cs.AI cs.CL
Automatic Text Summarization of COVID-19 Medical Research Articles using BERT and GPT-2
Rockefeller University（洛克菲勒大学）
随着COVID-19大流行，医学界越来越迫切需要跟上新冠病毒相关文献的加速增长。因此，COVID-19开放研究数据集挑战赛发布了一个学术文章语料库，并呼吁使用机器学习方法来帮助弥合研究人员与快速增长的出版物之间的差距。在这里，我们利用预训练的NLP模型BERT和OpenAI GPT-2的最新进展，通过对该数据集执行文本摘要来解决这一挑战。我们使用ROUGE评分和目视检查来评估结果。我们的模型提供了抽象和全面的信息的基础上提取的关键字从原始文章。我们的工作可以帮助医学界，通过提供摘要尚未提供的文章的简洁摘要。
2020-06-03 cs.CL cs.LG
GCRE-GPT: A Generative Model for Comparative Relation Extraction
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本文提出基于GPT-2的生成式模型GCRE-GPT，可直接从比较性文本中提取目标、方面及其比较关系，并在两个数据集上取得最先进准确率。
2024-06-27 cs.CL
Improving Cross-Domain Low-Resource Text Generation through LLM Post-Editing: A Programmer-Interpreter Approach
提出神经程序员-解释器后编辑框架，保留LLM跨域泛化能力，设计专门编辑动作，显著提升GPT-3.5在逻辑形式转换和低资源机器翻译中的性能。
2024-02-07 cs.CL
Transforming Chatbot Text: A Sequence-to-Sequence Approach
San Jose State University（圣何塞州立大学）
针对GPT生成文本易被检测的问题，提出用T5-small、BART等Seq2Seq模型对抗性变换文本以更像人类文本的方法，既验证了该方法可降低检测准确率，也发现重训练分类器能恢复高检测精度，推动AI文本攻防研究。
2025-06-15 cs.CL cs.LG
Joint Visual and Text Prompting for Improved Object-Centric Perception with Multimodal Large Language Models
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Angelalign Inc.（时代天使公司）
本文提出VTPrompt，通过检测模型生成对象视觉提示并与文本提示联合输入MLLM，在MME、MMB和POPE上显著提升GPT-4V与Gemini Pro的对象中心感知性能。
2024-04-06 cs.CL
Reducing Non-Normative Text Generation from Language Models
Georgia Institute of Technology（佐治亚理工学院）
大规模的、基于transformer的语言模型（如GPT-2）是在从互联网上抓取的各种语料库上进行预训练的。因此，它们容易产生非规范性文本（即违反社会规范）。我们引入了一种微调GPT-2的技术，使用策略梯度强化学习技术和规范文本分类器来产生奖励和惩罚值。我们使用自动化和人类参与实验的五个数据集上评估我们的技术。当与标准和非标准生成文本的黄金标准人类判断相比时，标准文本分类器的准确率为81-90%。我们的规范性微调技术能够将非规范性文本减少27- 61%，具体取决于数据集。
2020-10-29 cs.CL
GPT-NER: Named Entity Recognition via Large Language Models
Peking University（北京大学）；Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Amazon（亚马逊）
针对大语言模型在NER任务上表现不佳的问题，提出将序列标注转为生成任务并搭配自验证策略的GPT-NER，在5个数据集上性能媲美全监督基线，低资源少样本场景下优势更明显。
2023-10-07 cs.CL
Textual Data Distributions: Kullback Leibler Textual Distributions Contrasts on GPT-2 Generated Texts, with Supervised, Unsupervised Learning on Vaccine & Market Topics & Sentiment
University of Charleston（查尔斯顿大学）；Apple Inc.（苹果公司）；Cerence B. V.（赛轮思公司）
有效的文本数据分布（TDD）对齐和生成是文本分析和NLP中的开放性研究问题。目前，很难简约地和方法学地确认两个或更多个自然语言数据集属于相似的分布，并且难以识别文本数据具有对齐的程度。这项研究的重点是解决上述更广泛的问题的一部分，通过应用多个监督和无监督的机器学习（ML）方法来探索TDD的行为（i）主题对齐，（ii）情感对齐。此外，我们使用多种文本生成方法，包括微调的GPT-2，按主题和情感生成文本。最后，我们开发了一个独特的过程驱动的变化的Kullback-Leibler分歧（KLD）的应用TDD，命名为KL文本分布对比（KL-TDC），以确定对齐的机器生成的文本语料库与自然发生的文本语料库。因此，这项研究确定了一种独特的方法，用于生成和验证TDD的主题和情绪，这可以用来帮助解决稀疏数据问题和其他研究，实践和课堂情况下，需要人工生成的主题或情绪对齐的文本数据。
2021-06-15 cs.CL cs.LG cs.SI
The signal is the ceiling: Measurement limits of LLM-predicted experience ratings from open-ended survey text
Dimension Labs（Dimension实验室）
本文研究了提示设计和模型选择对LLM预测经验评分的影响，发现文本本身的语言特征对准确性影响更大，提示工程只能在特定范围内提升性能。
2026-04-21 cs.CL
Evaluating Large Language Models for Diacritic Restoration in Romanian Texts: A Comparative Study
Babeș-Bolyai University（巴贝什-波雅伊大学）
本研究评估了多种大型语言模型在罗马尼亚文本重音恢复任务中的性能，发现GPT-4o表现优异，揭示了模型架构和提示设计对重音恢复的影响。
2025-11-21 cs.CL
Investigating African-American Vernacular English in Transformer-Based Text Generation
University of California, Santa Barbara（加州大学圣巴巴拉分校）
社交媒体的发展鼓励了非裔美国人白话英语（AAVE）的书面使用，传统上只在口头环境中使用。然而，由于文本语料库的可用性，NLP模型在历史上一直使用占主导地位的英语变体（如标准美国英语（SAE））开发。我们通过创建意图等效并行AAVE/SAE推文对的数据集来研究GPT-2在AAVE文本上的性能，从而隔离每对的语法结构和AAVE或SAE特定语言。我们使用预训练的情感分类器评估每个样本及其GPT-2生成的文本，发现虽然AAVE文本比SAE导致更多的负面情感分类，但GPT-2的使用通常会增加两者的积极情感发生率。此外，我们还对使用GPT-2生成的AAVE和SAE文本进行人工评估，以比较上下文的严格性和整体质量。
2020-10-29 cs.AI cs.CL
