Comparing LLM-generated and human-authored news text using formal syntactic theory
Universidade da Coruña, CITIC(科鲁尼亚大学,CITIC);Palacký University at Olomouc, Department of Asian Studies(奥洛穆茨帕拉茨基大学,亚洲研究系)
本文首次基于HPSG形式句法理论,系统比较六个LLM生成的纽约时报风格文本与人类撰写文本的语法类型分布差异,揭示了二者在句法行为上的系统性区别。
2025-06-02 cs.CL
Humans and language models diverge when predicting repeating text
UT Austin(德克萨斯大学奥斯汀分校);Intel Labs(英特尔实验室)
研究发现人类与GPT-2在预测重复文本时表现出现分歧,通过在中间层特定注意力头添加幂律近因偏置,使模型表现更接近人类。
2023-10-23 cs.CL
AI as Humanity's Salieri: Quantifying Linguistic Creativity of Language Models via Systematic Attribution of Machine Text against Web Text
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本研究提出量化文本语言创造力的创造力指数及配套动态规划算法DJ SEARCH,发现人类创造力指数高于大语言模型,且该指数可有效用于零样本机器文本检测。
2025-01-12 cs.CL
DAMASHA: Detecting AI in Mixed Adversarial Texts via Segmentation with Human-interpretable Attribution
NIT Silchar(Silchar国立理工学院);BML Munjal(BML穆纳尔);MBZUAI(穆罕默德·本·拉希德智能研究院)
DAMASHA通过整合风格学线索、困惑度信号和结构化边界建模,提高混合作者文本分割的鲁棒性,并引入可解释的归因以增强可理解性。
2026-01-04 cs.CL
Do LLMs produce texts with "human-like" lexical diversity?
Northern Arizona University(北亚利桑那大学);Brigham Young University – Hawaii(杨百翰大学夏威夷分校)
本研究发现,ChatGPT模型生成的文本在词汇多样性上与人类写作存在显著差异,新模型的文本比旧模型更不具有人类般的多样性。
2025-11-21 cs.CL
TM-TREK at SemEval-2024 Task 8: Towards LLM-Based Automatic Boundary Detection for Human-Machine Mixed Text
Samsung R&D Institute China-Beijing(三星中国北京研发院)
本文提出将人机混合文本边界检测转化为 token 分类问题,并利用 LLM 集成模型在 SemEval'24 任务 8 子任务中取得第一名,同时分析了额外层、分割损失和预训练对边界检测能力的影响。
2024-04-01 cs.CL
Correct Like Humans: Progressive Learning Framework for Chinese Text Error Correction
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tsinghua University(清华大学);South China Agricultural University(华南农业大学);Sun-Yat Sen University(中山大学)
针对中文文本纠错任务中忽略人类思维模式的问题,提出模型无关的渐进式学习框架ProTEC,通过在训练和推理中引入渐进式子任务范式指导模型模仿人类纠错,有效提升了纠错性能。
2024-03-20 cs.CL
Can Language Models Evaluate Human Written Text? Case Study on Korean Student Writing for Education
Sangmoon High School(文昌高中);Carnegie Mellon University(卡内基梅隆大学)
本文研究 LLM 能否评估人类书写文本,收集 32 名韩国学生 100 篇文本并使用 GPT-4-Turbo 评估,发现其在语法性、流畅性及客观写作类型上可靠,但在其他方面表现不佳。
2024-07-24 cs.CL
Improving Demonstration Diversity by Human-Free Fusing for Text-to-SQL
Harbin Institute of Technology(哈尔滨工业大学)
本文提出衡量文本到SQL演示多样性的指标,并设计无人工迭代融合方法Fused构建高多样性演示池,在多个数据集上平均提升3.2%至5.0%,降低标注成本。
2024-06-26 cs.CL
Linguistic and Embedding-Based Profiling of Texts generated by Humans and Large Language Models
Department of Politics and Public Administration University of Konstanz(政治与公共管理系 康斯坦茨大学)
本研究针对LLM生成文本与人类文本难区分的问题,通过多层面语言学特征及风格嵌入分析8领域11种LLM的文本,发现人类文本句法更简单语义更多样,且新模型生成文本呈同质化趋势。
2025-09-30 cs.AI cs.CL
Real or Fake Text?: Investigating Human Ability to Detect Boundaries Between Human-Written and Machine-Generated Text
University of Pennsylvania(宾夕法尼亚大学)
随着由大语言模型生成的文本的激增,了解人类如何与这些文本互动,以及他们是否能够检测到他们正在阅读的文本何时不是来自人类作者变得至关重要。先前关于生成文本的人类检测的工作集中在整个段落是人类书写或机器生成的情况下。在本文中,我们研究了一个更现实的设置,文本开始作为人类书写和过渡到正在生成的最先进的神经语言模型。我们发现,虽然注释者经常在这项任务中挣扎,但注释者的技能存在很大差异,并且如果给予适当的激励,注释者可以随着时间的推移在这项任务中提高。此外,我们进行了详细的对比研究,分析了各种变量(模型大小,解码策略,微调,提示体裁等)影响人体检测性能。最后,我们从我们的参与者收集错误注释,并使用它们来表明,某些文本类型的影响模型,使不同类型的错误和某些注释水平的功能高度相关的注释者选择。我们发布RoFT数据集:超过21,000个人工注释的集合与错误分类配对,以鼓励未来在人工检测和评估生成的文本方面的工作。
2022-12-24 cs.AI cs.CL cs.HC
The Imitation Game: Detecting Human and AI-Generated Texts in the Era of ChatGPT and BARD
本研究引入一个包含散文、故事、诗歌和Python代码的人类与LLM生成文本数据集,采用多种机器学习模型进行分类,发现模型在二元分类中表现优越,但区分GPT生成文本更具挑战性,为AI文本检测提供了启示。
2023-11-12 cs.AI cs.CL
Threads of Subtlety: Detecting Machine-Generated Texts Through Discourse Motifs
University of Minnesota Twin Cities(明尼苏达大学双城分校);Kumoh National Institute of Technology(金乌工业大学);Grammarly(Grammarly公司)
本文提出利用层次化解析树和递归超图捕捉文本话语母题,以增强人类与机器生成文本的区分能力,并在分布外及改写样本上验证了层次化话语特征的有效性。
2024-06-06 cs.AI cs.CL
Does Human Collaboration Enhance the Accuracy of Identifying LLM-Generated Deepfake Texts?
MIT Lincoln Laboratory(麻省理工学院林肯实验室);The Pennsylvania State University(宾夕法尼亚州立大学);University of Michigan(密歇根大学);The University of Mississippi(密西西比大学)
本研究通过AMT和Upwork平台实验,发现人类协作能显著提高检测LLM生成深度伪造文本的准确性,非专家和专家分别提升6.36%和12.76%,并识别出缺乏连贯性为关键指标。
2023-10-09 cs.AI cs.CL cs.HC
Is Human-Like Text Liked by Humans? Multilingual Human Detection and Preference Against AI
MBZUAI;Nebius AI;KU Leuven;University of Oslo(奥斯陆大学);ISTI-CNR;Toloka AI;New York University Abu Dhabi(纽约大学阿布扎比分校);BKAI Research Center, Hanoi University of Science and Technology(BKAI研究所以内大学科学技术大学);Cornell University(康奈尔大学);Zewail City of Science and Technology(泽韦尔科学与技术城);TU Darmstadt(图鲁姆大学);CIC, University of Delhi(CIC,德里大学);Alexandria University(亚历山大大学);University of Florida(佛罗里达大学);Institute of Science Tokyo(东京科学研究院)
研究通过多语言多领域数据集验证人类识别AI生成文本的准确性,发现人类检测准确率达87.6%,挑战原有结论,指出人类与机器文本在具体性、文化细微差别和多样性上的差距,提示明确提示可部分弥补这些差距。
2026-04-29 cs.AI cs.CL
Human-interpretable clustering of short-text using large language models
本研究提出利用大型语言模型生成嵌入并结合高斯混合模型进行短文本聚类,该方法比传统方法更具人类可解释性,并探讨了生成式LLM在聚类验证中替代人类评审的潜力及各自偏见。
2024-12-14 cs.CL cs.LG
How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text
University of Maryland(马里兰大学);Pangram Labs(Pangram 实验室)
本研究通过预训练800个语言模型,提出一种新的缩放定律,揭示了野生AI生成文本对预训练的影响:初期有益但随后有害,并提供了过滤和重复人类文本的建议,同时发布了WildAI语料库。
2026-10-01 cs.CL cs.LG
HLPD: Aligning LLMs to Human Language Preference for Machine-Revised Text Detection
HLPD通过人类语言偏好优化提升机器修订文本检测性能,实现对GPT系列模型和先进大语言模型生成文本的高效识别。
2025-12-02 cs.CL cs.CR
Comparing the Framing Effect in Humans and LLMs on Naturally Occurring Texts
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
研究比较了人类和LLM在自然文本中的框架效应,发现LLM对积极和消极框架的响应与人类相似,但GPT模型与人类行为相关性最低。
2026-01-19 cs.AI cs.CL
Beyond Human-Like Processing: Large Language Models Perform Equivalently on Forward and Backward Scientific Text
University College London(伦敦大学学院);University of Tübingen(蒂宾根大学)
本文通过在正向和反向科学文本上训练LLMs,发现其在神经科学基准测试中表现相当且超越人类专家,证明LLMs的成功源于transformer架构的灵活性而非类人机制,建议谨慎将其成功作为类人处理证据。
2024-11-17 cs.CL q-bio.NC
Differentiate ChatGPT-generated and Human-written Medical Texts
South China University of Technology(华南理工大学);University of Georgia(佐治亚大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Massachusetts General Hospital and Harvard Medical School(马萨诸塞总医院和哈佛医学院)
本研究首次在医学领域分析人类与ChatGPT生成文本的语言差异,并设计基于BERT的检测模型,F1值超过95%。
2023-04-23 cs.AI cs.CL
Does a Large Language Model Really Speak in Human-Like Language?
University of Seoul(首尔大学)
本文通过统计假设检验框架比较人类文本、LLM改写文本和二次改写文本的潜在社区结构,发现GPT生成文本仍与人类创作文本存在显著差异。
2025-01-02 cs.CL stat.AP
Learning Human-Human Interactions in Images from Weak Textual Supervision
Tel Aviv University(特拉维夫大学)
本文提出利用大型语言模型生成合成字幕并通过知识蒸馏获得伪标签,从单张静态图像中以自由文本形式学习开放的人与人交互,在多个忠实度指标上超越现有图像字幕与情境识别模型。
2023-09-18 cs.CL cs.CV cs.LG
Beyond Turn-taking: Introducing Text-based Overlap into Human-LLM Interactions
Sungkyunkwan University(成均馆大学);Google DeepMind(谷歌DeepMind)
本研究提出在基于文本的人机交互中引入重叠消息,开发了支持双方发起重叠的原型聊天机器人OverlapBot,实验证明其能提升交互的交流性、沉浸感、流畅度与自然度。
2025-01-30 cs.CL cs.HC
Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated Text
Technical University of Munich(慕尼黑工业大学)
本综述探讨了区分人类与ChatGPT生成文本的关键问题,全面梳理了相关数据集构建、检测方法及文本特征定性分析,并总结出一般性见解。
2023-09-14 cs.AI cs.CL
Assessing Human Editing Effort on LLM-Generated Texts via Compression-Based Edit Distance
Tiime
本文提出了一种基于Lempel-Ziv-77算法的压缩编辑距离指标,用于准确量化人类对LLM生成文本的后期编辑努力,实验证明该指标与实际编辑时间高度相关且能高效捕获复杂编辑。
2024-12-23 cs.AI cs.CL
Your Language Model Can Secretly Write Like Humans: Contrastive Paraphrase Attacks on LLM-Generated Text Detectors
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室)
针对LLM生成文本检测器,提出无需训练的对比改写攻击CoPA,通过对比机器类与人类类分布并减去机器模式,有效欺骗检测器,理论分析与实验验证其优越性。
2025-09-10 cs.AI cs.CL
Segmenting Human-LLM Co-authored Text via Change Point Detection
School of Mathematics University of Birmingham(数学系 英国伯明翰大学);Department of Statistics London School of Economics and Political Science(统计系 伦敦政治经济学院)
针对大语言模型兴起后区分人类与LLM共同撰写文本的需求,提出类似时间序列变化点检测的算法,开发加权和广义算法,建立最优性,实验表明该方法性能优于现有基线。
2026-07-17 cs.AI cs.CL stat.ME
Distinguishing Human Generated Text From ChatGPT Generated Text Using Machine Learning
United International University (UIU)(联合国际大学(UIU));University of Asia Pacific (UAP)(亚太大学(UAP))
本文提出基于机器学习的 ChatGPT 生成文本检测方法,在含 10,000 条文本的 Kaggle 数据集上比较 11 种算法,并在 GPT-3.5 语料上达到 77% 准确率。
2023-05-26 cs.AI cs.CL cs.LG
All That's 'Human' Is Not Gold: Evaluating Human Evaluation of Generated Text
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
人类评估通常被认为是自然语言生成的黄金标准,但随着模型流畅性的提高,评估人员如何检测和判断机器生成的文本?我们进行了一项研究,评估非专家在三个领域(故事,新闻文章和食谱)区分人类和机器创作的文本(GPT2和GPT3)的能力。我们发现,在没有训练的情况下,评估者在随机机会水平上区分GPT3和人类创作的文本。我们探索了三种方法来快速训练评估者,以更好地识别GPT3作者的文本(详细说明,注释示例和配对示例),并发现虽然评估者的准确率提高了55%,但在三个领域中并没有显着提高。鉴于文本域之间的结果不一致,以及评估人员为他们的判断给出的往往相互矛盾的原因,我们研究了未经训练的人类评估在NLG评估中的作用,并为NLG研究人员提供了改进人类对从最先进的模型生成的文本的评估的建议。
2021-07-07 cs.CL
MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究院);Stanford University(斯坦福大学)
随着开放式文本生成的重大进展,衡量机器生成的文本与人类语言的接近程度仍然是一个关键的开放问题。我们介绍MAUVE,开放式文本生成的比较措施,它直接比较学习的分布从文本生成模型的人类书面文本的分布使用发散边界。MAUVE通过计算量化嵌入空间中的信息分歧来扩展到现代文本生成模型。通过对三个开放式生成任务的广泛实证研究,我们发现MAUVE识别生成文本的已知属性,随模型大小自然缩放,并与人类判断相关,比现有的分布式评估指标具有更少的限制。
2021-11-23 cs.CL
Automatic Detection of Generated Text is Easiest when Humans are Fooled
Google(谷歌);University of Pennsylvania(宾夕法尼亚大学)
神经语言建模的最新进展使快速生成大量人类发音的文本成为可能。人类和自动识别器检测机器生成文本的能力一直是研究兴趣的主要来源,但人类和机器依赖于不同的线索来做出决策。在这里,我们进行仔细的基准测试和分析的三个流行的基于采样的解码策略-顶- $k$,核采样,和未截断的随机采样-并表明,解码方法的改进主要是优化愚弄人类。这是以引入统计异常为代价的,这些异常使自动系统易于检测。我们还表明,尽管人类和自动检测器的性能随着摘录长度的增加而提高,但即使是多句摘录也可以在30%以上的时间内欺骗专家评分员。我们的研究结果揭示了使用人类和自动检测器来评估文本生成系统的人性化的重要性。
2020-05-07 cs.CL
Detecting Bot-Generated Text by Characterizing Linguistic Accommodation in Human-Bot Interactions
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
语言生成模型的民主化使许多领域受益,从回答与健康相关的问题到通过提供人工智能驱动的辅导服务来加强教育。然而,语言生成模型的民主化也使其更容易大规模地生成用于邪恶活动的类人文本,从传播错误信息到针对特定群体的仇恨言论。因此,了解人们如何与机器人交互并开发检测机器人生成的文本的方法至关重要。这篇论文表明,如果我们使用人们如何回应的信息,而不是直接使用机器人的文本,机器人生成的文本检测方法在数据集和模型中更鲁棒。我们还分析了语言对齐,深入了解人与人和人与机器人对话之间的差异。
2021-06-02 cs.CL
Learning to Encode Text as Human-Readable Summaries using Generative Adversarial Networks
National Taiwan University(国立台湾大学)
自动编码器将输入数据压缩成潜在空间表示,并从该表示重建原始数据。这种潜在的表征不容易被人类解释。在本文中,我们提出了训练一个自动编码器,将输入文本编码成人类可读的句子,从而实现不成对的抽象摘要。自动编码器由发生器和重建器组成。生成器将输入文本编码为较短的单词序列,重建器从生成器输出中恢复生成器输入。为了使生成器输出人类可读的内容,一个JavaScript将生成器的输出限制为类似于人类书写的句子。通过将生成器的输出作为输入文本的摘要,实现了不需要文档摘要对作为训练数据的抽象摘要。在英汉两种语料库上都取得了令人满意的结果。
2018-10-05 cs.CL
Towards Human-Centred Explainability Benchmarks For Text Classification
许多自然语言处理(NLP)任务(如文本分类)的进展都是由通过公开可用的基准进行的客观、可再现和可扩展的评估驱动的。然而,这些并不总是代表使用文本分类器的真实世界场景,例如情感分析或错误信息检测。在这份立场文件中,我们提出了两点,旨在缓解这一问题。首先,我们建议扩展文本分类基准来评估文本分类器的可解释性。我们回顾了与客观评估产生有效解释的能力相关的挑战,这将我们引向第二个要点:我们建议将这些基准放在以人为本的应用中,例如通过使用社交媒体,游戏化或从人类判断中学习可解释性指标。
2022-11-10 cs.CL
Role of Dependency Distance in Text Simplification: A Human vs ChatGPT Simplification Comparison
University of Arizona(亚利桑那大学);Pomona College(波莫纳学院);University of Saskatchewan(萨斯喀彻温大学)
本研究对比了人类专家与ChatGPT对220个句子的文本简化,发现人类简化句子的平均依存距离最低,ChatGPT次之,原始句子最高。
2024-05-20 cs.CL
Text Difficulty Study: Do machines behave the same as humans regarding text difficulty?
Harbin Institute of Technology(哈尔滨工业大学)
本文提出人类学习匹配指数(HLM Index)研究文本难度对NLP模型的影响,发现LSTM比BERT更接近人类学习行为,UID-SuperLinear评估文本难度最佳,且从易到难训练可加快模型收敛。
2022-08-14 cs.CL
Sensitivity of BLANC to human-scored qualities of text summaries
Primer Technologies Inc.
我们探讨了敏感性的文件摘要质量估计,BLANC,人类评估质量相同的摘要。在我们的人类评估中,我们区分了五种摘要质量,定义为摘要的流畅性,可理解性,信息量,紧凑性和事实正确性。我们提出了最佳BLANC参数的情况,在该参数下,BLANC对几乎所有摘要质量的灵敏度与人类注释者的灵敏度一样好。
2020-10-13 cs.CL
HANSEN: Human and AI Spoken Text Benchmark for Authorship Analysis
The Pennsylvania State University(宾夕法尼亚州立大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室);The University of Mississippi(密西西比大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
针对作者归属分析长期忽视口语文本的问题,本文提出最大口语文本基准HANSEN,包含17个人类数据集及3个主流LLM生成的AI口语文本,通过AA、AV及人机文本检测实验证明其价值并指出AI口语检测的改进空间。
2023-10-25 cs.CL
Text Understanding in GPT-4 vs Humans
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
本研究通过标准化测试和更难的入学考试文本,对比 GPT-4 与人类的文本理解能力,发现 GPT-4 表现略优或明显更优,并展现出泛化与推断等真正理解的标志。
2025-01-17 cs.CL
Please Make it Sound like Human: Encoder-Decoder vs. Decoder-Only Transformers for AI-to-Human Text Style Transfer
Department of Computer Science, Kathmandu Engineering College(加德满都工程学院计算机科学系)
本文研究了如何将AI生成的文本改写为更接近人类写作的风格,构建了包含25140对AI输入和人类参考文本片段的平行语料库,并通过三种模型的微调验证了BART-large在风格转换中的有效性。
2026-04-13 cs.CL
Is GPT-3 Text Indistinguishable from Human Text? Scarecrow: A Framework for Scrutinizing Machine Text
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
现代神经语言模型可以产生非常流畅和合乎语法的文本。事实上,Clark等人(2021)最近的工作报告说,传统的众包不再能够可靠地区分机器创作(GPT-3)和人类创作的写作。随着机器生成中的错误变得越来越微妙和难以发现,它对研究界提出了新的挑战,以鲁棒的机器文本评估。我们提出了一个新的框架,称为稻草人审查机器文本通过人群注释。为了支持外行人可以识别的广泛的真实机器错误,稻草人的十个错误类别-例如冗余,常识错误和不连贯性-通过几轮人群注释实验来识别,而无需预定义本体。然后,我们使用稻草人收集超过41 K的错误跨度在人类书面和机器生成的英语新闻文本的段落。我们隔离的因素进行详细的分析,包括参数计数,训练数据,和各种解码时间配置。我们的方法成功地量化了人类创作的文本和几代模型之间的可测量差距,包括GPT-3的14种配置。此外,我们的分析揭示了新的见解,由外行提供了详细的理由,例如,常识能力已经随着更大的模型而提高,而数学能力没有,并且简单解码超参数的选择可以对机器文本的感知质量产生显着差异。我们在https://yao-dou.github.io/scarecrow/上发布我们的培训材料、注释工具包和数据集。
2022-03-07 cs.CL
Do Text Simplification Systems Preserve Meaning? A Human Evaluation via Reading Comprehension
Instituto de Telecomunicações(电信研究院);University of Maryland(马里兰大学)
本文提出基于阅读理解问题的人工评估框架,考察文本简化系统是否保留原文意义,并评估九个自动系统及现有指标、问答系统与人类判断的一致性。
2024-02-28 cs.CL
Mimicking Human Process: Text Representation via Latent Semantic Clustering for Classification
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
考虑到文本中具有不同特征的词对分类的重要性不同,将它们单独分组可以加强各部分的语义表达。因此,我们提出了一种新的文本表示方案,通过聚类的话,根据其潜在的语义和组合在一起,得到一组聚类向量,然后连接作为最终的文本表示。五个分类基准的评估证明了我们的方法的有效性。我们进一步进行可视化分析,显示统计聚类结果,并验证我们的动机的有效性。
2019-06-18 cs.CL
Do Language Models Agree with Human Perceptions of Suspense in Stories?
School of Interactive Computing, College of Computing Georgia Institute of Technology, USA(交互计算学院、计算机学院、佐治亚理工学院)
本文通过复现四项心理学研究并引入对抗性文本排列,发现语言模型虽能表面识别悬念,却无法准确估计悬念相对大小及其起伏,处理方式与人类读者存在本质差异。
2025-08-13 cs.CL
Fine Grained Human Evaluation for English-to-Chinese Machine Translation: A Case Study on Scientific Text
Deakin University(迪肯大学);Zhongtukexin Co. Ltd.(中图科信有限公司)
最近的研究表明,神经机器翻译(MT)在新闻领域已经达到了人类水平的性能,但对于其他专业领域,它远远低于人类水平。本文对四种广泛使用的汉英自然语言翻译系统进行了细粒度的系统化人工评价。我们的人工评估结果表明,所有的系统返回平均超过10\%的出错率,这需要大量的后期编辑工作,真正的学术用途。此外,我们还将六种主要的错误类型进行了分类,并提供了一些真实的例子。我们的研究结果强调,在机器翻译界的研究重点应该从短文本的一般翻译转向专业的机器翻译,并建立大规模的双语语料库,这些特定的领域。
2021-09-13 cs.CL
Simple-QE: Better Automatic Quality Estimation for Text Simplification
University of Pennsylvania(宾夕法尼亚大学);CNRS(法国国家科学研究中心);University of Helsinki(赫尔辛基大学)
文本简化系统生成的文本版本更容易为更广泛的受众所理解。简化文本的质量通常使用与人类参考进行比较的指标来估计,这可能很难获得。我们提出了简单的QE,BERT为基础的质量估计(QE)模型,适应于以前的总结QE工作,并表明它与人类的质量判断。Simple-QE不需要人类参考,这使得该模型在实际环境中非常有用,用户需要了解生成的简化的质量。我们还表明,我们可以采用这种方法来准确预测人类书面文本的复杂性。
2020-12-22 cs.CL
Contrasting Human- and Machine-Generated Word-Level Adversarial Examples for Text Classification
University College London(伦敦大学学院);Tilburg University(蒂尔堡大学)
研究表明,自然语言处理模型通常被认为容易受到对抗攻击的攻击;但最近的工作引起了人们对根据某些标准验证这些对抗输入的问题的关注(例如,语义和语法的保留)。强制执行约束以维护这些标准可能会使攻击失败,从而提出有效攻击是否实际可行的问题。在这项工作中,我们通过人类语言能力的镜头来调查这一点。我们报告了众包研究,在这些研究中,我们要求人类迭代修改输入文本中的单词,同时接收即时模型反馈,目的是使情感分类模型对示例进行错误分类。我们的研究结果表明,人类能够使用保留语义的单词替换来生成大量的对抗性示例。我们分析了人类生成的对抗性示例与最近提出的TextFocal,Genetic,BAE和SememePSO攻击算法在维度自然性,情感保留,语法性和替换率方面的比较。我们的研究结果表明,人类生成的对抗性示例并不比最好的算法更能够生成自然阅读,保留情感的示例,尽管它们的计算效率要高得多。
2021-09-09 cs.CL
Is Summary Useful or Not? An Extrinsic Human Evaluation of Text Summaries on Downstream Tasks
Peking University(北京大学)
本文研究通过问答、文本分类和文本相似度评估三种下游任务外在评估文本摘要的有用性,发现微调模型生成的摘要有用性一致性更高,并揭示了仅依赖内在自动指标的局限性。
2023-05-24 cs.CL
A Human-in/on-the-Loop Framework for Accessible Text Generation
本文提出一种融合人类参与的文本生成框架,通过人机协同机制提升生成文本的可及性,引入检查清单、触发规则和KPIs实现系统性评估与反馈。
2026-03-19 cs.CL
Human or Machine: Automating Human Likeliness Evaluation of NLG Texts
Charles University in Prague(布拉格查理大学)
由数据驱动的智能方法产生的各种文本质量标准的自动评估是非常常见和有用的,因为它便宜,快速,并且通常会产生可重复的结果。在本文中,我们提出了一种尝试,以自动化的人类喜欢的评价输出文本样本来自自然语言生成方法,用于解决几个任务。我们建议使用一个人类喜欢度分数,它显示了一个方法的输出样本中看起来像是由人类编写的样本的百分比。我们没有让人类参与者对这些样本进行标记或评级,而是通过使用基于大型预训练语言模型及其概率分布的判别程序来完全自动化该过程。作为后续,我们计划对人类书写和机器生成的文本进行实证分析,以找到这种评估方法的最佳设置。涉及人类参与者的验证过程还将检查自动评估与人类判断的相关性。
2020-06-05 cs.CL cs.LG
TEMOS: Generating diverse human motions from textual descriptions
École des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
我们解决的问题,从文本描述生成不同的三维人体运动。这项具有挑战性的任务需要两种模式的联合建模:从文本中理解和提取有用的以人为中心的信息,然后生成合理和逼真的人体姿势序列。与大多数以前的工作,重点是从文本描述中生成一个单一的,确定性的,运动,我们设计了一个变分的方法,可以产生多种多样的人体运动。我们提出TEMOS,一个文本条件生成模型,利用变分自编码器(VAE)与人体运动数据的训练,结合文本编码器,产生与VAE潜在空间兼容的分布参数。我们展示了TEMOS框架可以像以前的工作一样产生基于双头动物的动画,以及更具表现力的SMPL身体运动。我们在KIT Motion-Language基准测试中评估了我们的方法,尽管相对简单,但与最先进的方法相比,我们的方法有了显著的改进。代码和模型可在我们的网页上找到。
2022-07-22 cs.CL cs.CV
Human-Grounded Calibration for Long-Text Image-Text Congruence in Vision-Language Models
本文提出轻量级校准层CS,将长文本图像-文本一致性评分建模为校准的分数估计问题,并揭示检索性能、人类关联与阈值校准间的权衡。
2026-09-15 cs.CL cs.CV
A Mutation-based Text Generation for Adversarial Machine Learning Applications
Texas A&M University - San Antonio(德克萨斯农工大学圣安东尼奥分校)
许多与自然语言相关的应用涉及由人类或机器创建的文本生成。虽然在许多这些应用程序中,机器支持人类,但在少数其他应用程序中(例如对抗性机器学习,社交机器人和巨魔),机器试图模仿人类。在这个范围内,我们提出并评估了几种基于变异的文本生成方法。与基于机器生成的文本不同,基于变异生成的文本需要人类文本样本作为输入。我们展示了变异算子的例子,但这项工作可以在许多方面进行扩展,例如根据应用程序的性质提出新的基于文本的变异算子。
2022-12-21 cs.CL cs.LG