Investigating Wit, Creativity, and Detectability of Large Language Models in Domain-Specific Writing Style Adaptation of Reddit's Showerthoughts
Hasso Plattner Institute / University of Potsdam(哈索·普拉特纳研究所/波茨坦大学)
本文研究不同规模LLM在Reddit Showerthoughts创意短文本中模仿人类风格的能力,发现人类评估者虽认为生成文本创意质量略低但无法可靠识别AI生成内容,并发布了相关数据集。
2024-05-02 cs.AI cs.CL
The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models
University of Amsterdam(阿姆斯特丹大学);University of Groningen(格罗宁根大学)
SIFo基准通过四个任务评估大型语言模型在多指令遵循中的能力,发现较新和更大的模型在任务表现上更优,揭示了当前语言模型在指令序列处理上的鲁棒性不足。
2024-10-03 cs.CL
Investigating the Effectiveness of Task-Agnostic Prefix Prompt for Instruction Following
KAIST(韩国科学技术院);UCL(伦敦大学学院);LG AI Research(LG AI 研究院)
本研究提出任务无关前缀提示(TAPP)作为固定前置提示,显著提升多种大语言模型在推理时的指令跟随能力,平均提升34.58%(基础模型)和12.26%(指令微调模型),并假设其通过增强对指令的关注来改善输出分布估计。
2023-12-24 cs.AI cs.CL
Real or Fake Text?: Investigating Human Ability to Detect Boundaries Between Human-Written and Machine-Generated Text
University of Pennsylvania(宾夕法尼亚大学)
随着由大语言模型生成的文本的激增,了解人类如何与这些文本互动,以及他们是否能够检测到他们正在阅读的文本何时不是来自人类作者变得至关重要。先前关于生成文本的人类检测的工作集中在整个段落是人类书写或机器生成的情况下。在本文中,我们研究了一个更现实的设置,文本开始作为人类书写和过渡到正在生成的最先进的神经语言模型。我们发现,虽然注释者经常在这项任务中挣扎,但注释者的技能存在很大差异,并且如果给予适当的激励,注释者可以随着时间的推移在这项任务中提高。此外,我们进行了详细的对比研究,分析了各种变量(模型大小,解码策略,微调,提示体裁等)影响人体检测性能。最后,我们从我们的参与者收集错误注释,并使用它们来表明,某些文本类型的影响模型,使不同类型的错误和某些注释水平的功能高度相关的注释者选择。我们发布RoFT数据集:超过21,000个人工注释的集合与错误分类配对,以鼓励未来在人工检测和评估生成的文本方面的工作。
2022-12-24 cs.AI cs.CL cs.HC
Investigating the Emergent Audio Classification Ability of ASR Foundation Models
ALTA Institute, Department of Engineering, University of Cambridge(剑桥大学工程系ALTA研究所)
本文探究了ASR基础模型Whisper和MMS的零样本音频分类能力,通过模板提示和解码概率实现分类,并利用无监督去偏重加权方法,使Whisper在8个数据集上平均超越现有零样本基线9%。
2024-03-28 cs.CL
PersonaLLM: Investigating the Ability of Large Language Models to Express Personality Traits
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学)
本文通过让GPT-3.5和GPT-4模拟大五人格并完成BFI测试与写作任务,验证了LLM能一致表达指定人格特质,且人类可感知部分特质,但得知AI作者后准确率下降。
2024-04-02 cs.AI cs.CL cs.HC
Wait, but Tylenol is Acetaminophen... Investigating and Improving Language Models' Ability to Resist Requests for Misinformation
Mass General Brigham(麻省总医院布莱根医疗系统);Harvard Medical School(哈佛医学院);Brigham and Women’s Hospital(布莱根妇女医院);Dana-Farber Cancer Institute(丹娜-法伯癌症研究所);Boston Children’s Hospital(波士顿儿童医院);Massachusetts Institute of Technology(麻省理工学院);Johns Hopkins University(约翰斯·霍普金斯大学);University of Virginia(弗吉尼亚大学);Maastricht University(马斯特里赫特大学)
本文研究大语言模型在明知请求不合逻辑时仍遵从生成药物虚假信息的问题,发现通过上下文指示和指令微调优先逻辑推理可有效降低医学虚假信息风险。
2024-09-30 cs.CL
Towards Trust Calibration in Socially Interactive Agents: Investigating Gendered Multimodal Behaviors Generation with LLMs
LIS Laboratory, Amu(LIS实验室,Amu);Inria Paris(Inria巴黎)
本文研究了LLMs生成多模态行为以反映能力与善意的不同层次,探讨了性别对行为生成的影响,并通过用户研究验证了方法的有效性。
2026-05-19 cs.CL
Investigating the Limitations of Transformers with Simple Arithmetic Tasks
David R. Cheriton School of Computer Science(戴维·R·切里顿计算机科学学院);University of Waterloo(滑铁卢大学)
执行算术任务的能力是人类智力的一个显着特征,可能构成更复杂推理任务的关键组成部分。在这项工作中,我们研究了数字的表面形式是否对序列到序列语言模型如何学习简单的算术任务有任何影响,例如在广泛的值范围内进行加法和减法。我们发现,一个数字是如何表示在其表面的形式有很大的影响模型的准确性。特别地,当使用子字时,该模型无法学习五位数的加法(例如,“32”),并且它努力学习字符级表示(例如,“3 2”)。通过引入位置令牌(例如,“3 10e1 2”),该模型学习精确地添加和减去数字高达60位。我们的结论是,现代预训练的语言模型可以很容易地从很少的例子中学习算术,只要我们使用适当的表面表示。这一结果支持的证据表明,子字标记和位置编码的组件在当前的Transformer设计,可能需要改进。此外,我们表明,无论参数和训练样本的数量,模型不能学习加法规则,是独立的长度在训练过程中看到的数字。可在https://github.com/castorini/transformers-arithmetic上获得重现我们实验的代码
2021-04-12 cs.AI cs.CL cs.LG
Investigating Co-Constructive Behavior of Large Language Models in Explanation Dialogues
Leibniz University Hannover, Institute of Artificial Intelligence(汉诺威莱布尼茨大学人工智能研究所);LMU Munich, MCML(慕尼黑大学MCML);Paderborn University(帕德博恩大学);Bielefeld University, CITEC(比勒菲尔德大学CITEC)
本研究探究LLMs在共建解释对话中作为解释者的能力,通过用户研究评估其共建行为对解释接受者理解和参与的影响,发现LLMs能通过提问促进参与,但监控和调整解释的能力有限。
2025-07-10 cs.CL
Multilingual Needle in a Haystack: Investigating Long-Context Behavior of Multilingual Large Language Models
Indian Institute of Technology Delhi(德里印度理工学院)
该研究提出MLNeedle测试评估多语言LLM的长上下文信息检索能力,发现模型性能受语言类型、信息位置影响显著,且长上下文下跨语言检索表现不佳,为相关评估提供了参考。
2024-08-19 cs.CL cs.LG
Investigating Layer Importance in Large Language Models
National University of Singapore(新加坡国立大学);PayPal(贝宝)
本研究通过Shapley值和层消融实验评估LLMs中各层的重要性,发现某些早期“基石层”对模型性能起主导作用,移除会导致性能崩溃退化为随机猜测,移除非基石层则影响甚微。
2024-09-22 cs.CL cs.LG
PerSo: Investigating Facets of LLMs' Social Intelligence in Real-World Persuasion Scenarios
School of Electrical and Computer Engineering, College of Engineering, University of Tehran(德黑兰大学工程学院电气与计算机工程学院);Cardiff University(卡迪夫大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所);Tehran Institute for Advanced Studies, Khatam University(哈塔姆大学德黑兰高级研究院)
该研究推出PerSo基准,利用Reddit真实说服对话评估LLMs的社会智能,发现LLM性能随规模提升,在行为任务上略超人类最佳表现,认知任务仍逊于人类。
2026-10-15 cs.AI cs.CL cs.SI
Hate Personified: Investigating the role of LLMs in content moderation
LMU(慕尼黑大学);IIT Delhi(德里印度理工学院);TUM(慕尼黑工业大学);IIIT Delhi(德里印度信息技术学院)
本文通过地理引导、人格属性和数值锚点三类提示上下文,系统分析大语言模型在跨语言仇恨检测中的群体代表性与标注差异,为文化敏感场景下的内容审核提供初步指导。
2024-10-03 cs.CL cs.CY
Can an LLM Induce a Graph? Investigating Memory Drift and Context Length
Department of Computer Science, Virginia Tech, Alexandria, VA(计算机科学系,弗吉尼亚理工大学,亚历山大,VA)
该研究通过让大语言模型从含噪长文本中归纳图结构的关系推理任务,发现其有效上下文长度远短于现有基准结论,即使专业推理模型也易出现早期记忆漂移,为模型优化及架构改进提供了依据。
2025-10-04 cs.AI cs.CL cs.LG
CollabSim: A CSCW-Grounded Methodology for Investigating Collaborative Competence of LLM Agents through Controlled Multi-Agent Experiments
Northeastern University(东北大学);Microsoft Research Asia(微软亚洲研究院)
提出CollabSim框架,结合CSCW理论定义协作能力、控制交互条件并探测智能体内部状态,以系统分析LLM多智能体系统的协作能力。
2026-06-06 cs.CL
Investigating Expert-in-the-Loop LLM Discourse Patterns for Ancient Intertextual Analysis
University of the Cumberlands(坎伯兰大学);Tennessee Tech University(田纳西理工大学)
本研究评估了LLMs在圣经希腊语文本互文性分析中的能力,发现其能检测引文、典故和回声,但在长查询和虚假依赖上存在局限,并提出专家在环方法以支持可扩展的互文研究。
2024-09-29 cs.CL
Investigating LLM's Problem Solving Capability -- a Study on Statics Questions
本研究通过模型蒸馏方法评估LLM在静力学问题上的表现,发现引入图表和多步推理时准确率下降,主要源于多步推理和视觉信息应用困难。
2026-06-26 cs.AI cs.CL
Are LLMs Empathetic to All? Investigating the Influence of Multi-Demographic Personas on a Model's Empathy
Northeastern University(东北大学);University of California, San Diego(加州大学圣地亚哥分校)
本研究提出交叉分析框架,考察四个LLM在315个人口统计角色上的认知与情感同理心,发现属性组合可改变同理心模式,并强调设计考虑多样性的同理心感知模型以促进公平。
2025-10-27 cs.CL
Subversion via Focal Points: Investigating Collusion in LLM Monitoring
本文研究两个隔离的语言模型实例如何通过独立设计提示实现共谋,使监控器对审计数据集中的后门程序分类为有害,却将策略模型生成的后门程序分类为无害,并发现Claude 3.7 Sonnet虽收敛性差但偶尔能就非明显信号成功共谋。
2025-07-02 cs.CL cs.CR
Can LLMs Correct Physicians, Yet? Investigating Effective Interaction Methods in the Medical Domain
University of Trento(特伦托大学);University of Edinburgh(爱丁堡大学)
本文研究LLM在医疗决策中辅助并纠正医生的潜力,通过评估Meditron、Llama2和Mistral在不同提示和交互场景下的表现,发现提示设计显著影响准确率,且LLM能有效质疑错误诊断并提升决策准确性。
2024-05-06 cs.AI cs.CL
Investigating the interaction of linguistic and mathematical reasoning in language models using multilingual number puzzles
School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);Department of Linguistics, Harvard University(哈佛大学语言学系);Kempner Institute for the Study of Natural and Artificial Intelligence at Harvard University(哈佛大学凯普纳自然与人工智能研究 institute)
本研究通过多语言数字谜题实验,发现LLMs难以解决跨语言数字推理问题,除非运算符号显式标记,且缺乏人类对数字隐含组合结构的推断能力,这对当前推理模型仍是挑战。
2025-10-15 cs.AI cs.CL
Investigating large language models for their competence in extracting grammatically sound sentences from transcribed noisy utterances
Institute of Computer Science Polish Academy of Sciences(波兰科学院计算机科学研究所)
本研究通过波兰语场景下的两项实验,探究大语言模型从带噪声对话转录中提取语法规范话语的能力,发现其相关能力仍较表层,未完全掌握或无法有效应用句法-语义规则。
2024-10-07 cs.CL
Investigating Large Language Models' Linguistic Abilities for Text Preprocessing
University of Milano-Bicocca(米兰-比科卡大学);Politecnico di Torino(托里尼 Politecnico)
本文研究使用大语言模型(LLMs)结合上下文进行文本预处理(停用词移除、词形还原和词干提取),发现其在六种欧洲语言中能高准确率复制传统方法,并使下游文本分类的$F_1$指标提升达6%。
2025-10-13 cs.AI cs.CL
Is It Still Fair? Investigating Gender Fairness in Cross-Corpus Speech Emotion Recognition
National Tsing Hua University(国立清华大学)
本文研究跨语料库语音情感识别中性别公平性的泛化问题,提出组合公平性适配机制以同时处理源和目标性别,从而在迁移学习任务中提升性别公平性。
2025-01-02 cs.LG
Do Large Language Models Know Conflict? Investigating Parametric vs. Non-Parametric Knowledge of LLMs for Conflict Forecasting
University of North Texas(北卡罗来纳大学达勒姆分校)
本文评估LLM在2020–2024年非洲之角与中东冲突预测中的参数化知识,并与基于RAG引入ACLED、GDELT及新闻上下文的非参数化能力对比。
2025-05-14 cs.AI cs.CL
MultiAgent Collaboration Attack: Investigating Adversarial Attacks in Large Language Model Collaborations via Debate
UC Santa Barbara(加州大学圣巴巴拉分校);Rutgers University(罗格斯大学)
本研究通过辩论场景,探究对抗性攻击对多大型语言模型协作网络的影响,提出评估指标,发现说服能力是关键,并探索推理时增强论点及提示缓解的防御策略。
2024-06-26 cs.AI cs.CL cs.MA
Easy to Complete, Hard to Choose: Investigating LLM Performance on the ProverbIT Benchmark
University of Turin(都灵大学)
该研究构建了意大利谚语基准ProverbIT,评估13个前沿LLMs的谚语处理能力,发现LLMs虽能完成谚语任务,但在无正确答案的选择题中性能骤降,暴露其依赖记忆而非深层语义理解的局限。
2026-08-06 cs.AI cs.CL
Is Your Paper Being Reviewed by an LLM? Investigating AI Text Detectability in Peer Review
Intel Labs(英特尔实验室)
本文研究同行评审中 LLM 生成文本的检测问题,评估现有检测器并提出新方法,以在低假阳性率下更有效识别 GPT-4o 撰写的评审。
2024-12-06 cs.AI cs.CL
Llama meets EU: Investigating the European Political Spectrum through the Lens of LLMs
University of Copenhagen(哥本哈根大学)
本文审查了 Llama Chat 在欧盟政治背景下的政治知识与推理能力,通过在欧洲议会演讲上微调构建特定政党模型,发现其能显著重新对齐至相应政治立场,为政治科学研究提供了对话引擎支持。
2024-03-22 cs.CL
Investigating the Impact of Data Contamination of Large Language Models in Text-to-SQL Translation
University of Rome Tor Vergata(罗马第二大学);University of Rome La Sapienza(罗马第一大学);Idiap Research Institute(Idiap研究所);Almawave S.p.A.(Almawave股份公司)
本研究针对大语言模型的Text-to-SQL能力可能受数据污染影响的问题,提出检测GPT数据污染的新方法,结合Spider、新构建的Termite数据集及对抗性表断开方法实验,证实数据污染会导致GPT-3.5在陌生数据集上性能显著下降。
2024-02-12 cs.CL cs.LG
The Magic of IF: Investigating Causal Reasoning Abilities in Large Language Models of Code
Peking University(北京大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
本文探究代码大语言模型是否因代码中“if”等条件语句对因果关系的显式表达而具备更强的因果推理能力,实验证明使用代码提示的Code-LLMs显著优于纯文本LLMs,且编程结构对提示设计至关重要。
2023-05-30 cs.CL
Understanding How Model Size Affects Few-shot Instruction Prompting
Yale-NUS College(耶鲁-新加坡国立大学学院);Bukalapak
大语言模型受训练数据记忆和遗忘现象的影响。但这些是如何根据模型大小而变化的呢?我们对这个问题的工作,通过调查模型的大小如何影响模型的能力,在给定的上下文中区分一个词的含义。我们引入了一个名为DeltaWords的数据集,该数据集评估模型遵循指令选择一个句子的能力,该句子将目标词替换为反义词。我们显示了一个弱的逆缩放趋势,任务的准确性降低模型大小的增加,在极Few-Shot提示制度。我们发现,增加的例子的数量往往不成比例地受益于较大的模型比较小的模型。
2022-12-04 cs.CL cs.LG stat.ML
Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents
Shandong University(山东大学);Baidu Inc.(百度公司);Leiden University(莱顿大学)
本文研究ChatGPT和GPT-4等大语言模型在信息检索中的重排序能力,发现经适当指令的LLMs可媲美甚至超越监督方法,并提出新测试集NovelEval及排列蒸馏方案,将排序能力高效迁移至小型模型。
2024-12-28 cs.CL cs.IR
Watch Your Language: Investigating Content Moderation with Large Language Models
Stanford University(斯坦福大学);UC San Diego(加州大学圣地亚哥分校)
本文评估了商用大型语言模型在基于规则的社区审核和有毒内容检测上的表现,发现GPT-3.5在规则审核中有效且LLM显著优于现有毒性分类器,但模型规模增大带来的收益有限。
2024-01-17 cs.AI cs.CL cs.CR
A Study into Investigating Temporal Robustness of LLMs
L3S Research Center(L3S研究中心);TU Delft(代尔夫特理工大学);University of Innsbruck(因斯布鲁克大学)
针对大语言模型时间理解能力不足的问题,设计8项时间敏感性鲁棒测试检验6款主流LLMs的零样本时间鲁棒性,发现其对时间改写和粒度变化敏感,并基于研究结果将时间问答性能最高提升55%。
2025-03-21 cs.CL cs.IR
SLURG: Investigating the Feasibility of Generating Synthetic Online Fallacious Discourse
University of California, Santa Cruz(加州大学圣克鲁兹分校)
针对社交媒体操纵自动检测的需求,本文提出SLURG方法,探究用LLMs(如DeepHermes-3-Mistral-24B)生成合成谬误性论坛评论的可行性,发现其可复制真实数据句法模式,少样本提示能提升词汇多样性模仿能力。
2025-04-16 cs.CL
Beyond the Known: Investigating LLMs Performance on Out-of-Domain Intent Detection
Meituan(美团)
本文系统评估 LLM 在 OOD 意图检测中的表现,发现其零样本和少样本能力较强但不及全资源微调模型,并总结领域知识注入等未来方向。
2024-03-04 cs.CL
Investigating Training and Generalization in Faithful Self-Explanations of Large Language Models
The University of Tokyo(东京大学);Riken(理化学研究所);Tohoku University(东北大学);NII LLMC(日本信息处理学会大语言模型委员会)
本研究通过训练提升大语言模型的自解释忠实性,并验证其在不同任务和风格中的泛化能力。
2025-12-08 cs.CL
Do LLMs Know When to NOT Answer? Investigating Abstention Abilities of Large Language Models
ServiceNow
本文提出黑盒评估方法与新数据集Abstain-QA,引入可回答-不可回答混淆矩阵,探究三种提示策略对LLM弃权能力的影响,发现GPT-4等模型弃权困难但严格提示和CoT可提升该能力。
2024-09-24 cs.CL
Which Type of Students can LLMs Act? Investigating Authentic Simulation with Graph-based Human-AI Collaborative System
College of AI, Tsinghua University(人工智能学院,清华大学);School of Education, Tsinghua University(教育学院,清华大学);Department of Statistics and Data Science, Tsinghua University(统计与数据科学系,清华大学);Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
本文提出一种基于图的LLM-人协作系统,通过自动化评分和图传播技术生成高质量学生代理,验证其在模拟学生行为方面的有效性。
2025-12-04 cs.CL cs.CY
Improving Downstream Task Performance by Treating Numbers as Entities
Duke University(杜克大学);Amazon Alexa AI(亚马逊Alexa人工智能);Emory University(埃默里大学)
数字是文本的基本组成部分,就像任何其他单词标记一样,自然语言处理(NLP)模型就是从这些文本中构建和部署的。虽然在大多数NLP任务中,数字通常不会被明确地解释,但NLP模型仍然表现出了潜在的计算能力。在这项工作中,我们试图挖掘最先进的NLP模型的潜力,并转移它们的能力,以提高相关任务的性能。我们提出的将数字分类为实体有助于NLP模型在几个任务上表现良好,包括手工填写空白(FITB)任务和使用联合嵌入的问答,优于BERT和RoBERTa基线分类。
2022-09-18 cs.CL cs.LG
Investigating Glyph Phonetic Information for Chinese Spell Checking: What Works and What's Next
Fudan University(复旦大学)
本文探讨了字形语音信息在中文拼写检查任务中的作用与利用情况,并提出了一种更具挑战性和实用性的模型泛化能力测试设置。
2023-05-21 cs.AI cs.CL
Investigating Lexical Sharing in Multilingual Machine Translation for Indian Languages
Saarland University(萨尔大学);Inria(法国国家信息与自动化研究所)
本研究聚焦印度语言多语言机器翻译的词汇共享,探究数据采样与词表大小的性能权衡、音译对跨文字泛化的作用及对未见语言的泛化性,发现音译无明显提升,原文字训练的模型已具备跨文字鲁棒性。
2023-05-04 cs.AI cs.CL
Investigating Biases in Textual Entailment Datasets
理解句子之间逻辑关系的能力是语言理解的一项重要任务。为了帮助完成这项任务,研究人员收集了用于机器学习和评估当前系统的数据集。然而,就像众包的视觉问答(VQA)任务一样,数据中不可避免地会出现一些偏差。在我们的实验中,我们发现只对SNLI数据集上的假设进行分类,准确率为64%。我们分析了SNLI和MultiNLI数据集的偏差程度,讨论了其含义,并提出了一种简单的方法来减少数据集的偏差。
2019-06-23 cs.CL cs.LG
Investigating the Effect of Natural Language Explanations on Out-of-Distribution Generalization in Few-shot NLI
University of Chicago(芝加哥大学)
虽然神经模型在SNLI等数据集中表现出了很强的性能,但它们缺乏泛化分布外(OOD)的能力。在这项工作中,我们制定了一个少样本学习设置和检查的影响,自然语言解释对面向对象的推广。我们利用HANS数据集中的模板,并为每个模板构建模板化的自然语言解释。尽管生成的解释显示出与地面实况解释相比具有竞争力的BLEU分数,但它们未能提高预测性能。我们进一步表明,生成的解释往往产生幻觉的信息和错过的关键元素,表明标签。
2021-10-12 cs.AI cs.CL
Investigating the Reordering Capability in CTC-based Non-Autoregressive End-to-End Speech Translation
National Taiwan University(台湾大学)
我们研究了使用连接主义时间分类(CTC)建立非自回归语音到文本翻译模型的可能性,并使用基于CTC的自动语音识别作为辅助任务,以提高性能。由于CTC的单调性假设,它在翻译上的成功是违反直觉的,因此我们分析了它的重排能力。Kendall的tau距离被引入作为定量度量,基于梯度的可视化提供了一种直观的方式来更仔细地观察模型。分析表明,Transformer编码器具有改变语序的能力,并指出了非自回归语音翻译的未来研究方向。
2021-05-11 cs.CL
Are Your Explanations Reliable? Investigating the Stability of LIME in Explaining Text Classifiers by Marrying XAI and Adversarial Attack
University of Mississippi(密西西比大学);Wright State University(莱特州立大学)
本文提出XAIFooler算法,通过文本扰动优化来操纵LIME解释,评估并提升其稳定性,实验证明该方法在保持语义的同时显著优于现有基线。
2023-10-15 cs.CL cs.LG
Investigating the Translation Performance of a Large Multilingual Language Model: the Case of BLOOM
Inria(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
本研究评估了多语言模型BLOOM的翻译性能,发现few-shot设置显著改善0-shot的过度生成和语言错误,并探讨了提示设计、模型规模等因素的影响。
2023-05-09 cs.CL
Investigating Deep-Learning NLP for Automating the Extraction of Oncology Efficacy Endpoints from Scientific Literature
AstraZeneca(阿斯利康);Linguamatics, an IQVIA business(IQVIA旗下Linguamatics公司)
针对科学文献中肿瘤学疗效终点人工提取效率低、易出错的问题,研究团队开发优化了基于机器学习的提取框架,可预测25类疗效终点,在测试集和两个案例研究中F1值分别达96.4%、93.9%和93.7%,与专家结果高度一致,有望加速临床试验设计。
2023-11-03 cs.AI cs.CL
Investigating Length Issues in Document-level Machine Translation
Sorbonne Université & CNRS, ISIR(索邦大学与CNRS,ISIR);Inria
本文通过设计新方法精确测量长度增加对文档级机器翻译输出的影响,实验发现翻译性能随输入文本长度增加而下降,且文档中较早出现的句子翻译质量更高,调整文档长度和位置嵌入分布仅能轻微缓解该问题,表明文档级MT性能尚未达到句子级MT水平。
2025-04-28 cs.CL
Investigating the Robustness of Natural Language Generation from Logical Forms via Counterfactual Samples
Zhejiang University(浙江大学);Shanghai Institute for Advanced Study of Zhejiang University(浙江大学上海高等研究院);Shanghai AI Laboratory(上海人工智能实验室)
Logic2Text的目标是生成以表格和逻辑形式为条件的可控的、忠实的文本,这不仅要求对表格和逻辑形式有深刻的理解,而且要求对表格进行符号推理。基于预训练模型的最先进的方法在标准测试数据集上取得了显着的性能。然而,我们质疑这些方法是否真的学会了如何执行逻辑推理,而不仅仅是依赖于表的头和逻辑形式的操作符之间的虚假相关性。为了验证这一假设,我们手动构造了一组反事实样本,这些样本修改了原始逻辑形式,以生成具有很少同时出现的表头和逻辑运算符的反事实逻辑形式。与原始测试数据集上的结果相比,SOTA方法在这些反事实样本上的结果要差得多,这验证了我们的假设。为了解决这个问题,我们首先从因果关系的角度分析了这种偏差,在此基础上,我们提出了两种方法来减少模型对捷径的依赖。第一种方法将逻辑形式的层次结构结合到模型中。第二种是利用自动生成的反事实数据进行训练。在原始测试数据集和反事实数据集上的自动和手动实验结果表明,该方法可以有效地消除虚假相关。我们的工作指出了以前的方法的弱点,并采取进一步的发展逻辑2Text模型与真正的逻辑推理能力。
2022-10-16 cs.AI cs.CL
Investigating how well contextual features are captured by bi-directional recurrent neural network models
Adobe Research, Big Data Experience Lab(Adobe 研究院大数据体验实验室);National Center for Text Mining, The University of Manchester(曼彻斯特大学国家文本挖掘中心);IIT Guwahati(印度理工学院古瓦哈提分校)
自然语言处理(NLP)任务的学习算法传统上依赖于手动定义的相关上下文特征。另一方面,神经网络模型,使用一个唯一的分布表示的话已成功地应用于几个NLP任务。这样的模型自动学习特征,避免了显式的特征工程。在几个领域中,神经模型成为一种自然的选择,特别是在已知数据的有限特征时。然而,这种灵活性是以可解释性为代价的。在本文中,我们定义了三种不同的方法来研究双向递归神经网络(RNN)捕获上下文特征的能力。特别是,我们分析了RNN的序列标记任务。我们对一般和生物医学领域的数据集进行了全面的分析。我们的实验集中在重要的上下文单词的功能,它可以很容易地扩展到分析各种其他功能类型。我们还调查了上下文词的位置效应,并展示了如何开发的方法可以用于错误分析。
2017-11-29 cs.CL
Investigating Label Bias in Beam Search for Open-ended Text Generation
Yuanfudao AI Lab(猿辅导AI实验室)
束搜索是一种有效的解码算法,在许多序列到序列(seq2seq)文本生成任务中得到广泛应用。然而,在开放式文本生成中,束搜索经常被发现产生重复和通用的文本,基于采样的解码算法,如top-k采样和核采样是更优选的。标准seq2seq模型由于其局部归一化概率公式而遭受标签偏差。本文提供了一系列的经验证据,标签偏见是一个主要的原因,这种退化行为的束搜索。通过结合局部归一化最大似然估计和全局归一化序列级训练,可以在几乎不牺牲困惑度的情况下降低标签偏差。为了定量测量标签偏差,我们测试了模型区分地面实况文本和一组上下文无关干扰项的能力。我们在大规模响应生成数据集上进行实验。结果表明,束搜索可以产生更多样化和有意义的文本与我们的方法,在自动和人类的评价指标。我们的分析还提出了几个未来的工作方向对开放式文本生成的巨大挑战。
2020-05-22 cs.CL