Deep Associations, High Creativity: A Simple yet Effective Metric for Evaluating Large Language Models
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Beijing Normal University(北京师范大学)
本文提出PACE指标,通过让大语言模型生成平行关联链来评估创造力,该方法抗数据污染且高效,与人类评估高度相关,并发现专业人类在联想创造力上仍优于高性能模型。
2025-10-14 cs.AI cs.CL
Heaven-Sent or Hell-Bent? Benchmarking the Intelligence and Defectiveness of LLM Hallucinations
Wuhan University of Technology(武汉理工大学);Hubei Key Laboratory of Transportation Internet of Things(湖北省交通运输物联网重点实验室);BreathingCORE;Wuhan University(武汉大学)
本文提出HIC-Bench框架,通过分类智能与缺陷幻觉,评估LLM在创造力与准确性之间的平衡,揭示幻觉对科学创新的推动作用。
2025-12-30 cs.CL
Enhancing Creativity in Large Language Models through Associative Thinking Strategies
MindAntix(明安替克斯公司);University of California Los Angeles(加州大学洛杉矶分校);Microsoft(微软公司)
本研究探索联想思维策略对大语言模型创造力的提升作用,针对vGPT-4在三个领域开展创意任务实验,证实该技术可显著提升其回复原创性,为LLMs创意能力增强提供新路径。
2024-05-09 cs.AI cs.CL
Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity
研究探讨大语言模型与人类评估创造力时趋同和背离的原因,通过三项研究和六个模型,识别其评估标准及影响,发现一致性取决于判断证据和模型标准,强调内在品质时趋同,需上下文信息时背离,选评估模型很关键。
2026-09-29 cs.AI cs.CL
CreativeInstruct: Scalably Teaching LLMs to Balance Quality, Creativity, and Diversity
Columbia(哥伦比亚大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
该研究提出CreativeInstruct指令调优方法,通过注入[StartCreativity]跨度平衡LLM的质量、创造性与多样性,其在叙事生成中表现更优,还能提升强化学习任务性能。
2026-08-10 cs.AI cs.CL
Assessing the Effect of Cross-Domain Mapping on Creativity in Humans and Large Language Models
Princeton University(普林斯顿大学);Santa Fe Institute(圣菲研究所);Toyota Motor North America, Inc.(丰田美国公司)
研究通过对比人类与LLM在跨领域映射和用户需求两种提示下的创造力表现,发现人类从随机远程领域获得灵感能提升创造力,而LLM生成原创想法更多且跨领域映射影响随灵感源与目标的语义距离增加而增强。
2026-09-17 cs.AI cs.CL
Assessing the Creativity of LLMs in Proposing Novel Solutions to Mathematical Problems
New Jersey Institute of Technology(新泽西理工学院);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出CreativeMath框架与基准,评估LLM在已知解法之外生成数学新颖解法的创造力,发现其标准任务表现良好但创造性差异明显,Gemini-1.5-Pro表现最佳。
2024-10-24 cs.AI cs.CL
LLMs can Realize Combinatorial Creativity: Generating Creative Ideas via LLMs for Scientific Research
Boston University(波士顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Delaware(特拉华大学);Acaciawood Preparatory Academy(阿卡西亚伍德预备学院)
针对LLMs生成科研创意忽视理论基础的问题,本研究提出基于组合创造性理论的框架,通过泛化级检索系统和结构化组合过程生成创意,在OAG-Bench数据集上较基线相似性得分提升7%-10%,推动AI辅助研究并深化机器创造性理论理解。
2025-02-17 cs.AI
CreativityPrism: A Cross-Domain Evaluation Framework for Large Language Model Creativity
University of Pittsburgh(匹兹堡大学);Johns Hopkins University(约翰霍普金斯大学);University of Notre Dame(诺特丹大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(人工智能研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
提出CreativityPrism框架,整合发散思维、创意写作和逻辑推理三个领域的八项任务,从质量、新颖性和多样性三个维度评估LLM创造力,发现前沿模型在创意写作和逻辑推理上领先,但在发散思维上无显著优势,且各维度间相关性弱。
2026-07-03 cs.AI cs.CL
LLM Discussion: Enhancing the Creativity of Large Language Models via Discussion Framework and Role-Play
National Taiwan University(台湾大学)
本文提出LLM Discussion三阶段讨论框架,结合角色扮演技术,通过模拟人类集体讨论过程来增强大语言模型在开放式问题上的创造力,并在多项创造力测试中优于现有方法。
2024-08-08 cs.AI cs.CL
Creativity Has Left the Chat: The Price of Debiasing Language Models
Carnegie Mellon University(卡内基梅隆大学)
本文通过 Llama-2 系列实验发现 RLHF 对齐会降低语言模型的句法和语义多样性,使其趋向低熵和吸引子状态,揭示了去偏与创造力之间的权衡,并强调提示工程对挖掘基础模型创造潜力的作用。
2024-06-08 cs.AI cs.CL
How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning
Harvard University(哈佛大学);Pennsylvania State University(宾夕法尼亚州立大学)
研究多模态大模型能否零样本评估视觉创造力,并分析其推理过程的可解释性。实验表明模型评分与人类高度一致,但推理并未提升评分准确性。
2026-07-01 cs.CL
A Robot Walks into a Bar: Can Language Models Serve as Creativity Support Tools for Comedy? An Evaluation of LLMs' Humour Alignment with Comedians
Google DeepMind(谷歌DeepMind)
研究通过采访20位专业喜剧演员,评估了LLMs作为喜剧创意支持工具的表现,发现现有安全审核策略强化了霸权视角且生成的喜剧内容平淡且带有偏见,强调了基于社区的价值对齐和数据所有权的重要性。
2024-06-03 cs.AI cs.CL
Triggering Hallucinations in LLMs: A Quantitative Study of Prompt-Induced Hallucination in Large Language Models
Kanazawa University(金泽大学);Institute for Frontier Science Initiative(前沿科学 initiative研究所);Graduate School of Medical Sciences(医学研究生院)
本研究提出了一个基于提示的框架,通过幻觉诱导提示(HIP)和幻觉量化提示(HQP)系统地触发并量化大型语言模型中的幻觉,为研究幻觉脆弱性提供了可复现的测试平台。
2025-05-01 cs.AI cs.CL
Can Hallucinations Help? Boosting LLMs for Drug Discovery
本文研究LLM幻觉在药物发现中的价值,发现将基于SMILES生成的幻觉性文本纳入分子性质预测可显著提升部分模型准确率,其中结构误描述类幻觉影响最大,为利用幻觉作为科学建模中的有用信号提供了新思路。
2025-08-22 cs.AI cs.CL
Hallucination Detection and Hallucination Mitigation: An Investigation
Samsung AI Center Montreal(三星蒙特利尔人工智能中心)
本文系统综述了大型语言模型幻觉检测与缓解的研究现状,旨在为相关工程师和研究人员提供参考。
2024-01-16 cs.AI cs.CL
Evaluating Creative Short Story Generation in Humans and Large Language Models
EPFL(苏黎世联邦理工学院);Idiap Research Institute(Idiap研究机构);University of Amsterdam(阿姆斯特丹大学);Università della Svizzera Italiana(瑞士意大利大学)
本文通过五句提示词故事任务,对60个LLM与60个人类进行多维度自动评估和人机评分,发现LLM语言风格复杂但新颖性、意外性和多样性不及人类,且非专家与LLM评分存在偏差。
2025-05-10 cs.AI cs.CL
Halo: Estimation and Reduction of Hallucinations in Open-Source Weak Large Language Models
University of Pittsburgh(匹兹堡大学);TikTok Inc.(字节跳动TikTok公司)
本文针对开源弱大型语言模型(如BLOOM 7B)的幻觉问题,提出HaloCheck框架量化幻觉严重程度,并通过知识注入和师生方法减少幻觉,实验证明其有效性。
2023-09-13 cs.AI cs.CL
The Two Sides of the Coin: Hallucination Generation and Detection with LLMs as Evaluators for LLMs
TH Köln – University of Applied Sciences(科隆应用技术大学)
本研究参与CLEF ELOQUENT HalluciGen共享任务,探究Llama 3等四种大语言模型在幻觉生成与检测中的能力,还采用集成多数投票结合四模型做检测,为相关模型的优缺点提供了宝贵见解。
2024-07-12 cs.AI cs.CL
Large Language Models show both individual and collective creativity comparable to humans
University of Cambridge(剑桥大学);Cambridge Judge Business School(剑桥大学嘉治商学院);Beijing Normal University(北京师范大学);Microsoft Research Asia(微软亚洲研究院)
本研究通过13项跨领域创造性任务测试发现,Claude、GPT-4等顶尖大语言模型个体创造力达人类第52百分位,多次提问的集体创造力可比肩8-10人,未来最优应用下或匹敌人类小群体。
2024-12-04 cs.AI
Look Within, Why LLMs Hallucinate: A Causal Perspective
National University of Defense Technology(国防科技大学)
本文从因果视角干预大语言模型的自注意力层,发现禁用前端或尾部特定层可缓解幻觉问题,为理解与缓解幻觉开辟新途径。
2024-07-14 cs.AI cs.CL
Divergent Creativity in Humans and Large Language Models
Université de Montréal(蒙特利尔大学);Concordia University(康考迪亚大学);Mila (Quebec AI research Institute)(米拉(魁北克人工智能研究所));University of Toronto Mississauga(多伦多大学密西沙加分校);UNIQUE Center (Quebec Neuro-AI research Center)(UNIQUE中心(魁北克神经人工智能研究中心))
本文通过对比10万人类与最先进LLMs的语义发散表现,发现LLMs虽能超越普通人但未达高创造力人类水平,并提出人机基准框架及提示设计、超参数调优等改进方法。
2025-07-01 cs.AI cs.CL
Unsupervised Real-Time Hallucination Detection based on the Internal States of Large Language Models
Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学);Renmin University of China(中国人民大学)
本文提出无监督框架MIND,利用LLM内部状态实现无需标注的实时幻觉检测,并构建基准HELM,实验证明其性能优于现有方法。
2024-06-10 cs.AI cs.CL
Hallucination is Inevitable for LLMs with the Open World Assumption
本文论证在开放世界假设下LLM的幻觉不可避免,将其重新定义为泛化问题,并分类可纠正与不可避免情况,主张将其视为需容忍的结构性特征。
2025-09-29 cs.AI cs.CL
Art or Artifice? Large Language Models and the False Promise of Creativity
Columbia University(哥伦比亚大学);Salesforce AI Research(Salesforce AI研究院)
针对大语言模型创造力难以客观评估的问题,受TTCT启发提出TTCW测验,经人工评估发现LLM生成故事的创造力远低于专业作品,且LLM作为评估者与专家结果无正相关。
2024-03-08 cs.AI cs.CL cs.HC
CreativEval: Evaluating Creativity of LLM-Based Hardware Code Generation
Texas A&M University(德克萨斯农工大学)
针对现有LLM硬件代码生成评估仅关注功能正确性、缺乏创造性量化方法的问题,提出CreativeEval框架,从四个子维度评估LLM硬件设计生成的创造性,实验发现GPT-3.5在该任务中创造性最强。
2024-04-12 cs.CL
The Impact of Negated Text on Hallucination with Large Language Models
Korea University(高丽大学)
本文研究否定文本对大型语言模型幻觉检测的影响,提出三个研究问题,构建NegHalu数据集,实验发现LLMs难以有效检测否定文本中的幻觉,并揭示内部状态处理挑战。
2025-10-23 cs.AI cs.CL
A Novel Approach to Eliminating Hallucinations in Large Language Model-Assisted Causal Discovery
Stony Brook University(石溪大学)
本文首次调查了大语言模型在因果发现中的幻觉问题,提出用RAG以及多模型辩论加仲裁器的新方法来减少幻觉,并验证了两种方法效果相当。
2024-11-16 cs.AI cs.CL
HARPO: Hallucination-Aware Reinforcement Learning for Faithful and Creative Language Generation
Huawei Technologies(华为技术有限公司)
针对大模型幻觉问题,提出HARPO强化学习框架,通过幻觉感知奖励模型与选择性激活机制,在提升忠实性的同时增强创造性,实验验证了其有效性。
2026-10-05 cs.CL
MedHalu: Hallucinations in Responses to Healthcare Queries by Large Language Models
MedHalu研究了LLM在医疗查询中生成幻觉的问题,提出MedHalu基准和MedHaluDetect框架,发现LLM在检测医学幻觉方面表现不佳,提出专家在环方法提升检测效果。
2025-11-22 cs.AI cs.CL
Fluid Transformers and Creative Analogies: Exploring Large Language Models' Capacity for Augmenting Cross-Domain Analogical Creativity
University of Maryland(马里兰大学);Temple University(天普大学)
本文通过三项研究系统评估LLM生成跨领域类比以辅助人类问题重构的效用与风险,发现其通常有帮助并能改变表述,但有害输出上限达25%。
2023-06-02 cs.AI cs.CL
Hallucinations in LLMs: A Lifecycle-Based Survey of Causes, Detection, Mitigation, and Prevention
Sharda University(沙尔达大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本调查基于LLM生命周期对幻觉进行分类,探讨其成因、检测、缓解与预防,分析基准数据适用性,为相关人员提供标准化框架以构建更可靠的LLM。
2026-08-28 cs.AI cs.CL
How Much Do LLMs Hallucinate across Languages? On Realistic Multilingual Estimation of LLM Hallucination
WüNLP, CAIDAS, University of Würzburg(乌尔姆大学);Data Science Group, University of Hamburg(汉堡大学)
研究评估了多语言LLM在长形式问答中的幻觉程度,发现高资源语言中幻觉率与语言规模无关,且支持更多语言的LLM幻觉率更高。
2026-02-02 cs.AI cs.CL
Quantifying and Attributing the Hallucination of Large Language Models via Association Analysis
Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
本文提出通过关联分析结合幻觉水平量化与原因调查,建立LLMs幻觉率与风险因素的关系,揭示模型在常识记忆、关系推理和指令遵循上的潜在缺陷,为预训练和监督微调提供缓解幻觉的指导。
2023-09-11 cs.AI cs.CL
Beyond Divergent Creativity: A Human-Based Evaluation of Creativity in Large Language Models
University of Amsterdam(阿姆斯特丹大学)
本文提出CDAT任务,基于人类创造力理论,评估LLMs在新颖性与适当性之间的平衡,发现较小模型更具创造力,而高级模型更注重适当性。
2026-01-28 cs.CL
Redefining "Hallucination" in LLMs: Towards a psychology-informed framework for mitigating misinformation
University of Tennessee(田纳西大学);Oak Ridge National Lab(橡树岭国家实验室)
本文质疑大语言模型“幻觉”术语的适用性,提出基于认知偏差的心理学分类法,以细粒度理解并借鉴人类内部解决机制,制定策略缓解虚假信息,提升模型可靠性。
2024-02-01 cs.AI cs.CL
FaithBench: A Diverse Hallucination Benchmark for Summarization by Modern LLMs
Vectara, Inc.(Vectara公司);Iowa State University(爱荷华州立大学);University of Southern California(南加利福尼亚大学);Entropy Technologies(熵技术公司);University of Waterloo(滑铁卢大学);University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
本文提出FaithBench基准,汇集10个现代LLM的挑战性摘要幻觉并由专家标注,发现GPT-4o和GPT-3.5-Turbo幻觉最少,但现有检测模型准确率仅约50%,揭示改进空间。
2024-10-17 cs.AI cs.CL
SINdex: Semantic INconsistency Index for Hallucination Detection in LLMs
Texas A&M University(德克萨斯农工大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Luddy School of Informatics(勒迪信息学院);Lebanese American University(黎巴嫩美国大学)
本文提出基于语义聚类的幻觉检测框架SINdex,利用句子嵌入和层次聚类提升LLMs幻觉检测准确性,在多个问答数据集上AUROC最高提升9.3%。
2025-03-07 cs.AI cs.CL
Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models
Fudan University(复旦大学);Microsoft(微软);Singapore Management University(新加坡管理大学);Tencent(腾讯);DAMO Academy(达摩院)
本文提出稳健判别器 RelD,并在双语问答数据集 RelQA 上训练,用于有效检测大语言模型生成答案中的幻觉,实验证明其在分布内和分布外数据上均表现良好。
2024-07-04 cs.AI cs.CL
Assessing the Creativity of Large Language Models: Testing, Limits, and New Frontiers
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文通过系统研究人类创造力测试对大语言模型创造力预测的有效性,发现不同构念测试效果差异显著,提出DRAT测试在预测科学构思能力上具有显著优势。
2026-05-13 cs.AI cs.CL cs.HC
AI as Humanity's Salieri: Quantifying Linguistic Creativity of Language Models via Systematic Attribution of Machine Text against Web Text
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本研究提出量化文本语言创造力的创造力指数及配套动态规划算法DJ SEARCH,发现人类创造力指数高于大语言模型,且该指数可有效用于零样本机器文本检测。
2025-01-12 cs.CL
"It Felt Like Having a Second Mind": Investigating Human-AI Co-creativity in Prewriting with Large Language Models
City University of Hong Kong(香港城市大学);University of Macau(澳门大学)
本文通过15人、三环节的故事与标语写作质性研究,揭示预写作中包含构思、启发、实施的人机协同创造过程及主动性变化,并提出设计启示。
2024-02-29 cs.AI cs.CL cs.HC
Investigating the Role of Prompting and External Tools in Hallucination Rates of Large Language Models
Stellenbosch University(斯泰伦博斯大学)
本文实证评估多种提示策略及工具调用智能体对大语言模型幻觉率的影响,发现最佳提示方法因问题而异,简单方法常更有效,而外部工具会显著增加幻觉。
2024-10-25 cs.AI cs.CL
DiaHalu: A Dialogue-level Hallucination Evaluation Benchmark for Large Language Models
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院)
针对现有幻觉基准多为诱导生成、仅关注事实性幻觉且缺乏对话级设置的问题,该研究提出首个对话级幻觉评估基准DiaHalu,覆盖多领域多幻觉子类型,实验验证其具有挑战性与研究价值。
2024-10-10 cs.AI cs.CL
Can LLMs Detect Intrinsic Hallucinations in Paraphrasing and Machine Translation?
RISE Research Institutes of Sweden, Department of Computer Science(瑞典RISE研究机构,计算机科学系);Uppsala University, Department of Linguistics and Philology(乌普萨拉大学,语言学与哲学系);KTH Royal Institute of Technology, Division of Software and Computer Systems(皇家理工学院,软件与计算机系统系);University of Edinburgh, School of Informatics(爱丁堡大学,信息学院)
基于HalluciGen任务评估开源LLM在翻译和复述中检测内在幻觉的能力,发现性能因模型而异但不受提示影响,且NLI模型表现相当,表明LLM并非唯一可行选择。
2025-04-29 cs.AI cs.CL
DSC2025 -- ViHallu Challenge: Detecting Hallucination in Vietnamese LLMs
Faculty of Information Science and Engineering, University of Information Technology(信息科学与工程学院,信息技术大学);University of Information Technology, Ho Chi Minh City, Vietnam(信息技术大学,胡志明市,越南);Vietnam National University, Ho Chi Minh City, Vietnam(越南国家大学,胡志明市,越南)
DSC2025 ViHallu挑战通过建立首个越南语LLM幻觉检测基准,探索多种检测方法,验证了结构化提示和集成策略在提升检测性能方面的有效性。
2026-01-08 cs.AI cs.CL
One SPACE to Rule Them All: Jointly Mitigating Factuality and Faithfulness Hallucinations in LLMs
Beijing University of Posts and Telecommunications(北京邮电大学);Shihezi University(石河子大学)
SPACE通过联合编辑共享激活子空间,有效缓解大语言模型中的事实性和忠实性幻觉问题。
2025-11-23 cs.AI cs.CL
Lie to Me: Knowledge Graphs for Robust Hallucination Self-Detection in LLMs
eCampus University(eCampus大学)
本研究提出利用知识图谱提升大语言模型幻觉自检的鲁棒性,通过转换响应为图谱并估算幻觉可能性,实现准确率和F1分数的显著提升。
2025-12-29 cs.AI cs.CL
Chain of Natural Language Inference for Reducing Large Language Model Ungrounded Hallucinations
Microsoft Responsible AI(微软负责任人工智能)
针对大语言模型易生成无依据幻觉的问题,提出基于自然语言推理链的即插即用分层框架,无需微调或领域提示工程,通过后编辑减幻,在多场景下实现检测与减幻的优异性能。
2023-10-09 cs.AI cs.CL
Black-Box Hallucination Detection via Consistency Under the Uncertain Expression
本文研究LLM幻觉检测问题,通过分析模型在不确定表达下的一致性与事实性的关系,提出一种无需内部状态和外部资源的黑盒检测指标,实验证明其预测事实性的效果优于使用内部知识的基线方法。
2025-09-26 cs.AI cs.CL
HALO: Hallucination Analysis and Learning Optimization to Empower LLMs with Retrieval-Augmented Context for Guided Clinical Decision Making
University of North Texas(北德克萨斯大学);University of Tennessee(田纳西大学);University of Tennessee Health Science Center(田纳西大学健康科学中心)
本文提出HALO框架,通过查询变体生成、外部知识检索和最大边际相关性排序来减少医学问答中的幻觉,显著提升了Llama-3.1和ChatGPT的准确性,改善临床决策。
2024-09-18 cs.AI cs.CL
Where Fake Citations Are Made: Tracing Field-Level Hallucination to Specific Neurons in LLMs
Rutgers University(罗格斯大学)
研究发现LLM生成虚假引用时,作者名错误率最高,领域特定的幻觉神经元通过内部模型信号可检测和缓解。
2026-04-20 cs.AI cs.CL
A Comparative Approach to Assessing Linguistic Creativity of Large Language Models and Humans
University of Bucharest(布加勒斯大学);Interdisciplinary School of Doctoral Studies(跨学科博士研究学校);University of Craiova(克里奥瓦大学)
本文通过包含构词和隐喻任务的通用测试,比较24名人类与24个LLMs的语言创造力,发现LLMs在原创性、精细度和灵活性上整体占优,但人类更倾向扩展型创造力,LLMs更倾向固定型创造力。
2025-07-17 cs.CL
Cooking Up Creativity: Enhancing LLM Creativity through Structured Recombination
The Hebrew University of Jerusalem(特拉维夫大学);Stanford University(斯坦福大学)
本文提出用 LLM 转换自然语言与结构化表示,并通过认知启发的结构重组提升创意生成,在烹饪任务中以 DishCOVER 显著优于 GPT-4o。
2025-09-27 cs.AI cs.CL cs.LG