Intention-Adaptive LLM Fine-Tuning for Text Revision Generation
Department of Computer Science, Learning Research & Development Center University of Pittsburgh(计算机科学系、学习研究与开发中心宾夕法尼亚大学)
本文提出Intention-Tuning框架,通过意图自适应的逐层微调提升文本修订生成效果。
2026-02-27 cs.CL
Intent Detection in the Age of LLMs
Amazon(亚马逊);IIT Jammu(贾姆穆印度理工学院)
本文面向任务导向对话中的意图与OOS检测,结合SetFit、LLM提示、不确定性路由和内部表示,提出低延迟高准确率的混合方案。
2024-10-02 cs.CL
A New Dialogue Response Generation Agent for Large Language Models by Asking Questions to Detect User's Intentions
School of Computer Science and Engineering(计算机科学与工程学院);Nanjing University of Science and Technology(南京理工大学)
针对大语言模型在对话中易忽略用户隐含意图、领域知识不全且更新不及时的问题,提出EDIT框架,通过生成开放式问题检测隐含意图,结合大语言模型和领域知识库获取额外知识以增强响应生成,还构建了COQ数据集,在两个对话任务上表现更优。
2023-10-05 cs.CL
Mitigating Jailbreaks with Intent-Aware LLMs
Nanyang Technological University(南洋理工大学);Institute of High Performance Computing(高性能计算研究所);Agency for Science, Technology and Research(科技研究局)
本文提出Intent-FT微调方法,通过训练大语言模型在回答前推断指令潜在意图来缓解越狱攻击,实验表明其能将所有攻击类别成功率降至50%以下,同时保持模型通用能力并减少对良性指令的过度拒绝。
2025-08-23 cs.CL cs.CR
Is the Pope Catholic? Yes, the Pope is Catholic. Generative Evaluation of Non-Literal Intent Resolution in LLMs
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Allen Institute for AI(艾伦人工智能研究所)
该研究提出生成式评估方法考察大语言模型的非字面意图理解能力,发现模型平均准确率仅50-55%,显式给真值意图或思维链提升有限,凸显意图建模与语用生成方法的改进需求。
2024-06-19 cs.AI cs.CL
Recognizing Limits: Investigating Infeasibility in Large Language Models
University of California Irvine(加州大学尔滨分校)
针对大型语言模型(LLMs)因无法处理超出能力的查询而生成错误或编造响应的问题,本文提出四大不可行任务类别,构建并基准测试新数据集,探索微调提升拒绝能力的潜力,为改进LLMs实际应用性能提供方向。
2025-08-25 cs.CL
Investigating the (De)Composition Capabilities of Large Language Models in Natural-to-Formal Language Conversion
School of Computer Science, Peking University(北京大学计算机学院)
该研究提出DEDC框架以解耦评估大语言模型在自然语言到形式语言转换中的分解与组合能力,发现当前模型在两方面均有不足,错误源于自然语言理解与符号系统运用缺陷,相关分析可为模型改进提供参考。
2025-02-21 cs.CL
Evaluating Large language models on Understanding Korean indirect Speech acts
Artificial Intelligence Institute of Seoul National University(首尔国立大学人工智能研究院);Brain Humanities Lab, Seoul National University(首尔国立大学脑人文实验室)
本文通过MCQ和OEQ评估LLM结合语境理解韩语间接言语行为的能力,发现Claude3-Opus表现最佳但仍不及人类,并揭示专有模型整体优于开源模型。
2025-02-16 cs.CL
EcomEdit: An Automated E-commerce Knowledge Editing Framework for Enhanced Product and Purchase Intention Understanding
Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程学系)
本文首次将知识编辑引入电子商务领域,提出自动化框架ECOMEDIT,利用强LLM评判和概念化方法提升模型对产品描述与购买意图的理解及下游任务表现。
2024-10-18 cs.CL
Prompt Packer: Deceiving LLMs through Compositional Instruction with Hidden Attacks
Sichuan University(四川大学)
本文提出组合指令攻击(CIA),通过将有害指令伪装成无害任务来欺骗LLMs,在多个模型上实现高攻击成功率,揭示了LLMs的安全漏洞。
2023-10-16 cs.CL
Intent Matters: Enhancing AI Tutoring with Fine-Grained Pedagogical Intent Annotation
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文针对LLM辅导回复与教学策略不一致的问题,基于MathDial构建11类细粒度教学意图标注并微调模型,证明其优于原有四分类方案。
2025-06-09 cs.CL
Investigating Neurons and Heads in Transformer-based LLMs for Typographical Errors
NAIST(奈良先端科学技术大学院大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Fujitsu Ltd.(富士通公司)
本文提出识别LLM中处理拼写错误的神经元和注意力头的方法,发现它们利用局部与全局上下文修正错误,并同时参与一般上下文理解。
2025-02-27 cs.CL
A framework for annotating and modelling intentions behind metaphor use
University of Amsterdam(阿姆斯特丹大学);ILLC(阿姆斯特丹大学逻辑、语言与计算研究所)
本文提出包含9类隐喻意图的新分类体系,发布首个隐喻意图标注数据集,并验证大语言模型在零样本与少样本下推断隐喻意图仍面临挑战。
2024-07-04 cs.CL
LIMP: Large Language Model Enhanced Intent-aware Mobility Prediction
Tsinghua University(清华大学);Emory University(埃默里大学)
针对人类移动性预测中隐含意图建模的挑战,提出LIMP框架,通过A2I智能体工作流与高效微调将LLM常识推理能力迁移至小模型,并结合Transformer实现意图感知预测,在真实数据集上显著提升了下一位置预测准确性与可解释性。
2024-08-23 cs.CL
Investigating LLMs as Voting Assistants via Contextual Augmentation: A Case Study on the European Parliament Elections 2024
University of Copenhagen(哥本哈根大学)
本文以2024年欧洲议会选举为案例,审计MISTRAL和MIXTRAL模型作为投票建议应用的准确性,并探索RAG与自我反思两种上下文增强方法,发现MIXTRAL平均准确率达82%且专家策展信息可带来约9%的提升。
2024-10-04 cs.CL
The Paradox of Poetic Intent in Back-Translation: Evaluating the Quality of Large Language Models in Chinese Translation
Computer Science Department University of Brasilia(布拉兹利亚大学计算机科学系);Math Department Federal Institute of Brasilia(布拉兹利亚联邦学院数学系)
本研究构建多样化语料库,利用BT-Fried评估系统对比大语言模型与传统翻译工具在中英翻译中的表现,揭示了“诗意意图悖论”并提出改进的BLEU变体,推进了对AI翻译文化保真度的理解。
2025-04-28 cs.CL
Intent Mismatch Causes LLMs to Get Lost in Multi-Turn Conversation
College of Computing, City University of Hong Kong(香港城市大学计算机学院);Centre for Artificial Intelligence and Robotics, HKISI, CAS(中国科学院香港中文大学人工智能与机器人中心);School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
本文提出调解员-助手架构,通过解耦意图理解和任务执行,解决大语言模型在多轮对话中因意图不匹配导致的性能下降问题。
2026-02-07 cs.AI cs.CL
The Order Effect: Investigating Prompt Sensitivity to Input Order in LLMs
本文研究闭源或API访问的LLMs对输入顺序的敏感性,通过改写、相关性判断和选择题实验发现打乱输入会显著降低准确率,少样本提示仅能部分缓解,呼吁开发更稳健的模型或输入处理技术。
2025-05-09 cs.CL
Measuring Intent Comprehension in LLMs
Knowlesdge Lab, University of Chicago, Chicago, Illinois, USA(知识实验室,芝加哥大学,芝加哥,伊利诺伊州,美国);Knowledge Lab, Data Science Institute, Department of Sociology, University of Chicago, Chicago, Illinois, USA(知识实验室,数据科学学院,社会学系,芝加哥大学,芝加哥,伊利诺伊州,美国)
提出一个形式化框架,通过方差分解评估LLMs对用户意图的理解能力,发现更大模型通常将更多输出方差归因于意图差异,表明意图理解更强。
2026-06-23 cs.AI cs.CL cs.LG
Looking Right is Sometimes Right: Investigating the Capabilities of Decoder-only LLMs for Sequence Labeling
University of Zagreb(萨格勒布大学);Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算机学院);TakeLab
本文针对仅解码器大语言模型在序列标注任务上因因果掩码导致性能受限的问题,提出在微调时逐层移除因果掩码的方法,使其在信息抽取任务上匹配或超越最先进模型。
2024-06-06 cs.CL
Concealment of Intent: A Game-Theoretic Analysis
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出意图隐藏对抗性提示攻击,通过技能组合隐藏恶意意图,并用博弈论框架分析攻防均衡,揭示攻击者结构性优势,同时提出针对性防御机制并在多个真实LLM上验证了攻击的优越性。
2025-08-18 cs.CL
Are LLMs Empathetic to All? Investigating the Influence of Multi-Demographic Personas on a Model's Empathy
Northeastern University(东北大学);University of California, San Diego(加州大学圣地亚哥分校)
本研究提出交叉分析框架,考察四个LLM在315个人口统计角色上的认知与情感同理心,发现属性组合可改变同理心模式,并强调设计考虑多样性的同理心感知模型以促进公平。
2025-10-27 cs.CL
From Disfluency Detection to Intent Detection and Slot Filling
VinAI Research(VinAI研究院);The University of Melbourne(墨尔本大学)
我们提出了第一个实证研究调查的影响,不流利的意图检测和槽填充下游任务的检测。我们对越南语进行了这项研究-这是一种低资源语言,以前没有研究,也没有公共数据集可用于不流利检测。首先,我们通过手动添加上下文不流畅并对其进行注释来扩展流畅的越南语意图检测和插槽填充数据集PhoATIS。然后,我们进行实验,使用强基线的不流利检测和联合意图检测和插槽填充,这是基于预训练的语言模型。我们发现:(i)不流利性对下游意图检测和槽填充任务的性能产生负面影响,以及(ii)在不流利性上下文中,预训练的多语言语言模型XLM-R有助于产生比预训练的单语言语言模型PhoBERT更好的意图检测和槽填充性能,并且这与通常在流利性上下文中发现的相反。
2022-09-17 cs.CL
Can LLMs Predict Citation Intent? An Experimental Analysis of In-context Learning and Fine-tuning on Open LLMs
IMSI, ATHENA RC(IMSI,ATHENA RC);University of the Peloponnese(皮埃蒙特大学)
本文针对引用意图预测任务,在多个开源大语言模型上开展上下文学习与微调实验,验证了通用大模型仅需少量数据即可适配该任务,微调后性能显著优于基线,相关框架与模型已开源。
2025-07-25 cs.CL cs.DL
Pitfalls of Scale: Investigating the Inverse Task of Redefinition in Large Language Models
School of Electrical and Computer Engineering, AILS Laboratory(电气与计算机工程学院,AILS实验室);National Technical University of Athens(雅典国家技术大学)
本文通过重定义物理常数与单位的逆任务,揭示大语言模型随规模扩大出现性能下降和虚假自信上升,且提示策略无法消除其对记忆数值的锚定。
2025-06-02 cs.CL
Investigating and Addressing Hallucinations of LLMs in Tasks Involving Negation
Arizona State University(亚利桑那州立大学)
本文研究否定对大语言模型幻觉的影响,在四个涉及否定的任务上发现LLaMA-2-chat、Vicuna和Orca-2等开源模型存在严重幻觉,并提出多种缓解策略并验证其效果。
2024-06-08 cs.CL
Llama meets EU: Investigating the European Political Spectrum through the Lens of LLMs
University of Copenhagen(哥本哈根大学)
本文审查了 Llama Chat 在欧盟政治背景下的政治知识与推理能力,通过在欧洲议会演讲上微调构建特定政党模型,发现其能显著重新对齐至相应政治立场,为政治科学研究提供了对话引擎支持。
2024-03-22 cs.CL
The Magic of IF: Investigating Causal Reasoning Abilities in Large Language Models of Code
Peking University(北京大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
本文探究代码大语言模型是否因代码中“if”等条件语句对因果关系的显式表达而具备更强的因果推理能力,实验证明使用代码提示的Code-LLMs显著优于纯文本LLMs,且编程结构对提示设计至关重要。
2023-05-30 cs.CL
Intuitive or Dependent? Investigating LLMs' Behavior Style to Conflicting Prompts
Singapore Management University(新加坡管理大学);Harbin Institute of Technology(哈尔滨工业大学);University of South China(南华大学)
本研究借鉴认知理论,通过构建基准框架探究LLMs面对冲突提示时的依赖型、直觉型及理性/非理性行为风格,并发现角色扮演干预可改变风格,为优化模型与提示提供依据。
2024-02-20 cs.CL
Unknown Unknowns: Do Hidden Intentions in LLMs Evade Detection?
CISPA Helmholtz Center for Information Security(CISPA赫尔姆霍茨信息安全中心)
研究揭示大语言模型中隐藏意图难以检测的问题,提出分类法并分析检测方法失效原因,强调需建立稳健框架以应对潜在风险。
2026-09-01 cs.CL cs.LG
Traffic Light or Light Traffic? Investigating Phrasal Semantics in Large Language Models
Salesforce Research(Salesforce研究院);University of Pittsburgh(匹兹堡大学)
本研究通过三个人工标注数据集考察大语言模型理解短语语义的能力,发现其优于传统嵌入方法但与微调方法相比无显著优势,并分析了提示策略效果及错误原因。
2024-10-03 cs.CL
CoXQL: A Dataset for Parsing Explanation Requests in Conversational XAI Systems
Technische Universität Berlin(柏林工业大学);Saarland Informatics Campus(萨尔兰信息学园区);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
针对对话式可解释AI中意图识别训练数据缺乏且领域特定的问题,提出NLP领域首个涵盖31个意图的CoXQL数据集,并通过引入模板验证增强解析方法(MP+),实验证明其优于以往方法且发现多槽位意图仍具挑战性。
2024-09-20 cs.CL
Beyond Facts: Evaluating Intent Hallucination in Large Language Models
Emory University(埃默里大学);UIUC(伊利诺伊大学)
本文提出意图幻觉概念与包含20,068题的FAITHQA基准,覆盖仅查询和RAG场景,揭示LLM因遗漏或误解条件而产生意图幻觉,并推出更贴近人工判断的CONSTRAINT SCORE自动评估指标。
2025-06-06 cs.AI cs.CL
Gemma Needs Help: Investigating and Mitigating Emotional Instability in LLMs
Imperial College London(伦敦帝国理工学院);Anthropic
研究发现Gemma模型在训练后表现出显著情绪不稳定,通过偏好优化可有效缓解,但需进一步改进训练以提升情绪鲁棒性。
2026-02-17 cs.CL
SWI: Speaking with Intent in Large Language Models
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(人工智能矢量研究所)
本文提出“意图表达”(SWI)方法,通过显式生成意图来引导大型语言模型的推理与生成,实验证明其在摘要、问答和数学推理任务上优于直接生成,并提升可解释性。
2025-09-11 cs.AI cs.CL cs.LG
To Lie or Not to Lie? Investigating The Biased Spread of Global Lies by LLMs
Fatima Fellowship(法蒂玛奖学金);Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院)
研究LLMs在多语言多地区传播虚假信息的行为,揭示低资源语言和低HDI国家中谎言传播的系统性差异,提出GlobalLies数据集以支持减少全球虚假信息传播的策略。
2026-04-08 cs.CL
Just a Scratch: Enhancing LLM Capabilities for Self-harm Detection through Intent Differentiation and Emoji Interpretation
Fondazione Bruno Kessler(布鲁诺·克瑟勒基金会);Indian Institute of Technology Patna(印度理工学院帕纳布分校);Indian Institute of Technology Jodhpur(印度理工学院朱罗普尔分校)
本文提出通过意图区分与表情符号敏感性增强大语言模型的自伤检测能力,构建CESM-100表情符号集和SHINES数据集,并以多任务微调框架提升检测与解释性能。
2025-06-05 cs.CL
The Rise and Down of Babel Tower: Investigating the Evolution Process of Multilingual Code Large Language Model
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);ByteDance Inc(字节跳动公司)
本文以代码LLMs为平台探究多语言能力演化,提出Babel Tower Hypothesis揭示语言知识系统从共享到分化的发展过程,并据此构建优化预训练语料库,显著提升了模型多语言性能。
2025-03-03 cs.CL
Exploring the Vulnerability of the Content Moderation Guardrail in Large Language Models via Intent Manipulation
Boise State University(博伊州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Pittsburgh(匹兹堡大学);New York University(纽约大学);Florida International University(佛罗里达国际大学)
本研究调查大型语言模型(LLMs)中感知意图的内容审核护栏的脆弱性,提出两阶段提示优化框架IntentPrompt,通过意图操纵实现高越狱成功率,实验表明其优于前沿方法并能规避先进防御,凸显安全机制关键弱点。
2025-08-25 cs.AI cs.CL
Multi-Intent Recognition in Dialogue Understanding: A Comparison Between Smaller Open-Source LLMs
Technische Universität Berlin(柏林技术大学)
本文使用MultiWOZ 2.1数据集,在少样本设置下比较了LLama2-7B-hf、Mistral-7B-v0.1和Yi-6B等小型开源LLMs在多标签意图分类任务上的性能,发现Mistral表现最佳但不及BERT基线监督模型,为任务型聊天机器人的自然语言理解提供了框架。
2025-09-12 cs.CL cs.HC
Large Language Models for Intent-Driven Session Recommendations
Center for Frontier AI Research, A*STAR(新加坡科技研究局前沿人工智能研究中心);Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究所);Macquarie University(麦考瑞大学);Shanda Group AI Lab(盛大多媒体集团人工智能实验室);Yan Shan University(燕山大学);Nanyang Technological University(南洋理工大学)
本文提出一种基于大型语言模型的意图感知会话推荐新方法,通过生成提示、迭代优化及跨域选择机制,在语义层面识别多样用户意图,提升了推荐的准确性和可解释性。
2023-12-07 cs.CL cs.LG
Evaluating LLMs on Conversational Text-to-SQL under Chain Ambiguity and Intent Drift
The Hong Kong Polytechnic University(香港理工大学);City University of Macau(澳门城市大学);Jilin University(吉林大学);Beihang University(北京航空航天大学);Jinan University(暨南大学)
研究针对对话式文本转SQL中用户意图演变未被现有基准覆盖的问题,推出TIDE-Bench基准并评估12个LLMs,发现链识别瓶颈等问题,代码已发布。
2026-09-01 cs.AI cs.CL cs.DB
A Large-Scale Dataset and Citation Intent Classification in Turkish with LLMs
针对土耳其语引用意图分类挑战,本文构建了首个公开数据集,并提出基于DSPy框架的自动化提示优化流水线与XGBoost堆叠集成方法,实现了91.3%的最先进准确率。
2025-09-26 cs.AI cs.CL
When Do LLMs Replace Fine-Tuned NLU? A Decision Framework for Intent Detection in Production Conversational Systems
Celabe;University of Waterloo(滑铁卢大学)
该研究验证LLM能否取代微调NLU模型用于意图检测,对比多方法后得出结论并提炼出生产型对话系统意图检测的决策框架。
2026-08-24 cs.AI cs.CL
Hate Personified: Investigating the role of LLMs in content moderation
LMU(慕尼黑大学);IIT Delhi(德里印度理工学院);TUM(慕尼黑工业大学);IIIT Delhi(德里印度信息技术学院)
本文通过地理引导、人格属性和数值锚点三类提示上下文,系统分析大语言模型在跨语言仇恨检测中的群体代表性与标注差异,为文化敏感场景下的内容审核提供初步指导。
2024-10-03 cs.CL cs.CY
Do LLMs Exhibit Human-Like Reasoning? Evaluating Theory of Mind in LLMs for Open-Ended Responses
University of Washington(华盛顿大学);University of Washington - Bothell(华盛顿大学博塞尔校区)
本文通过Reddit ChangeMyView平台上的开放式问题评估大语言模型的心智理论推理能力,发现其与人类存在明显差距,并提出融入人类意图和情绪的提示调优方法以提升表现,但仍未达到类人推理水平。
2024-06-09 cs.AI cs.CL
Intent-Aware Self-Correction for Mitigating Social Biases in Large Language Models
Institute of Science Tokyo(东京科学大学);MBZUAI(Mohamed bin Zayed 人工智能大学);AIST(独立行政法人产业技术综合研究所);NII(独立行政法人情报通信研究机构)
本文提出意图感知的自校正方法,通过在指令、响应和反馈三部分澄清去偏意图,并结合思维链与多方面反馈,显著提升大语言模型减少社会偏见的稳健性与一致性。
2025-03-08 cs.AI cs.CL
PromptTailor: Multi-turn Intent-Aligned Prompt Synthesis for Lightweight LLMs
Whitman College(惠特曼学院)
PromptTailor通过意图对齐的提示合成提升轻量级大语言模型的输出质量,以更少的模型调用次数实现更高的用户偏好率。
2025-11-20 cs.AI cs.CL
Segment-Level Coherence for Robust Harmful Intent Probing in LLMs
University College London(伦敦大学学院);Virginia Tech(弗吉尼亚理工大学);Anthropic
本文提出分段级一致性方法,通过多证据token增强检测鲁棒性,在固定误报率下提升真阳性率35.55%,并在对抗性微调下仍能有效检测有害意图。
2026-04-16 cs.CL cs.CR
How DDAIR you? Disambiguated Data Augmentation for Intent Recognition
Université Paris-Saclay, CEA, List, Palaiseau, France(巴黎萨克雷大学、法国原子能委员会、List、Palaiseau、法国)
DDAIR通过解歧数据增强技术提升意图识别任务中低资源场景下的分类性能。
2026-01-16 cs.CL cs.LG
A Study into Investigating Temporal Robustness of LLMs
L3S Research Center(L3S研究中心);TU Delft(代尔夫特理工大学);University of Innsbruck(因斯布鲁克大学)
针对大语言模型时间理解能力不足的问题,设计8项时间敏感性鲁棒测试检验6款主流LLMs的零样本时间鲁棒性,发现其对时间改写和粒度变化敏感,并基于研究结果将时间问答性能最高提升55%。
2025-03-21 cs.CL cs.IR
Somatic in the East, Psychological in the West?: Investigating Clinically-Grounded Cross-Cultural Depression Symptom Expression in LLMs
Indiana University Bloomington(印第安纳大学布卢明顿分校);Sungkyunkwan University(成均馆大学)
本研究测试大语言模型(LLMs)是否复现西方抑郁患者报告心理症状、东方患者报告躯体症状的文化模式,发现英语提示下模型未能复现,但东方语言提示改善部分对齐,原因在于模型对文化人物敏感性低及症状层级压倒文化线索。
2026-06-26 cs.CL cs.CY
Large Linguistic Models: Investigating LLMs' metalinguistic abilities
Project CETI(CETI项目);Rutgers University(罗格斯大学)
本文首次证实LLMs能生成有效的元语言分析,通过提示测试其行为可解释性,发现OpenAI o1在句法树和语音泛化任务上远超其他模型,其优势可能源于思维链机制。
2025-05-19 cs.AI cs.CL
Investigating Context-Faithfulness in Large Language Models: The Roles of Memory Strength and Evidence Style
Department of Computer Science(计算机科学系);Iowa State University(爱荷华州立大学)
本研究探究了大型语言模型的上下文忠实性,发现记忆强度和证据呈现风格显著影响模型对外部证据的接受度,为改进检索增强生成提供了关键见解。
2025-07-10 cs.AI cs.CL