Towards Concept-Aware Large Language Models
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文分析现有 LLM 对人类概念及其结构的捕捉不足,提出概念感知建模思路,并通过基于现有 LLM 输出的概念验证证明其更契合人类直觉且预测更鲁棒。
2023-11-03 cs.AI cs.CL
Beyond the Sentence: A Survey on Context-Aware Machine Translation with Large Language Models
Department of Computer Science and Engineering, Indian Institute of Technology Patna, India(印度理工学院帕纳瓦分校计算机科学与工程系);Wipro AI, Lab45, London, UK(Wipro AI,Lab45,伦敦,英国);School of AI and Data Science, Indian Institute of Technology Jodhpur, India(印度理工学院朱罗普分校人工智能与数据科学学院)
本文综述大型语言模型在上下文感知机器翻译中的应用,梳理提示、微调、译后编辑与翻译智能体等方法,并比较商业与开源模型表现,指出未来方向。
2025-06-09 cs.AI cs.CL
QuadAI at SemEval-2026 Task 3: Ensemble Learning of Hybrid RoBERTa and LLMs for Dimensional Aspect-Based Sentiment Analysis
LIACS, Leiden University, NL(莱顿大学LIACS研究中心);Manchester Metropolitan University(曼彻斯特 Metropolitan 大学);Leiden University Medical Center(莱顿大学医学中心)
QuadAI通过集成混合RoBERTa与LLMs的方法,在SemEval-2026任务3中实现了维度方面基于情感分析的高性能表现。
2026-03-08 cs.AI cs.CL
I Think, Therefore I am: Benchmarking Awareness of Large Language Models Using AwareBench
Lehigh University(利哈伊大学);University of Cambridge(剑桥大学);University of Notre Dame(圣母大学);Huazhong University of Science and Technology(华中科技大学)
本文提出AwareBench基准及AwareEval数据集,从能力、使命、情感、文化和视角五个维度评估LLMs的自我意识与社会智能,实验表明多数模型难以完全识别自身能力与使命,强调其对AI对齐与安全的重要性。
2024-02-16 cs.CL
BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs
Yonsei University(延世大学);LG AI Research(LG AI研究院)
BenchPreS评估持久内存LLM在不同通信场景中对用户偏好是否恰当应用,发现前沿模型在上下文敏感应用上存在不足,偏好遵循性强的模型易出现过度应用,推理能力和提示防御无法彻底解决此问题。
2026-10-16 cs.AI cs.CL
Let's Fuse Step by Step: A Generative Fusion Decoding Algorithm with LLMs for Robust and Instruction-Aware ASR and OCR
MediaTek Research(联发科研究)
本研究提出即插即用的生成式融合解码(GFD)框架,通过字节级似然计算适配不同模型词元空间,将LLM集成到ASR与OCR系统中,在中英基准上优于级联方法,还可迁移LLM上下文学习能力,实现感知指令的自适应ASR,WER最高降17.7%。
2025-06-11 cs.AI cs.CL
Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models
KTH Royal Institute of Technology(皇家理工学院);QCRI, HBKU(哈马德 bin 玉素菲大学量子计算与人工智能研究所)
研究探讨了上下文信息如何影响模型行为,并提出利用token级不确定性来指导内部表示聚合的可靠性估计方法,通过实验发现正确上下文能提升回答准确性,而误导性上下文常导致自信错误响应。
2026-03-17 cs.AI cs.CL
PositionID: LLMs can Control Lengths, Copy and Paste with Explicit Positional Awareness
Beihang University(北京航空航天大学);AIWaves;HKUST(香港科技大学)
针对大语言模型长度控制能力不足的问题,该研究提出PositionID系列提示与微调方法增强位置感知,还构建相关基准,实验证明其可在不降低响应质量的前提下提升长度控制和复制粘贴准确率。
2024-10-09 cs.AI cs.CL
Minimal and Mechanistic Conditions for Behavioral Self-Awareness in LLMs
University of California, San Diego(加州大学圣地亚哥分校);University of Virginia(弗吉尼亚大学);Durham University(杜ham大学)
本文通过LoRA微调实验发现LLM的行为自我意识可由单个秩-1适配器诱导,并能被激活空间中的单一引导向量捕获,且该能力具有领域局部性与线性特征。
2025-11-10 cs.AI cs.CL cs.LG
Quantile Regression with Large Language Models for Price Prediction
Amazon.com, Inc.(亚马逊公司);Stanford University(斯坦福大学)
本文提出带分位数头的LLM分位数回归方法以输出完整价格预测分布,并通过三个数据集系统验证微调Mistral-7B在点估计、分布校准及标签校正上的优势。
2025-06-07 cs.AI cs.CL
ATACompressor: Adaptive Task-Aware Compression for Efficient Long-Context Processing in LLMs
DCST, Tsinghua University(清华大学数据科学研究院)
ATACompressor通过自适应任务感知压缩提升LLMs长上下文处理效率,实现信息保留与压缩效率的平衡。
2026-02-03 cs.AI cs.CL
Can LLMs Refuse Questions They Do Not Know? Measuring Knowledge-Aware Refusal in Factual Tasks
Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系);Harbin Institute of Technology(哈尔滨工业大学);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机与数据科学学院);School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院)
本文提出Refusal Index(RI)作为衡量大语言模型知识感知拒绝能力的新指标,通过评估拒绝概率与错误概率的相关性,揭示模型在事实性任务中的可靠性问题。
2026-05-16 cs.AI cs.CL
Teaching According to Talents! Instruction Tuning LLMs with Competence-Aware Curriculum Learning
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);Cornell University(康奈尔大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Guangming Laboratory(光明实验室)
针对当前课程微调方法因依赖静态难度指标导致课程僵化的问题,提出能力感知多视角课程指令微调框架CAMPUS,通过动态选择子课程、能力感知调整进度及多种难度调度,显著提升了LLM指令微调性能。
2025-11-03 cs.AI cs.CL
Understanding Emergent In-Context Learning from a Kernel Regression Perspective
Siebel School of Computing and Data Science(计算与数据科学学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出核回归视角解释Transformer语言模型的上下文学习机制,证明贝叶斯推断可渐近为核回归,并揭示注意力与隐藏特征匹配核回归行为,为ICL现象提供理论依据。
2025-09-12 cs.AI cs.CL cs.LG
Unlocking Latent Discourse Translation in LLMs Through Quality-Aware Decoding
University of Amsterdam(阿姆斯特丹大学);Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);Instituto de Telecomunicações(电信研究所)
本研究针对大语言模型在篇章翻译中的不足,提出质量感知解码方法以提取模型内嵌的篇章知识,实验证明该方法优于其他解码方式,并能提升翻译的语义丰富度和人类偏好一致性。
2025-10-08 cs.CL
Beyond Hidden-Layer Manipulation: Semantically-Aware Logit Interventions for Debiasing LLMs
Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学)
本研究针对大语言模型的偏差问题,提出静态和动态两种零样本语义感知Logit层去偏方法,其中动态方法降偏幅度最高达70%且流畅度损失小,效果优于隐藏层去偏方案。
2025-10-25 cs.AI cs.LG
Hallucination-Free GUI Grounding via Regression-Free Layout-Aware Matching
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院)
该研究提出无回归框架,通过解耦指令理解与布局感知定位,在ScreenSpot-Pro和Mind2Web数据集上显著提升GUI定位的准确率、成功率及元素选择率,抑制了坐标幻觉。
2026-11-16 cs.AI
TRACT: Regression-Aware Fine-tuning Meets Chain-of-Thought Reasoning for LLM-as-a-Judge
NTU GICE(国立台湾大学人工智能研究中心);Google Research(谷歌研究)
针对 LLM 评分忽视数值性质与 CoT 推理的问题,本文提出两阶段 TRACT,用生成的 CoT 监督回归感知微调,并结合 CE 与回归损失,在四个数据集和两个 LLM 上显著提升评判性能。
2025-06-06 cs.CL
Training LLMs to Verbalize Evaluation Awareness
University of Cambridge(剑桥大学);ELLIS Institute Tübingen(ELLIS研究所图宾根);MPI-IS(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心);Mila(Mila魁北克人工智能研究所);University of Montreal(蒙特利尔大学)
针对大语言模型评估意识难以测量的问题,提出言语化训练方法,通过截断滚动并强化言语化,使模型在多个模型上言语化EA提升2.4-2.9倍,且不影响潜在EA和行为。
2026-09-30 cs.AI cs.CL cs.LG
RLIE: Rule Generation with Logistic Regression, Iterative Refinement, and Evaluation for Large Language Models
研究提出RLIE框架,将大语言模型与概率建模结合学习加权规则集,经规则生成、逻辑回归、迭代细化和评估四阶段,评估多种推理策略,明确大语言模型在归纳推理中的潜力与局限,实现更可靠的神经符号推理。
2026-07-07 cs.AI
CrAM: Credibility-Aware Attention Modification in LLMs for Combating Misinformation in RAG
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Meta AI
针对RAG中外部文档错误信息误导LLM生成的问题,提出即插即用的CrAM方法,通过识别并调整注意力头权重来降低低可信度文档影响,在多个模型和数据集上性能提升超20%。
2024-12-17 cs.CL
Evaluating Cultural Awareness of LLMs for Yoruba, Malayalam, and English
Vizuara AI Labs(Vizuara人工智能实验室)
本文利用Hofstede六个文化维度评估大语言模型对马拉雅拉姆语和约鲁巴语的文化理解能力,发现其在英语上表现良好但在区域语言中无法捕捉文化细微差别,并强调需要文化丰富的大规模区域语言训练数据。
2024-09-14 cs.AI cs.CL cs.CY
LLMs Are Zero-Shot Context-Aware Simultaneous Translators
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Nara Women’s University(奈良女子大学)
本文证明开源LLMs在零样本同声机器翻译任务中表现媲美最先进基线,注入背景信息可提升技术主题翻译性能,凸显其无需训练即可构建多语言上下文感知系统的潜力。
2024-06-25 cs.CL
ReCatcher: Towards LLMs Regression Testing for Code Generation
Huawei Distributed Scheduling and Data Engine Lab(华为分布式调度与数据引擎实验室);Huawei Distributed Scheduling(华为分布式调度);Data Engine Lab Montreal Canada(数据引擎实验室蒙特利尔加拿大);Data Engine Lab(数据引擎实验室)
本文提出 ReCatcher 框架,从逻辑正确性、静态代码质量和执行性能三维度评估 Python 代码生成 LLM 更新中的回归,并通过多模型实验验证其检测效果。
2025-07-25 cs.AI cs.SE
Learning to Trust Your Feelings: Leveraging Self-awareness in LLMs for Hallucination Mitigation
X2Robot;International Digital Economy Academy(国际数字经济发展研究院)
本研究发现LLMs具备内部知识状态自我意识但生成时易出现事实幻觉,提出融合知识探测与一致性检查的标注工具Dreamcatcher及知识反馈强化学习框架RLKF,有效提升模型事实性与诚实度及相关任务表现。
2024-01-27 cs.CL
DeMPT: Decoding-enhanced Multi-phase Prompt Tuning for Making LLMs Be Better Context-aware Translators
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Huawei Translation Services Center(华为翻译服务中心)
本文提出DeMPT方法,通过将上下文感知NMT过程划分为三个独立阶段并引入不同连续提示,使LLMs区分建模和利用句间与句内上下文,并在解码阶段启发式增强源端信息利用,显著优于拼接方法并提升语篇建模性能。
2024-09-23 cs.CL
LLMs as Post-hoc Auditors of Physiological Plausibility in Symbolic Regression: A Clinician-Evaluated Case Study
Universidad Complutense de Madrid(马德里康普顿斯大学);Bioinspired Intelligence Ltd.(仿生智能有限公司);Universidad Autónoma de Baja California(下加利福尼亚自治大学);Equ Healthcare(Equ Healthcare 公司);Hospital Universitario de Toledo(托莱多大学医院);Ciudad Real General University Hospital(雷阿尔城综合大学医院);Castilla-La Mancha Health Research Institute (IDISCAM)(卡斯蒂利亚-拉曼恰健康研究所);Hospital Universitario Central de Asturias(阿斯图里亚斯中央大学医院);University of Oviedo(奥维耶多大学);Inst. Investigación Sanitaria Principado de Asturias (ISPA)(阿斯图里亚斯公国卫生研究所);Inst. Universitario Oncología Principado de Asturias (IUOPA)(阿斯图里亚斯公国大学肿瘤研究所)
本研究探索利用大型语言模型作为事后审计工具,对符号回归生成的表达式进行可解释性和医学合理性排序,经临床医生评估发现其在专家监督下比较审计有效,但不宜自主验证。
2026-11-09 cs.AI
In-Context Symbolic Regression: Leveraging Large Language Models for Function Discovery
Aalto University(阿尔托大学)
本文提出首个利用大型语言模型进行符号回归的综合框架ICSR,通过LLM迭代细化函数形式并用外部优化器确定系数,在四个基准上匹配或超越最佳基线性能,且方程更简单、分布外泛化更好。
2024-07-17 cs.CL cs.LG
GRKV: Global Regression for Training-Free KV Cache Compression in Long-Context LLMs
Sun Yat-sen University(中山大学);ShanghaiTech University(上海科技大学);Guangdong Province Key Laboratory of Information Security Technology(广东省信息安全技术重点实验室)
提出GRKV方法,通过岭回归合并步骤最小化压缩缓存与完整缓存注意力输出的差异,解决基于跨度保留的合并模式不平衡导致的过度合并和信息损失问题。
2026-10-26 cs.CL
Evaluation of LLMs on Syntax-Aware Code Fill-in-the-Middle Tasks
University of California at Berkeley(加州大学伯克利分校);AI at Meta(Meta人工智能部门)
本研究提出语法感知代码中间填充基准SAFIM,含多语言17720个低污染示例与配套评估框架,经15个LLM评估发现FIM预训练可同时提升FIM与L2R能力,预训练方法和数据质量比模型规模更重要。
2024-06-23 cs.AI cs.CL cs.LG
(Why) Is My Prompt Getting Worse? Rethinking Regression Testing for Evolving LLM APIs
The Hong Kong University of Science and Technology(香港科技大学);Carnegie Mellon University(卡内基梅隆大学)
针对LLM API静默更新导致的性能回归问题,通过毒性检测案例研究,提出需重新审视回归测试,并指出因正确性概念、提示词脆弱性和非确定性需根本改变传统测试方法。
2024-02-06 cs.CL cs.SE
MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs
本文提出基于Wikidata的多语言自动评估框架MAKIEval,通过四个指标评估LLMs在13种语言、19个国家和地区及6个文化主题上的文化意识,发现模型在英语中表现更强。
2025-09-22 cs.CL
LatentLLM: Attention-Aware Joint Tensor Compression
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
针对LLM/LMM资源消耗大的问题,提出注意力感知的联合张量分解框架,将模型转为降维潜在结构,在降低维度时显著提升压缩模型的准确性,并在多模态推理等基准上验证了优势。
2025-05-23 cs.AI cs.CL cs.CV
Me, Myself, and AI: The Situational Awareness Dataset (SAD) for LLMs
Constellation(康斯特莱申公司);MIT(麻省理工学院);Apollo Research(阿波罗研究院)
该研究提出包含 7 类任务、逾 1.3 万个问题的 SAD 基准,通过问答与指令遵循测试量化 LLM 的自我认知与情境觉知,并评估 16 个模型。
2024-07-05 cs.AI cs.CL cs.LG
From Poisoned to Aware: Fostering Backdoor Self-Awareness in LLMs
Purdue University(普渡大学);Columbia University(哥伦比亚大学)
针对LLMs的后门攻击,提出一种基于逆向工程强化学习的训练后框架,培养模型自我意识以识别植入触发器,实验显示能显著提升模型对后门风险的鲁棒性。
2025-10-05 cs.AI cs.CR
Position-Aware Parameter Efficient Fine-Tuning Approach for Reducing Positional Bias in LLMs
Amazon(亚马逊);Emory University(埃默里大学)
本文针对大语言模型处理长上下文时的位置偏差问题,提出位置感知的参数高效微调方法PAPEFT,通过数据增强和参数高效适配器促进均匀注意力分布,实验证明其能有效减少位置偏差并提升外部知识检索任务性能。
2024-04-01 cs.AI cs.CL cs.LG
BANER: Boundary-Aware LLMs for Few-Shot Named Entity Recognition
University of Electronic Science and Technology of China(电子科技大学);Harbin Institute of Technology(哈尔滨工业大学);Nanyang Technological University(南洋理工大学)
针对少样本NER中错误跨度检测与实体原型未对齐问题,提出BANER,通过边界感知对比学习和LoRAHub跨域对齐提升LLM性能,并在多个基准和架构上验证有效。
2024-12-03 cs.AI cs.CL cs.LG
When Reasoning Hurts: Source-Aware Evaluation of Frontier LLMs for Clinical SOAP Note Generation
University of California, Davis(加州大学戴维斯分校)
通过源感知基准测试,评估推理增强型LLM在临床SOAP笔记生成中的表现,发现推理能力反而降低GPT-5.4的质量,而相同源RAG带来模型依赖的小幅提升。
2026-07-16 cs.AI cs.CL cs.LG
Culturally-Aware Conversations: A Framework & Benchmark for LLMs
University of Pennsylvania(宾夕法尼亚大学)
针对现有基准与LLM跨文化交互实际挑战错位的问题,提出基于社会文化理论的文化感知对话评估框架与基准,并引入对话框架等新评估要求,实验表明顶级LLM在对话场景中仍难以实现文化适应。
2025-10-13 cs.CL
Continuous Approximations for Improving Quantization Aware Training of LLMs
Beijing Academy(北京科学院);Wuhan Britain-China School(武汉英中学校);Luwan Senior Highschool(卢湾高级中学);Ryan International School(瑞安国际学校);Chongqing Bashu Secondary School(重庆巴蜀中学)
本文提出两种连续近似方法改进大型语言模型的量化感知训练,通过优化舍入和截断函数提升参数学习准确性,在相同精度和模型规模下显著降低了困惑度并提升了多项基准任务性能,助力更节能的LLM技术发展。
2024-10-06 cs.AI cs.CL cs.LG
From Empirical Evaluation to Context-Aware Enhancement: Repairing Regression Errors with LLMs
The University of Melbourne(墨尔本大学);Singapore University of Technology and Design(新加坡科技与设计大学)
通过构建回归错误基准RegressionBug4APR,评估传统APR和基于LLM的APR方法,发现上下文感知增强(引入错误诱导变更信息)使LLM-based APR修复成功率提升1.6倍。
2026-10-14 cs.AI cs.SE
Can LLMs Predict Their Own Failures? Self-Awareness via Internal Circuits
University of Alberta(阿尔伯塔大学)
Gnosis通过分析LLM内部状态实现自我验证,有效提升生成过程的准确性和校准性,无需外部监督。
2026-01-04 cs.CL
Taken out of context: On measuring situational awareness in LLMs
Vanderbilt University(范德堡大学);New York University(纽约大学);Apollo Research(阿波罗研究院);University of Sussex(萨塞克斯大学);OpenAI(开放人工智能研究中心);University of Oxford(牛津大学)
本研究提出“脱离上下文推理”作为衡量大语言模型情境感知的能力,通过微调实验发现模型能成功完成该任务,且性能随规模提升,为预测情境感知的出现奠定基础。
2023-09-01 cs.CL cs.LG
Mixture of In-Context Experts Enhance LLMs' Long Context Awareness
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);XiaoMi AI Lab(小米AI实验室);Career Science Lab, BOSS Zhipin(BOSS直聘职业科学实验室);NLP Center, BOSS Zhipin(BOSS直聘自然语言处理中心)
本文提出 MoICE 方法,将 RoPE 角度视为上下文内专家,通过仅训练路由器动态选择多个角度,在保持推理效率的同时增强大语言模型的长上下文感知能力。
2024-10-17 cs.CL
Adaptive Detoxification: Safeguarding General Capabilities of LLMs through Toxicity-Aware Knowledge Editing
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Nanyang Technological University(南洋理工大学);Peng Cheng Laboratory(鹏城实验室)
本文提出ToxEdit,一种毒性感知的知识编辑方法,通过动态检测毒性激活模式并经由自适应层间路径路由计算来有效减轻毒性,在精准去毒的同时保护LLM的通用能力,并增强SafeEdit基准以评估过度编辑。
2025-05-28 cs.CL
Logistic Regression makes small LLMs strong and explainable "tens-of-shot" classifiers
Advanced Analytics, Bank of England(英格兰银行高级分析部)
本研究针对简单分类任务,提出基于小型LLM嵌入向量的带惩罚Logistic Regression方法,在“数十样本”场景下性能媲美甚至优于大型LLM,兼具隐私、成本等优势且可提供稳定解释。
2024-10-04 cs.CL cs.LG stat.ML
LLM-Meta-SR: In-Context Learning for Evolving Selection Operators in Symbolic Regression
Centre for Data Science and Artificial Intelligence & School of Engineering and Computer Science, Victoria University of Wellington(惠灵顿维多利亚大学数据科学与人工智能中心及工程与计算机科学学院);Department of Computer Science and Engineering, Michigan State University(密歇根州立大学计算机科学与工程系)
本文提出一种元学习框架,使LLM自动设计进化符号回归算法的选择算子,解决现有方法中语义指导不足和代码膨胀问题,实验表明LLM设计的选择算子优于九个专家设计基线,达到最先进的性能。
2026-03-31 cs.AI cs.LG cs.NE
Anosognosia in LLMs: Probing Self-Awareness of Quantized Computational Substrate
The University of Tokyo(东京大学)
本研究受病感失认启发,探究LLM能否识别自身量化引起的计算底层退化,发现内部表示含方法特定指纹,共享LoRA可读取但泛化有限,提示内部表示是实现自我意识的关键途径。
2026-10-06 cs.AI cs.CL cs.CY
Enhancing Persona Consistency for LLMs' Role-Playing using Persona-Aware Contrastive Learning
Southeast University(东南大学);Shanghai Jiao Tong University(上海交通大学)
提出人物感知对比学习(PCL)框架,通过角色链和迭代对比学习增强LLM角色扮演中的人物一致性,实验显示在自动和人工评估中均优于基线。
2025-03-25 cs.CL
Survey of Cultural Awareness in Language Models: Text and Beyond
University of Copenhagen(哥本哈根大学);KAIST(韩国科学技术院)
该综述以人类学、心理学的文化定义为基础,界定大语言模型的文化意识,梳理文本及多模态大模型文化融入的数据集构建、下游任务策略、基准测试方法,讨论相关伦理与跨领域作用并提出未来研究方向。
2024-10-30 cs.CL cs.CV
A Context-Aware Cultural Heritage Guide Powered by LLMs
Università degli Studi di Torino(都灵大学)
本研究扩展了文化遗产网页应用Triangolazioni,构建与LLMs无关的松耦合架构,实现LLMs驱动的上下文感知文化遗产信息搜索与展示,丰富了文化遗产内容。
2026-08-04 cs.AI cs.HC cs.IR
RAID: Refusal-Aware and Integrated Decoding for Jailbreaking LLMs
University of Wollongong(沃林根大学)
RAID通过嵌入空间正则化和拒绝意识正则化器,有效提升对抗解码攻击的成功率,同时降低计算成本。
2025-12-19 cs.CL
SafeConstellations: Mitigating Over-Refusals in LLMs Through Task-Aware Representation Steering
Macquarie University(麦考瑞大学);IOE, Pulchowk Campus(IOE普楚克校区)
本文提出SafeConstellations方法,通过任务感知的表示引导在推理时调整表示轨迹,减少大语言模型在处理良性指令时的过度拒绝现象,同时保持模型实用性。
2026-04-20 cs.CL
Identifying Influential N-grams in Confidence Calibration via Regression Analysis
Nara Institute of Science and Technology (NAIST)(奈良先端科学技术大学院大学);The University of Tokyo(东京大学)
本文通过回归分析识别与置信度相关的语言表达,发现LLM在推理时仍保持高置信度,并通过抑制这些表达可实现置信度校准。
2026-04-07 cs.CL