Funny or Persuasive, but Not Both: Evaluating Fine-Grained Multi-Concept Control in LLMs
University of Cambridge(剑桥大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Apta(Apta公司);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
研究评估了LLM中多概念控制的细粒度可控性,发现双概念设置下性能下降,揭示了模型在组合性上的局限性。
2026-01-26 cs.AI cs.CL
Cross-model Transferability among Large Language Models on the Platonic Representations of Concepts
Sichuan University, China(四川大学);Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China(教育部机器学习与工业智能工程研究中心)
本研究探索不同大语言模型概念表征的关联,提出线性变换方法实现表征对齐,证实其可跨概念泛化且存在小模型到大大模型的弱到强迁移性,为跨模型行为控制提供了新路径。
2025-05-20 cs.AI cs.CL
ConceptViz: A Visual Analytics Approach for Exploring Concepts in Large Language Models
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD与CG国家重点实验室)
ConceptViz提出一种视觉分析系统,通过识别-解释-验证流水线,将SAE特征与人类概念对齐,简化LLM概念表示的发现与验证,提升可解释性。
2025-09-20 cs.AI cs.CL
Conceptual In-Context Learning and Chain of Concepts: Solving Complex Conceptual Problems Using Large Language Models
Siemens AG(西门子公司);Technical University of Munich(慕尼黑工业大学)
针对大型语言模型在解决科学与工程等复杂概念问题时缺乏特定概念信息(CI)的局限,提出两种浅层定制算法C-ICL和CoC,有效增强了模型能力,显著提升了响应正确性并降低了幻觉。
2024-12-19 cs.AI cs.CL
Directional Attractors in LLM Reasoning: How Similarity Retrieval Steers Iterative Summarization Based Reasoning
McGill University(麦吉尔大学)
本文提出InftyThink与跨链记忆,通过语义引理检索提升LLM在结构化领域推理准确性,同时揭示异构领域中的失败模式及方向性偏见影响。
2025-12-22 cs.AI cs.CL cs.LG
Evaluate Bias without Manual Test Sets: A Concept Representation Perspective for LLMs
MBZUAI;Huazhong University of Science and Technology(华中科技大学)
针对现有大语言模型偏见评估依赖人工标注测试集、覆盖概念有限的问题,提出基于概念表征的无测试集框架BiasLens,结合CAVs与SAEs量化偏见,与传统指标一致性高且能发现隐藏偏见。
2025-05-21 cs.AI cs.CL
ConceptMath: A Bilingual Concept-wise Benchmark for Measuring Mathematical Reasoning of Large Language Models
Alibaba Group(阿里巴巴集团);The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出双语概念粒度基准 ConceptMath,揭示大语言模型在不同数学概念上的性能差异,并提出高效微调策略以增强薄弱环节。
2024-02-23 cs.AI cs.CL
Beyond Single Concept Vector: Modeling Concept Subspace in LLMs with Gaussian Distribution
New Jersey Institute of Technology(新泽西理工学院);Wake Forest University(威克森林大学);Cisco Research(思科研究)
针对大语言模型中单一概念向量不稳定、鲁棒性差的问题,提出用高斯概念子空间(GCS)建模概念分布,并在多模型及情感引导等任务中验证其能兼顾控制效果与生成流畅性。
2025-05-05 cs.AI cs.CL cs.LG
LIBERTy: A Causal Framework for Benchmarking Concept-Based Explanations of LLMs with Structural Counterfactuals
Technion – Israel Institute of Technology(以色列理工学院)
LIBERTy提出了一种基于因果框架的基准测试框架,通过结构反事实评估LLM基于概念的解释,改进了可解释性方法的可信度。
2026-01-18 cs.AI cs.CL
One Example Shown, Many Concepts Known! Counterexample-Driven Conceptual Reasoning in Mathematical LLMs
Tsinghua University(清华大学);Sun-Yat Sen University(孙中山大学);School of Mathematical Science, Fudan University(复旦大学数学学院);Bytedance Inc.(字节跳动公司);INFLY TECH (Shanghai) Co., Ltd.(INFLY TECH(上海)有限公司);ARC Lab, Arizona State University(ARC实验室,亚利桑那州立大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Peng Cheng Laboratory(鹏城实验室);Guangdong Provincial Key Laboratory of Fire Science(广东省消防科学与智能应急技术重点实验室)
本文提出反例驱动的数学推理基准 CounterMATH 及配套数据工程框架,用于评估和增强大语言模型通过反例证明数学命题的概念推理能力,实验表明现有模型在该任务上能力不足,加强此类训练有助于提升整体数学能力。
2025-08-22 cs.AI cs.CL cs.LG
PythonSaga: Redefining the Benchmark to Evaluate Code Generating LLMs
IIT Gandhinagar(印度理工学院甘地讷格尔分校)
针对现有Python代码生成基准存在概念覆盖偏差和简单任务过多的问题,本文提出包含185个提示、均衡覆盖38个编程概念的新基准PythonSaga,并通过现有代码LLMs的较差表现验证了其稳健性。
2024-07-04 cs.AI cs.CL
Do LLMs Dream of Ontologies?
University of Verona(维罗纳大学);University of Mannheim(曼海姆大学)
本文评估了通用预训练LLMs对公开本体中概念ID-标签关联的记忆能力,发现仅小部分概念被准确记忆且与网络出现频率强相关,并引入预测不变性指标以响应稳定性估计记忆鲁棒性。
2025-02-02 cs.AI cs.CL
The Grounding Gap: How LLMs Anchor the Meaning of Abstract Concepts Differently from Humans
Department of Informatics(信息学院);Athens University of Economics and Business(雅典经济与商业大学);Archimedes, Athena Research Center(阿基米德·雅典研究中心);Instituto de Telecomunicações(电信研究所);Department of Computer Science(计算机科学系);Columbia University(哥伦比亚大学)
研究比较了LLMs与人类对抽象概念的锚定方式,发现LLMs过度依赖词关联,缺乏情感和内部状态属性,导致基础差距显著。
2026-05-09 cs.AI cs.CL
Model Tuning or Prompt Tuning? A Study of Large Language Models for Clinical Concept and Relation Extraction
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心);NVIDIA(英伟达)
本研究对比大语言模型的4种训练策略在临床概念与关系抽取任务的表现,验证了软提示的优势及冻结大模型在跨机构迁移、小样本场景的应用潜力。
2023-10-10 cs.AI cs.CL
Minimization of Boolean Complexity in In-Context Concept Learning
University of Washington(华盛顿大学);Yale University(耶鲁大学)
本文通过精心设计的概念学习任务测试LLMs,发现其上下文学习表现与概念布尔复杂度高度相关,揭示模型具有类似人类的简单性偏好。
2024-12-03 cs.AI cs.CL
Automating Legal Interpretation with LLMs: Retrieval, Generation, and Evaluation
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究所);Peking University Law School(北京大学法学院)
本文提出ATRIE框架,利用大语言模型自动检索、解释和评估法律概念,无需法律专家参与,实验表明其解释质量与专家相当且全面性和可读性更优。
2025-05-31 cs.AI cs.CL
Systematic Evaluation of Long-Context LLMs on Financial Concepts
JPMorgan Chase & Co.(摩根大通公司)
本研究评估了GPT-4系列长上下文LLMs在金融新闻任务中的表现,发现其在长上下文下性能急剧下降并出现指令遵循失败,呼吁采用更严格的整体指标进行评估。
2024-12-19 cs.AI cs.CL
A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive
CISPA Helmholtz Center for Information Security(CISPA霍普夫中心信息安全研究所);TCS Research, Pune(TCS研究 Pune);Microsoft(微软)
本文提出LLM响应采样理论,揭示其启发式方法兼具描述性与规范性成分,并证明样本向理想值偏移会导致现实决策偏倚,引发伦理问题。
2025-07-09 cs.AI cs.CL
Revisiting Compositional Generalization Capability of Large Language Models Considering Instruction Following Ability
Nara Institute of Science and Technology(奈良科学技術大學)
本研究提出Ordered CommonGen基准,通过有序覆盖率同时评估LLMs的组合泛化与指令遵循能力,发现LLMs存在顺序偏见且最强者覆盖率仅约75%,需改进。
2025-06-18 cs.AI cs.CL
ConceptPsy:A Benchmark Suite with Conceptual Comprehensiveness in Psychology
Zhejiang University(浙江大学);School of Engineering, Westlake University(西湖大学工程学院)
本文构建涵盖12个核心学科、1383个概念的心理学中文基准ConceptPsy,通过GPT-4生成、专家审核及章节标注,细粒度评估多种LLM的心理学知识与推理能力。
2024-06-16 cs.AI cs.CL
How Humans and LLMs Organize Conceptual Knowledge: Exploring Subordinate Categories in Italian
Università di Bologna(博洛尼亚大学)
本研究首次通过分析下级类别样例,构建意大利语数据集并评估文本与视觉LLMs在样例生成等任务上与人类类别组织的一致性,发现两者一致性较低且因语义领域而异。
2025-05-27 cs.AI cs.CL
Improving Latent Reasoning in LLMs via Soft Concept Mixing
School of Computer Science and Technology, Soochow University(计算机科学与技术学院,苏州大学)
通过引入Soft Concept Mixing方法,改进大语言模型的潜在推理能力,提升推理性能并保持训练稳定性。
2025-11-21 cs.CL
Computational conceptual history of scientific concepts: From early digital methods to LLMs
本文回顾了从早期数字方法到大语言模型的计算概念史方法,分析LLM如何继承旧问题并带来新机遇,重点讨论语料构建、模型选择、操作化及评估解释等挑战。
2026-06-02 cs.CL
Automate Knowledge Concept Tagging on Math Questions with LLMs
Squirrel AI(松鼠AI);Michigan State University(密歇根州立大学)
本文探索使用大型语言模型(LLMs)自动化数学题目的知识概念标注,以替代传统依赖专家的手动方法并应对教育场景中大规模数据集难以收集的挑战,通过广泛实验证明 LLMs 是该任务的有前途的工具,并总结出关键成功因素。
2024-03-26 cs.CL
Concept-Oriented Deep Learning with Large Language Models
IBM(国际商业机器公司)
本文探讨了大语言模型在概念导向深度学习中的应用,涵盖概念提取、概念图提取和概念学习,并对比了纯文本与多模态LLMs在表示人类概念与感知知识方面的能力差异。
2023-09-19 cs.CL cs.LG
CPopQA: Ranking Cultural Concept Popularity by LLMs
Indiana University(印第安纳大学)
本研究提出CPopQA任务,通过小样本问答考察大语言模型对长尾文化概念(如节日)在美国和英国流行度的统计排序能力,实验显示GPT-3.5表现最优且能识别地理文化邻近性。
2023-11-14 cs.CL
Concept Generalization in Humans and Large Language Models: Insights from the Number Game
Department of Biomedical Engineering, Sungkyunkwan University, South Korea(生物医学工程系,全州大学,韩国)
研究通过数字游戏对比人类与大语言模型在概念泛化上的差异,揭示人类灵活的推理策略与LLM依赖数学规则的本质区别。
2025-12-23 cs.AI
Incomplete Prompt Jailbreaks in Large Language Models
KAIST(韩国科学技术院);INEEJI(因尼吉)
研究大语言模型中不完整提示越狱现象,通过实证表征其何时及如何引发有害延续,分析相关吸引子类型,指出参数调整训练模型拒绝不完整有害提示不足,识别终止和延续神经元,强调神经元级干预对防御的潜力。
2026-07-24 cs.AI
Do You Get the Hint? Benchmarking LLMs on the Board Game Concept
CLiPS, University of Antwerp(CLiPS,安特卫普大学)
本文通过棋盘游戏Concept测试LLMs的演绎推理能力,发现人类易解而LLMs表现不佳,尤其在低资源语言中更差。
2026-01-06 cs.CL
Concept Space Alignment in Multilingual LLMs
University of Copenhagen(哥本哈根大学)
本文评估多语言 LLM 的概念空间对齐,发现大模型具有高质量跨语言线性对齐,但提示嵌入虽对齐更好却会削弱线性性。
2024-10-01 cs.CL
Extracting Conceptual Spaces from LLMs Using Prototype Embeddings
Cardiff NLP, School of Computer Science and Informatics(卡迪夫自然语言处理,计算机科学与信息学学院)
本文提出通过原型描述嵌入编码特征并微调大语言模型以对齐概念空间维度,从而有效提取概念空间,为可解释人工智能提供基础。
2025-09-23 cs.CL
Geo-Spatial Concept Probing of Large Language Models: Abstraction, Compositionality, and Grounding
University of Toulouse(图卢兹大学);IRIT(信息科学与技术研究院(IRIT))
该研究针对LLMs的抽象性、组合性与接地性设计测试,构建空间概念基准并开展多模型实验,揭示当前LLMs的概念理解局限,为相关模型的优化提供洞见。
2026-08-10 cs.AI cs.CL cs.IR
Beyond Tokens: Concept-Level Training Objectives for LLMs
Stanford University(斯坦福大学)
本文提出概念层面训练目标,通过整合概念监督提升大语言模型的语义理解和泛化能力。
2026-01-21 cs.CL
Concept Bottleneck Large Language Models
提出概念瓶颈大型语言模型框架,将内在可解释性集成到LLMs中,在文本分类和生成任务上实现可解释推理、精确概念检测与安全控制,增强模型安全性与可信度。
2025-09-07 cs.CL cs.LG
Leveraging Large Language Models for Concept Graph Recovery and Question Answering in NLP Education
University of Tokyo(东京大学);Smartor Inc.(思玛特公司);Yale University(耶鲁大学);INRIA(法国国家信息与自动化研究所);Duke-NUS Medical School(杜克-新加坡国立大学医学院)
本文研究大型语言模型在NLP教育中的概念图恢复与问答能力,提出经专家验证的TutorQA基准和结合概念图的CGLLM流水线,在零样本概念图恢复和问答任务上均取得显著F1提升。
2024-02-22 cs.CL
Can LLMs Learn New Concepts Incrementally without Forgetting?
School of Computer Science and Engineering(计算机科学与工程学院);South China University of Technology(华南理工大学)
本文构建含1,023个新概念的Concept-1K基准,评估LLM增量学习能力,发现其仍存在灾难性遗忘,并分析LoRA、规模等因素影响。
2024-06-18 cs.CL cs.LG
Addressing LLM Diversity by Infusing Random Concepts
Pennsylvania State University(宾夕法尼亚州立大学);Amazon(亚马逊)
本研究通过在提示中注入随机概念提高LLM输出多样性,并提出系统评估协议以更系统地研究LLM多样性。
2026-01-26 cs.AI cs.CL cs.LG
Is a Peeled Apple Still Red? Evaluating LLMs' Ability for Conceptual Combination with Property Type
Seoul National University(首尔国立大学);Korea University(韩国大学)
本研究提出CCPT数据集(含12.3K三元组),建立三类任务评估大语言模型的概念组合能力,发现模型难以生成具有新出现属性的短语,并提出了受认知心理学启发的方法以提升生成性能。
2025-05-22 cs.CL
Codebook LLMs: Evaluating LLMs as Measurement Tools for Political Science Concepts
Michigan State University(密歇根州立大学);Williams College(威廉姆斯学院)
本文评估LLM作为政治科学概念测量工具的有效性,提出五阶段框架,通过代码本和预训练LLM验证其测量准确性,并展示通过监督指令微调提升性能的成果。
2025-01-09 cs.CL
Are Today's LLMs Ready to Explain Well-Being Concepts?
本研究构建大规模幸福感概念解释数据集,提出原则引导的双评判LLM评估框架,并通过SFT和DPO微调开源模型,显著提升解释质量,验证偏好学习的有效性。
2025-08-06 cs.AI cs.CL cs.HC
How Well Do LLMs Identify Cultural Unity in Diversity?
Tongji University(同济大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校)
本文构建包含10国285个文化概念、1,425个样例的 CUNIT 基准,通过对比匹配任务评估 LLM 识别跨文化概念共性的能力,发现其表现仍明显弱于人类且受地域邻近性影响较弱。
2024-08-09 cs.CL
Universal Refusal Circuits Across LLMs: Cross-Model Transfer via Trajectory Replay and Concept-Basis Reconstruction
Independent Researcher(独立研究者)
本文提出通过轨迹回放与概念基础重建的方法,实现跨大模型的拒绝行为迁移,验证了语义层面的通用性与安全性对齐的普遍性。
2026-01-25 cs.CL
Unsupervised Concept Vector Extraction for Bias Control in LLMs
Department of Computer Science University of Virginia(计算机科学系 首都维吉尼亚大学)
本文提出一种无监督概念向量提取方法,通过概率加权和投影控制来测量并操控大语言模型中的性别偏见,并验证其可泛化至种族偏见。
2025-09-18 cs.CL cs.CY
Ranking Entities along Conceptual Space Dimensions with LLMs: An Analysis of Fine-Tuning Strategies
Cardiff University(卡迪夫大学)
本文研究使用LLMs在概念空间维度上对实体排序,因真实排序稀缺,采用易获取特征微调,发现其排序能力可部分迁移至感知和主观特征,且训练数据包含少量此类特征对最佳结果至关重要。
2024-06-05 cs.CL cs.LG
What are They Thinking? Delineation, Probing, and Tracking of Concepts in LLMs
The Edward S. Rogers Sr. Department of Electrical and Computer Engineering(埃德华·S·罗杰斯 Sr. 部门电子与计算机工程系)
本文提出通过线性探针低成本地检测LLM嵌入中的概念,并展示了概念界定、探针训练与跨上下文追踪的方法,为大规模模型监控奠定基础。
2026-07-07 cs.CL
Psychological Concept Neurons: Can Neural Control Bias Probing and Shift Generation in LLMs?
Araya Inc.(Araya公司)
研究通过分析大五人格特质的内部表示,探讨其在大语言模型中的定位与行为输出的关系,发现通过干预特定神经元可影响模型的潜在表示和标签生成,但效果受限于概念依赖性和跨特质溢出。
2026-04-13 cs.CL
Fair In-Context Learning via Latent Concept Variables
University of Arkansas(亚拉巴马大学);Baylor University(贝勒大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对LLMs在表格数据上下文学习中的固有偏见问题,提出利用潜在概念变量的最优演示选择方法,通过数据增强降低预测与敏感变量的相关性,经内部LLM学习概念并泛化至外部LLMs,提升了表格数据集上的公平性结果。
2025-11-14 cs.AI cs.CL cs.LG
NEAT: Concept driven Neuron Attribution in LLMs
IIIT Hyderabad(IIIT海得拉巴)
本文提出NEAT方法,利用概念向量定位LLM中负责特定概念的概念神经元,将前向传播次数从O(n*m)降至O(n),并通过聚类优化搜索,在仇恨言论与偏见分析中验证了其有效性和可干预性。
2025-08-21 cs.AI cs.CL cs.LG
Acmite: Mitigating Gender Bias in LLMs through Concept-Guided Mutual Information
Kyoto University(京都大学);Zhejiang University(浙江大学);Shanghai Jiao Tong University(上海交通大学);Inner Mongolia University(内蒙古大学)
提出Acmite框架,通过概念引导和互信息最小化,实现对大语言模型性别偏见的选择性去偏,在保持通用能力的同时有效降低偏见。
2026-10-02 cs.CL
Editing Conceptual Knowledge for Large Language Models
Zhejiang University(浙江大学);ZJU-Ant Group Joint Research Center for Knowledge Graphs(浙江大学-蚂蚁集团知识图谱联合研究中心);National University of Singapore(新加坡国立大学);Ant Group(蚂蚁集团)
针对大语言模型知识编辑仅聚焦实例级、概念编辑能力不明的问题,该研究构建ConceptEdit基准数据集与新评估指标,发现现有方法虽可修改概念定义但会扭曲相关实例知识,为理解LLM提供新方向。
2024-10-06 cs.AI cs.CL cs.DB
SCAR: Sparse Conditioned Autoencoders for Concept Detection and Steering in LLMs
TU Darmstadt(达姆施塔特工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Aleph Alpha
本文提出稀疏条件自编码器 SCAR,作为单一扩展模块在生成前检测并双向引导 LLM 的毒性、安全性和写作风格等概念,在保持基准生成质量的同时实现安全可控部署。
2024-12-05 cs.CL
Disentangling Interaction and Bias Effects in Opinion Dynamics of Large Language Models
Max-Planck-Institute for Dynamics and Self-Organization(马克斯·普朗克动态与自组织研究所);Institute for the Dynamics of Complex Systems(复杂系统动力学研究所);University of Göttingen(哥廷根大学);Campus Institute for Dynamics of Biological Networks(校园生物网络动力学研究所)
提出贝叶斯框架分离主题偏差、同意偏差和锚定偏差,分析LLM在多步对话中的意见轨迹,发现意见快速收敛至共享吸引子,且微调可改变吸引子位置。
2026-05-22 cs.AI nlin.AO physics.soc-ph
Impacts of Continued Legal Pre-Training and IFT on LLMs' Latent Representations of Human-Defined Legal Concepts
Carnegie Mellon University(卡内基梅隆大学)
本文通过比较Mistral 7B及其法律预训练和指令微调版本,研究法律训练对LLM利用人类定义法律概念的影响,发现影响分布不均且表征与人类概念结构不一致。
2024-10-15 cs.CL
Evaluating LLMs for Targeted Concept Simplification for Domain-Specific Texts
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Google DeepMind(谷歌DeepMind)
该研究提出“目标概念简化”任务及WikiDomains数据集,评估多种LLMs在特定领域文本中的概念简化表现,发现无单一模型全面占优,且自动指标与人类评估相关性低。
2024-11-06 cs.CL