arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

共收录 7583 信号源:cs.CL, cs.AI, cs.LG

1. 知识编辑与模型理解 7583 篇

2605.24782 2026-06-04 cs.LG 57%

The Perception-Physics Paradox: Probing Scientific Alignment with TC-Bench

感知-物理悖论:用TC-Bench探究科学对齐

Dingling Yao, Andrea Polesello, Adeel Pervez, Caroline Muller, Francesco Locatello

机构 * ETH Zurich(苏黎世联邦理工学院) DeepMind University of Cambridge(剑桥大学) University of Amsterdam(阿姆斯特丹大学) University of Toronto(多伦多大学)

专题命中 知识编辑与模型理解 :foundation model(abstract);分类 cs.LG

AI总结 本文提出科学对齐概念,通过结构同构性构建层次化必要条件,并发布TC-Bench基准数据集,揭示视觉基础模型在极端条件下依赖视觉捷径而非科学推理。

Comments Accepted at ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.03338 2026-06-03 cs.LG cs.CV 57%

IdEst: Assessing Self-Supervised Learning Representations via Intrinsic Dimension

IdEst: 通过内在维度评估自监督学习表示

Julie Mordacq, Vicky Kalogeiton, Steve Oudot

机构 * University of California, Berkeley(加州大学伯克利分校)

专题命中 知识编辑与模型理解 :pretraining(abstract);分类 cs.LG

AI总结 提出IdEst方法,利用最小生成树维度估计器评估自监督学习表示的内在维度,发现其与下游线性探测性能强相关,并能高效选择超参数。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.02640 2026-06-02 cs.AI 57%

Trustworthy AI Suffers from Invariance Conflicts and Causality is The Solution

可信人工智能面临不变性冲突,因果性是解决方案

Ruta Binkyte, Ivaxi Sheth, Zhijing Jin, Mohammad Havaei, Bernhard Schölkopf, Mario Fritz

机构 * Max Planck Institute for Informatics(马克斯·普朗克信息研究所)

专题命中 知识编辑与模型理解 :foundation model(abstract);分类 cs.AI

AI总结 本文通过将可信AI目标重新解释为数据生成过程变化下的不相容不变性要求,论证因果性是理解和平衡性能与多个可信目标之间权衡的必要框架。

Journal ref Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.01890 2026-06-02 cs.LG 57%

Segment-driven Structural Induction and Semantic Alignment for Heterogeneous Tabular Representation

面向异构表格表示的片段驱动结构归纳与语义对齐

Woojun Jung, Susik Yoon

机构 * Department of Computer Science \& Engineering, Korea University, Seoul, South Korea

专题命中 知识编辑与模型理解 :pretraining(abstract);分类 cs.LG

AI总结 提出NAVI框架,通过掩码片段建模和熵驱动片段对齐,利用片段级结构归纳与语义对齐实现异构表格的表示学习。

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.01711 2026-06-02 cs.RO cs.LG 57%

Contrastive Representation Regularization for Vision-Language-Action Models

视觉-语言-动作模型的对比表示正则化

Taeyoung Kim, Jimin Lee, Myungkyu Koo, Dongyoung Kim, Kyungmin Lee, Changyeon Kim, Younggyo Seo, Jinwoo Shin

机构 * KAIST(韩国科学技术院)

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.LG

AI总结 提出机器人状态感知对比损失(RS-CL),通过对比学习对齐VLM表示与机器人本体感受状态,提升VLA模型在机器人操作任务中的性能。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2510.18439 2026-06-02 cs.CL 57%

Grounding or Guessing? Visual Signals for Detecting Hallucinations in Sign Language Translation

基于视觉线索检测手语翻译中的幻觉:是依据视觉信息还是猜测?

Yasser Hamidullah, Koel Dutta Chowdhury, Yusser Al Ghussin, Shakib Yazdani, Cennet Oguz, Josef van Genabith, Cristina España-Bonet

机构 * German Research Center for Artificial Intelligence (DFKI GmbH)(德国人工智能研究中心(DFKI GmbH)) Saarland Informatics Campus(萨尔兰州信息学校园) Barcelona Supercomputing Center (BSC-CNS)(巴塞罗那超级计算中心(BSC-CNS))

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.CL

AI总结 针对手语翻译中模型依赖语言先验而非视觉输入导致幻觉的问题,提出一种基于特征敏感性和反事实信号的令牌级可靠性度量,用于量化视觉信息利用程度,并在两个基准上验证其预测幻觉率、跨数据集泛化及与文本信号结合提升风险评估的效果。

Comments Published at ICLR2026 Code available at \url{https://github.com/yhamidullah/hallucination-slt}

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31547 2026-06-01 cs.LG math.DS stat.ML 57%

The Dynamic-Probabilistic Consistency Gap in Chaotic Surrogate Modeling

混沌替代建模中的动态-概率一致性差距

Andre Herz, Matthijs Pals, Daniel Durstewitz, Georgia Koppe

机构 * Interdisciplinary Center for Scientific Computing, Heidelberg University, Germany(海德堡大学交叉科学计算中心) Faculty of Mathematics and Computer Science, Heidelberg University, Germany(海德堡大学数学与计算机科学学院) Dept. of Theoretical Neuroscience, Central Institute of Mental Health (CIMH), Mannheim, Germany(曼海姆中央心理健康研究所理论神经科学部门) Faculty of Physics and Astronomy, Heidelberg University, Germany(海德堡大学物理与天文学学院) Hector Institute for AI in Psychiatry and Dept. of Psychiatry and Psychotherapy, CIMH, Mannheim, Germany(曼海姆中央心理健康研究所精神病AI研究所及精神病学与心理学系) Hertie Institute for AI in Brain Health, University of Tübingen, Germany(图宾根大学脑健康AI研究所)

专题命中 知识编辑与模型理解 :foundation model(abstract);分类 cs.LG

AI总结 针对混沌系统替代建模中动态与概率目标不一致的问题,提出基于可微扩展卡尔曼滤波的KAFFEE框架,通过局部预测残差似然和雅可比协方差传播来缩小差距。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.31040 2026-06-01 cs.LG 57%

UniRTL: Unifying Code and Graph for Robust RTL Representation Learning

UniRTL:统一代码和图以实现稳健的RTL表示学习

Yi Liu, Hongji Zhang, Lei Chen, Mingxuan Yuan, Qiang Xu

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong, Hong Kong SAR(计算机科学与工程系,香港中文大学,香港特别行政区) Noah's Ark Lab, Huawei, Hong Kong SAR(华为诺亚实验室,香港特别行政区)

专题命中 知识编辑与模型理解 :pretraining(abstract);分类 cs.LG

AI总结 提出UniRTL多模态预训练框架,通过互掩码建模和分层训练策略联合利用RTL代码与控制数据流图,实现细粒度对齐,在性能预测和代码检索任务上优于现有方法。

Comments Forty-Third International Conference on Machine Learning (ICML 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.30968 2026-06-01 cs.CV cs.AI 57%

Variational Adapter for Cross-modal Similarity Representation

变分适配器用于跨模态相似性表示

WenZhang Wei, Zhipeng Gui, Dehua Peng, Tiandi Ye, Huayi Wu

机构 * School of Remote Sensing and Information Engineering(遥感与信息工程学院) Wuhan University(武汉大学) School of Data Science and Engineering(数据科学与工程学院) East China Normal University(华东师范大学) State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing(测绘遥感信息工程国家重点实验室)

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.AI

AI总结 针对跨模态匹配中细粒度标注稀缺导致二元分类边界压缩和假负样本问题,提出变分适配器VACSR,将匹配任务重构为变分推断问题,通过构建潜在相似性空间和正则化缓解过拟合,在图像-文本检索、域泛化和基类到新类泛化任务上验证了有效性。

Comments Accepted by the 43rd International Conference on Machine Learning (ICML 2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.30911 2026-06-01 cs.CV cs.AI 57%

What Makes LVLMs Hallucinate Less? Unveiling the Architectural Factors Behind Hallucination Robustness

什么使LVLMs更少产生幻觉?揭示影响幻觉鲁棒性的架构因素

Yusheng He, Jizhe Zhou, Xia Du, Zheng Lin, Jun Luo, Jiancheng Lv

机构 * School of Computer Science, Engineering Research Center of Machine Learning and Industry Intelligence, Sichuan University(计算机科学学院,机器学习与产业智能工程研究中心,四川大学) School of Computer and Information Engineering, Xiamen University of Technology(计算机与信息工程学院,厦门理工大学) Department of Electrical and Computer Engineering, University of Hong Kong(电气与计算机工程系,香港大学) College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学)

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.AI

AI总结 本文通过将架构设计分解为语言基础、视觉表示和语义对齐三个维度,并引入CoSimUE基准,系统探索了架构因素对LVLMs幻觉鲁棒性的影响,发现模型参数扩展效果有限,而增强视觉编码器、语言基础和语义对齐能分别减少不同类型的幻觉。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.16305 2026-06-01 cs.SD cs.LG 57%

BAT: Better Audio Transformer Guided by Convex Gated Probing

BAT: 基于凸门控探测的更好音频Transformer

Houtan Ghaffari, Lukas Rauch, Christoph Scholz, Paul Devos

机构 * Ghent University(根特大学) University of Kassel(卡塞尔大学)

专题命中 知识编辑与模型理解 :pretraining(abstract);分类 cs.LG

AI总结 提出凸门控探测(CGP)方法,通过门控机制有效利用所有冻结层,缩小音频自监督学习中探测与微调的差距,并基于CGP改进SSL流程,构建Better Audio Transformer(BAT),在音频基准上取得新最优结果。

Comments Accepted @ ICML26

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.11561 2026-06-01 cs.LG 57%

View Space: Learning Representation across Arbitrary Graphs

视图空间:跨任意图的学习表示

Dooho Lee, Myeong Kong, Minho Jeong, Jaemin Yoo

机构 * School of Electrical Engineering, KAIST, Daejeon, Republic of Korea(韩国釜山科学技术院电子工程学院) Department of Computer Science and Engineering, Seoul National University, Seoul, Republic of Korea(首尔国立大学计算机科学与工程系)

专题命中 知识编辑与模型理解 :foundation model(abstract);分类 cs.LG

AI总结 本文提出视图空间概念,通过图视图变换(GVT)实现跨任意图的归纳节点表示学习,并在节点分类任务中显著优于现有方法。

Comments Accepted to ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.05038 2026-06-01 cs.LG 57%

The SuperActivator Mechanism: Transformers Concentrate Reliable Concept Signals in the Tail

超级激活机制:Transformer将可靠概念信号集中在尾部

Cassandra Goldberg, Chaehyeon Kim, Adam Stein, Eric Wong

机构 * University of Pennsylvania(宾夕法尼亚大学)

专题命中 知识编辑与模型理解 :prompting(abstract);分类 cs.LG

AI总结 本文发现Transformer中的超级激活机制,通过放大概念激活差距,将最可靠的概念证据集中在少数高激活token上,并基于此提出检测方法,在图像和文本模态中F1提升高达0.14。

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.24901 2026-06-01 cs.SD cs.LG 57%

Unmute the Patch Tokens: Rethinking Probing in Multi-Label Audio Classification

取消补丁令牌静音:重新审视多标签音频分类中的探测方法

Lukas Rauch, René Heinrich, Houtan Ghaffari, Lukas Miklautz, Ilyass Moummad, Bernhard Sick, Christoph Scholz

机构 * University of Kassel(卡塞尔大学) Fraunhofer IEE(弗劳恩霍夫研究所) Ghent University(根特大学) ML and Systems Biology, MPI of Biochemistry(生物化学Max Planck研究所) INRIA Montpellier(蒙彼利埃INRIA)

专题命中 知识编辑与模型理解 :pretraining(abstract);分类 cs.LG

AI总结 针对自监督音频模型线性探测性能不佳的问题,提出二值化原型探测方法,通过学习原型进行类别级信息聚合,在13个数据集上超越线性探测和注意力探测,建立探测作为高效评估范式的可行性。

Comments Accepted @ ICLR26

详情

展开后加载摘要…

URL PDF HTML 收藏
2501.01926 2026-06-01 cs.CV cs.AI 57%

Cross-Modal Attention Calibration for LVLM Hallucination Mitigation

跨模态注意力校准用于LVLM幻觉缓解

Jiaming Li, Jiacheng Zhang, Zequn Jie, Lin Ma, Guanbin Li

机构 * Sun Yat-sen University(中山大学) The University of Hong Kong(香港大学) Meituan(美团) Inspur Database Technology(Inspur数据库技术) Guilin University of Electronic Technology(桂林电子科技大学) Shenzhen Loop Area Institute(深圳河套学院) Guangdong Key Laboratory of Big Data Analysis and Processing(广东大数据分析与处理重点实验室)

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.AI

AI总结 提出一种无需训练的跨模态注意力校准方法,通过设计模态间解码和位置校准模块,缓解大型视觉语言模型中的幻觉问题。

Comments CVPR2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.27518 2026-05-29 cs.CL 57%

Over-Refusal and Representation Subspaces: A Mechanistic Analysis of Task-Conditioned Refusal in Aligned LLMs

过度拒绝与表示子空间:对齐大语言模型中任务条件拒绝的机制分析

Utsav Maskey, Mark Dras, Usman Naseem

机构 * Macquarie University(麦考瑞大学)

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.CL

AI总结 通过分析有害拒绝和过度拒绝的表示几何,发现过度拒绝方向是任务相关的且存在于良性任务表示簇中,解释了为何全局方向消融无法解决过度拒绝,并表明需要任务特定的几何干预。

Comments Preprint

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28659 2026-05-28 cs.LG 57%

Applications of temporal graph learning for predicting the dynamics of biological systems

时间图学习在预测生物系统动力学中的应用

Manuel Dileo, Andrea Sottoriva

机构 * Center for Computational Biology, Human Technopole Foundation(计算生物学中心,人类技术pole基金会)

专题命中 知识编辑与模型理解 :foundation model(abstract);分类 cs.LG

AI总结 本研究提出基于伪时间分辨基因调控网络的时间图神经网络框架,用于预测细胞状态演变,在三个任务上优于scGPT等基础模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.28229 2026-05-28 cs.CV cs.AI 57%

VidPrism: Heterogeneous Mixture of Experts for Image-to-Video Transfer

VidPrism: 用于图像到视频迁移的异构混合专家模型

Rui Lin, Chuanming Wang, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology(网络与交换技术国家重点实验室)

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.AI

AI总结 提出VidPrism,一种异构时间混合专家框架,通过功能专业化专家、内容感知多速率采样和动态双向融合机制,解决传统MoE中专家同质化问题,在视频识别基准上达到最先进性能。

Comments CVPR2026 camera ready

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.27546 2026-05-28 cs.CL cs.HC 57%

Keyphrase Generative Representation of Youth Crisis Conversations Beyond Static Taxonomies

超越静态分类法的青少年危机对话的关键词生成表示

Abeer Badawi, Will Aitken, Lydia Sequeira, Jocelyn Rankin, Maia Norman, Elham Dolatabadi

机构 * York University(约克大学) Vector Institute(向量研究所) Electrical and Computer Engineering, Queen’s University(皇后大学电气与计算机工程系) Kids Help Phone(儿童援助电话)

专题命中 知识编辑与模型理解 :LLM(abstract);分类 cs.CL

AI总结 本文提出关键词生成表示(KGR)方法,通过约束大语言模型生成对话特定的关键词,将原有19标签分类扩展为39标签层次结构,在129段对话和387个专家注释上评估,准确率达0.96,并发现固定分类中缺失的身份相关主题,将主题检索准确率从0.25提升至0.70。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.01604 2026-05-28 cs.AI 57%

CRaFT: Circuit-Guided Refusal Feature Selection via Cross-Layer Transcoders

CRaFT:基于跨层转码器的电路引导拒绝特征选择

Su-Hyeon Kim, Hyundong Jin, Yejin Lee, Yo-Sub Han

机构 * Yonsei University(延世大学)

专题命中 知识编辑与模型理解 :LLM(abstract_cn);分类 cs.AI

AI总结 提出CRaFT框架,利用跨层转码器构建稀疏特征电路图,通过量化特征间影响及其对最终输出的贡献,选择控制拒绝行为的关键特征,显著提升越狱攻击性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2408.00057 2026-05-28 q-bio.BM cs.LG 57%

GOProteinGNN: Leveraging Protein Knowledge Graphs for Protein Representation Learning

GOProteinGNN:利用蛋白质知识图谱进行蛋白质表示学习

Dan Kalifa, Uriel Singer, Kira Radinsky

机构 * Faculty of Computer Science Technion Israel Institute of Technology Haifa Israel(计算机科学学院技术离子理工学院海法以色列) Meta AI Tel Aviv Israel(Meta AI 特拉维夫以色列) Technion Israel Institute of Technology(技术离子理工学院) Meta AI

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.LG

AI总结 提出GOProteinGNN架构,通过整合蛋白质知识图谱信息增强蛋白质语言模型,在氨基酸和蛋白质级别进行图学习,从而在多个下游任务上取得最优性能。

Journal ref CIKM 2025: Proceedings of the 34th ACM International Conference on Information and Knowledge Management

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.26835 2026-05-27 cs.AI 57%

Helicase: Uncertainty-Guided Supply Chain Knowledge Graph Construction with Autonomous Multi-Agent LLMs

Helicase: 不确定性引导的供应链知识图谱构建与自主多智能体大语言模型

Yunbo Long, Haolang Zhao, Ge Zheng, Alexandra Brintrup

机构 * Department of Engineering, University of Cambridge(剑桥大学工程系) The Alan Turing Institute(艾伦·图灵研究所)

专题命中 知识编辑与模型理解 :LLM(abstract);分类 cs.AI

AI总结 提出Helicase,一种基于多智能体大语言模型的自主系统,通过不确定性引导的迭代验证和知识图谱构建,解决供应链中需要多跳推理的结构化推断问题,并引入SCQA基准评估。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22133 2026-05-27 q-bio.BM cs.AI 57%

Atom-level Protein Representation Learning Improves Protein Structure Prediction

原子级蛋白质表示学习改进蛋白质结构预测

Taewon Kim, Hyosoon Jang, Hyunjin Seo, Seonghwan Seo, Hyeongwoo Kim, Wonho Zhung, Mingyeong Shin, Wooyoun Kim, Sungsoo Ahn

机构 * KAIST(韩国科学技术院)

专题命中 知识编辑与模型理解 :pretraining(abstract);分类 cs.AI

AI总结 提出结构感知预训练方法TriProRep,通过VQ-VAE联合建模三种对齐的残基级视图,在结构预测任务中优于仅序列和先前结构感知表示模型。

Comments Project Page: https://holymollyhao.github.io/TriProRep/

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.21406 2026-05-26 cs.CV cs.LG 57%

Generation Enhances Understanding in Unified Multimodal Models via Multi-Representation Generation

通过多表示生成增强统一多模态模型的理解能力

Zihan Su, Hongyang Wei, Kangrui Cen, Yong Wang, Guanhua Chen, Chun Yuan, Xiangxiang Chu

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学) AMAP, Alibaba Group(阿里妈妈,阿里巴巴集团) Shanghai Jiao Tong University(上海交通大学) Southern University of Science and Technology(南方科技大学)

专题命中 知识编辑与模型理解 :post-training(abstract);分类 cs.LG

AI总结 提出UniMRG方法,通过辅助生成像素、深度和分割等多重表示,增强统一多模态模型的理解能力,减少幻觉并提升空间理解。

Comments Code: https://github.com/Sugewud/UniMRG

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24398 2026-05-26 cs.CV cs.AI cs.GR 57%

VectorArk: Learning Practical Image Vectorization with Rounded Polygon Representation

VectorArk: 学习基于圆角多边形表示的实际图像矢量化

Tarun Gehlaut, Difan Liu, Charu Bansal, Krutik Malani, Souymodip Chakraborty, Ankit Phogat, Matthew Fisher, Vineet Batra

机构 * Adobe

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.AI

AI总结 提出VectorArk模型,采用圆角多边形表示和退化模型,实现鲁棒且实用的图像矢量化,在多个数据集上取得优越的几何完整性和伪影抑制效果。

Comments CVPR 2026. Project page: https://vectorark.github.io/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.24008 2026-05-26 cs.LG cs.CV cs.SE 57%

CAFD: Concept-Aware DNN Fault Detection using VLMs

CAFD: 使用视觉语言模型的概念感知深度神经网络故障检测

Amin Abbasishahkoo, Mahboubeh Dadkhah, Lionel Briand

机构 * School of EECS, University of Ottawa(渥太华大学电子工程与计算机科学学院) Research Ireland Lero centre for software, University of Limerick(利默尼克大学爱尔兰研究中心)

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.LG

AI总结 提出概念感知故障检测(CAFD)方法,通过整合模型信号、距离特征和基于视觉语言模型的概念故障比(CFR)特征,在保持效率的同时显著提升DNN故障检测性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.23344 2026-05-25 cs.CV cs.AI 57%

CHASD: Language Increment-Calibrated Contrastive Decoding against Hallucination in LVLMs

CHASD:面向LVLMs中幻觉的语言增量校准对比解码

Xiaoyi Huang, Kejia Zhang, Zhiming Luo

机构 * Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能学院) Department of Artificial Intelligence, Xiamen University(厦门大学人工智能系)

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.AI

AI总结 提出CHASD框架,通过不确定性驱动的置信门控和注意力引导的局部扰动,在推理时按需校准对比解码,减少对象幻觉并提升效率。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.23043 2026-05-25 cs.CL stat.ML 57%

HawkesLLM: Semantic Uncertainty Propagation in Agentic Text Simulation

HawkesLLM:智能体文本模拟中的语义不确定性传播

Zewei Deng, Tinghan Ye, Liyan Xie

机构 * Department of Industrial and Systems Engineering, University of Minnesota(工业与系统工程系,明尼苏达大学) H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(H. Milton Stewart工业与系统工程学院,佐治亚理工学院)

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.CL

AI总结 提出HawkesLLM框架,通过多变量Hawkes过程建模时间影响与文本生成分离,解决智能体文本模拟中语义不确定性路径依赖问题,在GDELT新闻级联案例中提升后期语义对齐。

Comments 10 pages, 4 figures, Accepted at the ICML 2026 Workshop on Statistical Frameworks for Uncertainty in Agentic Systems

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.22377 2026-05-22 cs.LG 57%

Towards Explainability of SLMs by investigating Token Level Activation

通过研究token层面激活实现SLMs的可解释性

Sayantani Ghosh, Rajashik Datta, Amit Kumar Das, Amlan Chakrabarti

机构 * Information Technology(信息技术) A.K. Choudhury School of Information Technology(A.K. Choudhury 信息技术学院) Computer Science & Engineering(Artificial Intelligence)(计算机科学与工程(人工智能)) Institute of Engineering & Management(工程与管理学院) Computer Science & Engineering(计算机科学与工程) University of Calcutta(加尔各答大学)

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.LG

AI总结 本文提出了一种轻量且通用的框架,通过BERT第8层隐藏状态的激活强度量化token层面的表示重要性,揭示了语义信息在激活强度上的集中分布,为将BERT从黑箱模型转变为更透明的玻璃箱模型提供了可解释且计算高效的替代方法。

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.22719 2026-05-22 cs.LG 57%

Interpreting and Steering State-Space Models via Activation Subspace Bottlenecks

通过激活子空间瓶颈解释和操控状态空间模型

Vamshi Sunku Mohan, Kaustubh Gupta, Aneesha Das, Chandan Singh

机构 * Microsoft Research, Redmond(微软研究院(红mond)) Independent Researcher(独立研究员)

专题命中 知识编辑与模型理解 :language model(abstract);分类 cs.LG

AI总结 本文通过识别Mamba家族状态空间模型中的激活子空间瓶颈,提出了一种在测试时通过乘以标量来操控激活的干预方法,从而在多个模型和基准测试中提升了性能,并验证了这些瓶颈对性能的阻碍作用。

详情

展开后加载摘要…

URL PDF HTML 收藏