ReLope: From Hidden-State Probing to a Decision Module for Multimodal LLM Routing
Pennsylvania State University(宾夕法尼亚州立大学);Amazon AGI(亚马逊AGI);Google(谷歌)
针对多模态大语言模型路由中探针性能下降问题,提出Attention Probe和KL正则化的LoRA探针ReLope,通过改进隐藏状态质量提升路由效果。
2026-10-06 cs.AI
FROST-Drive: Scalable and Efficient End-to-End Driving with a Frozen Vision Encoder
Stony Brook University(石溪大学);Rutgers University(罗格斯大学);Sunrise Technology Inc.(Sunrise技术公司)
FROST-Drive通过冻结预训练视觉编码器,结合适配器和解码器,实现高效端到端驾驶,优于全微调方法。
2026-01-06 cs.AI cs.CV
Pro-Cap: Leveraging a Frozen Vision-Language Model for Hateful Meme Detection
Singapore Management University(新加坡管理大学);Singapore University of Design and Technology(新加坡科技设计大学);DSO National Laboratories(新加坡国防科技研究院)
针对仇恨模因检测中微调 PVLM 成本高、图像描述缺乏关键信息的问题,本文提出 Pro-Cap,用冻结 PVLM 以零样本 VQA 回答仇恨相关问题并生成信息丰富的描述,在三个基准上验证了有效性与泛化性。
2023-08-16 cs.CV cs.IR cs.MM
Decodable but Not Actionable: Auditing the Representation-Behavior Gap in Frozen LLMs for Geometric Constraints
该研究以参数化CAD约束为测试平台,审计6个冻结LLMs的解码-生成-引导差距,发现几何关系可解码性与生成、引导能力存在差异,区分了编码与表达控制失败。
2026-10-30 cs.AI cs.CL
TokenMem: Faithful Knowledge Injection for Frozen LLMs
South China University of Technology(华南理工大学);University of Science and Technology of China(中国科学技术大学)
研究针对RAG增强LLMs时的知识冲突问题,提出TokenMem轻量级记忆系统,通过专用通道向冻结LLMs注入知识,经两阶段课程训练薄门控适配器,实验显示其在反事实基准上知识一致性远超普通RAG,两阶段课程关键,门控适配器能自主学习策略。
2026-07-28 cs.AI cs.LG
Frozen Memory Is Not Enough: Rethinking External Memory as Extraction
该研究针对大语言模型知识利用的两类方法缺陷,探究Engram式哈希记忆跨模型迁移的关键因素,通过跨模型冻结记忆提取实验,提出双层四分支读取器,实现同模型与跨模型复用差距的缩小,证明Engram可作为可复用外部知识人工制品。
2026-10-27 cs.AI cs.CL
Sentinel: Decoding Context Utilization via Attention Probing for Efficient LLM Context Compression
Ping An Technology (Shenzhen) Co., Ltd., China(平安科技(深圳)有限公司,中国);University of Science and Technology of China(中国科学技术大学);University of Electronic Science and Technology of China(电子科技大学)
提出Sentinel,一种轻量级句子级压缩框架,通过冻结LLM的头部注意力模式解码推理时上下文利用行为,使用单次非自回归前向传递实现压缩,在LongBench上以0.5B代理模型达到5倍压缩且性能与7B模型方法相当。
2026-11-10 cs.AI cs.CL
Probing LLM Hallucination from Within: Perturbation-Driven Approach via Internal Knowledge
Georgia Institute of Technology(佐治亚理工学院);JPMorganChase Global Technology Applied Research(摩根大通全球科技应用研究)
针对LLM幻觉检测依赖外部资源且未区分幻觉类型的问题,提出无需外部知识或训练的SHINE方法,通过扰动提示中的关键实体来探测对齐、未对齐和捏造三类幻觉,在多个数据集和模型上达到SOTA性能。
2025-09-15 cs.AI cs.CL
SLQ: Bridging Modalities via Shared Latent Queries for Retrieval with Frozen MLLMs
School of Electronic Engineering, Beijing University of Posts(北京邮电大学电子工程学院);Xiaohongshu Inc., China(小红书公司)
SLQ通过冻结MLLMs的主干,引入共享潜在查询提升多模态检索性能,实验显示其在多个基准上表现优异。
2026-05-09 cs.CV
ReProbe: Efficient Test-Time Scaling of Multi-Step Reasoning by Probing Internal States of Large Language Models
ETH Zürich(苏黎世联邦理工学院);National University of Singapore(新加坡国立大学);MBZUAI(马斯喀特人工智能研究所);University of Zürich(苏黎世大学);The University of Melbourne(墨尔本大学)
本文提出基于探测大语言模型内部状态的轻量级方法,用于多步骤推理验证,其性能超越了810倍大的Process Reward Models,为可扩展的测试时间扩展和更可 introspective 的大语言模型提供了新路径。
2026-04-23 cs.AI cs.CL
Site Is Decodable Before Pretraining: Negative Controls for Probing Frozen Brain-MRI Foundation Models
University of British Columbia(不列颠哥伦比亚大学)
该研究发现冻结脑MRI基础模型的嵌入包含采集站点的指纹,该指纹可线性解码且与预训练无关,可通过特定方法移除,同时指出其对共享嵌入的影响及密集分割的代价,并发布了审计工具包。
2026-10-06 cs.AI cs.CV
Knowledge Trees: Gradient Boosting Decision Trees on Knowledge Neurons as Probing Classifier
本研究提出在Transformer的知识神经元层使用梯度提升决策树作为探测分类器,相比常用的层输出表征逻辑回归等方法,句子成分识别任务的错误率可降低9%-54%,提升了探测分类的准确性。
2023-12-17 cs.AI cs.CL cs.LG
When Facts Change: Probing LLMs on Evolving Knowledge with evolveQA
Purdue University(普渡大学);AWS AI Labs(AWS人工智能实验室)
针对LLMs难以处理时间知识冲突的问题,本文构建基于3个真实带时间戳语料库的evolveQA基准,公平评估不同知识截止日期LLMs的演化知识处理能力,发现模型在该基准上性能降幅最高达31%。
2025-11-15 cs.AI cs.CL
Learning Dynamic Evidence Routes for Vision Transformer Probing
School of Future Technology(未来技术学院)
本文提出SSMProbe框架,利用状态空间模型探索视觉表示中序列顺序的重要性,发现预训练目标影响token结构,不同模型在顺序依赖性上表现各异。
2026-10-15 cs.AI cs.CV
Harry Potter is Still Here! Probing Knowledge Leakage in Targeted Unlearned Large Language Models via Automated Adversarial Prompting
University of Science, VNU-HCM(越南国立大学胡志明市理科大学);Indiana University(印第安纳大学)
提出LURK框架,通过自动生成对抗性后缀提示探测已遗忘LLM中隐藏的哈利·波特知识,揭示现有遗忘评估标准的漏洞,提供更严格的鲁棒性诊断工具。
2025-05-22 cs.AI cs.CL cs.CR
Frozen Models, Evolving Expertise: Model-Agnostic Learning from Deployment Experience for Multimodal Medical AI
University of Maryland, College Park(马里兰大学学院公园分校);NVIDIA(英伟达)
提出模型无关框架,通过技能、知识记忆和多模态知识库三种外部经验,使冻结的医学多模态模型在线部署中持续学习,在六个基准上性能提升高达34.2%。
2026-10-19 cs.AI
Prompt Embedding Probes (PEP): Hallucination Detection in LLMs from Hidden States
HSE University(高等经济大学)
本研究提出提示嵌入探针(PEP),一种白盒幻觉检测方法,通过少量可学习提示嵌入扩充标准线性探针,在TriviaQA等数据集的Qwen3模型上验证其在生成前、跨模型等场景的有效性,仅需少量参数即可提升检测性能。
2026-08-11 cs.AI cs.CL
When Models Know More Than They Say: Probing Analogical Reasoning in LLMs
Cambridge University(剑桥大学);Northeastern University(东北大学);Athenahealth;Johns Hopkins University(约翰霍普金斯大学)
研究探讨了LLMs在类比推理任务中的表现,发现探测内部表示比提示性能更优,揭示了任务依赖性和提示机制的局限性。
2026-04-04 cs.AI cs.CL cs.LG
Probing Knowledge Holes in Unlearned LLMs
Virginia Tech(弗吉尼亚理工大学);Cisco Research(思科研究)
本文发现机器遗忘技术会在LLM中产生标准基准无法捕捉的“知识空洞”,并提出测试用例生成框架探测这些区域,揭示了高达98.7%的测试用例出现响应异常,表明需重新思考遗忘模型的知识保留评估方法。
2025-10-27 cs.AI cs.LG
Chip-Tuning: Classify Before Language Models Say
Peking University(北京大学);Tencent QQ(腾讯QQ)
本文提出Chip-Tuning,一种针对分类问题的结构化剪枝框架,通过在LLMs不同层附加微小探测分类器并冻结主干模型进行训练,实现高达50%的剪枝率且性能损失微小,同时具备多模态兼容性。
2024-10-11 cs.AI cs.CL
KGLens: Towards Efficient and Effective Knowledge Probing of Large Language Models with Knowledge Graphs
Apple(苹果公司)
本文提出受Thompson采样启发的KGLens框架,通过图引导问题生成和参数化KG结构重要性采样,高效衡量LLM与知识图谱的事实对齐,并在多个领域KG和十个LLM上验证其接近人工的评估准确性。
2024-08-01 cs.AI cs.CL cs.LG
TAP-JEPA: Frozen Future-Latent Probing and Two-Stage Score Fusion for EPIC-KITCHENS-100 Action Anticipation
Beihang University(北航大学)
提出TAP-JEPA方法,利用冻结的V-JEPA 2.1特征和两阶段分数融合,在EPIC-KITCHENS-100动作预测挑战中获得第二名。
2026-05-30 cs.CV
Typed Federated Artifacts for the Agentic Web:Sharing Tool-Routing Knowledge Across Frozen,Heterogeneous LLM Agents
Arizona State University(亚利桑那州立大学)
针对开放网络中冻结异构LLM智能体的工具路由知识共享问题,提出类型化联邦工件SYNAPSE1,通过模式验证字段实现隐私与跨模型转移,实验显示其性能接近集中式方案,并显著提升智能体工具调用准确率。
2026-09-09 cs.AI cs.CL
Probing the Prefill: Detecting Code Vulnerabilities via Latent Activations
Wrynx Inc.(瑞恩克斯公司)
该研究从四个LLM提取预填充标记激活训练MLP探测器,在四个代码漏洞基准上实现平均F1值41.7%,证明LLM自身代码表示含漏洞信息,为轻量原生筛查提供方向。
2026-08-19 cs.AI cs.CR cs.LG
Multimodal Few-Shot Learning with Frozen Language Models
DeepMind(深度思维);University College London(伦敦大学学院)
当在足够的规模上训练时,自回归语言模型表现出显著的能力,在仅用几个例子提示后学习新的语言任务。在这里,我们提出了一个简单而有效的方法,将这种少样本学习能力转移到多模态环境(视觉和语言)。使用对齐的图像和字幕数据,我们训练视觉编码器将每个图像表示为连续嵌入的序列,使得预先训练的冻结的语言模型用该前缀提示生成适当的字幕。由此产生的系统是一个多模态的Few-Shot学习者,具有令人惊讶的能力,学习各种新的任务时,条件的例子,表示为一系列的多个交错的图像和文本嵌入。我们证明了它可以快速学习新对象和新视觉类别的单词,仅用少数例子进行视觉问答,并利用外部知识,通过在各种已建立和新的基准上测量单个模型。
2021-07-03 cs.CL cs.CV cs.LG
How Do Video Foundation Models Encode Intuitive Physics? Probing Across Pretraining Paradigms
University of Amsterdam(阿姆斯特丹大学)
通过冻结特征探测,研究预训练视频基础模型在直觉物理信息上的编码能力,发现V-JEPA表现最佳,物理信息在中后期层最易获取,且时序破坏显著降低性能。
2026-11-02 cs.AI cs.CV cs.LG
Big, Bright, or Invisible: A Frozen-Feature Benchmark of 3D CT Foundation Models
Technical University of Munich (TUM)(慕尼黑工业大学(TUM));TUM University Hospital(慕尼黑工业大学医院);Imperial College London(伦敦帝国理工学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);UKE Hamburg(汉堡大学医院)
本研究对10个冻结CT编码器开展基准测试,发现性能主要取决于异常的对比度与空间范围,小型低对比度病变仍是挑战,需区域或病变级预训练。
2026-08-07 cs.AI cs.CV
Probing the Latent World: Emergent Discrete Symbols and Physical Structure in Latent Representations
PARRAWA AI(PARRAWA人工智能)
本文提出AIM框架,通过被动量化探针探测V-JEPA 2潜在表示中的离散符号序列,揭示潜在空间的紧凑性及结构化符号 manifold 的可发现性。
2026-03-20 cs.AI cs.CV cs.LG
Parasitic Co-Denoising: Unlocking 3D Human Motion Generation in a Frozen Video Diffusion Model
Nanyang Technological University(南洋理工大学)
本文提出寄生式协同去噪范式,通过冻结视频扩散模型中间特征解码三维人体运动,以极少参数实现文本-运动对齐并同步生成视频与运动。
2026-10-05 cs.CV
How Much Physics Can Vision Learn from Audio? Probing and Distilling Damping Structure
Amazon Web Services(亚马逊网络服务)
该研究探究视觉从音频学习物理阻尼结构的能力,通过蒸馏音频知识到CLIP骨干网络,提升视觉对材料阻尼的排序性能,揭示可见动态的作用。
2026-10-16 cs.CV cs.LG cs.SD
FrozenDrive: Zero-Shot Text-Guided Driving Scene Generation and Data Augmentation with Parameter-Free Frozen Diffusion Model
KAIST, Visual Intelligence Lab(韩国科学技术院视觉智能实验室)
提出FrozenDrive框架,利用冻结的预训练扩散模型,通过知识保留的时空注意力实现多视图一致性和时间连贯性,无需微调即可生成恶劣天气下的驾驶场景,提升自动驾驶模型鲁棒性。
2026-06-19 cs.CV
Probing the 3D Awareness of Visual Foundation Models
University of Michigan(密歇根大学);Google Research(谷歌研究院)
本研究针对视觉基础模型是否具备3D结构表征能力的问题,通过任务特定探针和零样本推理对冻结特征开展实验,验证了3D感知的两个判定条件,揭示了当前模型的相关局限性,并开源了代码与分析结果。
2024-04-12 cs.CV
Diffusion Representations for Fine-Grained Image Classification: A Marine Plankton Case Study
KTH Royal Institute of Technology(皇家理工学院)
本文提出利用冻结的扩散模型作为特征编码器,通过多层特征和时间步探测提升细粒度图像分类性能,在浮游生物监测中验证了其有效性。
2026-01-19 cs.CV
One Scene, Two Depths: Probing Geometric Ambiguity in Monocular Foundation Models
University of Michigan(密歇根大学);Carnegie Mellon University(卡内基梅隆大学);New York University(纽约大学);Vanderbilt University(范德比大学)
本文提出稀疏双层序数基准MD-3k,用于测量单目深度基础模型的深度层偏好和多层空间关系准确性,发现不同模型对同一分层几何结构有不同解析,且拉普拉斯视觉提示可改变冻结模型的输出层。
2026-06-28 cs.AI cs.CV
FrozenSeg: Harmonizing Frozen Foundation Models for Open-Vocabulary Segmentation
Harbin Institute of Technology(哈尔滨工业大学);University of Surrey(萨里大学);Nanyang Technological University(南洋理工大学)
本文提出 FrozenSeg,冻结 SAM 与 CLIP 并通过轻量级 transformer 解码器融合空间和语义知识,结合掩码建议集成,在仅用 COCO 全景数据训练的零样本设置下提升开放词汇分割性能。
2024-09-05 cs.CV
P3CA: Encoder-Agnostic Interpretation of Vision Foundation Model Embeddings via Spatial Probing
School of Computing, Queen’s University(女王大学计算学院)
针对视觉基础模型嵌入难以解释的问题,提出与编码器无关的P3CA方法,通过空间提示实现局部探测,在多类数据上验证其可揭示局部结构、提升病理判别能力等贡献。
2026-08-12 cs.CV cs.LG
Few-Shot Continual Learning for 3D Brain MRI with Frozen Foundation Models
Independent Researcher, USA(美国独立研究者);Indiana University at Bloomington, United States(印第安纳大学布卢明顿分校);Independent Researcher, Taiwan(台湾独立研究者);National Taiwan University, Taiwan(台湾国立大学);Boise State University, United States(博伊西州立大学);National Yang Ming Chiao Tung University, Taiwan(台湾阳明交通大学)
本文提出基于冻结基础模型与任务特定LoRA模块的小样本持续学习方法,有效解决3D脑部MRI肿瘤分割与脑年龄估计任务中的灾难性遗忘问题。
2026-02-26 cs.CV cs.LG eess.IV
Supervised Dimensionality Reduction Revisited: Why LDA on Frozen CNN Features Deserves a Second Look
independent researchers(独立研究人员)
本文重新审视了在冻结特征上使用LDA进行监督降维的有效性,发现其在粗粒度任务中提升准确率,但在细粒度任务中表现不佳,揭示了LDA在不同任务场景下的适用边界。
2026-05-10 cs.AI cs.CV cs.LG
Depth-Wise Probing and Pruning of the Planning Token in a Driving Vision-Language-Action Model
Robert Bosch GmbH(罗伯特·博世有限公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文针对驾驶 VLA 模型的规划 token,通过探测其 32 个解码器层的信号并剪枝部分层,在误差小幅增加下实现 1.33 倍解码器加速,验证了规划信息早期存在但格式适配问题。
2026-08-10 cs.CV cs.RO
Natural Image Autoencoder-Based fMRI Representations for Trait and State Prediction
Seoul National University(首尔大学);Microsoft Research(微软研究院)
本文提出FReD,利用仅在自然图像上预训练的冻结DCAE提取fMRI表征,在特质与状态预测任务上媲美或超越fMRI基础模型,证明强性能无需fMRI特异预训练。
2026-09-30 cs.CV
From Edges to Depth: Probing the Spatial Hierarchy in Vision Transformers
Northeastern University(东北大学)
研究探讨了视觉变换器中空间层次的编码机制,通过分析局部边缘和深度信息揭示了层次结构,发现边界结构在第5-6层可线性解码,而深度信息在第8层达到峰值,证明了分类训练的ViT能主动维护空间层次。
2026-04-25 cs.CV cs.LG
Closed-Form Linear-Probe Dataset Distillation for Pre-trained Vision Models
Hokkaido University(北海道大学);University of Nevada, Reno(内华达大学拉斯维加斯分校)
本文提出CLP-DD方法,通过闭式解法和判别损失提升预训练视觉模型的数据集蒸馏效果,相比传统方法在计算效率和性能上均有显著提升。
2026-05-08 cs.AI cs.CV cs.LG
Backbone is All You Need: Assessing Vulnerabilities of Frozen Foundation Models in Synthetic Image Forensics
University of Trento(特伦托大学)
本文提出SIAA攻击方法,通过仅利用检测器的ViT骨干知识,在目标检测器的特征空间内生成高效对抗样本,揭示了冻结基础模型在对抗多媒体鉴伪中的脆弱性。
2026-05-13 cs.CV cs.MM
Learning to Adapt Frozen CLIP for Few-Shot Test-Time Domain Adaptation
University of Toronto(多伦多大学);Concordia University(Concordia大学);McMaster University(麦马斯特大学)
本工作通过输入空间学习与反向注意力侧分支,为冻结CLIP补充数据集特定知识,并利用贪婪文本集成和域提示融合特征,在少样本测试时域适应基准上显著提升性能。
2025-06-18 cs.CV cs.LG