Beyond Scalar Distances: Semantic Attribute Gradients from Frozen MLLMs for Visual Embeddings
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出SAGA框架,利用冻结的多模态大语言模型(MLLM)通过GRPO奖励机制为视觉编码器提供属性级监督,替代传统标量距离,提升零样本图像检索性能。
2026-06-16 cs.AI cs.CV cs.LG
Break the Visual Perception: Adversarial Attacks Targeting Encoded Visual Tokens of Large Vision-Language Models
University of Science and Technology of China(中国科学技术大学);Tencent YouTu Lab(腾讯优图实验室)
针对大视觉语言模型视觉模块的鲁棒性问题,提出仅需访问图像编码器的非定向VT-Attack方法,从多维度破坏视觉令牌,实验证明其攻击性能优于基线,可为模型鲁棒性提升提供指导。
2024-10-09 cs.AI cs.CV cs.LG
Rethinking Contrastive Loss in CLIP Post-training: A Complementary Framework with Frozen Text Encoder
Huazhong University of Science and Technology(华中科技大学);Li Auto Inc.(理想汽车)
本文提出ComCLIP框架,通过冻结CLIP文本编码器、采用合适温度的对比损失等优化,提升了CLIP视觉编码器的特征可迁移性,且作为即插即用组件适配LLaVA等下游VLM。
2026-10-12 cs.AI cs.CV
CARD: Cross-component Audio Representation Distillation for Encoder-Free Audio Captioning
School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院);Institute for Analytics and Data Science, University of Essex(埃塞克斯大学分析与数据科学研究所)
研究提出无编码器音频字幕模型CARD,去除推理时的编码器,用含合并LoRA适配器的投影仪给冻结的语言模型供能。通过跨组件蒸馏预训练音频教师模型,提升了CIDEr-D指标。
2026-10-02 cs.CL cs.SD
Languages are Modalities: Cross-Lingual Alignment via Encoder Injection
University of Waterloo(多伦多大学)
针对LLM在低资源非拉丁语种上表现不佳的问题,提出LLINK方法,通过轻量级对比投影器将冻结多语言编码器的句子嵌入注入解码器,无需重训解码器即可显著提升跨语言对齐与问答性能。
2025-10-31 cs.AI cs.CL cs.LG
Frozen Large Language Models Can Perceive Paralinguistic Aspects of Speech
Massachusetts Institute of Technology(麻省理工学院);Meta
本研究提出带语音编码器的端到端系统,在完全冻结大语言模型权重的情况下使其感知语音副语言信息,在通用交互场景中实现了比基线更优质、更具共情的语音交互响应,是该方向的首次探索。
2025-05-19 cs.CL cs.SD eess.AS
Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement
研究发现视觉-语言模型通过冻结特征可实现连续几何测量,LoRA微调和架构分析揭示了路径训练缺陷及中层注意力头对几何信号的重要性。
2026-03-06 cs.AI cs.CV
Batched Speech Decisions Without Decoding: Single-Token Supervision Lets a Frozen LLM Hear Beyond the Transcript
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Future Design Lab, Innovation Center of Yangtze River Delta, Zhejiang University(浙江大学长三角创新中心未来设计实验室);University of Virginia(弗吉尼亚大学)
针对全双工语音代理的封闭决策,提出DuplexJev,通过连接器将ASR隐藏状态输入冻结LLM,以单令牌分布读取选项,无需解码,实现快速批量决策并提升语音感知能力。
2026-10-05 cs.AI
SEED: A Structural Encoder for Embedding-Driven Decoding in Time Series Prediction with LLMs
Xi'an Jiaotong-Liverpool University(西安交通大学利物浦大学);University of Liverpool(利物浦大学)
本文提出SEED,一种用于大语言模型时间序列预测的结构编码器,通过分片提取、嵌入对齐、语义重编程和冻结语言模型四阶段模块化架构,解耦表示学习与推理,实现数值模式与语义推理的高效对齐,并在多个数据集上取得持续改进。
2025-06-25 cs.AI cs.CL
Diagnosing Fine-Grained Inconsistency Classification in Financial Disclosure Text
Hitachi America, Ltd(美国日立公司)
该研究针对金融披露文本的细粒度不一致分类问题,在SBID-FD基准上对比多种模型,发现紧凑型监督编码器效率较高,证据定位是关键瓶颈,需同时提升证据提取与类别推理能力。
2026-10-07 cs.AI cs.CL
Modality-Gated Deep Adapters: Adding a Modality to a Frozen Embedding Model with Exact Preservation
Eximius Labs(Eximius实验室);Wabash College(瓦巴什学院);Skop Intelligence Co.(Skop智能公司)
提出模态门控深度适配器,在不改变冻结嵌入模型现有输出的前提下添加新模态,通过按模态分组的瓶颈适配器实现零改变与零隔离,并在音频和热模态任务上显著提升检索性能。
2026-09-23 cs.CL cs.CV cs.SD
Prompting Large Language Models with Speech Recognition Abilities
Meta AI;University of Cambridge(剑桥大学)
本研究通过给LLaMA-7B接入小型音频编码器构建ASR系统,在MLS上较单语言基线提升18%,且冻结LLM或采用大步长时仍可实现多语言语音识别,为长音频处理提供可能。
2023-07-21 cs.AI cs.CL cs.LG
Trained Persistent Memory for Frozen Decoder-Only LLMs
Inha University in Tashkent, Uzbekistan(乌兹别克斯坦塔什克恩的因哈大学)
本文研究解码器-only LLMs中持久内存的实现,通过六种方法在冻结的GPT-2上训练小型适配器,发现架构先验对保留内存性能有显著影响,且在10倍容量下所有方法均收敛。
2026-03-20 cs.AI cs.LG
F3-Tokenizer: Taming Audio Autoencoder Latents for Understanding and Generation
Nanjing University, China(南京大学);WeNet Open Source Community(WeNet开源社区)
针对连续音频自编码器潜在变量结构弱、自监督编码器不可解码的问题,提出F3-Tokenizer,通过噪声正则化自编码器瓶颈和潜在侧表示编码器,实现统一的理解与生成音频分词器。
2026-06-04 cs.AI cs.SD eess.AS
What CLIP Knows but Cannot Say: Recovering Negation from Frozen Intermediate Features
Purdue University(普渡大学)
对比视觉语言模型如CLIP对否定不敏感,研究发现是表征坍缩所致。提出轻量级事后校正系统PeakPatch,在不改变预训练权重下恢复否定信号,通过特定网络提取信号、预测偏差向量等,经实验验证其有效性及泛化性。
2026-07-28 cs.AI cs.CV
Imperfect Vision Encoders: Efficient and Robust Tuning for Vision-Language Models
University of Cambridge(剑桥大学);Toyota Motor Europe(丰田汽车欧洲公司)
针对开源VLMs依赖冻结CLIP编码器导致图像理解错误传播的问题,提出一种选择性局部更新视觉编码器的高效鲁棒微调方法,在修正错误的同时保持整体鲁棒性并支持持续少样本更新。
2024-07-23 cs.AI cs.CL cs.CV
Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models
University of Bern(伯尔尼大学)
针对MLLM中视觉编码器与自回归LLM的语义接口差距,提出MedMLIP框架,通过报告生成预训练视觉编码器并采用局部关系蒸馏避免视觉崩溃,实验证明跨LLM迁移的有效性。
2026-09-22 cs.AI
LeVLJEPA: End-to-End Vision-Language Pretraining Without Negatives
German Cancer Research Center(德国癌症研究中心);German Cancer Consortium(德国癌症联盟);Goethe University Frankfurt(法兰克福大学);Brown University(布朗大学)
提出首个完全非对比的端到端视觉语言预训练方法LeVLJEPA,通过跨模态预测与分布正则化学习,无需负样本、温度参数等,生成更强的密集语义特征,在下游任务中优于对比基线。
2026-07-02 cs.AI cs.CV
UniFusion: Vision-Language Model as Unified Encoder in Image Generation
Adobe Applied Research(Adobe应用研究)
UniFusion提出以冻结VLM作为统一编码器,通过LAP机制提取多模态特征,结合VERIFI实现条件扩散生成,在编辑任务上微调后提升对齐并展现零样本泛化能力。
2025-10-14 cs.AI cs.CV cs.LG
PRECTR-V2:Unified Relevance-CTR Framework with Cross-User Preference Mining, Exposure Bias Correction, and LLM-Distilled Encoder Optimization
Alibaba Group(阿里巴巴集团)
PRECTR-V2通过跨用户偏好挖掘、曝光偏差校正和LLM蒸馏编码器优化,解决搜索系统中相关性匹配与CTR预测的一致性问题。
2026-02-24 cs.AI cs.IR
BRAVE: Broadening the visual encoding of vision-language models
Google(谷歌);Swiss Federal Institute of Technology Lausanne (EPFL)(洛桑联邦理工学院)
本文提出 BRAVE,通过整合多个冻结视觉编码器的特征形成通用压缩表示并输入冻结语言模型,在图像描述与 VQA 基准上以更少可训练参数达到 SOTA。
2024-04-10 cs.AI cs.CV cs.LG
Efficient Sample-Specific Encoder Perturbations
ALTA Institute, Department of Engineering, University of Cambridge(剑桥大学工程系ALTA研究所)
本文提出用小型代理网络对冻结编码器-解码器基础模型进行样本特定扰动,以提升Flan-T5机器翻译COMET和Whisper语音识别WER性能,并验证了方法的鲁棒性与跨域扩展能力。
2024-05-01 cs.CL cs.LG
Separating Representation from Reconstruction Enables Scalable Text Encoders
FAIR Meta;New York University(纽约大学)
研究发现自BERT以来编码器变化小,通过冻结主干评估揭示问题源于其扁平设计。提出CrossBERT架构分离高质量编码表示学习与令牌重建,能提高掩码率和梯度收集效率,在相关基准测试中表现优异。
2026-07-07 cs.AI cs.CL
CANDOR: Chance-Calibrated Neighborhood Discordance in Frozen Encoders for Medical Imaging
研究探讨冻结基础编码器问题,引入CANDOR度量,其等规模库对称使机会水平固定为二分之一。经多编码器、多数据集和大量图像实验,校正改变结论,发现各编码器虽不盲目但都弱,CANDOR可提前标记支持不佳的发现。
2026-10-27 cs.AI cs.CL cs.CV
Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Hupan Lab(湖畔实验室)
提出Video-LLaMA多模态框架,通过Video Q-former和Audio Q-former结合冻结的预训练编码器与LLMs,解决视频时序变化捕捉与音视频信号整合挑战,实现视频内容理解与响应生成。
2023-10-25 cs.CL cs.CV cs.SD
Prompting Large Language Models for Clinical Temporal Relation Extraction
UTHealth at Houston(休斯顿德克萨斯大学健康科学中心);Mayo Clinic(妙佑医疗国际)
本文在2012 i2b2 CTRE任务上评估多种LLM的FFT与PEFT提示微调策略,全监督下GatorTron-Base硬提示以89.54% F1刷新SOTA,并分析了少样本设置差异。
2024-12-04 cs.CL cs.LG
A Classifier That Teaches Itself: Self-Improving, Frozen-gate Training (SIFT) for Dynamic Document Classification
研究针对企业文档分类难题,提出SIFT动态分类器服务,通过低成本管道、特定机制及判断反馈实现自我改进,解决标注和安全问题,介绍其架构、机制及部署示例,探讨边际标注成本趋零的经济性。
2026-09-02 cs.CL cs.LG
Do Medical Vision Models Reason About Anatomy? Probing the Spatial Inductive Biases of Learned Visual Representations
本研究构建SPAR-Bench探测任务,发现医学视觉模型仅记忆标准解剖结构,缺乏特定患者图像内结构对比的推理能力,池化探测会低估其表示能力。
2026-08-31 cs.AI cs.CV cs.LG
INTACT: Inducing Latent Reasoning on a Frozen Backbone
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
INTACT通过小型外部编码器在冻结主干上诱导潜在推理,经蒸馏与正确性强化训练,在多规模主干上提升数学等任务准确率、降低延迟,优于基线且适配多领域。
2026-10-15 cs.CL cs.LG
COVID-19 Fake News Detection Using Bidirectional Encoder Representations from Transformers Based Models
如今,社交媒体的发展使人们可以轻松地获取最新消息。在COVID-19大流行期间,人们获取新闻非常重要,以便他们能够采取相应的保护措施。然而,假新闻泛滥,特别是在全球大流行的情况下,这是一个严重的问题。误导性的假新闻会给个人和社会造成重大损失。COVID-19假新闻检测已成为NLP领域的一项新颖而重要的任务。然而,假新闻总是包含正确的部分和不正确的部分。这一事实增加了分类任务的难度。在本文中,我们微调预训练的双向编码器表示从Transformers(BERT)模型作为我们的基础模型。我们分别在具有冻结参数或未冻结参数方法的微调BERT模型顶部添加BiLSTM层和CNN层。模型性能评估结果表明,我们的最佳模型(BERT微调模型,冻结参数加上BiLSTM层)在COVID-19假新闻检测任务中取得了最先进的结果。我们还探讨了使用我们最好的模型的关键字评估方法,并评估模型的性能后,删除关键字。
2021-10-01 cs.CL
When Does Complexity Conditioning Help a Frozen Sentence Embedding? A Controlled Study of Per-Sentence and Pair-Level Difficulty Adaptation
Suhwan Hwang
通过受控实验研究冻结句子编码器后接轻量适配器时,基于句子级和句子对级难度信号的调节效果,发现句子对级残差门控在较大和分级任务上持续提升性能,而句子级方法无效。
2026-06-02 cs.CL
Energy-Based Constraint Networks: Learning Structural Coherence Across Modalities
Independent Researcher(独立研究者)
本文提出基于能量的约束网络,通过对比对学习结构一致性,实现跨模态的结构一致性学习,展示了在文本和视觉领域中的高准确率和跨模态迁移能力。
2026-05-01 cs.CL cs.CV
Linearly Mapping from Image to Text Space
Brown University(布朗大学)
纯文本语言模型(LM)在多大程度上学习表示非语言世界的特征是一个悬而未决的问题。先前的工作已经表明,当视觉模型的参数被优化以在语言空间中编码图像时,预训练的LM可以被教导为图像添加字幕。我们测试一个更强的假设:由冻结的纯文本模型和纯视觉模型学习的概念表示足够相似,以至于这可以用线性映射来实现。我们表明,从视觉模型的图像表示,可以作为连续的提示,冻结LM通过训练只有一个单一的线性投影。使用这些来提示LM在字幕和视觉问答任务上实现了与调整图像编码器和文本解码器的模型(例如MAGMA模型)相比具有竞争力的性能。我们比较了三种图像编码器,它们在预训练期间具有越来越多的语言监督:BEIT(无语言信息),NF-ResNET(词汇类别信息)和CLIP(完整的自然语言描述)。我们发现所有三个编码器在将视觉属性信息传递到语言模型(例如,动物是大还是小),但是用语言监督预训练的图像编码器更显著地编码类别信息(例如,区分河马和大象),因此在基准语言和视觉任务上表现得更好。我们的研究结果表明,LM编码概念信息的结构类似于基于视觉的模型,即使是那些只在图像上训练。代码可在这里:https://github.com/jmerullo/limber
2023-03-09 cs.CL cs.LG