Adam's Law: Textual Frequency Law on Large Language Models
FaceMind Corporation(FaceMind公司);The Chinese University of Hong Kong(香港中文大学)
本文提出文本频率定律,通过优化文本频率提升LLM的提示和微调效果,并通过文本频率蒸馏和课程训练方法验证了其有效性。
2026-06-28 cs.CL
Understanding Textual Capability Degradation in Speech LLMs via Parameter Importance Analysis
National Engineering Research Center of Speech and Language Information Processing(语音与语言信息处理国家级工程研究中心);University of Science and Technology of China(中国科学技术大学)
本文基于参数重要性估计分析语音 LLM 的文本能力退化机制,并验证逐层学习率调度与 LoRA 可保持参数分布、兼顾文本与口语问答性能。
2025-09-28 cs.AI cs.CL
Fine-tuning of lightweight large language models for sentiment classification on heterogeneous financial textual data
International Business School, Zhejiang University(浙江大学国际商务学院);Center for Data Science, Zhejiang University(浙江大学数据科学中心);Centre for Statistics, Georg-August-Universität Göttingen(哥廷根大学统计中心)
本研究探讨了轻量级开源大语言模型在异构金融文本数据上的情感分类微调效果,发现Qwen3 8B和Llama3 8B在有限数据下表现优异。
2025-11-30 cs.AI cs.CL
Test-Time Preference Optimization: On-the-Fly Alignment via Iterative Textual Feedback
Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
提出测试时偏好优化(TPO)框架,利用文本反馈在推理阶段迭代优化LLM输出,无需重训练即可对齐人类偏好,实验显示TPO能提升对齐效果并高效扩展。
2025-01-22 cs.CL
Instruction-Tuning LLMs for Event Extraction with Annotation Guidelines
George Mason University(乔治·马歇尔大学)
本研究探讨标注指南在指令微调大型语言模型进行事件抽取时的作用,实验表明其在适量训练数据下能提升跨模式泛化和低频事件类型性能。
2025-05-29 cs.CL
AutoMedPrompt: A New Framework for Optimizing LLM Medical Prompts Using Textual Gradients
Keck Data Science Institute, Pepperdine University(佩珀代因大学凯克数据科学研究所);Department of Medicine, University of California, Los Angeles(加利福尼亚大学洛杉矶分校医学院);Biological Sciences Division, University of Chicago(芝加哥大学生物科学部);Brain Research Institute, University of California, Los Angeles(加利福尼亚大学洛杉矶分校脑研究所)
AutoMedPrompt利用文本梯度优化系统提示,提升开源LLM在医学问答基准上的性能,创下PubMedQA新SOTA(82.6%),并超越专有模型。
2025-02-21 cs.CL
PPL-MCTS: Constrained Textual Generation Through Discriminator-Guided MCTS Decoding
CNRS(法国国家科学研究中心);IRISA(法国信息与随机系统研究所);Univ. Rennes 1(雷恩第一大学);IMATAG
基于Transformers的大语言模型(LM)允许生成合理的长文本。在本文中,我们将探讨如何在解码时进一步控制这一代,以满足某些限制(例如无毒,传达某些情感,使用特定的写作风格等)。不需要微调LM。准确地说,我们正式约束生成树的探索过程中指导下的一个约束,表明如何以及相关的序列尊重的约束。除了比微调LM更容易和更便宜地进行训练之外,该方法还允许更精细和动态地应用约束。我们提出了几种原始的方法来搜索这棵生成树,特别是蒙特卡罗树搜索(MCTS),它提供了理论上的保证的搜索效率,但也更简单的方法的基础上重新排序的不同序列的池使用的candidscores。这些方法进行评估,自动和基于人类的指标,两种类型的约束和语言:审查极性和情绪控制在法语和英语。我们发现,歧视引导的MCTS解码达到国家的最先进的结果,而不必调整的语言模型,在任务和语言。我们还表明,其他建议的解码方法的基础上重新排名可以真正有效的时候,鼓励所产生的命题之间的多样性。
2022-05-04 cs.CL
LeTI: Learning to Generate from Textual Interactions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出LETI方法,通过文本交互(如代码执行错误信息)迭代微调语言模型,无需真实输出即可提升代码生成性能,并泛化至其他数据集和任务。
2024-03-19 cs.AI cs.CL cs.SE
CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Shenzhen University(深圳大学);Pengcheng Laboratory(鹏城实验室)
针对LLM时间序列预测中文本与时序token分布不一致问题,提出CALF框架,通过跨模态匹配、特征正则化和输出一致性损失对齐两分支模态,以低计算复杂度实现领先的长期与短期预测及少样本、零样本能力。
2025-04-08 cs.CL cs.LG
ProRefine: Inference-Time Prompt Refinement with Textual Feedback
Center for Advanced AI, Accenture(高级人工智能研究中心,Accenture);Rochester Institute of Technology(罗切斯特理工学院);UC Berkeley(加州大学伯克利分校)
ProRefine提出一种基于大语言模型智能体循环生成文本反馈的推理时提示精炼方法,无需训练或标签即可动态优化多步推理提示,在五个数学推理基准上超越零样本思维链基线3至37个百分点,并让较小模型逼近更大模型的性能。
2025-11-06 cs.AI cs.CL cs.LG
MNAFT: modality neuron-aware fine-tuning of multimodal large language models for image translation
School of Computer Science and Technology, Tianjin University, Tianjin, China(天津大学计算机科学与技术学院);School of Software, Tsinghua University, Beijing, China(清华大学软件学院);School of Information Resource Management, Renmin University of China,Beijing, China(中国人民大学信息资源管理学院);School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai, China(上海交通大学人工智能学院);Baidu Inc., Beijing, China(百度公司)
本文提出MNAFT,通过识别视觉和语言模块中语言无关和语言特定的神经元,改进多模态大语言模型在图像翻译中的表现,实验表明其优于现有方法。
2026-04-18 cs.CL
Beyond Corrected Actions: Training LLM Agents on Textual Critiques
Capital One;University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出CAFT框架,用专家文本批评训练LLM智能体,在两个智能体领域的四个模型上,性能比仅动作蒸馏平均提升8%,还能为强化学习提供更好的预热启动。
2026-10-15 cs.AI cs.CL
Multi-Novelty: Improve the Diversity and Novelty of Contents Generated by Large Language Models via inference-time Multi-Views Brainstorming
National University of Singapore(新加坡国立大学)
针对大语言模型生成内容重复、缺乏新颖性的问题,本文提出推理时多视角头脑风暴方法 Multi-Novelty,利用文本与视觉来源丰富提示并作为思维链起点,且无需修改模型架构。
2025-02-18 cs.CL
Enhancing E-Commerce Recommendation using Pre-Trained Language Model and Fine-Tuning
预训练语言模型(PLM)在广泛的自然语言处理(NLP)任务中取得了巨大的成功。然而,它刚刚开始被应用到推荐系统领域。传统的推荐算法未能充分利用电子商业数据中丰富的文本信息,从而影响了推荐模型的性能。我们提出了一个彻底的调查的各种策略,将PLM到传统的推荐算法的效果之一的电子商业数据集,我们比较的结果与香草推荐基线模型。我们表明,PLM的应用和特定领域的微调可以提高组合模型的预测能力。这些结果强调了在电子商业中利用文本信息的重要性,并提供了如何更好地应用PLM与传统的推荐系统算法的见解。本文中使用的代码可以在Github上获得:https://github.com/NuofanXu/bert_retail_recommender。
2023-02-09 cs.CL cs.IR cs.LG
BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model with Non-textual Features for CTR Prediction
Microsoft STCA(微软亚洲研究院科学技术中心);University of Savoie(萨瓦大学)
针对预训练语言模型与非文本特征融合的CTR预测难题,提出搭载Uni-Attention机制的BERT4CTR框架,兼顾特征交互与低时间成本,性能优于现有最优框架。
2023-08-17 cs.AI cs.CL cs.IR
Neuro-Symbolic Contrastive Learning for Cross-domain Inference
University of Durham(杜伦大学);University of Tokyo(东京大学);Kyoto University(京都大学);National Institute of Informatics(信息学国立研究院)
针对预训练语言模型在自然语言推理中过度依赖浅层启发式、归纳逻辑编程受限于离散输入的问题,提出神经符号对比学习方法,通过可微分优化提升逻辑准确性,显著增强模型跨域推理的泛化与推理能力。
2025-02-13 cs.CL cs.LG
APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Apple(苹果公司)
本文提出APT框架,通过在微调早期动态添加显著微调参数并丢弃不重要参数,同时提升大型语言模型的训练和推理效率,在大幅减少参数和内存占用的同时保持高任务性能。
2024-06-04 cs.CL cs.LG
CLIP meets DINO for Tuning Zero-Shot Classifier using Unlabeled Image Collections
Mohamed Bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);The Johns Hopkins University(约翰斯·霍普金斯大学);IBM Research(IBM研究院)
本文提出无标签提示微调框架NoLA,结合DINO的视觉特征与LLM的文本知识,通过生成文本嵌入、训练对齐模块并微调CLIP视觉编码器,在11个数据集上超越LaFTer平均3.6%。
2025-04-10 cs.CL cs.CV cs.LG
MMICT: Boosting Multi-Modal Fine-Tuning with In-Context Examples
Xiamen University(厦门大学);Tencent Youtu Lab(腾讯优图实验室)
本文提出多模态上下文微调范式MMICT,通过统一模块M-Hub捕获多模态特征并设计多种上下文演示,使多模态大模型能利用上下文示例进行微调,在多个下游任务上显著超越传统微调和普通ICT方法。
2024-08-12 cs.AI cs.CL cs.LG
Textual Self-attention Network: Test-Time Preference Optimization through Textual Gradient-based Attention
本文提出TSAN,一种无需参数更新的测试时偏好优化方法,通过文本梯度空间实现多候选响应的系统分析与综合,提升输出质量。
2025-12-12 cs.AI cs.CL
Visual Instruction Tuning Aligns Modalities through Abstraction
Area Science Park, Trieste, Italy(特里埃斯特Area Science Park)
通过探针分析和因果干预,发现视觉指令调优将视觉特征直接嵌入LLM的中间语义层,绕过早期单模态处理层,并通过扩展和强化现有抽象阶段对齐视觉与文本表示。
2026-11-13 cs.CL cs.CV cs.LG
Understanding Catastrophic Forgetting in Language Models via Implicit Inference
Carnegie Mellon University(卡内基梅隆大学)
该研究提出语言模型微调引发灾难性遗忘源于隐式任务推断偏差,通过Conjugate Prompting(含多语言翻译提示)可恢复部分预训练能力,也揭示安全微调存在被绕过的风险。
2024-04-14 cs.CL cs.LG
GradPruner: Gradient-Guided Layer Pruning Enabling Efficient Fine-Tuning and Inference for LLMs
Ant Group Beijing, China(蚂蚁集团北京)
GradPruner通过梯度引导的层剪枝技术,在保持高精度的同时实现LLM微调和推理的高效优化。
2026-01-27 cs.AI cs.CL
PromptIntern: Saving Inference Costs by Internalizing Recurrent Prompt during Large Language Model Fine-tuning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft(微软公司);Shanghai Jiao Tong University(上海交通大学)
本文提出 PromptIntern 方法,通过在微调阶段将循环提示内化到模型参数中,结合指令模板压缩与渐进式内化策略,在 NL2Code 任务上减少超 90% 输入 token 并大幅降低推理成本。
2024-10-15 cs.AI cs.CL cs.LG
Fine-Tuning Pretrained Language Models With Label Attention for Biomedical Text Classification
Aalto University(阿尔托大学)
文本生物医学数据的大规模和增长使其索引和分类变得越来越重要。然而,关于这个主题的现有研究主要利用卷积和递归神经网络,它们通常比新型Transformers的性能要差。另一方面,应用Transformers的系统只关注目标文档,忽略了标签描述所包含的丰富语义信息。为了解决这个问题,我们开发了一个基于transformer的生物医学文本分类器,考虑标签信息。该系统实现了这一点与标签注意模块纳入微调过程中的预训练语言模型(PTM)。我们在两个公共医疗数据集上的结果表明,所提出的微调方案优于香草PTM和最先进的模型。
2022-03-07 cs.CL cs.LG
Continuous Prompt Tuning Based Textual Entailment Model for E-commerce Entity Typing
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Saleforce Research(赛富时研究院);Huski Inc(哈士奇公司)
电子商业的爆炸式增长导致了对产品标题的处理和分析的需求,如产品标题中的实体键入。然而,电子商业中的快速活跃导致了新实体的快速涌现,这是一般实体分型难以解决的问题。此外,电子商业中的产品标题与一般领域的文本数据具有很大的语言风格。为了处理产品标题中的新实体,解决电子商务领域产品标题的特殊语言风格问题,提出了基于连续提示微调的假设融合嵌入文本蕴涵模型,用于电子商业实体分类。首先,我们将实体键入任务重新表述为文本蕴涵问题,以处理训练过程中不存在的新实体。其次,我们设计了一个自动生成文本蕴涵假设的模型,该模型采用连续提示微调的方法,可以在不需要人工设计的情况下生成更好的文本蕴涵假设。第三,利用BERT嵌入和二阶BERT嵌入与两层MLP分类器的融合嵌入,解决了电子商业中产品标题语言风格与一般领域不同的问题。为了分析每个贡献的效果,我们比较了实体类型和文本蕴涵模型的性能,并对连续提示微调和融合嵌入进行了消融研究。我们还评估了不同提示模板初始化对连续提示微调的影响。我们表明,我们提出的模型提高了约2%的平均F1分数相比,基线BERT实体分型模型。
2022-11-04 cs.CL
Learning Domain Knowledge in Multimodal Large Language Models through Reinforcement Fine-Tuning
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University, Shanghai, China(人工智能大规模并行计算实验室,人工智能研究院,上海交通大学,上海)
本文提出通过强化微调框架在优化层面整合领域知识,提升多模态大语言模型在专门领域任务中的性能。
2026-02-04 cs.CL cs.CV
Multimodal Logical Inference System for Visual-Textual Entailment
Ochanomizu University(御茶水女子大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
近年来,大量关于跨文本和视觉的多模态推理的研究已经发展到获得基于视觉的单词和句子表示。在本文中,我们使用基于逻辑的表示作为文本和图像的统一意义表示,并提出了一个无监督的多模态逻辑推理系统,可以有效地证明它们之间的蕴涵关系。我们表明,通过结合语义解析和定理证明,该系统可以处理语义复杂的句子的视觉-文本推理。
2019-06-10 cs.CL
Ahead-of-Time P-Tuning
Tinkoff
在本文中,我们提出了提前(AoT)P-Tuning,这是一种用于预训练语言模型(LM)的新的参数高效微调方法,该方法在每个Transformer层之前添加输入相关偏置。我们使用RoBERTa和DeBERTa模型在GLUE和SuperGLUE基准测试数据集上评估AoT P-Tuning,结果表明它优于BitFit,并且与其他基线方法相当或更好,可以进行有效的微调。此外,我们评估了AoT P-调整的推理开销,并证明与已建立的基线方法相比,它引入的开销可以忽略不计。我们的方法使多任务推理与一个单一的骨干LM,使其成为现实世界的应用程序的一个实用的解决方案。
2023-05-18 cs.CL cs.LG
Integrating large language models and active inference to understand eye movements in reading and dyslexia
Institute of Cognitive Sciences and Technologies, National Research Council(认知科学与技术研究所,国家研究院)
本文提出一种结合大型语言模型与分层主动推理的计算模型,模拟阅读和眼动过程,揭示阅读障碍的适应不良预测机制。
2025-08-08 cs.CL q-bio.NC
LOOK-M: Look-Once Optimization in KV Cache for Efficient Multimodal Long-Context Inference
The Ohio State University(俄亥俄州立大学);Peking University(北京大学);Imperial College London(帝国理工学院);Tencent AI Lab(腾讯AI实验室)
针对长上下文多模态大语言模型推理中KV缓存内存和延迟瓶颈,提出无需微调的LOOK-M方法,利用文本优先压缩与KV对合并补偿,在减少80%缓存时实现1.5倍加速并保持性能。
2024-06-26 cs.CL cs.CV
Towards Aligning Language Models with Textual Feedback
ETH Zürich(苏黎世联邦理工学院);IBM Research(IBM研究院)
提出仅依赖语言建模的 ALT 方法,通过条件化文本反馈对齐语言模型,在毒性降低上优于 PPO,并以 20% 样本达到摘要任务同等性能。
2025-03-18 cs.AI cs.CL cs.LG
Inference-Aware Fine-Tuning for Best-of-N Sampling in Large Language Models
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出了一种推理感知微调方法,通过改进最佳-N采样策略提升大型语言模型的性能和推理效率。
2025-11-25 cs.AI cs.CL cs.LG
Beyond Spurious Signals: Debiasing Multimodal Large Language Models via Counterfactual Inference and Adaptive Expert Routing
School of Computer Science, Peking University(北京大学计算机科学学院);MOE Key Laboratory of Computational Linguistics, Peking University(北京大学教育部计算语言学重点实验室);National Key Laboratory for Multimedia Information Processing, Peking University(北京大学国家多媒体信息处理重点实验室)
本文提出基于因果中介的多模态大语言模型去偏框架,利用反事实示例区分核心语义与虚假上下文,并结合动态路由的专家混合架构,在讽刺检测和情感分析任务上显著超越现有方法。
2025-09-18 cs.AI cs.CL cs.MM
Evaluating Multimodal Representations on Visual Semantic Textual Similarity
University of the Basque Country(巴斯克大学)
视觉和文本表示的组合在诸如图像描述和视觉问答等任务中产生了出色的结果,但多模态表示的推理能力在很大程度上未经测试。在文本表示的情况下,推理任务,如文本蕴涵和语义文本相似性经常被用来衡量文本表示的质量。我们研究的长期目标是设计多模态表示技术,提高当前的推理能力。因此,我们提出了一个新的任务,视觉语义文本相似性(vSTS),这样的推理能力可以直接测试。给定两个项目,每个项目由一个图像及其附带的标题组成,vSTS系统需要评估上下文中的标题在语义上彼此等同的程度。我们使用简单的多模态表示的实验表明,除了图像表示产生更好的推理,相比纯文本表示。当直接计算两个项目的表示之间的相似性时,以及当学习基于vSTS训练数据的连体网络时,都观察到改进。我们的工作表明,第一次,成功的视觉信息的文本推理的贡献,有足够的空间基准更复杂的多模态表示选项。
2020-04-04 cs.CL
User Inference Attacks on Large Language Models
University of Toronto(多伦多大学);Vector Institute(矢量研究院);Google(谷歌公司);Northeastern University(东北大学)
本文研究大语言模型微调中的用户推断隐私攻击,提出仅需黑盒访问和少量用户样本的攻击方法,发现离群用户等更易受攻击,并探讨了差分隐私等缓解措施。
2024-02-23 cs.CL cs.CR cs.LG
Dr.Quad at MEDIQA 2019: Towards Textual Inference and Question Entailment using contextualized representations
Carnegie Mellon University(卡内基梅隆大学)
本文介绍了Quad博士团队提交的ACL-BioNLP 2019共享任务,即医学领域的文本推理和问题蕴涵。我们的系统基于Liu et al.(2019)的先前工作,该工作使用多任务目标函数进行文本蕴涵。在这项工作中,我们探讨了不同的战略,推广国家的最先进的语言理解模型的专业医疗领域。我们在共享任务上的结果表明,通过数据增强整合领域知识是应对医学等专业领域所带来挑战的有力策略。
2019-07-23 cs.CL
Role of temporal inference in the recognition of textual inference
Université des Sciences et Technologie Houari Boumediene(布迈丁科学与技术大学)
本项目是自然语言处理的一部分,其目标是开发一个文本指定的识别推理系统TIMINF。给定文本的两个部分,这种类型的系统可以检测一个文本是否从另一个文本中语义推导出来。我们专注于在这种类型的系统中进行推理时间。为此,我们建立并分析了一个从网络收集的问题中构建的身体。这项研究使我们能够分类不同类型的时间推断和设计的TIMINF的架构,旨在集成一个模块的推理时间在检测系统的推理文本。我们还评估了性能的架次TIMINF系统的测试语料库中采用相同的策略,在挑战RTE。
2013-02-18 cs.CL
Deja vu: Contrastive Historical Modeling with Prefix-tuning for Temporal Knowledge Graph Reasoning
School of Computer Science, Wuhan University(武汉大学计算机学院);Xiaomi Inc.(小米公司)
本文提出ChapTER框架,通过伪孪生编码器与虚拟时间前缀微调,在冻结预训练语言模型上实现文本与时序信息的对比平衡,以极少可调参数在直推式和少样本归纳式时序知识图谱推理中取得优越性能。
2024-03-25 cs.AI cs.CL cs.LG
Natural Language Inference from Multiple Premises
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们定义了一个新颖的文本蕴涵任务,需要对多个前提句子进行推理。我们提出了一个新的数据集为这项任务,最大限度地减少琐碎的词汇推理,强调日常事件的知识,并提出了一个更具挑战性的设置文本蕴涵。我们评估了几个强大的神经基线,并分析了多前提任务与标准文本蕴涵的不同之处。
2017-10-09 cs.CL
DeepResonance: Enhancing Multimodal Music Understanding via Music-centric Multi-way Instruction Tuning
Sony Group Corporation(索尼集团公司);Sony AI(索尼人工智能)
DeepResonance通过多路指令微调融合音乐、文本、图像和视频数据,并引入多采样ImageBind嵌入与融合Transformer,在六项音乐理解任务上达到最先进性能。
2025-09-23 cs.AI cs.CL cs.MM
Pcc-tuning: Breaking the Contrastive Learning Ceiling in Semantic Textual Similarity
School of Software, Tsinghua University(清华大学软件学院)
针对语义文本相似性任务中对比学习遭遇性能瓶颈的问题,提出以皮尔逊相关系数为损失函数的Pcc-tuning方法,仅用少量细粒度标注样本即可显著超越现有最优水平。
2024-10-06 cs.CL
Neural Network Models for Paraphrase Identification, Semantic Textual Similarity, Natural Language Inference, and Question Answering
Ohio State University(俄亥俄州立大学)
在本文中,我们分析了几种用于句子对建模的神经网络设计(及其变体),并在八个数据集上广泛比较了它们的性能,包括释义识别,语义文本相似性,自然语言推理和问答任务。尽管这些模型中的大多数都声称具有最先进的性能,但原始论文通常只报告一两个选定的数据集。我们提供了一个系统的研究,并表明(i)通过LSTM编码上下文信息和句子间交互是至关重要的,(ii)Tree-LSTM并没有像之前声称的那样有帮助,但令人惊讶地提高了Twitter数据集的性能,(iii)增强型顺序推理模型是迄今为止最适合较大数据集的模型,而成对词交互模型在可用数据较少时实现了最佳性能。我们将我们的实现作为开源工具包发布。
2018-08-23 cs.CL
Premise-based Multimodal Reasoning: Conditional Inference on Joint Textual and Visual Clues
Peking University(北京大学);Fudan University(复旦大学);Tencent Cloud Xiaowei(腾讯云小微)
视觉语言跨模态推理中的最新作品通常采用二元或多选分类公式,将一组源图像和文本查询作为输入。在这项工作中,我们采取了清醒的眼光在这个意义上,没有先验知识指定相对于源图像(S)这样一个无条件的制定。受视觉常识推理和自然语言推理任务设计的启发,我们提出了一个新的任务,称为基于前提的多模态推理(PMR)的文本前提是对每个源图像的背景假设。PMR数据集包含15,360个手动注释的样本,这些样本是通过多阶段众包过程创建的。通过从6个预定义的类别中选择高质量的电影截图和人工策划的前提模板,我们要求众包工作者通过交叉检查程序编写一个真实的假设和三个干扰因素(4个选择)。此外,我们生成对抗样本来减轻注释伪影并将PMR的大小加倍。我们在PMR上对各种最先进的(预训练的)多模态推理模型进行基准测试,并进行全面的实验分析,以展示我们数据集的实用性。
2022-03-17 cs.CL
Exploring Cross-lingual Textual Style Transfer with Large Multilingual Language Models
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Technical University of Munich(慕尼黑工业大学)
去歧义是指在保持原文的意义和流畅性的同时,以礼貌的方式生成文本。现有的解毒方法被设计成以一种确切的语言工作。这项工作调查了多语言和跨语言解毒以及大型多语言模型的行为,如在这种情况下。与以前的作品,我们的目标是使大语言模型能够执行解毒,而无需直接微调给定的语言。实验表明,多语言模型能够进行多语言风格迁移。然而,模型无法进行跨语言解毒,直接对精确语言进行微调是不可避免的。
2022-06-05 cs.CL
Visual-Language Prompt Tuning with Knowledge-guided Context Optimization
Institute of Automation, CAS(中国科学院自动化研究所);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(CAS)(中国科学院大学)
提示微调是一种使用任务相关文本标记使预训练的视觉语言模型(VLM)适应下游任务的有效方法。代表性的合作为基础的工作相结合的学习文本令牌类令牌,以获得特定的文本知识。然而,具体的文本知识是最差的泛化看不见的类,因为它忘记了本质的一般文本知识具有很强的泛化能力。为了解决这个问题,我们引入了一种新的知识引导的上下文优化(KgCoOp),以增强不可见类的可学习提示的泛化能力。KgCoOp的关键见解是,通过减少可学习提示和手工制作提示之间的差异,可以减轻对基本知识的遗忘。特别是,KgCoOp最大限度地减少了由学习提示和手工制作的提示生成的文本嵌入之间的差异。最后,在对比损失上添加KgCoOp可以对可见和不可见任务进行区分性提示。多个基准测试结果表明,该方法是一种有效的提示微调方法,\emph{i.e.,}以更少的训练时间获得了更好的性能。
2023-03-23 cs.CL cs.CV
Some Reflections on Drawing Causal Inference using Textual Data: Parallels Between Human Subjects and Organized Texts
University of Pennsylvania(宾夕法尼亚大学)
我们研究的作用,文本数据作为研究单位进行因果推理时,绘制人类受试者和有组织的文本之间的相似之处。%的人口研究。我们详细阐述了关键的因果概念和原则,并揭示了一些模糊性,有时甚至是谬误。为了便于更好地构建因果查询,我们讨论了两种策略:(i)从不变的特征转移到对它们的感知,以及(ii)从一些抽象概念/属性转移到其组成部分,即,从建构主义的角度看待抽象概念。我们希望这篇文章能提高人们对阐明和澄清基本概念的重要性的认识,然后再深入研究使用文本数据进行因果推理时的方法。
2022-02-02 cs.CL cs.LG stat.AP
THiFLY Research at SemEval-2023 Task 7: A Multi-granularity System for CTR-based Textual Entailment and Evidence Retrieval
THiFLY Research(THiFLY研究院);Tsinghua University(清华大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
本文提出融合 MGNet 句级与 token 级编码、SciFive 数值推理、模型集成及联合推理的多粒度系统,在 NLI4CT 两个子任务上均取得最佳 F1。
2023-06-02 cs.CL
AAdaM at SemEval-2024 Task 1: Augmentation and Adaptation for Multilingual Semantic Textual Relatedness
Saarland University(萨尔大学);Bosch Center for AI(博世人工智能中心);LMU Munich(慕尼黑大学)
本文提出 AAdaM 系统,通过机器翻译数据增强和任务自适应预训练解决低资源语言语义相关性任务,并采用适配器框架实现零样本跨语言迁移,在 SemEval-2024 任务 1 的两个子任务中均取得第一名。
2024-06-07 cs.CL
Contextualized moral inference
University of Toronto(多伦多大学)
在过去的几十年里,发展智能系统中的道德意识已经从哲学探究的主题转变为人工智能中的关键和实际问题。然而,日常道德情况的自动推理仍然是一个未充分探索的问题。我们提出了一个基于文本的方法,预测人们的道德小插曲的直觉判断。我们的方法建立在最近的工作,语境化的语言模型和文本推理的道德情操。我们发现,一个语境化的表示提供了一个实质性的优势,替代表示的基础上词嵌入和情感情绪推断人类的道德判断,评估和反映在三个独立的数据集从道德心理学。我们将讨论我们的方法对自动文本道德推理的承诺和局限性。
2020-08-25 cs.CL
Don't Learn, Ground: A Case for Natural Language Inference with Visual Grounding
Utrecht University(乌特勒支大学)
本文提出了一种基于视觉依托的零样本自然语言推理方法,通过生成视觉表示并比较与假设的相似度,实现高精度推理,展示了对文本偏见的鲁棒性。
2025-11-21 cs.CL
VLM Fine-Tuning for End-to-End Combinatorial Optimization
本文提出一种通用的视觉-语言求解器,通过为组合优化任务添加视觉表示并采用监督微调和强化学习训练,显著提升了解质量,尤其在复杂和大规模问题上表现突出。
2026-09-30 cs.CL
Compositional Evaluation on Japanese Textual Entailment and Similarity
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
自然语言推理(NLI)和语义文本相似性(STS)是用于预训练语言模型的组合评估的广泛使用的基准任务。尽管对语言共性的兴趣越来越大,但大多数NLI/STS研究几乎完全集中在英语上。特别是,日语中没有可用的多语言NLI/STS数据集,这在类型上不同于英语,并且可以揭示语言模型在诸如词序和格粒子的敏感性等问题上的当前有争议的行为。在此背景下,我们介绍了JSICK,一个日本NLI/STS数据集,是手动翻译的英文数据集SICK。我们还提出了一个压力测试数据集的成分推理,通过转换在JSICK句子的句法结构,调查是否语言模型是敏感的词序和情况粒子。我们对不同的预训练语言模型进行基线实验,并比较多语言模型应用于日语和其他语言时的性能。压力测试的结果表明,目前预训练的语言模型是不敏感的词序和情况标记。
2022-08-09 cs.CL
Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic
Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所);University of Arizona(亚利桑那大学)
针对分解式文本推理缺乏明确判定协议导致的数据集噪声、性能受限问题,提出有理论依据的分解式蕴含标注方法,构建内部一致性提升9%的RDTE数据集,结合知识蒸馏训练的分类器可有效提升蕴含树推理的准确率与证明质量。
2024-08-12 cs.AI cs.CL