Compositional Subspace Representation Fine-tuning for Adaptive Large Language Models
Intology AI
提出CS-ReFT方法,通过轻量级路由器组合隐藏状态中的多个正交子空间变换,有效解决多任务适配中的跨技能干扰,以极低参数开销显著提升多任务指令遵循能力。
2025-04-26 cs.AI cs.CL
NeSyCoCo: A Neuro-Symbolic Concept Composer for Compositional Generalization
Michigan State University(密歇根州立大学)
提出神经符号框架NeSyCoCo,利用大语言模型生成符号表示并映射至可微神经计算,通过依存结构增强输入、分布式词表示链接谓词与神经模块及软组合对齐推理,在组合泛化基准上达到最优。
2024-12-20 cs.CL
Understanding Subword Compositionality of Large Language Models
University of Copenhagen(哥本哈根大学);ETH Zurich(苏黎世联邦理工学院)
本文通过聚焦结构相似性、语义可分解性和形式保留性的综合实验,探究大型语言模型的子词组合机制,将五个LLM家族分为三组并揭示其组合策略差异,为理解LLMs的子词信息整合提供关键见解。
2025-08-25 cs.AI cs.CL cs.LG
ByteComposer: a Human-like Melody Composition Method based on Language Model Agent
ByteDance AI Lab(字节跳动人工智能实验室)
针对现有旋律创作系统缺乏人类对齐性与可解释性的问题,提出模拟人类创作四步流程的ByteComposer智能体框架,融合大语言模型与符号音乐生成模型,经实验与专业评估达到新手作曲家水平。
2024-03-07 cs.AI cs.SD eess.AS
Multimodal LLMs Do Not Compose Skills Optimally Across Modalities
本文研究多模态大语言模型跨模态技能组合能力,发现其存在显著差距,并提出链式推理和微调策略以改善,但效果有限。
2026-03-09 cs.CL
Chain-of-Instructions: Compositional Instruction Tuning on Large Language Models
Amazon(亚马逊公司)
本文提出 chain-of-instructions(CoI)组合式指令及 CoI-tuning,通过让模型逐步完成相互衔接的子任务,提升 LLM 对复杂、未见和长指令链的泛化能力。
2025-01-03 cs.CL
Composing Parameter-Efficient Modules with Arithmetic Operations
The Hong Kong University of Science and Technology(香港科技大学);City University of Hong Kong(香港城市大学);Shanghai Jiao Tong University(上海交通大学)
本文提出在权重空间用加法、取反等线性算术运算无训练地组合 PEFT 模块,覆盖泛化、多任务、遗忘、领域迁移及 Alpaca-LoRA 去毒,效果显著优于现有方法。
2023-12-09 cs.CL
Language Models with Image Descriptors are Strong Few-Shot Video-Language Learners
UIUC(伊利诺伊大学厄巴纳-香槟分校);MSR(微软研究院);UNC(北卡罗来纳大学教堂山分校);Columbia University(哥伦比亚大学)
这项工作的目标是建立灵活的视频语言模型,可以概括为各种视频到文本的任务,从几个例子,如特定领域的字幕,问答,和未来的事件预测。现有的Few-Shot视频语言学习器只关注编码器,导致没有视频到文本解码器来处理生成任务。视频字幕已经在大规模视频语言数据集上进行了预训练,但它们严重依赖微调,并且缺乏在Few-Shot设置中为看不见的任务生成文本的能力。我们提出了VidIL,一个通过图像和语言模型的Few-Shot视频语言学习器,它在Few-Shot视频到文本任务上表现出强大的性能,而无需对任何视频数据集进行预训练或微调。我们使用图像-语言模型将视频内容翻译成帧标题、对象、属性和事件短语,并将它们组合成时间结构模板。然后,我们指示一个语言模型,使用包含一些上下文示例的提示,从合成的内容生成目标输出。提示的灵活性允许模型捕获任何形式的文本输入,例如自动语音识别(ASR)转录。我们的实验证明了语言模型在理解各种视频语言任务中的能力,包括视频描述,视频问答,视频字幕检索和视频未来事件预测。特别是在视频未来事件预测方面,我们的Few-Shot模型明显优于在大规模视频数据集上训练的最先进的监督模型。代码和资源可在https://github.com/MikeWangWZHL/VidIL上公开获取,以供研究之用。
2022-10-13 cs.AI cs.CV
TreePrompt: Learning to Compose Tree Prompts for Explainable Visual Grounding
Zhejiang University(浙江大学);Finvolution Group(信也科技集团);Hong Kong University of Science and Technology(香港科技大学)
针对现有提示微调范式在视觉定位中可解释性差的问题,提出TreePrompt范式,通过将句子解构为语法树并自下而上组合结构化提示,实现了逐步可解释的推理过程。
2023-05-19 cs.AI cs.CL cs.CV
L3GO: Language Agents with Chain-of-3D-Thoughts for Generating Unconventional Objects
Yale University(耶鲁大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
提出 L3GO,一种基于三维思维链的语言智能体,通过大语言模型在 3D 仿真环境中试错组合来生成非常规物体,并在新基准 UFO 及 ShapeNet 上超越现有模型。
2024-02-14 cs.AI
VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models
Stanford University(斯坦福大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出VoxPoser,利用LLM与VLM组合3D价值图,并结合基于模型的规划零样本合成鲁棒机器人轨迹,支持开放语言指令下的多样日常操作任务。
2023-11-02 cs.AI cs.CL cs.CV
IPL: Leveraging Multimodal Large Language Models for Intelligent Product Listing
Alibaba Group(阿里巴巴集团);Fudan University(复旦大学)
本文提出IPL智能商品发布工具,通过指令微调多模态大语言模型并结合检索增强生成,实现上传商品照片即可生成符合闲鱼平台风格的描述,部署后72%用户采用生成内容且质量评分提升5.6%。
2024-10-22 cs.CL
Dr3: Ask Large Language Models Not to Give Off-Topic Answers in Open Domain Multi-Hop Question Answering
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室);Artificial Intelligence Department, Cainiao Network(菜鸟网络人工智能部)
针对开放域多跳问答中LLM生成离题答案的问题,提出Dr3机制,通过判别和逆向链修正减少离题答案,在HotpotQA和2WikiMultiHopQA上EM提升近3%。
2024-03-19 cs.CL
EgoExo-Next:Benchmarking Vision-Language Models on Visual-Option Next-State and Cross-View Reasoning
Fudan University(复旦大学)
本文提出EgoExo-Next基准,通过2,503个四选一问题评估视觉语言模型在动态视觉状态推理上的能力,发现最佳模型准确率仅43.81%,远低于人类的98.55%,凸显了现有模型在组合时间与跨视角推理上的显著局限。
2026-10-06 cs.AI cs.CV
Offline Regularised Reinforcement Learning for Large Language Models Alignment
Google DeepMind(谷歌DeepMind);Cohere(科here);Stanford University(斯坦福大学);Google Research(谷歌研究院)
本文提出DRO(直接奖励优化)框架,通过均方目标利用更丰富的单轨迹数据集进行大型语言模型对齐,无需成对偏好数据,并在T5模型上验证了其优于KTO等基线的性能。
2024-05-29 cs.AI cs.LG
A Neural Matrix Decomposition Recommender System Model based on the Multimodal Large Language Model
Tandon School of Engineering, University of New York(纽约大学坦登工程学院);Cullen College of Engineering, University of Houston(休斯顿大学卡伦工程学院)
本研究针对信息检索需求,提出结合BoBERTa、ViT与神经矩阵分解的多模态大语言模型推荐系统BoNMF,经实验验证其在公开数据集上性能优异,有效提升推荐准确率。
2024-07-12 cs.AI cs.IR
Composed Variational Natural Language Generation for Few-shot Intents
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(Salesforce研究院)
在本文中,我们专注于在现实的不平衡场景中生成训练样本的Few-Shot意图。为了在现有的多镜头意图和Few-Shot意图之间建立联系,我们将意图视为域和动作的组合,并提出了一种组合变分自然语言生成器(CLANG),一种基于变换的条件变分自编码器。CLANG利用两个隐变量来表示意图中两个不同的独立部分(域和动作)对应的话语,并将隐变量组合在一起生成自然的例子。此外,为了改进生成器学习,我们采用了对比正则化损失,该损失将类内与类外话语生成进行对比。为了评估生成的话语的质量,实验进行了广义的Few-Shot意图检测任务。实证结果表明,我们提出的模型在两个真实世界的意图检测数据集上实现了最先进的性能。
2020-09-21 cs.CL
Limits of Transformer Language Models on Learning to Compose Algorithms
IBM Research -- Zurich(IBM苏黎世研究院);ETH Zurich(苏黎世联邦理工学院);MPI Tübingen(蒂宾根马克斯·普朗克研究所)
本研究分析Transformer语言模型在学习组合离散任务时的局限性,发现LLaMA和GPT-4等模型在组合学习上样本效率极低,并提供了理论分析支持。
2024-11-05 cs.AI cs.CL cs.LG
What Meaning-Form Correlation Has to Compose With
Aist(产业技术综合研究所);Atilf(ATILF研究所);Université de Paris(巴黎大学);Utrecht University(乌得勒支大学)
组合性是自然语言的一个广泛讨论的属性,尽管它的确切定义一直难以捉摸。我们专注于组合性的建议,可以通过测量的意义,形式的相关性进行评估。我们分析了三组语言的意义-形式相关性:(i)人工玩具语言定制的成分,(ii)一组英语词典的定义,(iii)一组英语句子从文学。我们发现,语言现象,如同义词和不接地停止词的重量MFC测量,并直接的方法来减轻其影响有很大的不同的结果取决于它们所应用的数据集。数据和代码是公开的。
2020-12-07 cs.CL
Word Interdependence Exposes How LSTMs Compose Representations
University of Edinburgh(爱丁堡大学)
NLP最近的工作表明,LSTM语言模型可以捕获语言数据中的组合结构。为了更仔细地了解这些表示是如何分层组成的,我们提出了一种新的LSTM中词义之间相互依赖的度量方法,基于它们在内部门的相互作用。为了探索组合表征是如何在训练过程中出现的,我们对合成数据进行了简单的实验,通过显示高度的相互依赖性会如何损害泛化来说明我们的测量。这些合成实验还说明了一个关于在训练过程中如何发现层次结构的特定假设:父母成分依赖于他们孩子的有效表征,而不是独立学习远程关系。我们进一步支持这一措施与英语语言数据的实验,其中的相互依存性更高的句法连接的单词对。
2020-04-27 cs.CL cs.LG stat.ML
Learning to Compose Task-Specific Tree Structures
Seoul National University(首尔大学)
多年来,递归神经网络(RvNN)已被证明适合将文本表示为固定长度的向量,并在多个自然语言处理任务上取得了良好的性能。然而,RvNN的主要缺点是它们需要结构化的输入,这使得数据准备和模型实现变得困难。在本文中,我们提出了Gumbel Tree-LSTM,这是一种新型的树结构长短期记忆体系结构,它可以学习如何有效地仅从纯文本数据组成特定于任务的树结构。我们的模型使用直通Gumbel-Softmax估计器来动态地确定候选节点中的父结点,并计算离散决策的梯度。我们评估所提出的模型对自然语言推理和情感分析,并表明,我们的模型优于或至少与以前的模型。我们还发现,我们的模型收敛速度明显快于其他模型。
2017-11-21 cs.CL
LSTMs Compose (and Learn) Bottom-Up
University of Edinburgh(爱丁堡大学)
NLP的最新研究表明,LSTM语言模型可以捕获语言数据中的层次结构。在现有的工作相比,我们认为\textit{learning}过程中,导致其组成行为。为了更深入地了解LSTM的顺序表示是如何分层组成的,我们基于它们的门交互,提出了LSTM中词义之间的分解相互依赖(DI)的相关度量。我们将这一措施与英语语言数据的实验语法,其中DI是较高的对较低的句法距离的话。为了探索在训练过程中导致这些组合表示出现的归纳偏差,我们对合成数据进行了简单的实验。这些合成实验支持了一个关于在训练过程中如何发现层次结构的特定假设:LSTM的组成表示是自自底向上的【形】学习的,依赖于其较短孩子的有效表示,而不是独立于孩子学习较长范围的关系。
2020-10-06 cs.CL cs.LG
Meteorologists and Students: A resource for language grounding of geographical descriptors
Centro Singular de Investigación en Tecnoloxías da Información (CiTIUS), Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学信息科技卓越研究中心(CiTIUS));University of Aberdeen(阿伯丁大学);Utrecht University(乌得勒支大学);University of Malta(马耳他大学)
我们提出了一个数据资源,它可以是有用的研究目的的语言接地任务的背景下,地理指涉表达生成。该资源由两个数据集组成,其中包括25个不同的地理描述符和一套相关的图形表示,由两组人类主体(青少年学生和气象专家)在地图上绘制为多边形。
2018-09-07 cs.AI cs.CL
A Joint and Domain-Adaptive Approach to Spoken Language Understanding
Peking University(北京大学);Microsoft(微软)
口语语言理解(SLU)由两个子任务组成:意图检测(ID)和槽填充(SF)。关于SLU的研究有两条路线。一个联合处理这两个子任务,以提高其预测精度,另一个侧重于其中一个子任务的域适应能力。在本文中,我们试图弥合这两条线的研究,并提出了一个联合和域自适应的方法SLU。我们制定SLU作为一个受约束的生成任务,并利用基于特定领域的本体的动态词汇。我们在ASMixed和MTOD数据集上进行了实验,并与以前最先进的联合模型实现了竞争性能。此外,结果表明,我们的联合模型可以有效地适应一个新的领域。
2021-07-25 cs.AI cs.CL
Probing for Multilingual Numerical Understanding in Transformer-Based Language Models
University of Washington(华盛顿大学)
自然语言数字是组合结构的一个例子,其中较大的数字由对较小数字的操作组成。鉴于组合推理是自然语言理解的关键,我们提出了新的多语言探测任务测试的蒸馏BERT,XLM,和BERT调查的证据组成推理的数字数据在各种自然语言数字系统。通过使用英语、日语、丹麦语和法语的语法性判断和值比较分类任务,我们发现证据表明,这些预训练模型的嵌入中编码的信息足以进行语法性判断,但通常不足以进行值比较。我们分析了可能的原因,并讨论了如何在进一步的研究中扩展我们的任务。
2020-10-13 cs.CL
Towards Equipping Transformer with the Ability of Systematic Compositionality
Sichuan University(四川大学);Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education(教育部机器学习与工业智能工程研究中心)
针对Transformer系统组合性泛化能力不足的问题,提出组合感知Transformer模型CAT与两种预训练任务,基于BERT实现多层版本,在组合任务上优于基线且对标准语言理解任务影响极小。
2023-12-12 cs.CL
Disentangling Reasoning Capabilities from Language Models with Compositional Reasoning Transformers
Sun Yat-sen University(中山大学);Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院)
本文介绍了ReasonFormer,一个统一的推理框架,用于反映人类在复杂决策中的模块化和组合推理过程。受认知科学中双加工理论的启发,表征模块(自动思维)和推理模块(控制思维)被解耦,以捕获不同层次的认知。在表示模块的顶部,预先训练的推理模块是模块化的,并且在特定和基本的推理技能方面是专业的(例如,逻辑、简单QA等)。为了模拟受控组合思维过程,不同的推理模块被动态激活,并以并行和级联的方式组合,以控制激活什么推理技能以及推理过程将达到多深以解决当前问题。统一推理框架用单个模型解决多个任务,并以端到端的方式进行训练和推理。在11个需要不同推理技能和复杂性的数据集上进行评估,ReasonFormer表现出显著的性能提升,揭示了组合推理能力。Few-Shot实验通过学习为有限数据的新任务组合预训练技能,并将表示模块和推理模块解耦,从而表现出更好的泛化能力。进一步的分析表明,推理模块的模块化,不同的任务激活不同的推理技能在不同的推理深度。
2022-12-07 cs.CL
A Computational Algorithm based on Empirical Analysis, that Composes Sanskrit Poetry
Presidency College(总统学院);Meenakshi College for Women(米纳克希女子学院);Mother Teresa Women’s University(特蕾莎修女女子大学)
即使是那些精通梵语的人,用梵语写诗也充满了问题。之所以如此,是因为支配梵语韵律的规则众多而严格。我们提出了一种计算算法,将散文作为电子文本转换成诗歌,按照梵语韵律的韵律规则,同时注意确保连读变调或委婉的连接,这是强制性的诗句,处理。通过一种新的目标搜索数据库缩减方法,大大提高了算法的速度。该算法还向诗人提供建议,以防他/她作为输入散文给出的内容不可能适合任何允许的格律格式。还有一个算法的交互组件,通过该组件,算法与诗人交互以解决歧义。此外,这项独特的工作,它提供了一个解决方案,以前从来没有解决的问题,提供了一个简单而有效的语音识别接口,将帮助视障人士口述的话,在电子文本,这是反过来由我们的诗歌作曲引擎。
2010-03-07 cs.CL
When Can Transformers Ground and Compose: Insights from Compositional Generalization Benchmarks
I2R, A*STAR Singapore(新加坡科技研究局信息通信研究院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Microsoft Research India(微软印度研究院)
人类可以进行成分推理,同时将语言话语与现实世界联系起来。最近的基准测试,如ReaSCAN,使用基于网格世界的导航任务来评估神经模型是否表现出类似的能力。在这项工作中,我们提出了一个简单的基于transformer的模型,优于ReaSCAN和gSCAN的修改版本的专门架构。在分析任务时,我们发现,在网格世界中识别目标位置是模型的主要挑战。此外,我们还证明了测试深度泛化的ReaSCAN中的一个特定分裂是不公平的。在这种分裂的修正版本,我们表明,Transformers可以推广到更深的输入结构。最后,我们设计了一个更简单的接地合成泛化任务,RefEx,调查Transformers的原因组成。我们表明,一个单一的自我注意力层与一个单一的头概括为新的组合的对象属性。此外,我们推导出一个精确的数学构造的Transformer的计算从学习网络。总的来说,我们提供了有价值的见解接地合成泛化任务和Transformers的行为,这将是有用的研究人员在这一领域的工作。
2022-10-31 cs.CL
Learning to Compose Soft Prompts for Compositional Zero-Shot Learning
Brown University(布朗大学)
本文提出参数高效的组合式软提示 CSP,将属性与对象表示为可学习标记并在测试时重新组合,显著提升 CLIP 的组合式零样本分类与高阶泛化性能。
2023-04-24 cs.CL cs.CV cs.LG
An Introduction to a New Text Classification and Visualization for Natural Language Processing Using Topological Data Analysis
Kharazmi University(哈拉兹米大学)
拓扑数据分析(Topological Data Analysis,TDA)是数据科学中一个新兴的快速发展的领域,它提供了一套新的拓扑和几何工具,用于从复杂的高维数据中提取相关特征。本文应用拓扑数据分析中的两种最好的方法--“持久同源”和“映射器”,对伊朗两位最优秀的诗人Ferdowsi和Hafez的波斯诗歌进行了分类。这篇文章有两个主要部分,在第一部分中,我们解释了这两种方法背后的数学,这对于普通观众来说很容易理解,在第二部分中,我们描述了我们的模型和将TDA工具应用于NLP的结果。
2019-06-03 cs.CL cs.LG math.AT