TATA: Stance Detection via Topic-Agnostic and Topic-Aware Embeddings
Stanford University（斯坦福大学）
提出TATA模型，利用对比学习和未标注新闻数据训练主题无关与主题感知嵌入，结合二者在多个立场检测数据集上达到最先进性能，Zero-shot VAST上F1为0.771。
2024-02-08 cs.CL cs.CY cs.LG
CLEAR: Improving Vision-Language Navigation with Cross-Lingual, Environment-Agnostic Representations
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
视觉和语言导航（VLN）任务需要代理根据语言指令在环境中导航。在本文中，我们的目标是解决这一任务中的两个关键挑战：利用多语言指令来改善训练路径的基础，并在训练过程中看不到的新环境中导航。为了应对这些挑战，我们提出了CLEAR：跨语言和环境无关的表示。首先，我们的代理在Room-Across-Room数据集中学习三种语言（英语，印地语和泰卢固语）的共享和视觉对齐的跨语言语言表示。我们的语言表示学习由视觉信息对齐的文本对指导。其次，我们的代理学习环境不可知的视觉表示，通过最大限度地提高语义对齐的图像对（对象匹配的约束）从不同的环境之间的相似性。我们的环境无关的视觉表示可以减轻低层次视觉信息引起的环境偏见。从经验上讲，在Room-Across-Room数据集上，我们证明了我们的多语言代理在使用跨语言语言表示和与环境无关的视觉表示推广到看不见的环境时，在强基线模型的所有指标上都有很大的改进。此外，我们表明，我们学到的语言和视觉表征可以成功地转移到房间到房间和合作的视觉和对话导航任务，并提出详细的定性和定量的概括和接地分析。我们的代码可在https://github.com/jialuli-luka/CLEAR上获得
2022-07-05 cs.AI cs.CL cs.CV
A Language-Agnostic Model for Semantic Source Code Labeling
Two Six Labs, LLC.（Two Six Labs有限责任公司）；Sophos（Sophos公司）
近年来，由于可用源代码的快速扩展，代码搜索和理解变得更加困难。当前的工具缺乏一种方法来大规模地标记任意代码，同时保持新的程序设计语言、库和功能的最新表示。对源代码的全面标记使用户能够搜索感兴趣的文档并对其内容进行深入了解。我们使用Stack Overflow代码片段及其标签来训练一个与语言无关的深度卷积神经网络，以自动预测源代码文档的语义标签。在Stack Overflow代码片段上，我们展示了在4，508个标签的长尾列表上ROC下的平均面积为0.957。我们还在从Github检索的各种未标记源代码文档上手动验证了模型输出，我们获得了86.6%的top-1准确率。这强烈表明该模型成功地将其知识从Stack Overflow片段转移到任意源代码文档。
2019-06-03 cs.CL cs.LG cs.SE
MatchFixAgent: Language-Agnostic Autonomous Repository-Level Code Translation Validation and Repair
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign, Urbana, IL, USA（伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院）；Amazon, Arlington, VA, USA（亚马逊公司，阿灵顿，弗吉尼亚州，美国）；University of Oxford, Oxford, UK（牛津大学，牛津，英国）
提出基于大语言模型的多智能体框架MatchFixAgent，实现语言无关的仓库级代码翻译等价性验证与修复，在验证覆盖率和修复成功率上显著优于现有方法。
2026-05-28 cs.LG cs.SE
Language Agnostic Code Embeddings
Cohere For AI；MIT（麻省理工学院）；IBM Research（IBM研究院）
本文系统研究多语言代码嵌入，发现其包含语言特定与语言无关两个成分，并证明去除语言特定成分可显著提升代码检索性能，MRR绝对提升最高达17。
2023-10-25 cs.CL cs.LG
A Convolutional Neural Network for Language-Agnostic Source Code Summarization
Two Six Labs（双六实验室）
描述性注释在软件工程过程中起着至关重要的作用。它们减少了开发时间，实现了更好的bug检测，并促进了以前编写的代码的重用。然而，注释通常是软件开发人员的最后一个优先级，因此要么是不足的，要么是完全缺失的。因此，自动源代码摘要可能具有显著改进软件开发过程的能力。我们引入了一种新颖的编码器-解码器模型，它总结了源代码，有效地编写了一个注释来描述代码的功能。我们在当前的源代码摘要模型之外做了两个主要的创新。首先，我们的编码器是完全语言无关的，不需要复杂的输入预处理。其次，我们的解码器有一个开放的词汇表，使它能够预测任何单词，甚至是在训练中没有看到的单词。我们展示的结果相当于国家的最先进的方法在一个单一的语言数据集，并提供了第一个由多个程序设计语言的数据集上的结果。
2019-03-29 cs.CL cs.LG stat.ML
Can I trust you more? Model-Agnostic Hierarchical Explanations
University of Southern California（南加州大学）；University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）
句子中的双重否定和图像中的场景交互等交互是最先进的机器学习模型捕获的复杂依赖关系的常见形式。我们提出了Mahé，这是一种新的方法，可以提供与模型无关的分层解释，说明强大的机器学习模型（如深度神经网络）如何将这些交互捕获为依赖或不依赖于数据实例的上下文。具体来说，Mahé通过一种新的局部解释算法提供上下文相关的解释，该算法有效地捕获任何顺序的相互作用，并通过概括上下文相关的相互作用来解释全局行为，从而获得上下文无关的解释。实验结果表明，Mahé获得了改进的本地交互解释国家的最先进的方法，并成功地解释了上下文无关的相互作用。
2018-12-12 cs.LG stat.ML
ReCodeAgent: A Multi-agent Workflow for Language-Agnostic Translation and Validation of Large-Scale Repositories
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
ReCodeAgent通过多智能体方法实现大规模仓库代码翻译与验证的语言无关性，提升翻译正确率并降低成本，验证其效率和设计影响。
2026-10-09 cs.LG cs.SE
Towards Context-Agnostic Learning Using Synthetic Data
CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT（麻省理工学院）
我们提出了一种新的学习设置，其中输入域是定义在两个集合的乘积上的映射的图像，其中一个集合完全确定标签。我们推导出一个新的风险约束，分解成一个偏差和一个错误项，并表现出令人惊讶的弱依赖于真实的标签。受这些结果的启发，我们提出了一种算法，旨在最大限度地减少偏差项利用的能力，从每一个独立的集的样本。我们将我们的设置应用于视觉分类任务，我们的方法使我们能够在完全由每个类的单个合成示例组成的数据集上训练分类器。在现实世界的图像分类的几个标准基准上，我们在上下文不可知的设置中实现了鲁棒的性能，具有对现实世界域的良好概括，而直接在现实世界数据上训练，而不使用我们的技术，则会产生对背景扰动很脆弱的分类器。
2021-12-07 cs.LG stat.ML
Code-Switching without Switching: Language Agnostic End-to-End Speech Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了a）一个语言无关的端到端语音翻译模型（LAST），和b）一个数据增强策略，以提高代码切换（CS）的性能。随着全球化的发展，在流利的演讲中，多种语言越来越多地互换使用。这样的CS使传统的语音识别和翻译复杂化，因为我们必须识别首先说的是哪种语言，然后应用依赖于语言的识别器和随后的翻译组件来生成期望的目标语言输出。这样的流水线引入延迟和错误。在本文中，我们消除了需要，通过治疗语音识别和翻译作为一个统一的端到端的语音翻译问题。通过用两种输入语言训练LAST，我们将语音解码为一种目标语言，而不管输入语言是什么。LAST在单语使用中提供了相当的识别和语音翻译准确性，同时在观察到CS时大大降低了延迟和出错率。
2022-11-09 cs.CL cs.LG cs.SD
Agnostics: Learning to Code in Any Programming Language via Reinforcement with a Universal Learning Environment
Northeastern University（东北大学）；University of Texas（德克萨斯大学）；Wellesley College（韦尔斯利学院）
Agnostics通过通用学习环境的强化学习，实现任何编程语言的代码学习，提升低资源语言模型性能并简化训练流程。
2026-09-01 cs.LG cs.PL
Context agnostic trajectory prediction based on $λ$-architecture
Harokopio University of Athens（雅典科罗皮奥大学）；National Technical University of Athens（雅典国家技术大学）；University of the Aegean（爱琴海大学）
预测可移动物体的下一个位置至少在过去三十年来一直是一个问题，称为轨迹预测。在我们的时代，不断产生的大量数据为轨迹预测问题增加了大数据维度，我们正试图通过创建一个基于λ-Architecture的分析平台来解决这个问题。该平台执行批处理和流分析任务，然后将它们组合起来执行分析任务，这些任务无法通过单独分析这些层中的任何一个来执行。这个平台的最大好处是它的上下文不可知特性，这允许我们将它用于任何用例，只要提供时间戳的地理位置流。实验结果证明，λ-架构的每个部分在某些目标上都表现良好，因此有必要将这些部分结合起来，以提高平台的整体精度和性能。
2019-09-29 cs.LG stat.ML
EchoPress: Query-Agnostic KV Cache Pruning via Virtual Context Reconstruction
EPFL（洛桑联邦理工学院）
EchoPress提出无需训练的KV缓存剪枝方法，通过虚拟上下文重建近似注意力分数，在保持准确率的同时大幅降低压缩开销和预填充时间。
2026-10-02 cs.LG
Batch-ICL: Effective, Efficient, and Order-Agnostic In-Context Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Ant Group（蚂蚁集团）
本文将上下文学习视为元优化过程，解释了LLM对示例顺序敏感的原因，并提出Batch-ICL算法，通过聚合N个独立1-shot前向计算的元梯度至零样本查询，实现顺序无关且高效推理，其变体还能进一步提升性能。
2024-06-05 cs.CL cs.LG
Cross-Attention Message-Passing Transformers for Code-Agnostic Decoding in 6G Networks
Institute of Artificial Intelligence, Pohang University of Science and Technology (POSTECH)（人工智能研究院，POSTECH大学）；Department of Electrical, Electronic and Computer Engineering, University of Ulsan（电子电气与计算机工程系，乌山大学）；Department of Electrical and Computer Engineering, Sungkyunkwan University（电气与计算机工程系，全北国立大学）；Department of Electrical Engineering, Pohang University of Science and Technology (POSTECH)（电气工程系，POSTECH大学）；Department of Electrical and Computer Engineering, Seoul National University（电气与计算机工程系，首尔国立大学）
本文提出基于交叉注意力消息传递Transformer的AI原生代码无关解码器，通过CrossMPT、FCrossMPT和CrossED实现单一模型对多种码型的统一高性能解码，为6G信道编码提供灵活可扩展的解决方案。
2025-06-22 cs.IT cs.LG eess.SP
KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction
Seoul National University（首尔大学）；Neural Processing Research Center（神经处理研究中心）；NAVER AI Lab（NAVER人工智能实验室）
本文提出查询无关的 KV 缓存压缩方法 KVzip，通过基于 LLM 的上下文重建评估 KV 对重要性并驱逐低价值缓存，实现跨查询复用，在最长 170K tokens 上下文中显著降本提速且优于查询感知方法。
2025-09-30 cs.DB cs.LG
Anomaly Detection in Power Grids via Context-Agnostic Learning
New Jersey Institute of Technology（新泽西理工学院）；University of Vermont（佛蒙特大学）
针对现有电网异常检测方法未考虑物理上下文变化、扩展性不足的问题，提出上下文感知算法GridCAL，将潮流测量转换为上下文无关值构建统一统计模型，在大规模电网中实现了更优的检测准确率与计算效率。
2024-04-11 cs.LG stat.AP
CUPE: Contextless Universal Phoneme Encoder for Language-Agnostic Speech Processing
Bournemouth University（博尔蒙德大学）
本文提出轻量级模型 CUPE，在约 120 毫秒的音素长度窗口内独立捕获无上下文的通用音素特征，以较少参数实现有竞争力的跨语言语音处理性能。
2025-08-21 cs.CL cs.LG eess.AS
RIS-Kernel: A Model-Agnostic Architecture for Long-Context LLM Inference via Sparse Attention
Federal University of Uberlândia (UFU)（乌贝兰迪亚联邦大学）
研究针对大语言模型全自注意力复杂度高限制长上下文分析的问题，提出RIS-Kernel模型无关架构，通过稀疏随机几何降低复杂度，经实验验证其在不同设置下的有效性及在普通CPU服务器上实现长上下文推理的可行性。
2026-10-14 cs.LG
Domain-Agnostic Neural Topic Modeling with Contextual Token-Level Semantic Graph Representation
TelePIX AI Center（TelePIX人工智能中心）；Samsung Electronics（三星电子）；School of Computing & Frontier AI Research Centre Macquarie University（麦考瑞大学计算与前沿人工智能研究中心）
该研究提出领域无关框架DARTopic，通过构建词级语义图并联合训练GNN编码器与主题推理模块，在多领域基准测试中优于基线且效率更优。
2026-08-18 cs.CL cs.LG
RestoreKV: Recovering Full-Cache Behavior Under Aggressive Query-Agnostic KV Cache Eviction
RestoreKV通过学习型恢复补充与查询无关的KV缓存驱逐方案，仅优化0.4%参数，在多主干、多基准上大幅降低压缩性能下降，提升长上下文处理能力且开销极小。
2026-08-04 cs.CL cs.LG
Model-Agnostic Solutions for Deep Reinforcement Learning in Non-Ergodic Contexts
Data Analytics Lab, Vrije Universiteit Brussel（自由大学布鲁塞尔数据分析实验室）；Mobilise, Vrije Universiteit Brussel（Mobilise，自由大学布鲁塞尔）；School of Engineering and Applied Sciences, Harvard University（工程与应用科学学院，哈佛大学）
本文提出在非平衡环境中通过引入时间依赖性改进深度强化学习策略，以获得更优的解决方案。
2026-01-13 cs.LG
Goal-Directed Search Outperforms Goal-Agnostic Memory Compression in Long-Context Memory Tasks
Astera Institute（Astera研究所）
SUMER通过目标导向搜索在长上下文记忆任务中超越传统记忆压缩方法，达到SOTA性能。
2025-11-20 cs.AI cs.CL cs.LG
AbstractDifferentiation.jl: Backend-Agnostic Differentiable Programming in Julia
University of Basel（巴塞尔大学）；Pumas-AI Inc.（普马斯人工智能公司）；UNSW Canberra（新南威尔士大学堪培拉分校）；Invenia Labs（因维尼亚实验室）；Massachusetts Institute of Technology（麻省理工学院）；Julia Computing Inc.（朱莉娅计算公司）
没有一个自动微分（AD）系统是解决所有问题的最佳选择。这意味着对AD系统和组合的明智选择可能是一个问题特定的变量，可以极大地影响性能。在Julia程序设计语言中，主要的AD系统针对相同的输入，因此理论上可以组合。然而，在Julia语言中的AD包之间切换需要最终用户熟悉各自包的面向用户的API。此外，实现一个新的可用的AD包需要AD包开发人员编写样板代码，为最终用户定义方便的API函数。作为对这些问题的回应，我们提出了AbstractDifferentiation. jl，用于自动生成任何AD包的广泛，统一，面向用户的API。通过在AD用户和AD开发人员之间划分复杂性，AD包开发人员只需要实现一个或两个原语定义，以支持AD用户的各种实用程序，如Jacobians，Hessians和惰性产品操作符从原生原语（如回拉或前推），从而消除繁琐的-但到目前为止不可避免的-样板代码，并使最终用户能够轻松切换和组合AD实现。
2022-02-04 cs.LG cs.MS cs.SE
GraphGen: A Scalable Approach to Domain-agnostic Labeled Graph Generation
Indian Institute of Technology, Delhi（德里印度理工学院）
图生成模型在数据采掘文献中得到了广泛的研究。虽然传统的技术是基于生成遵循预定分布的结构，但最近的技术已经转向直接从数据中学习这种分布。虽然以学习为基础的方法大大提高了质量，但仍有一些局限性有待解决。首先，学习图分布引入了额外的计算开销，这限制了它们对大型图数据库的可扩展性。其次，许多技术只学习结构，而不解决学习节点和边标签的需要，这些标签编码重要的语义信息并影响结构本身。第三，现有的技术往往包含特定领域的规则，缺乏普遍性。第四，现有技术的实验不够全面，因为使用的评估指标较弱，或者主要集中在合成或小数据集上。在这项工作中，我们开发了一种名为GraphGen的领域不可知技术来克服所有这些限制。GraphGen使用最少的DFS代码将图形转换为序列。最小DFS代码是规范的标签，并精确地捕获图结构以及标签信息。结构和语义标签之间的复杂联合分布是通过一种新的LSTM架构来学习的。在数百万大小的真实图形数据集上进行的大量实验表明，GraphGen的平均速度比最先进的技术快4倍，同时在11个不同指标的综合集合中质量明显更好。我们的代码发布在https://github.com/idea-iitd/graphgen。
2020-04-08 cs.LG stat.ML
Selection-p: Self-Supervised Task-Agnostic Prompt Compression for Faithfulness and Transferability
The Hong Kong University of Science and Technology（香港科技大学）；Tencent AILab（腾讯AI实验室）
本文提出Selection-p，一种基于自监督持续预训练的任务无关提示压缩方法，通过少量参数对token进行保留或丢弃的概率预测，在实现高达10倍压缩率的同时保持性能，并具备跨模型的强可迁移性。
2024-10-21 cs.AI cs.CL cs.LG
Style-Agnostic Reinforcement Learning
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
我们提出了一种新的方法学习风格无关的表示使用风格迁移和对抗学习的强化学习框架。这里的风格是指与任务无关的细节，例如图像中背景的颜色，在不同风格的环境中推广学习到的策略仍然是一个挑战。专注于学习风格不可知的表示，我们的方法训练演员从固有的对抗风格扰动生成器生成的各种图像风格，它在演员和生成器之间进行最小-最大游戏，而不需要数据增强的专家知识或对抗训练的额外类标签。我们验证了我们的方法在Procgen和Distracting Control Suite基准测试中比最先进的方法具有竞争力或更好的性能，并进一步研究了从我们的模型中提取的特征，表明该模型更好地捕获了不变量，并且较少受到转换风格的干扰。该代码可在https://github.com/POSTECH-CVLab/style-agnostic-RL上获得。
2022-08-31 cs.CV cs.LG
MAML-en-LLM: Model Agnostic Meta-Training of LLMs for Improved In-Context Learning
University of Virginia（弗吉尼亚大学）；Amazon Alexa（亚马逊 Alexa）
本文提出 MAML-en-LLM 元训练方法，通过学习真正可泛化的参数增强 LLM 的上下文学习与未见任务适应能力，并在多种任务和数据设置下优于现有 SOTA 方法。
2024-05-19 cs.CL cs.LG
Temporal Knowledge Graph Reasoning with Low-rank and Model-agnostic Representations
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
时态知识图谱补全（TKGC）是一种基于事件和时态知识图谱的推理方法，其目标是对具有精确信息但缺失信息的知识进行补全。在这种情况下，张量分解已经成功地模拟了实体和关系之间的交互。它们在静态知识图谱完成中的有效性促使我们引入Time-LowFER，这是低秩张量因子分解模型LowFER的一系列参数高效和时间感知的扩展。注意到目前的方法来表示时间的几个限制，我们提出了一个周期感知的时间编码方案的时间功能，这是模型不可知的，并提供了一个更广义的时间表示。我们实现我们的方法在一个统一的时间知识图谱嵌入框架，专注于时间敏感的数据处理。实验结果表明，我们提出的方法在两个基准测试中的表现与最先进的语义匹配模型相当或更好。
2022-04-10 cs.AI cs.LG
Exploring Long-Term Prediction of Type 2 Diabetes Microvascular Complications
Queen Mary University of London（伦敦玛丽女王大学）；Allen Institute for AI（艾伦人工智能研究所）
本文提出用微调预训练临床语言模型将EHR编码为与代码无关的文本，并基于英国大规模数据多标签预测2型糖尿病1、5、10年微血管并发症风险，证明其优于基于代码的模型。
2024-12-02 cs.CL cs.LG
Towards Label-Agnostic Emotion Embeddings
Friedrich-Schiller-Universität Jena（耶拿弗里德里希·席勒大学）
情感分析的研究分散在不同的标签格式（例如，极性类型、基本情感类别和情感维度）、语言水平（单词对句子对话语），当然，还有（资源充足的很少但资源不足的多得多）自然语言和文本类型（例如，产品评论、推文、新闻）。由此产生的异构性使得在这些相互冲突的约束下开发的数据和软件难以比较，并且难以集成。为了解决这种令人不满意的状态，我们在这里提出了一个训练方案，学习一个共享的潜在的情感表示独立于不同的标签格式，自然语言，甚至不同的模型架构。在广泛的数据集上的实验表明，这种方法在不影响预测质量的情况下产生了所需的互操作性。代码和数据在DOI 10.5281/zenodo.5466068下存档。
2021-11-06 cs.AI cs.CL cs.LG
R3: Robust Rubric-Agnostic Reward Models
Stanford University（斯坦福大学）；Boston University（波士顿大学）；Columbia University（哥伦比亚大学）；University of Toronto（多伦多大学）；Institut Teknologi Bandung（Bandung 工程技术大学）；Monash University Indonesia（墨尔本大学印尼分校）；Capital One
针对现有奖励模型缺乏可控性和可解释性的问题，提出R3框架，其与评分标准无关、可跨维度泛化，提供可解释的推理分数，实现更透明灵活的模型评估。
2026-09-16 cs.AI cs.CL cs.LG
