Variance-Aware Fine-Grained Gap-Dependent Bounds for Online Reinforcement Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Notre Dame（圣母大学）
本文为免模型在线强化学习提出方差感知的细粒度间隙依赖界，通过改进的UCB-Bernstein+算法同时优化遗憾与局部切换成本，并给出首个此类上界及实证验证。
2026-10-06 cs.LG stat.ML
Instruction-aware User Embedding via Synergistic Language and Representation Modeling
Zhejiang University（浙江大学）
提出指令感知用户嵌入基础模型InstructUE，通过多编码器架构与对比-自回归训练框架融合语言与表示空间，在多场景下显著提升跨领域泛化与抗噪能力。
2025-10-13 cs.LG
Reproducibility Report: Contrastive Learning of Socially-aware Motion Representations
以下论文是ICCV 2021上发表的“Social NCE：对比学习of Socially-aware Motion Representations”{ \cite{liu2020snce} }的再现性报告，作为ML再现性挑战2021的一部分。原始代码由作者\footnote{\href{https://github.com/vita-epfl/social-nce}{https://github.com/vita-epfl/social-nce}}提供。我们试图验证作者声称的结果，并在PyTorch Lightning中重新实现了他们的代码。
2022-08-18 cs.CV cs.LG
Discriminant Distance-Aware Representation on Deterministic Uncertainty Quantification Methods
Intuit AI Research（Intuit人工智能研究院）
本文提出判别距离感知表示（DDAR），通过在潜在表示中引入可训练原型并放宽Lipschitz约束，克服特征坍缩，实现灵活且与架构无关的确定性不确定性估计，并在多个基准上优于现有方法。
2024-02-20 cs.LG
PERFOGRAPH: A Numerical Aware Program Graph Representation for Performance Optimization and Program Analysis
Iowa State University（爱荷华州立大学）；Intel Labs（英特尔研究院）
本文提出数值感知的程序图表示PERFOGRAPH，通过新节点、边和嵌入方法捕获数值与聚合数据结构信息，在Device Mapping等性能优化任务中显著降低错误率并取得最优结果。
2023-11-30 cs.DC cs.LG cs.PL
Locality Preserving Dense Graph Convolutional Networks with Graph Context-Aware Node Representations
Xidian University（西安电子科技大学）；Swinburne University of Technology（斯威本科技大学）
图卷积网络（GCN）已被广泛用于对图数据的表示学习，其可以经由专门设计的卷积和读出操作来捕获图上的结构模式。在许多图分类应用中，基于GCN的方法优于传统方法。然而，大多数现有的GCN是低效的，以保持局部信息的图-一个限制，特别是图分类的问题。在这项工作中，我们提出了一个具有图上下文感知节点表示的保持局部性的稠密GCN。具体来说，我们提出的模型采用了一个本地节点特征重建模块，以保留初始节点特征到节点表示，这是通过一个简单但有效的编码器-解码器机制实现的。为了捕获代表不同局部范围的邻近区域中的局部结构模式，引入了密集连接性来连接每个卷积层及其相应的读出与所有之前的卷积层。为了增强节点的代表性，每个卷积层的输出与前一层的读出的输出连接，以形成全局上下文感知节点表示。此外，自注意模块被引入到聚合逐层表示，以形成最终的表示。在基准数据集上的实验表明，该模型在分类精度方面优于最先进的方法。
2020-10-12 cs.LG
Heterogeneous Graph Representation Learning with Relation Awareness
Beihang University（北京航空航天大学）；the University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）
异构图上的表示学习旨在获得有意义的节点表示，以促进各种下游任务，如节点分类和链接预测。现有的异构图学习方法主要是通过节点表示的传播机制来开发的。很少有人努力研究关系的作用，以提高更细粒度的节点表示的学习。事实上，合作学习关系的语义表示并辨别不同关系类型的节点表示是很重要的。为此，在本文中，我们提出了一种新的异构图神经网络，即R-HGNN，学习异构图上的节点表示在细粒度的水平，考虑关系感知的特点。具体来说，首先设计一个专用的图卷积组件，以分别从每个关系特定的图中学习唯一的节点表示。在此基础上，开发了跨关系消息传递模块，以提高节点表示在不同关系间的交互性。此外，以逐层方式学习关系表示以捕获关系语义，其用于指导节点表示学习过程。此外，一个语义融合模块，提出了聚合关系感知节点表示成一个紧凑的表示与学习的关系表示。最后，我们对各种图学习任务进行了广泛的实验，实验结果表明，我们的方法在所有任务中始终优于现有方法。
2022-04-17 cs.LG cs.SI
Context-Aware Graph Attention Networks
Anhui University（安徽大学）
图神经网络（GNNs）已经被广泛研究用于图数据表示和学习。然而，现有的GNN通常只对节点特征表示进行上下文感知学习，这通常忽略了边（权重）表示的学习。在本文中，我们提出了一种新的统一GNN模型，命名为上下文感知自适应图注意力网络（CaGAT）。CaGAT旨在通过进一步利用不同边之间的上下文关系来学习每个图边的上下文感知注意力表示。特别是，CaGAT以统一的方式同时协作地对节点特征表示和边（权重）表示进行上下文感知学习，这可以提高它们各自在网络训练中的性能。我们将CaGAT应用于半监督学习任务。在几个基准数据集上的实验结果证明了CaGAT的有效性和优势。
2019-09-04 cs.LG cs.SI eess.IV
Forgetting Through Transforming: Enabling Federated Unlearning via Class-Aware Representation Transformation
Shanghai Jiao Tong University（上海交通大学）；National University of Singapore（新加坡国立大学）
针对现有联邦遗忘方法在非独立同分布场景下难以平衡擦除效果与模型效用的问题，提出基于类别感知表征变换的FUCRT方法，通过变换类别选择和双对比对齐实现高效遗忘，性能优于现有基线。
2024-10-09 cs.LG
AugWard: Augmentation-Aware Representation Learning for Accurate Graph Classification
Seoul National University（首尔大学）；Soongsil University（崇实大学）
针对图分类中图神经网络过拟合问题，提出增强感知框架AugWard，通过预测增强图与原始图的图距离并引入一致性正则化，在监督、半监督及迁移学习中达到最先进性能。
2025-03-27 cs.LG
Subdomain-aware representation compression for pretrained image embeddings
本文研究利用PCA和LDA等降维技术对预训练图像嵌入进行子域感知压缩，在提升空间与计算效率的同时提高准确率，并验证了压缩表示的迁移学习能力。
2026-09-18 cs.LG
README: REpresentation learning by fairness-Aware Disentangling MEthod
Yonsei University（延世大学）
公平表示学习的目的是编码关于受保护属性（如性别或年龄）的不变表示。在本文中，我们设计了公平意识的解纠缠变分自编码器（FD-VAE）的公平表示学习。该网络将潜在空间分解为三个子空间，每个子空间包含独立的信息：1）目标属性信息，2）受保护属性信息，3）互属性信息。在表示学习之后，通过排除具有受保护的属性信息的子空间，该解纠缠表示被用于更公平的下游分类。我们通过在CelebA和UTK Face数据集上的大量实验证明了我们模型的有效性。我们的方法优于以前的国家的最先进的方法，在平等的机会和均衡的赔率大幅度。
2020-07-07 cs.CV cs.LG stat.ML
Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue
Shanghai Jiao Tong University（上海交通大学）；CloudWalk Technology（云从科技）
多轮对话由来自两个或多个不同说话者角色的多个话语组成。因此，话语和说话者意识的线索应该很好地捕捉模型。然而，在现有的基于检索的多话轮对话建模中，作为编码器的预训练语言模型（PrLM）通过将成对对话历史和候选响应作为一个整体来粗略地表示对话，没有很好地解决这种表示中耦合的话语相关性或说话人角色的层次信息。在这项工作中，我们提出了一个新的模型，以填补这样的空白，通过建模的有效话语感知和说话者感知的表示所涉及的对话历史。详细地，我们通过基于transformer的PrLM中的掩蔽机制来解耦上下文化的词表示，使得每个词仅关注当前话语中的词、其他话语、两个说话者角色（即，发送者的话语和接收者的话语）。实验结果表明，我们的方法大大提高了强大的ELECTRA基线在四个公共基准数据集，并实现了各种新的最先进的性能比以前的方法。进行了一系列的消融研究，以证明我们的方法的有效性。
2020-12-12 cs.AI cs.CL cs.IR
Temperature-Aware Recurrent Neural Operator for Temperature-Dependent Anisotropic Plasticity in HCP Materials
organization= Mechanics \& Materials Laboratory, Department of Mechanical；Process Engineering, ETH Zürich , city= Zürich , postcode= 8092 , country= Switzerland；organization= Department of Engineering, University of Cambridge , addressline= Trumpington Street , city= Cambridge , postcode= CB2 1PZ , country= UK
提出温度感知循环神经算子（TRNO），用于模拟HCP材料（如多晶镁）的温度依赖各向异性塑性，实现高精度、跨工况泛化及至少三个数量级的计算加速。
2025-08-26 cond-mat.mtrl-sci cs.LG
Fairness-Aware Node Representation Learning
University of California, Irvine（加州大学欧文分校）
节点表示学习已经证明了它在图的各种应用中的有效性。特别是，对比学习的最新发展已经导致了一些任务的无监督节点表示学习的有希望的结果。尽管图对比学习取得了成功，随之而来的兴趣也在不断增长，但公平性在该领域的探索还很不够。为此，本研究通过自适应特征掩蔽和边缘删除，解决了图对比学习中的公平性问题，并采用公平性感知图增强设计。在这项研究中，不同的公平性概念的图，作为建议的图增强的指导方针。此外，理论分析提供了定量证明所提出的特征掩蔽方法可以减少本征偏差。真实社交网络上的实验结果表明，所提出的增强可以提高公平性的统计奇偶性和平等的机会，同时提供可比的分类精度，以国家的最先进的对比方法节点分类。
2021-06-09 cs.LG
Cross-View Topology-Aware Graph Representation Learning
Dept. of Mathematics, Georgia Institute of Technology, Atlanta, GA, USA Dept. of Computer Science \& Engineering, Texas A \& M University, College Station, TX, USA Dept. of Mathematical Sciences, The University of Texas at Dallas, Richardson, TX, USA
GraphTCL通过整合结构嵌入与拓扑嵌入，利用跨视图对比学习提升图表示学习的鲁棒性和分类性能。
2025-12-01 cs.LG
Efficient Graph Optimization via Distance-Aware Graph Representation Learning
Department of Computer Science Yale University（耶鲁大学计算机科学系）；College of Engineering Columbia University（哥伦比亚大学工程学院）
DRTR通过结合距离感知多跳消息传递与动态拓扑细化，实现高效图优化，在复杂噪声环境中表现更优。
2025-11-27 cs.LG
Structure-Aware Transformer for Graph Representation Learning
ETH Zürich（苏黎世联邦理工学院）；SIB Swiss Institute of Bioinformatics（SIB瑞士生物信息学研究所）
最近，Transformer架构在图表示学习中获得了越来越多的关注，因为它通过避免严格的结构归纳偏差而自然地克服了图神经网络（GNN）的几个限制，而是仅通过位置编码对图结构进行编码。在这里，我们表明，由Transformer与位置编码生成的节点表示不一定捕获它们之间的结构相似性。为了解决这个问题，我们提出了结构感知的Transformer，一类简单而灵活的图形Transformers建立在一个新的自我注意力机制。这种新的自我注意力通过在计算注意力之前提取以每个节点为根的子图表示来将结构信息并入原始自我注意力。我们提出了几种方法自动生成的子图表示，并从理论上表明，所得到的表示至少是表达的子图表示。从经验上讲，我们的方法在五个图形预测基准上实现了最先进的性能。我们的结构感知框架可以利用任何现有的GNN来提取子图表示，我们表明，它系统地提高了相对于基本GNN模型的性能，成功地结合了GNN和Transformers的优势。我们的代码可在https://github.com/BorgwardtLab/SAT上获得。
2022-06-13 cs.LG stat.ML
Learning Context-Aware Representations of Subtrees
Klarna Bank AB（Klarna银行）；EPFL（洛桑联邦理工学院）
本论文解决了学习复杂的，结构化的数据与自然应用到网页和元素分类的有效表示的问题。我们假设，网页内的元素周围的上下文是高价值的问题，目前正在利用。本文旨在解决将Web元素分类为DOM树的子树的问题，同时考虑它们的上下文。为了实现这一点，我们首先讨论当前的专家知识系统，如Tree-LSTM。然后，我们提出了上下文感知扩展到这个模型。我们表明，新模型在多类Web分类任务中的平均F1得分为0.7973。该模型为各种子树生成更好的表示，并可用于诸如元素分类、Web上的强化学习中的状态估计器等应用。
2021-11-08 cs.LG
Learning source-aware representations of music in a discrete latent space
Korea University（高丽大学）；Queen Mary University of London（伦敦玛丽女王大学）；Korea National Open University（韩国国立开放大学）
近年来，已经提出了基于神经网络的方法作为从音乐中生成表示的方法，但是它们不是人类可读的，并且很难被人类分析或编辑。为了解决这个问题，我们提出了一种新的方法，通过矢量量化变分自动编码器（VQ-VAE）来学习音乐的源感知表示。我们训练我们的VQ-VAE将输入混合编码成离散潜在空间中的整数张量，并将它们设计成具有分解结构的，允许人类以源感知的方式操纵潜在向量。本文还表明，我们可以产生的隐向量估计在一个离散空间中。
2021-11-26 cs.LG cs.SD eess.AS
BrainPro: Process-conditioned Pretraining with Topographic Retrieval for Large EEG Models
Nanyang Technological University（南洋理工大学）；Shanghai Jiao Tong University（上海交通大学）；Advanced Telecommunications Research Institute International（先进电信研究院）；Southeast University（东南大学）
提出BrainPro模型，通过检索式空间对齐和脑状态解耦模块，学习共享与特定状态表征，在9个公共BCI数据集上取得最优性能。
2026-10-22 cs.LG
Causal Disentanglement for Semantics-Aware Intent Learning in Recommendation
University of Technology Sydney（悉尼科技大学）；Curtin University（科廷大学）；University of New South Wales（新南威尔士大学）；Tsinghua University（清华大学）
传统的基于观察交互数据训练的推荐模型在广泛的应用中产生了很大的影响，但它面临着覆盖用户真实意图的偏差问题，从而降低了推荐效果。现有的方法跟踪这个问题，因为消除了鲁棒推荐的偏差，例如，通过重新加权训练样本或学习解纠缠表示。非纠缠表征方法通过揭示偏差产生的因果关系来消除偏差。然而，如何设计语义感知和公正的表示用户的真实意图在很大程度上是未知的。为了弥合这一差距，我们首先从因果的角度提出了一种无偏见的语义感知的解纠缠学习，称为CaDSI（因果解纠缠语义感知意图学习）。特别是，CaDSI明确地建模的因果关系的推荐任务，从而产生语义感知表示通过解开用户的真实意图知道特定的项目上下文。此外，因果干预机制的目的是消除混淆的偏见源于上下文信息，这进一步调整语义感知表示与用户的真实意图。大量的实验和案例研究都验证了我们提出的模型的鲁棒性和可解释性。
2022-02-05 cs.IR cs.LG
SNeRL: Semantic-aware Neural Radiance Fields for Reinforcement Learning
Seoul National University（首尔国立大学）；ASRI（自动化与系统研究所）；AIIS（人工智能创新研究所）
本文提出SNeRL，通过在NeRF中并行引入三维语义场和蒸馏特征场，联合优化卷积编码器学习语义感知的三维神经隐式表示，在无模型和基于模型的强化学习中均优于现有像素级和三维感知表示。
2023-05-31 cs.AI cs.CV cs.LG
Speech Emotion Recognition with Global-Aware Fusion on Multi-scale Feature Representation
Du Xiaoman（度小满）
语音情感识别是从语音数据中预测情感标签的基础性工作。最近的工作主要集中在使用卷积神经网络~（CNN）通过将时变光谱特征视为图像来学习固定尺度特征表示的局部注意力图。然而，由于现有的CNN用于SER的限制，不同尺度下丰富的情感特征和重要的全局信息无法很好地捕获。在本文中，我们提出了一种新的GLOBAL-Aware Multi-scale（GLAM）神经网络（代码可在https：//github.com/lixiangucas01/GLAM上获得），以学习具有全局感知融合模块的多尺度特征表示来关注情感信息。具体来说，GLAM迭代地利用具有不同尺度的多个卷积核来学习多个特征表示。然后，而不是使用基于注意力的方法，一个简单但有效的全局感知的融合模块被应用到全局抓取最重要的情感信息。在四种情绪的基准语料库IEMOCAP上的实验表明，与以前的最先进的方法相比，我们提出的模型在四个常用指标上有2.5%到4.5%的改进。
2022-04-12 cs.LG cs.SD eess.AS
Learning a Formality-Aware Japanese Sentence Representation
Johns Hopkins University（约翰斯·霍普金斯大学）
虽然在编码器-解码器序列到序列模型中生成中间表示的方式通常允许它们保留输入句子的语义，但可能会忽略诸如正式之类的输入特征。另一方面，翻译等下游任务将受益于使用除了语义之外还保留形式的句子表示，以便生成具有适当社交形式级别的句子-与朋友交谈与主管交谈之间的区别。我们提出了一个序列到序列的方法学习的形式意识表示为日语句子，句子生成的条件是对输入句子的原始表示，和一个侧约束，引导句子表示对保留形式信息。此外，我们建议增加句子表示与正式的学习表示，这有利于提取正式的下游任务。我们解决缺乏正式注释的平行数据，适应以前的工作程序正式分类的日语句子。实验结果表明，我们的技术不仅可以帮助解码器恢复输入句子的形式，但也略有改善输入句子语义的保存。
2023-01-17 cs.CL cs.LG
CaSS: A Channel-aware Self-supervised Representation Learning Framework for Multivariate Time Series Classification
Fudan University（复旦大学）；Arcplus Group PLC（华东建筑集团股份有限公司）
多变量时间序列的自监督表示学习是一个具有挑战性的课题，近年来引起了人们越来越多的研究兴趣。以前的许多工作都集中在自监督学习的借口任务上，通常忽视了MTS编码的复杂问题，导致结果不尽如人意。本文从编码器和托词任务两个方面解决了这一问题，提出了一个统一的通道感知自监督学习框架CaSS。具体来说，我们首先设计了一个新的基于transformer的编码器的并行感知Transformer（CaT），以捕捉MTS的不同时间通道之间的复杂关系。其次，我们结合了两个新的借口任务下一个趋势预测（NTP）和上下文相似性（CS）的自我监督表示学习与我们提出的编码器。在几个常用的基准数据集上进行了大量的实验。实验结果表明，与以往的自监督MTS表示学习方法相比，该框架取得了新的进步（在LSST数据集上提高了+7.70\%），可以很好地应用于下游MTS分类.
2022-03-08 cs.AI cs.LG
Unsat Core Prediction through Polarity-Aware Representation Learning over Clause-Literal Hypergraphs
University of Science and Technology of China（中国科学技术大学）
提出一种极性感知的表示学习框架，将SAT公式建模为子句-文字超图，通过极性感知分解和极性反转一致性正则化，有效预测不可满足核心。
2026-06-01 cs.LG
Improving Node Representation by Boosting Target-Aware Contrastive Loss
Purdue University（普渡大学）；Microsoft Research（微软研究院）
针对现有图节点表示学习方法泛化受限或信号任务相关性不足的问题，提出目标感知对比学习框架，通过XGSampler采样正例优化XTCL损失，提升节点分类与链路预测性能并增强可解释性。
2024-11-01 cs.AI cs.LG
Visual Representation Learning for Preference-Aware Path Planning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；United States Army Research Laboratory (ARL)（美国陆军研究实验室）
部署在户外环境中的自主移动机器人必须考虑不同类型的地形，以确保安全（例如，更喜欢泥土而不是泥浆）和部署者偏好（例如，喜欢泥土小路而不是花坛）。大多数现有的解决方案，这种偏好感知路径规划问题使用语义分割从相机图像的地形类型进行分类，然后归因于每种类型的成本。不幸的是，这种方法存在三个关键限制--它们1）需要预先枚举离散地形类型，2）不能处理混合地形类型（例如，草土），以及3）需要昂贵的标记数据来训练视觉语义分割。我们介绍了视觉表示学习偏好感知路径规划（VRL-PAP），一种替代方法，克服了所有三个限制：VRL-PAP利用未标记的人类导航示范自主生成三元组学习视觉表示的地形是视点不变的，并在一个连续的表示空间编码地形类型。然后，将学习到的表示与相同的未标记的人类导航演示一起使用，以学习从表示空间到地形成本的映射。在运行时间，VRL-PAP从图像映射到表示，然后表示到成本，以执行偏好感知路径规划。我们提出了具有挑战性的户外环境的经验结果，证明VRL-PAP 1）能够成功地选择反映所展示的偏好的路径，2）在执行中与具有高度详细的手动注释地图的几何导航相当（不需要这样的注释），3）能够以最少的额外未标记演示推广到新的地形类型。
2021-09-18 cs.LG cs.RO
Reachability-Aware Laplacian Representation in Reinforcement Learning
National University of Singapore（新加坡国立大学）；ByteDance（字节跳动）
在强化学习（RL）中，拉普拉斯表示（LapRep）是一种任务不可知的状态表示，它对环境的几何形状进行编码。在先前的作品中陈述的LapRep的期望属性是LapRep空间中的欧几里德距离粗略地反映了状态之间的可达性，这激发了将该距离用于奖励塑造。然而，我们发现LapRep一般不一定具有这种性质：在LapRep下具有小距离的两个状态实际上可以在环境中远离。这种不匹配会阻碍奖励塑造的学习过程。为了解决这个问题，我们引入了可达性感知拉普拉斯表示（RA-LapRep），通过适当缩放LapRep的每个维度。尽管简单，我们证明了RA-LapRep可以更好地捕捉状态间的可达性相比，LapRep，通过理论解释和实验结果。此外，我们表明，这种改进产生了显着提高奖励塑造性能，也有利于瓶颈状态发现。
2022-10-24 cs.AI cs.LG
Locality-Aware Generalizable Implicit Neural Representation
Kakao Brain；POSTECH（浦项科技大学）
提出一种结合Transformer编码器与局部感知解码器的可泛化隐式神经表示框架，通过选择性聚合潜在标记和多频带调制实现空间与频谱的局部感知，显著提升性能并验证其在下游任务中的价值。
2023-10-12 cs.CV cs.LG
Frequency-aware SGD for Efficient Embedding Learning with Provable Benefits
Georgia Institute of Technology（佐治亚理工学院）；Facebook
嵌入式学习在推荐系统和自然语言建模等领域有着广泛的应用。为了有效地学习质量嵌入，自适应学习率算法已经证明了优于SGD的经验性能，这主要归功于它们依赖于令牌的学习率。然而，令牌依赖的学习率的效率的潜在机制仍然未被探索。我们表明，将频率信息的令牌嵌入学习问题导致可证明有效的算法，并证明常见的自适应算法隐式利用的频率信息在很大程度上。具体来说，我们提出了（基于计数器的）频率感知的随机梯度下降，它为每个令牌应用依赖于频率的学习率，并且当令牌分布不平衡时，与SGD相比，表现出可证明的加速。经验上，我们表明，所提出的算法能够改善或匹配自适应算法的基准推荐任务和大规模的工业推荐系统，缩小SGD和自适应算法之间的性能差距。我们的结果是第一次表明令牌依赖的学习率可证明地提高了非凸嵌入学习问题的收敛性。
2021-11-23 cs.LG math.OC
GeoRDF2Vec Learning Location-Aware Entity Representations in Knowledge Graphs
Data and Web Science Group, University of Mannheim（数据与网络科学小组，曼海姆大学）；Corporate State University of Mannheim（曼海姆州立大学）
本文提出GeoRDF2Vec，一种结合几何信息的位置感知实体嵌入方法，通过淹没图和空间权重偏置图游走，在多个基准上优于非位置感知RDF2Vec和GeoTransE。
2025-04-23 cs.LG cs.SI
Learning Slice-Aware Representations with Mixture of Attentions
Amazon Alexa AI（亚马逊Alexa人工智能部门）
现实世界的机器学习系统在粗粒度指标（如整体准确性和F-1分数）方面取得了显着的性能。然而，模型改进和开发通常需要对单个数据子集或切片进行细粒度建模，例如，模型结果不令人满意的数据切片。在实践中，它为开发这样的模型提供了切实的价值，这些模型可以在保留原始整体性能的同时，额外关注关键或感兴趣的切片。本文扩展了最近的基于切片的学习（SBL）~ \cite{chen2019slice}与混合注意（MoA）来学习切片感知的双重注意表示。我们的经验表明，MoA方法优于基线方法以及原始SBL方法对两个自然语言理解（NLU）任务的监控切片。
2021-06-04 cs.CL cs.LG
Deep Fair Learning: Task-Aware Fair Representations via Joint Distance-Covariance Regularization
University of Alberta（阿尔伯塔大学）
本文提出深度公平学习框架，将非线性充分降维与深度学习结合，通过微调中的新惩罚项实现敏感属性与表示的条件独立，在多种敏感属性类型和数据结构上显著优于现有方法。
2026-10-06 cs.LG stat.ML
Learning 6-DOF Grasping Interaction via Deep Geometry-aware 3D Representations
University of Michigan（密歇根大学）；Google（谷歌）；Google Brain（谷歌大脑）；X Inc（X公司）
本文主要研究了平行颚式夹持器六自由度抓取的仿真学习问题。我们提出了一个几何感知表示在把握的基础上的假设，即知识的3D几何是在互动的心脏的概念。我们的核心思想是通过3D几何预测来约束和规则化抓取交互学习。具体来说，我们将深度几何感知抓取模型的学习公式化为两个步骤：首先，我们学习通过重建场景来构建心理几何感知表示（即，3D占用网格）。第二，我们学习预测抓取结果与其内部几何感知表示。学习的结果预测模型用于通过综合分析优化顺序地提出抓取解决方案。我们的贡献有四个方面：（1）据我们所知，我们第一次提出了一种方法来学习一个6-DOF抓取网络从RGBD输入;（2）我们建立了一个抓取数据集从演示虚拟现实丰富的感官和交互注释。该数据集包括分布在7个类别中的101个日常对象，此外，我们提出了一种用于有效学习的数据增强策略;（3）我们证明，在从我们的数据集中抓取对象时，学习到的几何感知表示比基线CNN的相对性能提高了约10%。(4)我们进一步证明，该模型推广到新的观点和对象实例。
2018-06-15 cs.AI cs.CV cs.LG
Object-aware Contrastive Learning for Debiased Scene Representation
KAIST（韩国科学技术院）；Google Cloud AI（谷歌云人工智能）
对比自监督学习通过对不同的数据增强实施不变性，在从未标记图像中学习视觉表示方面表现出令人印象深刻的结果。然而，学习的表示往往在上下文上偏向于不同对象或对象与背景的虚假场景相关性，这可能会损害其在下游任务上的泛化。为了解决这个问题，我们开发了一种新的对象感知的对比学习框架，首先（a）以自我监督的方式定位对象，然后（b）通过考虑推断的对象位置的适当的数据增强来消除场景相关性。对于（a），我们提出了对比类激活图（ContraCAM），它找到了最具区别性的区域（例如，对象）与其他图像进行比较。我们进一步提高了ContraCAM检测多个对象和整个形状通过迭代细化过程。对于（b），我们引入了两种基于ContraCAM的数据增强，对象感知随机裁剪和背景混合，它们分别减少了对比自监督学习期间的上下文和背景偏差。我们的实验证明了我们的表示学习框架的有效性，特别是在多对象图像下训练或在背景（和分布）移动图像下评估时。
2021-10-26 cs.CV cs.LG
CosmoFlow: Scale-Aware Representation Learning for Cosmology with Flow Matching
University of California, Santa Barbara（加州大学圣巴巴拉分校）；The NSF AI Institute for Artificial Intelligence and Fundamental Interactions（NSF人工智能与基础相互作用研究院）；Department of Physics, Massachusetts Institute of Technology（麻省理工学院物理系）；Center for Astrophysics —Harvard & Smithsonian（哈佛-史密松天体物理中心）
本文提出 CosmoFlow，利用流匹配生成模型无监督学习冷暗物质模拟数据的紧凑潜在表示，实现32倍压缩，并支持场级重建、数据生成与参数推断，且表示具有尺度可解释性。
2025-07-16 astro-ph.CO cs.LG
Learning Cell-Aware Hierarchical Multi-Modal Representations for Robust Molecular Modeling
CHMR通过联合建模分子与细胞反应的层次依赖关系，提升分子建模的稳健性和生物学基础。
2025-11-26 cs.AI cs.LG
Fatigue-aware Bandits for Dependent Click Models
University of California, Berkeley（加州大学伯克利分校）；IBM Research（IBM研究院）
当推荐系统发送大量内容以保持用户参与时，用户可能会经历疲劳，这是由以下因素造成的：1）过度浏览不相关的内容，2）看到太多类似的推荐而感到无聊。为了解决这个问题，我们考虑一个在线学习设置，其中平台学习一个策略来推荐考虑用户疲劳的内容。我们提出了一个扩展的依赖点击模型（DCM）来描述用户的行为。我们规定，对于每一个内容，其对用户的吸引力取决于其内在的相关性和折扣系数，衡量有多少类似的内容已经显示。用户按顺序查看推荐的内容，并点击他们认为有吸引力的内容。用户随时可能离开平台，不喜欢内容时退出的概率更高。基于用户的反馈，平台学习底层内容的相关性以及由于内容疲劳而产生的折扣效果。我们把这个学习任务称为“疲劳感知DCM Bandit”问题。我们考虑两个学习场景，这取决于贴现效应是否已知。对于每一种情况下，我们提出了一个学习算法，同时探索和利用，并表征其遗憾界。
2020-08-22 cs.IR cs.LG stat.ML
Emotions as Ambiguity-aware Ordinal Representations
Media Lab, Massachusetts Institute of Technology, USA（麻省理工学院媒体实验室）；Institute of Digital Games, University of Malta, Msida, Malta（马耳他大学数字游戏研究所）
本文提出歧义感知的有序情绪表示框架，通过模糊性变化率建模情绪动态，在RECOLA和GameVibe数据集上验证其在无界标签上优于传统模型，并在有界轨迹上展现出更强的相对变化捕捉能力。
2025-08-27 cs.AI cs.LG
FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning
University of Central Florida（中央佛罗里达大学）
FMCL通过基础模型生成语义客户端签名，实现一次聚类，提升异构联邦学习性能并保持稳定性。
2026-04-30 cs.CV cs.LG
Community-Aware Temporal Walks: Parameter-Free Representation Learning on Continuous-Time Dynamic Graphs
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）
提出社区感知时间游走（CTWalks）框架，通过社区标签匿名化与ODE连续时间建模，在时间链接预测中超越现有方法并保持鲁棒性。
2025-01-21 cs.AI cs.LG
Multi-View MOOC Quality Evaluation via Information-Aware Graph Representation Learning
Northeast Normal University（东北师范大学）；University of Macau（澳门大学）
本文研究MOOC质量评价问题，它对于改进课程教材、提高学生学习效率、利于用户服务至关重要。虽然取得了可喜的成绩，但目前的作品仍然受到MOOC平台中实体之间复杂互动和关系的影响。为了应对这些挑战，我们将问题制定为基于任务的课程表示学习，并开发了用于多视图MOOC质量评估的信息感知图表示学习（IaGRL）。具体来说，我们首先建立一个MOOC异构网络（HIN）来表示MOOC平台中实体之间的交互和关系。然后，我们将MOOC HIN分解成多个基于元路径的单关系图来描述课程的多视图语义。课程表示学习可以进一步转换为多视图图表示任务。与传统的图表示学习不同，学习后的课程表示需要满足以下三种有效性：（1）原始课程组合与学习后的课程表示之间的表达一致性;（2）每个视图中的表示与统一表示之间的一致性;（3）课程与MOOC平台表示之间的一致性。因此，我们建议利用互信息来保持课程表示的有效性。我们在真实世界的MOOC数据集上进行了广泛的实验，以证明我们所提出的方法的有效性。
2023-01-01 cs.AI cs.CY cs.LG
ObstaDiff: Generalizable Diffusion Policy Learning via Obstacle-aware Representations
University of California, Los Angeles（加州大学洛杉矶分校）
ObstaDiff提出分解扩散策略框架，利用轻量级障碍物感知编码器提取目标-障碍物-背景表示，在真实温室试验中实现75.41%成功率和8.20%碰撞率，提升杂乱场景泛化能力。
2026-09-11 cs.LG cs.RO
3D Object Detection on Point Clouds using Local Ground-aware and Adaptive Representation of scenes' surface
NIO USA Inc（蔚来汽车美国公司）
提出了一种新颖的、自适应地面感知的、具有成本效益的3D目标检测流水线。本文介绍的地面表示与单平面对应物（使用单个平面对整个3D场景的表面进行建模的方法）相比，要精确得多，同时速度要快10倍。地面表示的新颖性在于在激光雷达感知问题中表示场景的地面表面的方式，以及计算它的（具有成本效益的）方式。此外，所提出的目标检测流水线建立在传统的两阶段目标检测模型的基础上，通过结合动态推理场景表面的能力，最终在两阶段激光雷达目标检测流水线中实现新的最先进的3D目标检测性能。
2020-06-26 cs.CV cs.LG cs.RO
Neighborhood-aware Scalable Temporal Network Representation Learning
University of Massachusetts（马萨诸塞大学）；Purdue University（普渡大学）
时态网络已被广泛用于模拟现实世界的复杂系统，如金融系统和电子商务系统。在时间网络中，一组节点的联合邻域通常提供关键的结构信息，用于预测它们是否可以在某个时间进行交互。然而，最近的时间网络的表示学习方法往往无法提取这些信息或依赖于结构特征的在线构造，这是耗时的。为了解决这个问题，这项工作提出了邻居感知的时间网络模型（NAT）。对于网络中的每个节点，NAT放弃了常用的基于单个向量的表示，而采用一种新的字典类型的邻域表示。这样的字典表示将相邻节点的下采样集合记录为键，并且允许快速构造多个节点的联合邻域的结构特征。我们还设计了一个专用的数据结构称为N-缓存，以支持并行访问和更新的GPU上的这些字典表示。NAT在七个真实世界的大规模时间网络上进行了评估。NAT不仅在传导性和归纳性链接预测准确性方面分别比所有前沿基线平均高出1.2%和4.2%，而且还保持可扩展性，相对于采用联合结构特征的基线实现了4.1- 76.7倍的速度提升，相对于不采用这些特征的基线实现了1.6- 4.0倍的速度提升。代码链接：https：//github.com/Graph-COM/Neighborhood-Aware-Temporal-Network。
2022-11-30 cs.LG cs.SI
Task Aware Modulation Using Representation Learning for Upsaling of Terrestrial Carbon Fluxes
TAM-RL通过结合表征学习与物理约束，提升陆地碳通量放大预测的精度和鲁棒性。
2026-03-11 cs.LG physics.ao-ph
Multi-Modal Molecular Representation Learning via Structure Awareness
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyberspace Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Xidian University（西安电子科技大学）；Renmin University of China（中国人民大学）
针对多模态分子表示直接融合而忽视模态交互与高阶不变关系的问题，本文提出 MMSA 自监督预训练框架，通过统一多模态嵌入、超图建模和记忆锚点对齐提升分子表示，并在 MoleculeNet 上取得最优性能。
2025-05-12 cs.AI cs.LG
Feature Interaction-aware Graph Neural Networks
Arizona State University（亚利桑那州立大学）；University of Virginia（弗吉尼亚大学）；Singapore Management University（新加坡管理大学）
受深度学习巨大成功的启发，图神经网络（GNN）被广泛用于学习强大的节点表示，并在不同的图学习任务中表现出良好的性能。然而，大多数真实世界的图通常具有高维和稀疏的节点特征，使得从现有GNN架构中学习的节点表示表达能力较低。在本文中，我们提出了\textit{Feature Interaction-aware Graph Neural Networks (FI-GNNs)}，即插即用的GNN框架学习节点表示编码的信息功能的相互作用。具体来说，所提出的框架是能够突出信息功能的交互，以个性化的方式，并进一步学习高度表达的节点表示特征稀疏图。在各种数据集上进行的大量实验证明了FI-GNN在图学习任务中的卓越能力。
2020-01-22 cs.LG stat.ML
Domain Generalization in-the-Wild: Disentangling Classification from Domain-Aware Representations
University of California, Davis（加州大学戴维斯分校）
针对CLIP在野外领域泛化中性能下降的问题，提出CLIP-DCA方法，通过增强领域感知并解耦分类与领域特征，在33个数据集上显著提升OOD性能。
2025-10-09 cs.CV cs.LG
Wormhole: Concept-Aware Deep Representation Learning for Co-Evolving Sequences
Université de Sherbrooke（谢布鲁克大学）
本文提出 Wormhole 框架，通过自表示层与时间平滑性约束实现协同演化序列的动态概念识别与转换检测，提升了时间序列分割与概念漂移检测的可解释性。
2024-09-20 cs.AI cs.LG
SDSC:A Structure-Aware Metric for Semantic Signal Representation Learning
Department of Digital Media Engineering, The Catholic University of Korea, Bucheon-si Gyeonggi-do, Republic of Korea（韩国 Catholic 大学数字媒体工程系）
本文提出SDSC，一种结构感知的信号表示学习度量标准，通过量化信号结构一致性提升语义表示质量，实验表明其在预测和分类任务中表现优于传统MSE方法。
2026-01-29 cs.AI cs.LG cs.LO
Entity-aware ELMo: Learning Contextual Entity Representation for Entity Disambiguation
Oregon State University（俄勒冈州立大学）
我们提出了一个新的本地实体消歧系统。我们的系统的关键是一种新的方法来学习实体表示。在我们的方法中，我们学习了一个实体感知的扩展嵌入语言模型（ELMo），我们称之为E-ELMo（E-ELMo）。给定一个包含一个或多个命名实体提及的段落，每个提及首先被定义为整个段落（包括其他提及）的函数，然后它们预测所指实体。利用E-ELMo的本地实体消歧，我们优于所有的国家的最先进的本地和全球模型的流行的基准提高约0.5\%的AIDA测试B与Yago候选集的微观平均精度。训练数据和候选集的评估设置与我们的基线相同，以进行公平比较。
2019-08-22 cs.CL cs.IR cs.LG
