Nonparametric Contextual Online Bilateral Trade
Bocconi University（博科尼大学）
本文提出了一种非参数上下文在线双边交易算法，通过层次树构造在一位反馈和强预算平衡条件下实现~O(T^{(d-1)/d})的后悔界。
2026-02-13 cs.GT cs.LG
Contextual Bandits for adapting to changing User preferences over time
Persistent Systems（持久系统公司）
上下文强盗提供了一种有效的方法来建模ML中的动态数据问题，通过利用在线（增量）学习来根据不断变化的环境不断调整预测。我们探讨上下文强盗的细节，传统的强化学习（RL）问题的扩展，并建立一个新的算法来解决这个问题，使用一系列基于动作的学习者。我们应用这种方法来建模的文章推荐系统，使用一个阵列的随机梯度下降（SGD）的学习者作出预测的基础上采取的行动奖励。然后，我们将该方法扩展到公开的MovieLens数据集并探索研究结果。首先，我们提供了一个简化的模拟数据集，显示随着时间的推移不同的用户偏好，以及如何使用静态和动态学习算法进行评估。作为本研究的一部分，该数据集有意模拟了有限数量的特征，可用于评估不同的解决问题策略。我们将使用静态数据集构建一个分类器，并在此数据集上评估其性能。我们展示了静态学习器由于在某个时间点固定的上下文以及改变上下文如何降低准确性而带来的局限性。接下来，我们开发了一种新的算法来解决上下文强盗问题。与线性强盗类似，该算法将奖励映射为上下文向量的函数，但使用一系列学习器来捕获动作/手臂之间的变化。我们开发了一个使用随机梯度下降（SGD）学习器阵列的强盗算法，每个手臂有单独的学习器。最后，我们将应用这个上下文强盗算法来预测电影评级随着时间的推移由不同的用户从标准的电影镜头数据集，并展示结果。
2020-09-23 cs.AI cs.LG cs.SI
Simple Regret Minimization for Contextual Bandits
Department of EECS, University of Michigan, Ann Arbor, MI, USA（密歇根大学电气工程与计算机科学系）；Department of Aerospace Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学航空航天工程系）；Climate and Space Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学气候与空间工程系）
经典的多臂强盗（MAB）问题有两种变体，近年来受到机器学习研究者的广泛关注：情境强盗和简单后悔最小化。情境强盗是MAB的一个子类，在每个时间步，学习者都可以获得预测最佳手臂的边信息。简单的遗憾最小化假设学习者只在纯探索阶段后才会后悔。在这项工作中，我们研究简单的后悔最小化上下文土匪。出于应用程序的学习者有单独的培训和自主模式，我们假设学习者经历了一个纯粹的探索阶段，在每一个动作后收到反馈，但没有遗憾，然后是一个纯粹的开发阶段，其中遗憾的是，但没有反馈。我们提出了上下文间隙算法，并建立了简单的遗憾，即性能保证，在纯开发阶段的遗憾。我们的实验研究了一种新的应用程序，以自适应传感器选择星际航天器的磁场估计，并证明了相当大的改进算法，旨在尽量减少累积遗憾。
2020-02-25 cs.LG stat.ML
Evaluating Deep Vs. Wide & Deep Learners As Contextual Bandits For Personalized Email Promo Recommendations
个性化使企业能够从过去的互动中了解客户的偏好，从而以更具相关性的内容瞄准个人客户。我们认为预测最佳促销提供给一个给定的客户的几个选项作为一个上下文的强盗问题的问题。客户和/或活动的识别信息可用于推断改进最佳报价预测的未知客户/活动特征。使用生成的合成电子邮件促销数据集，我们证明了类似的预测精度（a）广泛和深入的网络，将识别信息（或其他分类特征）作为输入到广泛的部分和（b）仅深度神经网络，包括在输入中嵌入分类特征。包括分类特征的准确性的提高取决于每个类别的未知数值特征的可变性。我们还表明，选择选项使用置信上限或汤普森采样，近似通过蒙特卡洛辍学层在广泛和深入的模型，稍微提高模型的性能。
2022-01-31 cs.AI cs.LG
Fixed-Length Protein Embeddings using Contextual Lenses
Harvard University（哈佛大学）；Google Research（谷歌研究院）
基本局部比对搜索工具（BLAST）是目前最流行的生物序列数据库搜索方法。BLAST通过由加权编辑距离定义的相似性来比较序列，这导致它在计算上是昂贵的。与使用编辑距离相反，向量相似性方法可以使用现代硬件或散列技术大大加速。这种方法需要生物序列的固定长度嵌入。最近人们对使用深度学习模型学习固定长度的蛋白质嵌入产生了兴趣，假设监督或半监督模型的隐藏层可以产生潜在有用的向量嵌入。我们考虑Transformer（BERT）蛋白质语言模型，这些模型在TrEMBL数据集上进行了预训练，并使用上下文镜头在其上学习固定长度的嵌入。训练嵌入以预测Pfam数据库中蛋白质所属的序列家族。我们发现，对于最近邻族分类，预训练提供了显着的性能提升，相应的学习嵌入与BLAST竞争。此外，我们表明，通过静态池化获得的原始Transformer嵌入在最近邻家庭分类上表现不佳，这表明通过上下文镜头以监督的方式学习嵌入可能是一种计算效率高的微调替代方案。
2020-10-15 cs.CL cs.LG q-bio.BM
Risk-Aware Algorithms for Adversarial Contextual Bandits
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
在这项工作中，我们考虑了对抗性的上下文土匪与风险约束。在每一轮中，大自然都准备了一个上下文，每个手臂的成本，以及每个手臂的风险。学习者利用上下文来拉动手臂，然后接收与被拉动的手臂相关联的相应成本和风险。除了最小化累积成本之外，学习者还需要满足长期风险约束--所有被拉手臂的累积风险的平均值不应大于预先设定的风险。定义阈值。为了解决这个问题，我们首先研究了全信息设置，在每一轮中，学习者都会收到一个对抗性凸损失和一个凸约束。我们开发了一个Meta算法，利用在线镜像下降的充分信息设置，并将其扩展到上下文的强盗与风险约束设置使用专家的意见。我们的算法可以实现接近最优的遗憾方面的总成本最小化，同时成功地保持了次线性增长的累积风险约束违反。
2016-10-17 cs.LG stat.ML
PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners
University of California, Los Angeles（加州大学洛杉矶分校）；Georgia Institute of Technology（佐治亚理工学院）；Tsinghua University（清华大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；NEC Laboratories America（美国NEC实验室）
针对领域微调数据中的敏感 PII 泄露问题，提出 PrivacyMind 范式，通过理论分析与多种技术基准测试，证明正负例指令微调可在注入领域知识的同时保护推理隐私。
2024-10-28 cs.AI cs.CL cs.LG
3D Masked Autoencoders are Robust Learners of Volumetric and Multimodal Cellular Representations for Microscopy
Institute of AI for Health & Helmholtz AI, Computational Health Center, Helmholtz Munich – German Research Center for Environmental Health（亥姆霍兹慕尼黑中心 - 德国环境健康研究中心，计算健康中心，健康人工智能研究所与亥姆霍兹人工智能）；Department of Medicine III, Ludwig-Maximilian-University Hospital（路德维希-马克西米利安大学医院第三内科）；Department of Physics, Ludwig-Maximilian-University（路德维希-马克西米利安大学物理系）；German Cancer Consortium (DKTK), partner site Munich（德国癌症联盟（DKTK）慕尼黑合作站点）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
系统比较2D和3D掩码自编码器在体积显微镜数据上的表现，发现3D模型在下游任务中更优，并通过跨模态对齐和频域正则化进一步提升性能，在蛋白质相互作用和定位任务上达到最先进水平。
2026-07-13 cs.CV cs.LG q-bio.QM
Learning to Bid in Contextual First Price Auctions
Google Research（谷歌研究院）
本文研究了重复上下文第一价格拍卖中的投标问题。我们考虑一个单一的投标人（学习者）谁反复出价在第一价格拍卖：在每一次$t$，学习者观察上下文$x_t\in \mathbb{R}^d$，并决定出价的基础上的历史信息和$x_t$。我们假设所有其他$m_t = α_0\cdot x_t + z_t$的最大出价的结构化线性模型，其中$α_0\in \mathbb{R}^d$对于学习者是未知的，并且$z_t$从具有对数凹密度函数$f$的噪声分布$\mathcal{F}$中随机采样。在每次$t$结束时，我们考虑\emph{binary feedback}（学习者只能观察她是否获胜）和\emph{full information feedback}（学习者可以观察$m_t$）。对于二进制反馈，当噪声分布$\mathcal{F}$已知时，提出了一种竞价算法，利用最大似然估计（MLE）方法实现最多$\widetilde{O}(\sqrt{\log(d) T})$后悔.此外，我们推广该算法的设置与二进制反馈和噪声分布是未知的，但属于一个参数化的家庭的分布。对于\emph{unknown}噪声分布的完全信息反馈，我们给出了一个最多达到$\widetilde{O}(\sqrt{dT})$的后悔算法.我们的方法结合了对数凹密度函数的估计，然后MLE方法学习噪声分布$\mathcal{F}$和线性权重$α_0$…
2021-11-10 cs.GT cs.LG
Protein Secondary Structure Prediction Using Cascaded Convolutional and Recurrent Neural Networks
The University of Hong Kong（香港大学）
蛋白质二级结构预测是生物信息学中的一个重要问题。受深度神经网络最近成功的启发，在本文中，我们提出了一个端到端的深度网络，它可以从集成的局部和全局上下文特征预测蛋白质二级结构。我们的深度架构利用具有不同内核大小的卷积神经网络来提取多尺度局部上下文特征。此外，考虑到氨基酸序列中存在的长程依赖性，我们建立了一个由门控递归单元组成的双向神经网络来捕获全局上下文特征。此外，多任务学习被用来同时预测二级结构标签和氨基酸溶剂可及性。我们提出的深度网络通过实现最先进的性能来证明其有效性，即，在公共基准CB 513上的Q8准确率为69.7%，在CASP 10上的Q8准确率为76.9%，在CASP 11上的Q8准确率为73.1%。我们的模型和结果已公开。
2016-04-25 cs.AI cs.LG cs.NE
Contextual Search via Intrinsic Volumes
Google Research（谷歌研究院）；Princeton University（普林斯顿大学）
我们研究的问题，上下文搜索，多维泛化的二分法搜索，捕获许多问题的上下文决策。在上下文搜索中，学习器试图学习隐藏向量$v \in [0,1]^d$的值。每一轮学习者被提供一个逆向选择的上下文$u_t \in \mathbb{R}^d$，提交一个$\langle u_t, v\rangle$值的猜测$p_t$，学习是否$p_t < \langle u_t, v\rangle$，并招致损失$\ell(\langle u_t, v\rangle, p_t)$（对于某个损失函数$\ell$）。学习者的目标是在$T$回合的过程中最大限度地减少他们的总损失。我们提出了一个算法的上下文搜索问题的对称损失函数$\ell(θ, p) = |θ- p|$，实现$O_{d}(1)$总损失。我们提出了一种新的算法的动态定价问题（可以实现为一个特殊的情况下的上下文搜索问题），实现$O_{d}(\log \log T)$总损失，改善以前最好的已知的上限$O_{d}(\log T)$和匹配已知的下限（多项式依赖$d$）。这两种算法都充分利用了积分几何领域的思想，最著名的是凸集的内在体积的概念。据我们所知，这是第一个应用程序的内在卷的算法设计。
2018-05-17 cs.DS cs.LG math.MG
Corruption-Robust Lipschitz Contextual Search
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对带未知数量损坏二元信号的Lipschitz上下文搜索问题，提出不可知校验算法技术与新分析方法，在对称损失和定价损失下均取得了有理论保证的遗憾界。
2024-02-01 cs.LG stat.ML
Multi-objective Contextual Multi-armed Bandit with a Dominant Objective
Bilkent University（比尔肯特大学）
在本文中，我们提出了一个新的多目标上下文多臂强盗（MAB）问题的两个目标，其中一个目标优于其他目标。与单目标MAB问题不同，在单目标MAB问题中，学习者为它选择的每个手臂获得随机标量奖励，在所提出的问题中，学习者获得随机奖励向量，其中奖励向量的每个分量对应于目标之一，并且奖励的分布取决于在每轮开始时提供给学习者的上下文。我们称这个问题为上下文多臂强盗与一个占主导地位的目标（CMAB-DO）。在CMAB-DO中，学习器的目标是最大化其在非主导目标中的总回报，同时确保其在主导目标中的总回报最大化。在这种情况下，给定上下文的最优臂是在最大化主导目标中的预期回报的所有臂中最大化非主导目标中的预期回报的臂。首先，我们证明了最优的手臂位于帕累托前沿。然后，我们提出了多目标上下文多臂强盗算法（MOC-MAB），并定义了两个性能指标：二维（2D）遗憾和帕累托遗憾。结果表明，MOC-MAB的二维后悔和帕累托后悔都是次线性的。我们还比较了所提出的算法与其他国家的最先进的方法在合成和真实世界的数据集的性能。所提出的模型和算法具有广泛的实际应用，涉及多个和可能相互冲突的目标，从无线通信到医疗诊断和推荐系统。
2018-06-01 cs.LG
Open Problem: Model Selection for Contextual Bandits
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Southern California（南加州大学）
在统计学习中，模型选择算法允许学习者适应序列中最佳假设类的复杂性。我们问是否有类似的保证是可能的上下文强盗学习。
2020-06-19 cs.LG stat.ML
Semantic Interactive Learning for Text Classification: A Constructive Approach for Contextual Interactions
University of Bamberg（班贝格大学）
交互式机器学习（IML）将使智能系统能够交互式地从最终用户那里学习，并且正变得越来越重要。虽然它将人类置于循环中，但交互主要是通过错过上下文信息的相互解释来执行的。此外，目前的模型无关的IML策略，如CAIPI，仅限于“破坏性”反馈，这意味着它们只允许专家阻止学习者使用不相关的功能。在这项工作中，我们提出了一个新的交互框架，称为语义交互学习的文本域。我们框架的问题，将建设性的和上下文反馈到学习者作为一项任务，找到一个架构，（a）使更多的语义对齐人类和机器之间，（b）在同一时间有助于保持统计特征的输入域时，生成用户定义的反例的基础上有意义的更正。因此，我们引入一种称为SemanticPush的技术，该技术可有效地将人类的概念校正翻译为非外推训练样本，从而将学习者的推理推向所需的行为。在几个实验中，我们证明了我们的方法在下游多类分类任务中的预测性能和局部解释质量方面明显优于CAIPI，CAIPI是最先进的IML策略。
2022-09-07 cs.AI cs.HC cs.LG
Regret Minimization in Stochastic Contextual Dueling Bandits
我们考虑的问题随机$K$武装决斗土匪的上下文设置，在每一轮的学习者提出了一个上下文集的$K$项目，每个由一个$d$维特征向量表示，和学习者的目标是确定最好的手臂的每个上下文集。然而，与经典的上下文强盗设置不同，我们的框架只允许学习者根据他们的（嘈杂的）pariwise偏好来接收项目反馈--著名的研究是决斗强盗，这在各种在线决策场景中具有实际意义，例如推荐系统、信息检索、比赛排名，在这些场景中，更容易得出项目的相对强度，而不是它们的绝对分数。然而，据我们所知，这项工作是第一次考虑的问题，后悔最小化的背景决斗土匪潜在的无限决策空间，并给出了可证明的最佳算法，以及匹配的下限分析。我们提出了两个算法的设置与各自的遗憾保证$\tilde O(d\sqrt{T})$和$\tilde O(\sqrt{dT \log K})$。随后，我们还表明，$Ω(\sqrt {dT})$实际上是这个问题的基本性能限制，这意味着我们的第二个算法的最优性。然而，我们的第一个算法的分析是相对简单的，它往往是优于前者的经验。最后，我们证实了所有的理论结果与适当的实验。
2021-05-09 cs.LG stat.ML
Enhancing Tabular Learners with Context-Aware Semantic Embeddings
该研究提出CASE框架，结合LLMs语义理解与表格学习器统计能力，通过预填充Gemma 3表格语言模型KV缓存建立语义锚点，在CARTE等基准上显著提升表格学习器在语义丰富数据集的低数据场景性能。
2026-10-12 cs.AI cs.LG
Efficient Optimal Learning for Contextual Bandits
我们解决了在线学习的问题，学习者反复观察特征，在一组动作中进行选择，并为所采取的行动获得奖励。我们提供了第一个有效的算法与最佳遗憾。我们的算法使用一个成本敏感的分类学习器作为一个预言机，并有一个运行时间$\mathrm{polylog}(N)$，其中$N$是分类规则的数量，其中的预言机可能会选择。这是指数快于所有以前的算法，实现最佳的遗憾，在这种设置。我们的配方也使我们能够创建一个算法，遗憾的是，是添加剂，而不是乘法反馈延迟在所有以前的工作。
2011-06-13 cs.AI cs.LG stat.ML
Contextual Bandits and Imitation Learning via Preference-Based Active Queries
MIT（麻省理工学院）；Cornell University（康奈尔大学）
本文针对无法直接获知动作奖励的上下文老虎机与模仿学习问题，提出基于偏好主动查询的算法，实现了接近标准设定的遗憾界与低查询复杂度，且在专家次优时能超越专家。
2023-07-24 cs.AI cs.HC cs.LG
A Contextual Bandit Approach for Stream-Based Active Learning
University of California, Los Angeles（加州大学洛杉矶分校）；University of Miami（迈阿密大学）
上下文强盗算法-一类利用上下文信息的多臂强盗算法-已被证明在解决不确定性下的顺序决策问题中是有效的。在文献中采用的一个常见的假设是，通过采取所选择的动作实现的（地面实况）奖励被学习者观察到没有成本，然而，这在许多实际情况下是不现实的。当观察地面真相奖励是昂贵的，学习者的一个关键挑战是如何明智地获得地面真相通过评估的好处和成本，以平衡学习效率和学习成本。从信息论的角度来看，一个可能更有趣的问题是，由于这种成本，可能会损失多少效率。在本文中，我们设计了一个新的上下文带为基础的学习算法，并赋予它的主动学习能力。我们的算法的关键特征是，除了向注释器发送查询以获取地面实况之外，还将学习器学习到的地面实况的先验信息一起发送，从而降低查询成本。我们证明，通过仔细选择的算法参数，所提出的算法的学习遗憾达到相同的顺序，传统的上下文强盗算法在无成本的情况下，这意味着，令人惊讶的是，由于获取地面真相的成本不会增加学习遗憾在长期运行。我们的分析表明，在主动学习是必要的情况下，地面真相的先验信息在提高系统性能方面起着至关重要的作用。
2017-01-24 cs.LG
Causal Contextual Bandits with Adaptive Context
IISc Bangalore（印度科学学院班加罗尔分校）；Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
研究了学习者初始干预决定随机上下文的因果上下文赌博机问题，通过引入实例依赖的因果参数 $λ$ 并利用凸优化解决探索问题，实现了简单后悔最小化保证并证明了其紧性。
2024-06-02 cs.AI cs.LG
Latency-Aware Contextual Bandit: Application to Cryo-EM Data Collection
Life Sciences Institute（生命科学研究院）；Department of Statistics（统计学系）；Department of Biological Chemistry（生物化学系）
本文提出延迟感知上下文赌博机框架及COAF算法，平衡探索、利用与延迟，在冷冻电镜数据采集等场景中高效最大化累积奖励。
2025-10-09 cs.LG stat.ML
Stochastic Dynamic Power Dispatch with High Generalization and Few-Shot Adaption via Contextual Meta Graph Reinforcement Learning
South China University of Technology（华南理工大学）；Fuzhou University（福州大学）
针对多元不确定性下实时多阶段随机电力调度策略泛化差、难适应新场景的问题，提出上下文 Meta-GRL，通过元学习与图表示实现少样本快速适配。
2024-01-19 cs.LG cs.SY eess.SY
Efficient Algorithms for Adversarial Contextual Learning
Microsoft Research（微软研究院）
我们提供了第一个甲骨文有效的次线性后悔算法的对抗版本的上下文强盗问题。在这个问题中，学习者重复地根据上下文做出动作，并为所选择的动作获得奖励，目标是实现与一大类策略竞争的奖励。我们分析两种设置：i）在转换设置中，学习者先验地知道上下文的集合，ii）在小分隔符设置中，存在上下文的小集合，使得任何两个策略在集合中的上下文之一中表现不同。我们的算法属于以下扰动领导家庭\cite{Kalai2005}和实现遗憾$O(T^{3/4}\sqrt{K\log(N)})$在转导设置和$O(T^{2/3} d^{3/4} K\sqrt{\log(N)})$在分隔符设置，其中$K$是行动的数量，$N$是基线策略的数量，和$d$是分隔符的大小。我们实际上解决了更一般的对抗性上下文半强盗线性优化问题，而在全信息设置中，我们解决了更一般的上下文组合优化问题。我们提供了几个扩展和影响，我们的算法，如切换遗憾和有效的学习与可预测的序列。
2016-02-08 cs.LG
Multi-objective Contextual Bandit Problem with Similarity Information
Bilkent University（比尔肯特大学）
在本文中，我们提出了多目标上下文强盗问题的相似信息。这个问题扩展了经典的上下文强盗问题的相似性信息，通过引入多个和可能冲突的目标。由于每个目标中的最佳手臂在给定的背景下可能是不同的，因此基于单个目标学习最佳手臂可能会危及从其他目标获得的奖励。为了评估学习者在这种设置中的表现，我们使用了一个性能指标，称为上下文帕累托后悔。从本质上讲，语境帕累托后悔是学习者选择的手臂到语境相关帕累托前沿的距离之和。对于这个问题，我们开发了一种新的在线学习算法，称为帕累托上下文缩放（PCZ），它利用上下文缩放的思想来学习的手臂接近帕累托前面的每个观察到的上下文，通过自适应分区的联合上下文手臂集根据观察到的奖励和位置的上下文手臂对在过去选择。然后，我们证明了PCZ实现了$\tilde O (T^{(1+d_p)/(2+d_p)})$帕累托后悔，其中$d_p$是帕累托缩放维度，取决于一组接近最优的上下文臂对的大小。此外，我们通过提供几乎匹配的$Ω(T^{(1+d_p)/(2+d_p)})$下界来证明该遗憾界几乎是最优的。
2018-03-11 cs.LG stat.ML
Simple Projection-Free Algorithm for Contextual Recommendation with Logarithmic Regret and Robustness
CyberAgent；National Institute of Informatics（国立信息学研究所）；Center for Advanced Intelligence Project, RIKEN（RIKEN先进智能项目中心）
本文提出一种更高效的算法，与ONS方法具有相同遗憾保证，通过利用上下文推荐的不规范性，采用类似二次感知机的更新规则，省略Mahalanobis投影步骤，提升计算效率并增强对次优反馈的鲁棒性。
2026-04-01 cs.LG
Differentially Private Contextual Linear Bandits
University of Alberta（阿尔伯塔大学）
我们研究的上下文线性土匪问题，一个版本的标准随机多臂土匪（MAB）的问题，学习者顺序选择的行动，以最大限度地提高奖励，这也取决于用户提供的每轮上下文。虽然上下文是任意选择的，但奖励被假设为对上下文和所选动作进行编码的特征向量的随机函数。我们的目标是为上下文线性强盗问题设计私人学习器。我们首先表明，使用标准定义的差分隐私的结果在线性遗憾。因此，我们采用了联合差分隐私的概念，其中我们假设在$t$日选择的操作仅向用户$t$公开，因此不需要在当天保持隐私，仅在随后的几天保持隐私。我们给出了一个通用的方案，将经典的线性UCB算法转换为一个联合差分隐私算法，使用基于树的算法。然后，我们应用高斯噪声或Wishart噪声来实现联合差分隐私算法，并绑定所得到的算法的遗憾。此外，我们给出了第一个下界的额外遗憾的任何私人算法的MAB问题必须招致。
2018-09-28 cs.LG stat.ML
Contextual Online Bilateral Trade
New York University（纽约大学）；Sapienza University（萨皮恩扎大学）；Google Research（谷歌研究）；EPFL（苏黎世联邦理工学院）
本文研究了具有上下文性估值的双边交易问题，设计了在两位反馈下实现O(d log d)遗憾的算法，并在一位反馈下允许小负利润的算法，同时探讨了预算平衡与时间范围无关的交易收益算法。
2026-02-13 cs.GT cs.LG
Long-context Protein Language Modeling Using Bidirectional Mamba with Shared Projection Layers
Cornell University（康奈尔大学）；Amazon（亚马逊）；George Mason University（乔治梅森大学）
提出基于BiMamba-S的蛋白质语言模型LC-PLM及其图上下文变体LC-PLM-G，通过增加上下文长度学习通用蛋白质表示，在下游任务上显著优于Transformer模型。
2025-04-01 cs.LG q-bio.BM
Improved Regret and Contextual Linear Extension for Pandora's Box and Prophet Inequality
University of Washington（华盛顿大学）；Purdue University（普渡大学）；University of Southern California（南加州大学）
针对半带状反馈下的Pandora's Box在线学习问题，提出新算法实现~O(√(nT))遗憾界，改进先前~O(n√T)界并匹配下界；进一步扩展至上下文线性设置，同时学习线性函数与噪声分布，达到~O(nd√T)遗憾界；技术同样适用于在线先知不等式问题。
2025-10-24 cs.DS cs.GT cs.LG
Stochastic Contextual Dueling Bandits under Linear Stochastic Transitivity Models
LMU Munich（慕尼黑大学）；Microsoft Research（微软研究院）
我们考虑了带有上下文信息的决斗强盗问题中的后悔最小化问题。在顺序决策问题的每一轮中，学习者根据上下文选择两个选择方案（武器）进行相互比较，并以嘈杂的偏好信息的形式接收反馈。我们假设的反馈过程是由一个线性随机传递性模型与上下文的效用（CoLST），和学习者的任务是包括最好的手臂（具有最高的潜在的上下文相关的效用）的决斗。我们提出了一个计算效率高的算法，$\texttt{CoLSTIM}$，它使其选择的基础上模仿的反馈过程中使用扰动的上下文相关的效用估计的基础CoLST模型。如果每个手臂都与一个$d$维特征向量相关联，我们表明，$\texttt{CoLSTIM}$实现了$T$学习轮后，为了$\tilde O( \sqrt{dT})$遗憾。此外，我们还建立了$\texttt{CoLSTIM}$的最优性，显示了一个下界的弱遗憾，细化现有的平均遗憾分析。我们的实验证明了它的优越性，在特殊情况下的CoLST模型的最先进的算法。
2022-10-13 cs.LG stat.ML
Contextual Policy Transfer in Reinforcement Learning Domains via Deep Mixtures-of-Experts
Vector Institute of Artificial Intelligence（矢量人工智能研究所）；University of Toronto（多伦多大学）
在强化学习中，在选择用于传输的源策略时考虑上下文或当前状态的代理已被证明优于上下文无关方法。然而，没有现有的方法转移知识的上下文从基于模型的学习者到无模型的学习者。这可能是有用的，例如，当源策略是在具有丰富数据的各种模拟中有意学习的，但被转移到具有有限数据的真实世界设置中时。在本文中，我们假设的估计源任务的动态和政策，共同的子目标，但不同的动态知识。我们介绍了一种新的深度混合专家制定学习状态依赖的信念源任务动态匹配的目标动态使用从目标任务收集的状态轨迹。混合模型易于解释，对动态估计误差具有鲁棒性，并且与大多数学习算法兼容。然后，我们将展示如何将此模型纳入标准的策略重用框架，并在OpenAI-Gym的基准测试中展示其有效性。
2020-06-10 cs.LG cs.NE cs.RO
Quantum contextual bandits and recommender systems for quantum data
Centre for Quantum Technologies, National University of Singapore, Singapore（量子技术中心，新加坡国立大学）；Department of Electrical and Computer Engineering, Faculty of Engineering, National University of Singapore, Singapore（电气与计算机工程系，工程学院，新加坡国立大学）
本文利用线性上下文赌博机框架为量子数据构建推荐系统，提出低能量子态推荐问题，通过将动作视为模型相，实现在线量子相分类。
2023-01-31 cs.IR cs.LG quant-ph
A Multimodal Human Protein Embeddings Database: DeepDrug Protein Embeddings Bank (DPEB)
Computer Science, Louisiana State University（计算机科学，路易斯安那州立大学）；Computer Science, Furman University（计算机科学，福兰明大学）；Environmental Sciences and Center for Computation and Technology, Louisiana State University（环境科学与计算技术中心，路易斯安那州立大学）
本文提出DPEB，一个整合22,043个人类蛋白质四种嵌入类型的多模态数据库，填补AlphaFold2嵌入缺失，并验证GraphSAGE在PPI预测中达87.37% AUROC，支持多种GNN方法，助力系统生物学与药物发现。
2025-10-24 cs.LG q-bio.MN
Deep Learning Model for Amyloidogenicity Prediction using a Pre-trained Protein LLM
本文提出利用预训练蛋白质大语言模型提取序列上下文特征，并结合双向 LSTM 和 GRU 预测肽与蛋白质中的淀粉样变性区域，在交叉验证和测试集上分别取得 84.5% 和 83% 的准确率，展示了大语言模型在该任务中的潜力。
2025-08-18 cs.AI cs.LG q-bio.QM
Regret Guarantees for Linear Contextual Stochastic Shortest Path
School of Electrical Engineering, Tel Aviv University（特拉维夫大学电气工程学院）；Google Research, Tel Aviv（谷歌研究）
针对线性上下文随机最短路径（CSSP）问题，提出LR-CSSP算法，推导其遗憾界，并证明该算法能处理连续上下文空间且保证情节在合理时间步内终止，解决了无先验知识下的目标到达优化问题。
2025-11-16 cs.LG
Interpretable Structured Learning with Sparse Gated Sequence Encoder for Protein-Protein Interaction Prediction
Golisano College of Computing and Information Sciences, Rochester Institute of Technology（罗切斯特理工学院戈利萨诺计算与信息科学学院）；Thomas H. Gosnell School of Life Sciences, Rochester Institute of Technology（罗切斯特理工学院托马斯·H·戈斯内尔生命科学学院）
通过从氨基酸序列中学习信息表示来预测蛋白质-蛋白质相互作用（PPI）是生物学中一个具有挑战性的重要问题。尽管已经提出了Siamese架构中的各种深度学习模型来对来自序列的PPI进行建模，但是由于成对编码过程，这些方法对于大量PPI来说在计算上是昂贵的。此外，这些方法难以解释，因为从蛋白质序列到其序列表示的非直观映射。为了解决这些挑战，我们提出了一个新的深度框架来单独从序列建模和预测PPI。我们的模型采用了双向门控递归单元，通过利用序列的上下文和顺序信息来学习序列表示。我们进一步采用稀疏正则化来模拟氨基酸之间的长程依赖关系，并选择重要的氨基酸（蛋白质基序），从而提高可解释性。此外，编码过程的新颖设计使我们的模型计算效率高，可扩展到越来越多的交互。在最新交互数据集上的实验结果表明，与其他最先进的方法相比，我们的模型具有更好的性能。基于文献的案例研究说明了我们的模型提供生物学见解来解释预测的能力。
2020-10-16 cs.LG q-bio.QM
MKGR: Multimodal Knowledge-Graph Representation Learning for Cold-Start Protein-Protein Interaction Prediction
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
提出MKGR框架，结合区域感知蛋白质序列编码与四个生物医学知识图谱，通过桥接重建目标和成对门控模块，在冷启动场景下显著提升PPI预测性能。
2026-07-03 cs.AI cs.LG
Stochastic Conservative Contextual Linear Bandits
Iowa State University（爱荷华州立大学）
许多物理系统都有潜在的安全考虑，需要部署的策略确保满足一组约束。此外，我们往往只有系统状态的部分信息。研究了不确定环境下的安全实时决策问题。在本文中，我们制定了一个保守的随机上下文强盗制定实时决策时，对手选择的一组可能的上下文和学习者的分布受到一定的安全/性能约束。学习者只观察上下文分布，确切的上下文是未知的，目标是开发一种算法，该算法选择一系列最佳动作，以最大化累积奖励，而不会在任何时间步违反安全约束。通过利用UCB算法在这种情况下，我们提出了一个保守的线性UCB算法的随机土匪上下文分布。我们证明了一个上限的遗憾的算法，并表明，它可以分解成三个方面：（i）标准线性UCB算法的后悔的上界，（ii）常数项（独立于时间范围），其考虑了保守性的损失以满足安全约束，以及（ii）一个常数项（与时间范围无关），其说明了上下文未知且仅分布已知时的损失。为了验证我们的方法的性能，我们对合成数据和通过基因组到田地（G2 F）计划收集的真实玉米数据进行了广泛的模拟。
2022-03-29 cs.LG
Contextual Bandits with Cross-learning
Columbia University（哥伦比亚大学）；Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
在经典的上下文强盗问题中，在每一轮$t$中，学习者观察一些上下文$c$，选择一些动作$i$来执行，并获得一些奖励$r_{i,t}(c)$。我们考虑这个问题的变体，其中除了接收奖励$r_{i,t}(c)$之外，学习者还学习集合$\mathcal{O}_i(c)$中的一些其他上下文$c'$的$r_{i,t}(c')$的值;即，在不同的上下文$c'\in \mathcal{O}_i(c)$下执行该动作所获得的奖励。这种变体出现在几种策略设置中，例如学习如何在不真实的重复拍卖中出价，这一点最近受到了很多关注，因为许多平台已经转向运行第一价格拍卖。我们称这个问题为交叉学习的上下文强盗问题。经典上下文强盗问题的最佳算法实现了对所有静态策略的$\tilde{O}(\sqrt{CKT})$后悔，其中$C$是上下文的数量，$K$是动作的数量，$T$是轮数。我们设计和分析了新的算法的上下文强盗问题的交叉学习，并表明他们的遗憾有更好的依赖于上下文的数量。在完全交叉学习的情况下，当选择一个动作时，所有上下文的奖励都是学习的，即，集合$\mathcal{O}_i(c)$包含所有上下文，我们表明，我们的算法实现遗憾$\tilde{O}(\sqrt{KT})$，消除对$C$的依赖。对于任何其他情况，即，在部分交叉学习下，其中对于$(i,c)$的某个上下文-动作对，$|\mathcal{O}_i(c)|< C$，…
2021-11-15 cs.LG stat.ML
Stochastic Linear Contextual Bandits with Diverse Contexts
London Stock Exchange（伦敦证券交易所）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of Virginia（弗吉尼亚大学）
在本文中，我们调查的背景多样性的随机线性上下文土匪的影响。相对于以前的观点，上下文导致更困难的强盗学习，我们表明，当上下文是足够多样的，学习者能够利用在开发过程中获得的信息，以缩短探索过程中，从而实现减少遗憾。我们设计了LinUCB-d算法，并提出了一种新的方法来分析其后悔性能。主要的理论结果是，在不同的上下文假设下，LinUCB-d的累积期望后悔是有界的常数。作为一个副产品，我们的结果提高了以前的理解LinUCB和加强其性能保证。
2020-03-05 cs.IT cs.LG math.IT
PhaGO: Protein function annotation for bacteriophages by integrating the genomic context
City University of Hong Kong（香港城市大学）；Chinese University of Hong Kong（香港中文大学）
针对噬菌体蛋白功能注释难的问题，研究提出PhaGO工具，结合蛋白基础模型嵌入与Transformer捕获基因组上下文信息，在分化及罕见功能蛋白注释上优于现有方法，还可注释无同源搜索结果的蛋白并鉴定出潜在穿孔素。
2024-08-17 cs.AI cs.LG q-bio.QM
Context Attentive Bandits: Contextual Bandit with Restricted Context
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Orange Labs（Orange实验室）
我们考虑一种新的配方的多臂土匪模型，我们称之为上下文土匪与限制的背景下，只有有限数量的功能可以访问的学习者在每次迭代。这种新的配方的动机是不同的在线临床试验中出现的问题，推荐系统和注意力建模。在这里，我们适应标准的多臂强盗算法称为汤普森采样，以利用我们的限制性上下文设置，并提出了两种新的算法，称为汤普森采样与限制性上下文（TSRC）和Windows汤普森采样与限制性上下文（WTSRC），分别用于处理静态和非静态环境。我们的实证结果表明，所提出的方法在几个现实生活中的数据集的优势
2017-06-07 cs.AI cs.LG stat.ML
Contextual Bandit Learning with Predictable Rewards
IBM（国际商业机器公司）
上下文强盗学习是一个强化学习问题，其中学习器重复接收一组特征（上下文），采取行动并基于行动和上下文获得奖励。我们在可实现性假设下考虑这个问题：在一个（已知）函数类中存在一个函数，在给定动作和上下文的情况下，它总是能够预测预期的奖励。在这个假设下，我们展示了三件事。我们提出了一个新的算法-回归消除-遗憾类似于不可知的设置（即在没有可实现性假设）。我们证明了一个新的下界，表明没有算法可以实现最坏的情况下，即使与可实现性假设的优越性能。然而，我们确实表明，对于任何一组策略（将上下文映射到动作），奖励（给定上下文）都有一个分布，因此我们的新算法与以前的方法不同，具有恒定的遗憾。
2012-03-02 cs.LG
Stochastic Bandits with Context Distributions
ETH Zurich（苏黎世联邦理工学院）
我们引入了一个随机的上下文强盗模型，在每个时间步的环境选择一个分布的上下文集和样本的上下文从这个分布。学习者只观察上下文分布，而确切的上下文实现仍然是隐藏的。这允许在上下文是随机的或学习者需要预测上下文的情况下的广泛应用。我们利用UCB算法的设置，并表明它实现了一个顺序最优的高概率约束的线性和核化的奖励函数的累积遗憾。我们的研究结果严格概括了以前的工作，在这个意义上，我们的模型和算法减少到标准设置时，环境只选择狄拉克δ分布，因此提供了确切的上下文的学习。我们进一步分析了一个变体，学习者在选择动作后观察实现的上下文。最后，我们在合成和真实世界的数据集上演示了所提出的方法。
2019-11-14 cs.LG stat.ML
LLMs Are In-Context Bandit Reinforcement Learners
Cornell University（康奈尔大学）；EPFL（洛桑联邦理工学院）；Harvard University（哈佛大学）
本文研究LLM能否基于外部奖励进行在线上下文赌博机强化学习，通过500M至70B模型的分类实验验证ICRL能力，并分析其稳定性、标签形式、扩展趋势及错误推理局限。
2025-09-29 cs.AI cs.CL cs.LG
Learning in Distributed Contextual Linear Bandits Without Sharing the Context
University of California, Los Angeles（加州大学洛杉矶分校）
上下文线性强盗是一个丰富的和理论上重要的模型，有许多实际应用。最近，这种设置获得了很多的兴趣，在无线通信约束的应用程序可能是一个性能瓶颈，特别是当上下文来自一个大的$d$维空间。在本文中，我们考虑一个分布式无记忆上下文线性强盗学习问题，其中观察上下文并采取行动的代理在地理上与执行学习而看不到上下文的学习者分离。我们假设上下文是从一个分布生成的，并提出了一种方法，使用$\approx 5d$位每个上下文的情况下，未知的上下文分布和$0$位每个上下文，如果上下文分布是已知的，同时实现几乎相同的遗憾界，如果上下文是直接可观察的。前一个界限通过$\log(T)$因子改进了现有的界限，其中$T$是视界的长度，而后者实现了信息理论紧密性。
2022-06-08 cs.LG
Contextual Markov Decision Processes
The Technion（以色列理工学院）；Yahoo Labs（雅虎实验室）
我们考虑一个规划问题的动态和奖励的环境依赖于一个隐藏的静态参数称为上下文。我们的目标是学习一种策略，在所有情况下最大化累积的奖励。新的模型，称为上下文马尔可夫决策过程（CMDP），可以模拟客户的行为时，与网站（学习者）。客户的行为取决于性别，年龄，位置，设备等，基于该行为，网站的目标是确定客户特征，并优化他们之间的互动。我们的工作集中在一个基本的场景-有限的地平线与一个小的已知数量的可能的背景。我们提出了一个家庭的算法与可证明的保证，学习的基础模型和潜在的上下文，并优化CMDPs。边界获得具体的天真的实现，并讨论了框架的扩展，为今后的研究奠定了基础。
2015-02-08 cs.LG stat.ML
Active Context Selection Improves Simple Regret in Contextual Bandits
College of Management of Technology, EPFL（EPFL技术管理学院）；Department of Computer Science, TU Munich（慕尼黑工业大学计算机科学系）
本文研究了具有有限上下文空间的上下文多臂老虎机问题，通过主动选择上下文样本来优化简单遗憾，提出了一种在已知和未知上下文分布时均能有效提升性能的算法。
2026-05-19 cs.LG
Context is Key: Grammatical Error Detection with Contextual Word Representations
University of Cambridge（剑桥大学）
非母语写作中的语法错误检测（GED）要求系统识别语言学习者所写文本中的各种错误。错误检测作为一项纯粹的监督任务可能具有挑战性，因为GED数据集大小有限，并且标签分布高度不平衡。上下文化的单词表示提供了一种可能的解决方案，因为它们可以有效地捕获语言中的成分信息，并且可以在大量无监督数据上进行优化。在本文中，我们对ELMo、BERT和Flair嵌入进行了系统的比较（Peters等人，2017; Devlin等人，2018; Akbik等人，2018）在一系列公共GED数据集上进行，并提出一种将此类表示有效集成到当前方法中的方法，从而实现GED的新技术水平。我们进一步分析了不同上下文嵌入的优势和劣势，并详细分析了它们对不同类型错误的影响。
2020-05-01 cs.CL cs.LG
JanusDDG: A Thermodynamics-Compliant Model for Sequence-Based Protein Stability via Two-Fronts Multi-Head Attention
University of Turin（都灵大学）；Computational Biomedicine Unit, Dept. of Medical Sciences（医学系计算生物医学单元）
针对残基变异影响蛋白质稳定性的问题，提出JanusDDG深度学习框架，利用PLM嵌入和双向交叉注意力Transformer架构预测突变ΔΔG并遵守热力学性质，仅从序列实现单/多突变预测性能超基于结构方法。
2025-04-14 cs.AI cs.LG physics.comp-ph
Hierarchical Multi Task Learning with Subword Contextual Embeddings for Languages with Rich Morphology
University of Tokyo（东京大学）；Bogazici University（海峡大学）
形态信息对于自然语言处理中的许多序列标注任务都是非常重要的。然而，现有的方法严重依赖于手动注释或外部软件来捕获此信息。在这项研究中，我们提出使用子词上下文嵌入来捕获丰富的形态语言的形态信息。此外，据我们所知，我们将这些嵌入在一个层次化的多任务设置中，这是以前没有使用过的。评估依存句法分析（DEP）和命名实体识别（NER）的任务，这是受益匪浅的形态信息，我们的最终模型优于以前的国家的最先进的模型在这两个任务的土耳其语。此外，我们表现出18.86%和4.61%F-1比以前提出的多任务学习者在相同的设置为DEP和NER任务，分别净改善。五个不同的MTL设置的实证结果表明，将子词上下文嵌入带来了显着的改善这两个任务。此外，我们观察到，多任务学习一贯提高DEP组件的性能。
2020-04-25 cs.CL cs.IR cs.LG
The Identification of Context-Sensitive Features: A Formal Definition of Context for Concept Learning
机器学习中的大量研究都与从示例中进行监督学习有关。这些示例通常表示为多维特征空间中的向量（也称为属性值描述）。教师将一组训练样本划分为有限数量的类。学习算法的任务是从训练样本中归纳出概念。在本文中，我们正式区分三种类型的功能：主要的，上下文和无关的功能。我们还正式定义了一个功能对另一个功能是上下文敏感的意味着什么。上下文相关的特征使学习者的任务复杂化并且潜在地损害学习者的表现。我们的正式定义使学习者能够自动识别上下文敏感的功能。上下文敏感的功能已被确定后，有几种策略，学习者可以采用管理功能，但是，这些策略的讨论是本文的范围之外。这里提出的正式定义纠正了以前提出的定义中的一个缺陷。我们讨论我们的工作和相关性的正式定义之间的关系。
2002-12-12 cs.CV cs.LG
GEFA: Early Fusion Approach in Drug-Target Affinity Prediction
Applied Artificial Intelligence Institute（应用人工智能研究所）；Deakin University（迪肯大学）
预测化合物和靶标之间的相互作用对于快速药物再利用至关重要。深度学习已成功应用于药物-靶标亲和力（DTA）问题。然而，以前基于深度学习的方法忽略了对药物和蛋白质残基之间的直接相互作用进行建模。这将导致目标表示的不准确学习，其可能由于药物结合效应而改变。此外，以前的DTA方法仅基于DTA数据集中的少量蛋白质序列来学习蛋白质表示，而忽略了DTA数据集之外的蛋白质的使用。我们提出了GEFA（Graph Early Fusion Affinity），一种新的带有注意力机制的图中图神经网络，以解决由于绑定效应而引起的目标表征的变化。具体地说，药物被建模为原子图，然后作为一个节点在一个更大的图的残留物-药物复合物。最后得到的模型是一个具有表达能力的深度嵌套图神经网络。我们还使用了由最近学习情境化蛋白质表示的努力提供支持的预训练蛋白质表示。这些实验在不同的环境下进行，以评估新药或靶点等场景。结果表明，预训练的蛋白质嵌入的有效性和我们的GEFA在建模药物-靶标相互作用的嵌套图中的优势。
2020-09-28 cs.LG stat.ML
