PAC Reinforcement Learning without Real-World Feedback
University of Michigan（密歇根大学）；Microsoft AI & Research（微软人工智能与研究院）
这项工作研究了强化学习在模拟到真实的设置，其中代理首先在一些模拟器上进行训练，然后部署在现实世界中，目的是降低真实世界的样本复杂性要求。使用一个动态模型称为丰富的观察马尔可夫决策过程（ROMDP），我们制定了一个理论框架，模拟到真实的情况下，在现实世界中的反馈是不可用的。我们建立了真实世界的样本复杂度保证，其小于目前已知的直接（即，不访问模拟器）学习具有反馈的ROMDP。
2019-10-25 cs.LG stat.ML
Reinforcement Learning with Feedback-modulated TD-STDP
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
尖峰神经元网络已成功地用于解决简单的强化学习任务，连续的动作集应用基于尖峰时间依赖可塑性（STDP）的学习规则。然而，这些模型中的大多数不能应用于具有离散动作集的强化学习任务，因为它们假设所选择的动作是神经元放电率的确定性函数，这是连续的。在本文中，我们提出了一个新的STDP为基础的学习规则的尖峰神经元网络，其中包含反馈调制。我们表明，基于STDP的学习规则可以用于解决强化学习任务与离散动作集的速度类似于标准的强化学习算法时，适用于CartPole和LunarLander任务。此外，我们证明了代理是无法解决这些任务，如果反馈调制从学习规则中省略。我们的结论是，反馈调制允许更好的信用分配时，只有单位有助于执行的行动和TD错误参与学习。
2020-08-29 cs.AI cs.LG stat.ML
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF，将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励，实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
Reinforcement Learning with Trajectory Feedback
Technion – Israel Institute of Technology（以色列理工学院）；Microsoft Research（微软研究院）；Nvidia Research（英伟达研究院）
强化学习的标准反馈模型要求揭示每个访问状态-动作对的奖励。然而，在实践中，经常无法获得这种频繁的反馈。在这项工作中，我们采取了第一步放宽这一假设，并需要一个较弱形式的反馈，我们称之为\emph{trajectory feedback}。我们不观察每个动作后获得的奖励，而是假设我们只收到一个代表智能体观察到的整个轨迹质量的分数，即在此轨迹上获得的所有奖励的总和。我们将强化学习算法扩展到这种设置，基于未知奖励的最小二乘估计，对于已知和未知的过渡模型情况，并通过分析其遗憾来研究这些算法的性能。对于过渡模型未知的情况下，我们提供了一个混合的乐观汤普森采样方法，结果在一个易于处理的算法。
2021-03-04 cs.LG stat.ML
Connections between reinforcement learning with feedback,test-time scaling, and diffusion guidance: An anthology
Department of Statistics and Data Science, Chinese University of Hong Kong（统计与数据科学系，香港中文大学）；Department of Statistics and Data Science, the Wharton School, University of Pennsylvania（统计与数据科学系，沃顿商学院，宾夕法尼亚大学）
该研究梳理了人类反馈强化学习、内部反馈强化学习、测试时缩放及扩散引导等训练后技术间的关联与等价性，还提出了无需显式强化学习的对齐与奖励导向扩散模型重采样方法。
2025-09-04 cs.GL cs.LG math.ST
Tutoring Reinforcement Learning via Feedback Control
University of Salerno（萨勒诺大学）
我们介绍了一个控制辅导强化学习（CTRL）算法。我们的想法是加强表格学习算法的控制策略与有限的知识的系统模型。通过指导学习过程，可以大大降低学习速率。我们使用的经典问题的稳定倒立摆作为基准，数值说明的优点和缺点的方法。
2020-12-12 cs.LG cs.SY eess.SY
Capacity-constrained demand response in smart grids using deep reinforcement learning
Lincoln AI Lab, University of Lincoln（林肯AI实验室，林肯大学）
本文提出一种基于深度强化学习的容量受限需求响应方法，通过经济激励减少峰值需求并优化电网负荷
2026-02-18 cs.LG
Reinforcement Learning from Statistical Feedback: the Journey from AB Testing to ANT Testing
Tencent（腾讯）
针对商业目标与模型训练的差距，提出基于统计反馈的强化学习（RLSF），利用 AB 测试获取偏好训练奖励网络，并扩展为 ANT 测试，通过数值实验验证其有效性。
2023-11-24 cs.LG math.ST stat.ME
On the Search for Feedback in Reinforcement Learning
Texas A&M University（德州农工大学）
强化学习（RL）在未知非线性动力系统中的问题等价于利用动力系统的模拟/推出来搜索最优反馈律。大多数RL技术搜索复杂的全局非线性反馈参数化，使它们遭受高训练时间和方差。相反，我们主张搜索一个局部反馈表示组成的开环序列，和一个相关的最佳线性反馈法完全由开环确定。我们表明，这种替代方法可以实现高效的训练，获得的答案是可重复的，因此是可靠的，并且由此产生的封闭性能优于全球最先进的RL技术。最后，如果我们重新规划，只要需要，这是可行的，由于快速和可靠的局部解决方案，它允许我们恢复全局最优的反馈法。
2022-03-24 cs.LG stat.ML
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Reinforcement Learning for Bandit Neural Machine Translation with Simulated Human Feedback
University of Maryland（马里兰大学）；Microsoft Research, New York（微软研究院纽约分院）
机器翻译是基于人类反馈的强化学习的自然候选问题：用户对候选翻译提供快速、肮脏的评级，以指导系统进行改进。然而，目前的神经机器翻译训练集中在昂贵的人类生成的参考翻译上。我们描述了一种强化学习算法，它可以从模拟的人类反馈中改进神经机器翻译系统。我们的算法结合了优势行动者-批评者算法（Mnih等人，2016）与基于注意力的神经编码器-解码器架构（Luong等人，2015年）。该算法（a）针对具有大动作空间和延迟奖励的问题进行了良好的设计，（b）有效地优化了传统的语料库级别的机器翻译度量，以及（c）对在实际人类行为之后建模的倾斜，高方差，粒度反馈具有鲁棒性。
2017-11-11 cs.AI cs.CL cs.HC
Deep reinforcement learning for feedback control in a collective flashing ratchet
Korea Advanced Institute of Science and Technology（韩国科学技术院）
集体闪烁棘轮传输布朗粒子使用空间周期性的，不对称的，和时间依赖的开关可切换的潜力。通过基于颗粒位置的反馈控制，该系统中颗粒的净电流可以显著增加。已经提出了几个最大化电流的反馈政策，但还没有找到最佳的政策，为一个中等数量的粒子。在这里，我们使用深度强化学习（RL）来寻找最佳策略，结果表明，使用合适的神经网络架构构建的策略优于以前的策略。此外，即使在延迟反馈的情况下，潜在的开关切换延迟，我们证明了深RL提供的政策提供更高的电流比以前的策略。
2021-03-25 cond-mat.stat-mech cs.LG
Deep Reinforcement Learning with Feedback-based Exploration
Delft University of Technology（代尔夫特理工大学）
深度强化学习使人们能够控制日益复杂和高维的问题。然而，在获得合理的性能之前需要大量的数据，这阻碍了其广泛的应用。我们采用二进制校正反馈作为一种通用和直观的方式，将人类的直觉和领域知识的无模型机器学习。策略中的不确定性和校正反馈直接在动作空间中组合为概率条件探索。因此，可以避免大部分无知的学习过程。我们证明了所提出的方法，预测概率合并的政策（PPMP），结合DDPG。在OpenAI Gym的连续控制问题的实验中，我们在样本效率、最终性能和对错误反馈的鲁棒性方面都有了大幅提高，无论是人为反馈还是合成反馈。此外，我们还展示了超出所展示知识的解决方案。
2019-03-14 cs.AI cs.LG stat.ML
Mapping out the Space of Human Feedback for Reinforcement Learning: A Conceptual Framework
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出涵盖九个维度的人类反馈分类与七项质量指标，用以统一RLHF中人、界面和模型相关因素，并推导系统设计需求与未来研究方向。
2025-02-20 cs.HC cs.LG
Influencing Reinforcement Learning through Natural Language Guidance
University of Kentucky（肯塔基大学）
交互式强化学习代理使用人类反馈或指令来帮助它们在复杂环境中学习。通常，这种反馈以正或负的离散信号的形式出现。虽然信息量很大，但这些信息本身可能很难概括。在这项工作中，我们将探讨如何自然语言的意见，可以用来提供一个更丰富的反馈信号，强化学习代理，通过扩展的政策塑造，一个著名的交互式强化学习技术。通常，策略形成采用人工反馈策略来帮助智能体更多地了解如何实现其目标。在我们的例子中，我们用基于自然语言建议生成的策略替换了这种人工反馈策略。我们的目标是检查生成的自然语言推理是否为深度强化学习代理提供支持，以在任何给定的环境中成功地决定其行动。因此，我们设计了三个网络的模型：第一个是经验驱动，第二个是建议生成器，第三个是建议驱动。当经验驱动的强化学习代理选择其受环境奖励影响的动作时，具有由建议生成器针对任何新状态生成的反馈的建议驱动的神经网络选择其动作以帮助强化学习代理更好地进行策略成形。
2021-04-11 cs.AI cs.LG
Reinforcement Learning with Segment Feedback
Stanford University（斯坦福大学）；NVIDIA Research（NVIDIA研究）
本文提出分段反馈强化学习模型填补逐状态-动作与轨迹反馈间的空白，针对二元、求和两种反馈设置设计算法并建立遗憾界，证明分段数对两种反馈下学习性能的影响存在显著差异。
2025-06-17 cs.LG
Reinforcement Learning with Feedback Graphs
Cornell University（康奈尔大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
我们研究了马尔可夫决策过程中的情景强化学习，当代理每一步都以几个过渡观察的形式接收额外的反馈时。这种额外的观察在一系列任务中通过扩展的传感器或关于环境的先验知识（例如，当某些行为产生类似的结果时）。我们使用状态-动作对的反馈图来正式化这种设置，并表明基于模型的算法可以利用额外的反馈来进行更有效的学习。我们给出了一个遗憾的界限，忽略对数因子和低阶项，仅取决于反馈图的最大非循环子图的大小，与多项式依赖的状态和动作的数量在没有反馈图。最后，我们强调挑战时，利用一个小的支配集的反馈图相比，强盗设置，并提出了一个新的算法，可以使用这样的支配集的知识，更样本有效的学习一个接近最优的政策。
2020-05-07 cs.AI cs.LG stat.ML
Reinforcement Learning from Denoising Feedback
Fudan University（复旦大学）；Ant Group（蚂蚁集团）；Hong Kong University of Science and Technology（香港科技大学）
提出RLDF方法，利用去噪反馈进行策略损失估计，通过优化中间噪声状态到裁剪干净状态并结合加权时间步采样，在扩散语言模型上提升性能和泛化性。
2026-06-05 cs.CL cs.LG
On the Theory of Reinforcement Learning with Once-per-Episode Feedback
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）
我们研究了强化学习（RL）的理论，其中学习者在一集结束时只接收一次二进制反馈。虽然这是一个极端的理论测试案例，但它也可以说比RL实践中的传统要求更能代表现实世界的应用，即学习者在每个时间步都收到反馈。事实上，在强化学习的许多现实应用中，例如自动驾驶汽车和机器人技术，评估学习者的完整轨迹是“好”还是“坏”更容易，但在每一步提供奖励信号更难。为了证明在这种更具挑战性的环境中学习是可能的，我们研究了轨迹标签由未知参数模型生成的情况，并提供了一种统计和计算效率高的算法，实现了次线性遗憾。
2022-08-21 cs.AI cs.LG stat.ML
Recommendations with Negative Feedback via Pairwise Deep Reinforcement Learning
Michigan State University（密歇根州立大学）
推荐系统通过向用户推荐个性化的商品或服务，在缓解信息过载问题方面起着至关重要的作用。绝大多数传统的推荐系统将推荐过程视为一个静态的过程，并遵循固定的策略进行推荐。在本文中，我们提出了一种新的推荐系统的能力，不断提高其策略，在与用户的互动。我们将用户和推荐系统之间的顺序交互建模为马尔可夫决策过程（MDP），并利用强化学习（RL）通过推荐试错项目并从用户的反馈中接收这些项目的强化来自动学习最优策略。用户的反馈可以是积极的和消极的，这两种类型的反馈都有很大的潜力，以提高推荐。然而，负反馈的数量远远大于正反馈，因此同时将它们合并是具有挑战性的，因为正反馈可能被负反馈所掩盖。在本文中，我们开发了一种新的方法，将它们纳入建议的深度推荐系统（DEERS）框架。基于真实电子商务数据的实验结果验证了该框架的有效性。进一步的实验已经进行了理解的重要性，积极和消极的反馈建议。
2018-08-10 cs.IR cs.LG stat.ML
NaRLE: Natural Language Models using Reinforcement Learning with Emotion Feedback
Microsoft（微软）
当前对话系统的研究主要集中在面向任务或开放域环境下的短对话上。在本文中，我们专注于在线改进基于任务的会话助理，主要是那些从事文档类型会话的助理（例如，电子邮件），其内容可能与助理的任务完全相关，也可能不完全相关。我们提出了“NARLE”一个深度强化学习（RL）框架，用于在线改进对话系统的自然语言理解（NLU）组件，而无需为客户数据收集人类标签。所提出的解决方案将用户情感与助理的动作相关联，并使用该情感来使用策略梯度改进NLU模型。对于两个意图分类问题，我们的经验表明，使用强化学习微调预训练的监督学习模型，提高性能高达43%。此外，我们证明了部分和噪声隐式反馈的方法的鲁棒性。
2021-10-05 cs.CL cs.LG
Humans are not Boltzmann Distributions: Challenges and Opportunities for Modelling Human Feedback and Interaction in Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）
强化学习（RL）通常假设可以访问指定的奖励函数，而许多实际应用并不提供。相反，最近，更多的工作探索了从与人类的互动中学习该做什么。到目前为止，这些方法中的大多数都将人类建模为（爱管闲事的）理性，特别是提供无偏见的反馈。我们认为这些模型过于简单化，RL研究人员需要开发更真实的人体模型来设计和评估他们的算法。特别是，我们认为，人类模型必须是个人的，上下文，和动态的。本文呼吁不同学科的研究来解决人类如何向AI提供反馈以及我们如何构建更强大的人在回路RL系统的关键问题。
2022-06-27 cs.HC cs.LG stat.ML
CANDERE-COACH: Reinforcement Learning from Noisy Feedback
University of Alberta（阿尔伯塔大学）；University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
提出CANDERE-COACH算法，通过噪声过滤机制处理非最优教师的在线反馈数据，使RL智能体在40%反馈错误时仍能成功学习。
2024-09-23 cs.AI cs.LG
Pixel-wise RL on Diffusion Models: Reinforcement Learning from Rich Feedback
Solofied Ltd.（索洛菲德有限公司）
针对DDPO仅有最终图像奖励导致的稀疏奖励与高样本需求，本文提出PXPO算法，将像素级反馈纳入扩散模型强化学习，以更精细的奖励优化策略。
2024-04-05 cs.CV cs.LG
Provable Safe Reinforcement Learning with Binary Feedback
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
安全性在强化学习（RL）的许多应用中都是至关重要的，无论是机器人、汽车还是医疗。许多现有的安全RL方法依赖于接收数字安全反馈，但在许多情况下，这种反馈只能采用二进制值;也就是说，给定状态下的动作是安全的还是不安全的。当反馈来自人类专家时，情况尤其如此。因此，我们考虑可证明的安全RL的问题时，给予访问离线oracle提供二进制反馈的安全状态，动作对。我们提供了一种新的Meta算法，SABRE，它可以应用于任何MDP设置访问黑盒PAC RL算法的设置。SABRE应用从主动学习到强化学习的概念，以可证明地控制对安全预言的查询数量。SABRE通过迭代地探索状态空间来找到代理当前不确定安全性的区域。我们的主要理论结果表明，在适当的技术假设下，SABRE在训练过程中从不采取不安全的行动，并保证以高概率返回一个接近最优的安全策略。我们提供了一个讨论，我们的元算法可以应用到各种设置研究的理论和实证框架。
2022-10-26 cs.AI cs.LG stat.ML
Towards Interactive Reinforcement Learning with Intrinsic Feedback
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文针对强化学习与脑机接口领域间未被充分探索的神经活动作为内在反馈的关键关联，提出教程式综述，涵盖其动机、方法、开放问题与基础概念，以推动相关研究的理解与应用。
2023-08-23 cs.AI cs.HC cs.LG
On Rate-Distortion Theory in Capacity-Limited Cognition & Reinforcement Learning
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
在整个认知科学文献中，人们普遍认为，在现实世界中运作的决策代理人在有限的信息处理能力下这样做，并且无法获得无限的认知或计算资源。先前的工作已经从这一事实中得到了启发，并利用了在有限速率约束下操作的通信信道等行为或策略的信息理论模型。同时，平行线的工作也利用相同的原则，从率失真理论，通过学习目标的概念，这有利于证明有效的学习算法的贝叶斯遗憾界的容量有限的决策。在本文中，我们的目的是阐明后一种观点，提出了一个简短的调查，这些信息理论模型的能力有限的决策，在生物和人工代理。
2022-10-30 cs.AI cs.LG
Reinforcement learning for linear-convex models with jumps via stability analysis of feedback controls
University of California, Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）
我们研究有限时间水平连续时间线性凸强化学习问题的情节设置。在这个问题中，未知的线性跳跃-扩散过程被控制的非光滑凸成本。我们证明了相关的线性凸控制问题允许Lipchitz连续最优反馈控制，并进一步证明了反馈控制的Lipschitz稳定性，即，应用反馈控制的不正确的模型和真正的模型之间的性能差距取决于Lipschitz-连续的扰动在模型系数的大小;证明依赖于相关的向前向后随机微分方程的稳定性分析。然后，我们提出了一种新的最小二乘算法，实现了遗憾的顺序$O(\sqrt{N\ln N})$的线性凸学习问题的跳跃，其中$N$是学习情节的数量，分析利用Lipschitz稳定性的反馈控制和浓度属性的子威布尔随机变量。数值实验验证了算法的收敛性和鲁棒性。
2022-03-02 cs.LG math.OC stat.ML
RLTF: Reinforcement Learning from Unit Test Feedback
Tencent（腾讯）
针对代码生成中强化学习探索不足及单元测试信号利用不充分的问题，提出在线RL框架RLTF，利用多粒度单元测试反馈实时优化代码LLM，在APPS和MBPP基准上达到最先进性能。
2023-11-13 cs.AI cs.CL cs.LG
Quantifying the Effect of Feedback Frequency in Interactive Reinforcement Learning for Robotic Tasks
Robotics and Interactive Systems – UPSSITECH, University Paul Sabatier（机器人与交互系统——UPSSITECH，保罗·萨巴蒂埃大学）
研究探讨了反馈频率对机器人任务中交互强化学习效率的影响，通过不同复杂度的机械臂逆运动学学习实验，发现反馈频率需随任务熟练度动态调整，无单一最优频率。
2023-03-15 cs.AI cs.HC cs.LG
PSPACE hardness of approximating the capacity of Markoff channels with noiseless feedback
证明了在无噪声反馈条件下计算马尔可夫信道的容量是PSPACE困难的。
2018-03-21 cs.IT math.IT
Network error correction with limited feedback capacity
我们认为，在网络链路上存在对抗性错误的情况下，表征网络容量的问题，特别关注低容量反馈链路跨网络切割的影响。
2014-02-01 cs.IT math.IT
Any Positive Feedback Rate Increases the Capacity of Strictly Less-Noisy Broadcast Channels
我们提出了两种编码方案的离散无记忆广播信道（DMBC）的速率限制的反馈，只有一个接收机。对于任何正反馈率和严格的低噪声DMBC类，我们的计划严格提高了无反馈容量区域。
2013-07-21 cs.IT math.IT
Capacity of Finite-State Channels with Delayed Feedback
该研究通过将带延迟反馈的有限状态信道转化为带瞬时反馈的扩展状态信道，提出基于图的容量上下界计算方法，得出多个信道的容量结果与更优上界，证明反馈可提升双码擦除信道容量。
2024-06-22 cs.IT math.IT
Feedback Capacity Formulas of AGN Channels Driven by Nonstationary Autoregressive Moving Average Noise
在本文中，我们推导出封闭形式的反馈容量和非反馈可达速率的公式，加性高斯噪声（AGN）信道驱动的非平稳自回归移动平均（ARMA）噪声（具有不稳定的极点和零点），基于时不变的反馈码和信道输入分布。从分析和仿真中得出了令人惊讶的观察结果，（i）使用时不变信道输入分布产生了取决于ARMA噪声的参数的多个容量机制，其可以或可以不使用反馈，（ii）极点越不稳定（分别为：零）的ARMA噪声越高（相应地，较低）的反馈能力，（iii）某些条件，称为可检测性和稳定性是必要的和足够的，以确保反馈能力公式和非反馈可达率{ \it是独立的ARMA噪声的初始状态}。另一个令人惊讶的观察是，Kim的反馈容量的\cite{kim2010}表征是为稳定的ARMA噪声开发的，如果应用于不稳定的ARMA噪声，与我们的反馈容量公式相比，给出了较低的反馈容量值。
2021-06-09 cs.IT math.IT
Feedback Capacity of the Compound Channel
在这项工作中，我们发现的容量的复合有限状态信道与时不变的确定性反馈。我们考虑的模型涉及使用固定长度的分组码。我们的可扩展性的结果包括一个通用的解码器的存在性证明的家庭的有限状态反馈信道。作为我们的能力的结果，我们表明，反馈并没有增加复合吉尔伯特-埃利奥特通道的能力。此外，我们表明，对于一个平稳和均匀遍历马尔可夫信道，如果复合信道容量是零，没有反馈，那么它是零反馈。最后，我们利用有限状态信道的结果，证明了无记忆复合信道的反馈容量由$\inf_θ \max_{Q_X} I(X;Y|θ)$给出。
2007-11-05 cs.IT math.IT
The adaptive zero-error capacity for a class of channels with noisy feedback
具有无噪声反馈的离散无记忆信道（DMC）的自适应零差错容量已被证明是正的，只要存在至少一个信道输出“不证明者”，即，不能从至少一个输入到达的信道输出。此外，只要存在一个disprover，自适应零错误容量达到香农（小错误）的能力。在这里，我们研究的DMC的零错误容量时，信道反馈是嘈杂的，而不是完美的。我们表明，噪声反馈的自适应零错误容量是下界的前向信道的零未检测到的错误容量，并表明在一定条件下，这是紧。
2017-04-04 cs.IT math.IT
Zero-Error Feedback Capacity for Bounded Stabilization and Finite-State Additive Noise Channels
本文研究了具有记忆的{ \em因果}离散信道的零差错反馈能力。首先，通过扩展经典的零差错反馈容量的概念，一个新的概念{ \em均匀零差错反馈容量} $ C_{0f} $的这种信道被引入。利用这一概念，通过因果信道的不稳定的{噪声}线性系统的{有界}稳定的一个严格条件，假设没有{信道}状态信息的任何一端的信道。
2022-06-01 cs.IT math.IT
Youla Coding and Computation of Gaussian Feedback Capacity
在本文中，我们提出了一种方法来数值计算的反馈容量的平稳有限维高斯信道和构造（任意接近）的能力实现反馈码。特别地，我们首先将有限维高斯信道上的反馈通信解释为反馈控制系统，证明了在Youla参数上找到具有最大可靠传输率的稳定反馈控制器的问题与找到严格因果滤波器以实现[2]中导出的反馈容量的问题相一致。这种扩展的解释提供了一种方法来构造确定性反馈编码方案的双指数衰减的错误概率。接下来，我们提出了渐近容量实现上界，这可以通过求解有限维凸优化数值评估。从达到上界的过滤器，我们应用基于Youla的解释来构造可行的过滤器，即，反馈码，导致一系列的下限。我们证明了序列的下限是渐近容量实现。
2018-01-12 cs.IT math.IT
Can Feedback Increase the Capacity of the Energy Harvesting Channel?
我们调查反馈是否可以增加能量收集通信信道的容量，其中由外源能量到达过程供电并配备有限电池的发射器通过无记忆信道与接收器通信。对于一个简单的特殊情况下，能量到达过程是确定性的和信道是BEC，我们明确计算的前馈和反馈的能力，并表明，反馈可以严格增加该信道的容量。在这个例子的基础上，我们还表明，反馈可以增加的能力时，能源抵达是独立同分布。在发送器和接收器处非因果地已知。
2015-06-05 cs.IT math.IT
A Counterexample to Cover's 2P Conjecture on Gaussian Feedback Capacity
我们提供了Cover猜想的一个反例，即功率约束下加性高斯噪声信道的反馈容量$C_\textrm{FB}$ $P$不大于功率约束下相同信道的非反馈容量$C$ $2P$，即，$C_\textrm{FB}(P) \le C(2P)$。
2005-11-04 cs.IT math.IT
On the Capacity of the Discrete Memoryless Broadcast Channel with Feedback
本文提出了一种离散无记忆广播信道的{无噪声，有噪声，广义}反馈编码方案，并导出了相应的可达域。该方案是基于一个块马尔可夫策略相结合的马顿计划和一个有损版本的格雷-怀纳计划与边信息。在每个块中，发射机发送新的数据和更新信息，允许接收机改善在前一个块中观察到的信道输出。对于Dueck广播信道的推广，我们的方案实现了无噪声反馈容量，这是严格大于无反馈容量。对于Blackwell信道的推广，当反馈是无噪声的，我们的新方案实现的速率点是在无反馈容量区域之外。它遵循一个简单的连续性参数，对于这两个信道，当反馈噪声足够低时，我们的方案提高了无反馈容量，即使当反馈是嘈杂的。
2012-11-25 cs.IT math.IT
Feedback Increases the Capacity of Queues with Bounded Service Times
本文针对先进先出队列容量问题，证明当服务时间具有有界支撑时，完全反馈总能提升容量，并通过引入广义反馈框架统一分析完全反馈与弱反馈，弥补了已有充分条件缺乏显式结构性质的不足。
2024-06-30 cs.IT math.IT
Capacity of the Trapdoor Channel with Feedback
我们建立了陷门信道的反馈容量是黄金比例的对数，并提供了一个简单的通信方案，实现容量。作为分析的一部分，我们制定了一类动态的程序，其特征容量的单线有限状态信道。活板门渠道是一个例子，承认一个简单的解析解。
2006-10-09 cs.IT math.IT
Self-Secure Capacity-Achieving Feedback Schemes of Gaussian Multiple-Access Wiretap Channels with Degraded Message Sets
Schalkwijk-Kailath（SK）方案实现了具有反馈的点到点白高斯信道的容量，其本身是安全的，并且还实现了具有反馈的高斯窃听信道的保密容量，即，SK方案是用于高斯窃听信道的自安全容量实现（SSCA）反馈方案。对于多用户窃听信道，最近，已经表明Ozarow的用于两用户高斯多址接入信道（GMAC）的容量实现反馈方案是用于两用户高斯多址接入窃听信道（GMAC-WT）的SSCA反馈方案。本文首先提出了一种基于两用户GMAC协议的容量实现反馈方案（GMAC-DMS），并证明了该方案是基于两用户GMAC协议的SSCA反馈方案（GMAC-WT-DMS）。接下来，我们将上述方案扩展到在发射机处具有非因果信道状态信息的两用户GMAC-DMS（NCSIT），并表明扩展方案是容量实现的，并且对于具有NCSIT的两用户GMAC-WT-DMS也是SSCA反馈方案。最后，我们推导出两个用户的GMAC-WT-DMS的保密容量区域的外边界与NCSIT，数值结果显示了反馈的速率增益。
2021-11-18 cs.IT math.IT
Feedback capacity of Gaussian channels with memory
我们考虑了MIMO信道的反馈容量，其信道输出由信道输入和高斯过程驱动的线性状态空间模型给出。我们的状态空间模型的一般性，包括所有以前研究的模型，如加性通道与有色高斯噪声，和通道与以前的通道输入或输出的任意依赖。主要结果是一个可计算的反馈能力的表达式，给出了一个凸优化问题的可检测性条件。我们证明了自回归高斯噪声信道上的容量结果，在那里我们表明，即使是一个单一的时间实例延迟的反馈减少反馈容量显着在固定制度。另一方面，对于大的回归参数（在非平稳状态下），反馈容量可以用延迟反馈来逼近。最后，我们证明了可检测性条件是满足标量模型和猜想，这是真实的MIMO模型。
2022-07-21 cs.IT math.IT
Secrecy Capacity of Colored Gaussian Noise Channels with Feedback
本文研究了具有无噪声因果反馈的k阶自回归滑动平均（ARMA（k））高斯窃听信道，其中窃听者在前向信道和反馈信道中都接收到信号的噪声观测值。它示出的广义Schalkwijk-Kailath计划，一个容量实现编码方案的反馈高斯信道的一个变体，实现了相同的最大速率为同一信道的窃听者的存在。因此，保密容量等于反馈信道不存在窃听者时的反馈容量。此外，结果被推广到加性高斯白噪声（AWGN）信道与量化反馈。结果表明，所提出的编码方案实现了积极的保密率。当量化噪声的幅度降至零时，保密率收敛于AWGN信道的容量。
2018-01-20 cs.IT math.IT
On the Feedback Capacity of Power Constrained Gaussian Noise Channels with Memory
对于具有有限阶$L$的有理噪声功率谱的平稳加性高斯噪声信道，在平均信道输入功率约束下，我们得到了反馈容量的两个新结果。首先，我们证明了一个非常简单的反馈相关的高斯-马尔可夫源实现的反馈能力，卡尔曼-布西滤波是最佳的反馈处理。基于这些结果，我们开发了一种新的方法，用于优化信道输入，通过使用动态规划方法，分解成$n$顺序相同的优化问题，其中每个阶段涉及优化$O(L^2)$变量的计算，以实现覆盖庞布拉块长度$n$反馈容量。其次，我们推导出固定反馈相关源的显式最大信息率。一般来说，估计平稳源的最大信息率只需要通过简单的非线性规划求解几个方程。对于一阶自回归和/或移动平均（ARMA）噪声信道，这种优化承认一个封闭形式的最大信息速率公式。固定源的最大信息速率是反馈容量的下限，并且如果长期存在的猜想，即固定源实现反馈容量成立，则它等于反馈容量。
2007-01-16 cs.IT math.IT
Zero-error feedback capacity via dynamic programming
本文研究了当信道状态信息为发送端和接收端所知时，有限状态反馈信道的零差错容量。我们证明了这种情况下的零错误容量可以通过求解动态规划问题来获得。动态规划的每一次迭代都给出了零误差反馈容量的上、下界，并且在极限情况下，下界与零误差反馈容量一致。通过不动点方程给出了求解动态规划问题的一个充分条件。提供了几个例子的分析解决方案。
2009-07-11 cs.IT math.IT
The Capacity of Channels with Feedback
我们介绍了一个一般的框架，用于治疗通道的记忆和反馈。首先，我们推广了Massey的有向信息的概念，并用它来描述一般信道的反馈容量。其次，我们提出了马尔可夫信道的编码结果。这需要在编码器和解码器处确定适当的足够的统计。第三，提出了一个计算马尔可夫信道容量的动态规划框架。第四，它表明，平均成本最优方程（ACOE）可以被看作是一个隐式的单字母表征的能力。第五，描述了具有简单充分统计的场景。
2006-09-25 cs.IT math.IT
Approximate Feedback Capacity of the Gaussian Multicast Channel
对于M个发送器、K个接收器的反馈高斯多播信道，我们将容量区域表征为log{2（M-1）} bits/s/Hz以内，其中每个接收器希望解码来自M个发送器的每个消息。扩展Cover-Leung针对（M，K）=（2，1）的可实现方案，我们证明了该广义方案在所有信道参数下每个发射机的log{2（M-1）}比特内实现了基于割集的外界。与非反馈情况下的容量相比，反馈容量在K个单独的多址接入信道的反馈容量的朴素交集上得到改进。我们发现，反馈提供了无界的乘法增益在高信噪比高斯干扰信道中所示。为了补充的结果，我们建立了确切的反馈能力的Avestimehr-Diggavi-Tse（ADT）确定性模型，从中我们观察到，反馈也可以是有益的函数计算。
2012-05-18 cs.IT math.IT
Capacity of Burst Noise-Erasure Channels With and Without Feedback and Input Cost
研究了一类在传输过程中同时存在差错和擦除的突发噪声擦除信道。的通道，其输出明确表示在其输入和平稳遍历噪声擦除过程中，被证明具有所谓的“准对称性”在一定的可逆性条件下的属性。其结果是，它被证明是一个均匀分布的输入过程最大化的信道的块互信息，导致在一个封闭形式的公式，其无反馈能力的噪声擦除熵率和辅助擦除过程的熵率。反馈信道容量的特点也表明，反馈不增加容量和推广以前的相关结果。还研究了有反馈和无反馈信道的容量成本函数。一个序列的有限字母的上限容量成本函数无反馈。使用特定的编码规则获得具有反馈的容量成本函数的字母较低的键。基于这些界限，它是证明了数字和分析，反馈可以增加容量成本函数的一类信道的马尔可夫噪声擦除过程。
2017-05-03 cs.IT math.IT
On the Feedback Capacity of Stationary Gaussian Channels
带反馈的平稳加性高斯噪声信道的容量被表征为变分问题的解。为此，证明了最优反馈编码方案是平稳的。当专门用于一阶自回归移动平均噪声谱时，这种变分表征产生反馈能力的封闭形式的表达式。特别是，这个结果表明，著名的Schalkwijk-Kailath编码方案实现了一阶自回归移动平均高斯信道的反馈能力，解决了Butman，Schalkwijk-Tiernan，Wolfowitz，Ozarow，Ordentlich，Yang-Kavcic-Tatikonda等研究的一个长期存在的公开问题。
2005-11-14 cs.IT math.IT
Capacity of All Nine Models of Channel Output Feedback for the Two-user Interference Channel
在本文中，我们研究了不同的信道输出反馈结构对两用户干扰信道容量的影响。对于双用户干扰信道，反馈链路可以存在于9种规范架构（参见图2）中的接收器和发射器之间，范围从仅一个反馈链路到四个反馈链路。我们推导出精确的容量区域的对称确定性干扰信道和恒定间隙的容量区域的对称高斯干扰信道的所有9个架构。我们证明，对于线性确定性对称干扰信道，在弱干扰状态下，除了只有一个接收机反馈到自己的发射机的反馈模型之外，所有反馈模型都具有相同的容量区域。当只有一个接收机反馈到它自己的发射机时，在弱干扰状态下，容量区域是其余反馈模型的容量区域的严格子集。然而，在弱干扰状态下，所有反馈模型的总容量是相同的。此外，在强干扰状态下，具有至少一个接收器反馈到其自己的发射器的反馈的所有模型具有相同的和容量。对于高斯干扰信道，线性确定性模型的结果如下，其中容量被近似容量代替。
2013-01-25 cs.IT math.IT
