Semi-parametric dynamic contextual pricing
出于在电子商务平台中的实时定价的应用,我们考虑的问题,收入最大化的设置中,卖方可以利用上下文信息描述客户的历史和产品的类型来预测她的产品的估价。然而,她的真实估值是卖方无法观察到的,只能观察到交易成功-失败形式的二元结果。与通常的背景强盗设置不同,在我们的设置中,给定协变量的最优价格/手臂对剩余不确定性分布的详细特征敏感。我们开发了一个半参数模型,其中的残差分布是非参数的,并提供了第一个算法,学习回归参数和残差分布与$\tilde O(\sqrt{n})$遗憾。我们凭经验测试我们的算法的可扩展实现,并观察到良好的性能。
2019-08-11 cs.LG econ.EM stat.ML
Balanced Off-Policy Evaluation for Personalized Pricing
Columbia IEOR and DSI(哥伦比亚大学工业工程与运筹学系和数据科学研究所);USC Marshall(南加州大学马歇尔商学院);Columbia IEOR(哥伦比亚大学工业工程与运筹学系)
我们考虑一个个性化的定价问题,其中我们有数据组成的功能信息,历史定价决策,和二进制实现的需求。我们的目标是执行一个新的个性化定价策略,将功能映射到价格的政策外评估。基于逆倾向加权的方法(包括双重鲁棒方法)用于非策略评估,当日志策略具有很少的探索或确定性时,可能表现不佳,这在定价应用中很常见。基于Kallus(2018)的平衡政策评估框架,我们提出了一种针对定价应用的新方法。其关键思想是计算一个估计,最大限度地减少最坏情况下的均方误差或最大限度地提高最坏情况下的政策性能的下限,在这两种情况下,最坏的情况下采取相对于一组可能的收入函数。我们建立了理论上的收敛保证,并使用真实世界的定价数据集实证证明了我们的方法的优势。
2023-02-24 cs.LG stat.ML
Insurance Pricing Optimization via Off-Policy Evaluation
Department of Mathematics, ETH Zurich(苏黎世联邦理工学院数学系)
本文提出基于离线策略评估和随机控制的保险定价方法,利用核化逆倾向得分估计器降低方差,并通过数据共享Lasso和神经网络两种策略优化方法实现最优定价。
2026-05-28 cs.LG q-fin.RM stat.AP
$ε$-Policy Gradient for Online Pricing
University of Edinburgh(爱丁堡大学);Alan Turing Institute(阿兰·图灵研究所);Naresuan University(那黎宣大学);Imperial College London(伦敦帝国学院)
本文提出ε-策略梯度算法用于在线定价,用梯度下降替代ε-贪婪中的贪婪利用并结合模型推断,通过量化探索与利用成本实现O(√T)阶期望遗憾。
2024-05-06 cs.LG math.OC q-fin.ST
Incentive-aware Contextual Pricing with Non-parametric Market Noise
Massachusetts Institute of Technology(麻省理工学院)
本文研究了多个策略购买者的重复情境第二价格拍卖的动态定价问题,这些购买者的目标是最大化他们的长期时间折扣效用。卖方对买方的总体需求曲线的信息有限,这取决于非参数的市场噪声分布,买方可能会提交损坏的出价(相对于真实估值),以操纵卖方的定价政策,在未来更有利的保留价。我们专注于设计卖方的学习政策,以设置上下文的保留价,卖方的目标是最大限度地减少后悔相比,一个基准的千里眼政策,有充分的信息,买家的需求的收入。我们提出了一个阶段性的结构,采用随机的“隔离”期间,在此期间,买方被随机选择单独参加拍卖的政策。我们表明,这种设计允许卖方控制的期间,买方显着腐败他们的出价的数量。然后我们证明我们的政策享有$T$ -时期遗憾的$\widetilde{\mathcal{O}}(\sqrt{T})$面对战略买家。最后,我们进行数值模拟,比较我们提出的算法标准的定价政策。我们的数值结果表明,我们的算法优于这些政策下的各种买方投标行为。
2023-02-07 cs.GT cs.LG stat.ML
Fairness-aware Contextual Dynamic Pricing with Strategic Buyers
本文研究了带有公平性约束的上下文动态定价问题,考虑了买家在群体身份私密且不可观测时的战略行为,提出了一种同时实现价格公平并遏制战略行为的动态定价策略,理论分析表明该策略在T时间范围内具有O(√T + H(T))的 regret 上界,并通过实验验证了其有效性。
2026-03-14 cs.GT cs.LG stat.ML
Doubly Fair Dynamic Pricing
University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们研究了两种类型的公平约束的在线动态定价问题:“程序公平”,这要求提出的价格是平等的期望之间的不同群体,和“实质公平”,这要求接受的价格是平等的期望之间的不同群体。一项政策,同时是程序和实质性的公平被称为“双重公平”。我们证明,双重公平政策必须是随机的,才能比向不同群体分配相同价格的最佳琐碎政策获得更高的收入。在两组设置中,我们提出了一个在线学习算法的2组定价问题,实现$\tilde{O}(\sqrt{T})$遗憾,零程序不公平和$\tilde{O}(\sqrt{T})$实质性的不公平超过$T$轮的学习。我们还证明了两个下界表明,这些结果的遗憾和不公平都是信息理论上最优的迭代对数因子。据我们所知,这是第一个在同时满足两个公平性约束的情况下学习定价的动态定价算法。
2022-09-23 cs.LG econ.EM stat.ML
Contextual Dynamic Pricing with Strategic Buyers
Mitchell E. Daniels, Jr. School of Business, Purdue University(普渡大学米切尔·E·丹尼尔斯 Jr.商学院);Department of Statistics and Data Science, Yale University(耶鲁大学统计与数据科学系);Department of Industrial Engineering and Management Sciences, Northwestern University(西北大学工业工程与管理科学系)
针对策略性买家操纵特征数据导致卖家利润受损的问题,提出一种将策略性行为纳入在线学习的动态定价策略,实现 $O(\sqrt{T})$ 遗憾界,并支持边际成本未知场景。
2024-06-25 cs.AI cs.GT cs.LG
Multi-Product Dynamic Pricing in High-Dimensions with Heterogeneous Price Sensitivity
University of Southern California(南加州大学)
我们考虑的问题,多产品的动态定价,在上下文环境中,为卖方的差异化产品。在这种环境中,客户随着时间的推移而到达,产品由高维特征向量描述。每个客户根据广泛使用的多项Logit(MNL)选择模型选择产品,她的效用取决于产品的功能以及提供的价格。卖方先验不知道选择模型的参数,但可以通过与客户的互动来学习它们。卖方的目标是设计一个定价策略,最大限度地提高她的累积收入。这种模式受到Airbnb平台和在线广告等在线市场的推动。我们用后悔来衡量定价策略的表现,后悔是指对于预先知道选择模型参数并总是设定收入最大化价格的千里眼策略的预期收入损失。我们提出了一个定价策略,名为M3 P,实现了一个$T$ -周期遗憾$O(\log(Td) ( \sqrt{T}+ d\log(T)))$异构价格敏感性下的产品与尺寸$d$的功能。我们还使用信息理论的工具来证明,没有政策可以实现最坏情况下的$T$ -后悔比$Ω(\sqrt{T})$。
2020-05-15 cs.GT cs.LG stat.ML
Risk-Sensitive Learning and Pricing for Demand Response
Cornell University(康奈尔大学)
我们考虑的设置中,一个电力公司寻求削减其峰值电力需求,提供一个固定的客户群的消费相对于他们的预定基线减少统一的价格。潜在的需求曲线,它描述了总的消费减少,以响应提供的价格,假设是仿射的,并受到不可观察的随机冲击。假设两个参数的需求曲线和随机冲击的分布最初是未知的公用事业,我们调查的程度,公用事业可能会动态调整其提供的价格,以最大限度地提高其累积风险敏感的回报在有限数量的$T$天。为了有效地做到这一点,公用事业公司必须设计其定价政策,以平衡学习未知需求模型(探索)和随着时间的推移最大化其回报(开发)之间的权衡。在本文中,我们提出了这样一个定价政策,这是表现出预期的回报损失超过$T$天,最多是$O(\sqrt{T}\log(T))$,相对于Oracle的定价政策,知道的基本需求模型。此外,建议的定价政策产生的价格序列收敛到甲骨文最优价格的均方意义上。
2018-06-18 cs.LG math.OC
Online Regularization towards Always-Valid High-Dimensional Dynamic Pricing
Purdue University(普渡大学)
针对动态定价中在线不确定性适应受限的问题,提出基于在线正则化的乐观在线正则化极大似然定价(OORMLP)算法,利用非渐近鞅集中度实现始终有效的高维定价,理论确保对数遗憾,实验证明其优于现有方法。
2023-11-20 cs.LG stat.ML
Nonparametric Pricing Analytics with Customer Covariates
University of Toronto(多伦多大学);The Hong Kong University of Science and Technology(香港科技大学)
个性化定价分析正在成为零售业的重要工具。在观察每个到达客户的个性化信息后,公司需要根据收入,教育背景,过去的购买历史等协变量制定相应的价格,以获取更多的收入。对于新进入者来说,缺乏历史数据可能会严重限制个性化定价的能力和盈利能力。我们提出了一个非参数定价策略,同时学习客户的偏好的基础上的协变量,并在有限的时间内最大化的预期收入。该策略不依赖于关于个性化信息如何影响消费者偏好的任何先验假设(例如线性模型)。它自适应地将协变量空间划分为更小的bin(超矩形),并根据协变量和偏好对客户进行聚类,为属于同一聚类的客户提供类似的价格,权衡粒度和准确性。我们表明,该算法实现了遗憾的顺序$O(\log(T)^2 T^{(2+d)/(4+d)})$,其中$T$是地平线的长度和$d$是维度的协变量。它改善了目前的遗憾,在文献\citep{slivkins2014contextual},温和的技术条件下,在定价的背景下(平滑和本地的价格)。我们还证明,没有政策可以实现一个遗憾小于$O(T^{(2+d)/(4+d)})$为一个特定的实例,从而证明了近最优的建议政策。
2020-02-16 cs.LG stat.ML
Causal Forecasting for Pricing
Zalando SE
针对定价场景下需求预测需建模价格-需求因果关系以支撑最优定价的问题,本文融合双重机器学习与transformer预测模型,在合成数据和真实数据实验中均展现出更优的因果效应估计与离策略预测性能。
2024-01-30 cs.LG stat.ML
Model Distillation for Revenue Optimization: Interpretable Personalized Pricing
University of Virginia(弗吉尼亚大学);IBM Research(IBM研究院)
数据驱动的定价策略正变得越来越普遍,客户可以根据预测产品价值的功能获得个性化的价格。这种定价策略最好是简单和可解释的,这样它就可以被验证,检查公平性,并且容易实施。然而,将机器学习纳入定价框架的努力往往会导致复杂的定价政策无法解释,导致在实践中采用缓慢。我们提出了一个定制的,规范的基于树的算法,从复杂的黑盒机器学习算法中提取知识,细分具有相似估值的客户,并以最大化收入的方式规定价格,同时保持可解释性。我们量化了由此产生的政策的遗憾,并证明了其在合成和现实世界的数据集的应用程序的有效性。
2021-06-09 cs.LG stat.AP stat.ML
Convex Surrogate Loss Functions for Contextual Pricing with Transaction Data
Darden School of Business, University of Virginia(弗吉尼亚大学达顿商学院)
我们研究一个非政策上下文定价问题,其中卖家可以访问客户之前提供的价格样本,无论他们是否以该价格购买,以及描述客户和/或所售商品的辅助功能。这与充分研究的环境形成对比,在这种环境中,观察到客户的估价(支付意愿)样本。在我们的设置中,观察到的数据受到以前的定价政策的影响,我们不知道客户会如何回应替代价格。我们引入合适的损失函数,可以直接优化,以找到一个有效的定价政策与预期的收入保证,而不需要估计的中间需求函数。我们主要研究凸损失函数。这是特别相关的线性定价政策时,需要解释的原因,导致一个易于处理的凸收益优化问题。我们提出了广义铰链和分位数定价损失函数,价格在一个乘法因子的条件预期估值或一个特定的分位数的价格出售,尽管估值数据没有被观察到。当估值分布为对数凹分布时,我们分别证明了这些定价策略的期望收益界,并给出了有限样本情况下的推广界。最后,我们对合成数据和真实数据进行了模拟,以证明这种方法在上下文定价方面具有竞争力,并且在某些情况下优于最先进的方法。
2023-01-11 cs.IR cs.LG stat.ML
Beyond Time Induction: Structured Conditional Neural Solvers for Parametric Stochastic-Volatility Pricing
University College London(伦敦大学学院);Aicraft
该研究针对参数随机波动率定价问题,提出结构化条件神经求解器BeTINN,在Heston随机波动率PDE上验证其可提升归一化期权价值与关键敏感性指标的联合精度,为结构化条件适应性及导数感知评估提供支撑。
2026-10-15 cs.CE cs.LG q-fin.CP
Perishability of Data: Dynamic Pricing under Varying-Coefficient Models
University of Southern California(南加州大学)
我们考虑的是一家以在线方式向客户销售大量产品的公司。每个产品都由一个高维特征向量描述,并且产品的市场价值被假设为在其特征值中是线性的。估值模式的参数为未知,并可能随时间而改变。公司顺序观察产品的特征,并可以使用历史销售数据(二进制销售/无销售反馈)来设置当前产品的价格,目的是最大化所收集的收入。我们通过后悔来衡量动态定价策略的性能,后悔是与预先知道模型参数序列的千里眼相比的预期收入损失。我们提出了一个定价策略的基础上,预计随机梯度下降(PSGD)和其遗憾的时间$T$,功能维度$d$,和时间的变化模型参数,$δ_t$。我们考虑两种设置。在第一个模型中,特征向量的选择具有对抗性,我们证明了PSGD定价策略的后悔性是$O(\sqrt{T} + \sum_{t=1}^T \sqrt{t}δ_t)$阶的。在第二种设置(称为随机特征模型)中,特征向量独立于未知分布绘制。我们证明了在这种情况下,PSGD定价策略的后悔是$O(d^2 \log T + \sum_{t=1}^T tδ_t/d)$阶的。
2017-04-24 cs.GT cs.LG stat.ML
A Tale of Two Cities: Pessimism and Opportunism in Offline Dynamic Pricing
Department of Statistics, Florida State University(佛罗里达州立大学统计系);Department of Management Science, University of Miami(迈阿密大学管理科学系);Department of Decision Sciences, The George Washington University(乔治华盛顿大学决策科学系)
针对历史数据未覆盖部分价格空间(包括最优价格)的离线动态定价问题,提出利用需求单调性的非参数部分识别框架,并设计了悲观策略(最大化最坏情况收入)和机会策略(最小化最坏情况遗憾),在无覆盖环境中优于标准离线强化学习方法。
2026-05-22 cs.LG stat.ML
Dynamic Pricing in High-dimensions
University of Southern California(南加州大学)
我们研究了一家公司所面临的定价问题,销售大量的产品,通过广泛的功能,随着时间的推移到达的客户。顾客根据一个包含产品特征和顾客特征的一般选择模型独立地做出购买决策,该模型被编码为$d$维数值向量,以及所提供的价格。选择模型的参数是先验未知的公司,但可以学习(二进制值)的销售数据随着时间的推移。公司的目标是尽量减少遗憾,即,针对预先知道选择模型的参数并且总是提供收入最大化价格的千里眼策略的预期收入损失。这种设置的部分原因是在线市场的流行,允许实时定价。我们假设一个结构化的选择模型,其参数取决于$d$产品特征中的$s_0$。我们提出了一个动态的政策,称为正则化极大似然定价(RMLP),利用(稀疏)结构的高维模型,并获得了对数遗憾$T$。更具体地说,我们的算法的遗憾是$O(s_0 \log d \cdot \log T)$。此外,我们表明,没有政策可以获得比$O(s_0 (\log d + \log T))$更好的遗憾。
2018-01-01 cs.LG stat.ML
Towards Agnostic Feature-based Dynamic Pricing: Linear Policies vs Linear Valuation with Unknown Noise
University of California, Santa Barbara(加州大学圣巴巴拉分校)
在基于特征的动态定价中,销售者通过从先前销售会话的二元结果(如果评估$\geq$价格,则为“已售出”,否则为“未售出”)学习,动态地为一系列产品(由特征向量描述)设置适当的价格。现有的工作要么假设无噪声线性估值或精确已知的噪声分布,这限制了这些算法在实践中的适用性时,这些假设是很难验证的。在这项工作中,我们研究了两个更不可知的模型:(a)一个“线性政策”的问题,我们的目标是竞争的最佳线性定价政策,同时不对数据做任何假设,和(b)一个“线性噪声估值”的问题,随机估值是线性的,加上一个未知的和无干扰的噪音。对于前一个模型,我们证明了一个$\tildeΘ(d^{\frac13}T^{\frac23})$极大极小遗憾的对数因子。对于后一种模型,我们提出了一种算法,实现了$\tilde{O}(T^{\frac34})$遗憾,并提高了最有名的下限从$Ω(T^{\frac35})$到$\tildeΩ(T^{\frac23})$。这些结果表明,无遗憾学习是可能的基于特征的动态定价在弱假设下,但也揭示了一个令人失望的事实,似乎更丰富的定价反馈并没有显着更有用的比强盗反馈减少遗憾。
2022-04-01 cs.LG econ.EM stat.ML
Towards Optimal Pricing of Demand Response -- A Nonparametric Constrained Policy Optimization Approach
University of Washington(华盛顿大学)
针对需求响应中定价策略难以保证稳定性和最优性的问题,提出一种非参数约束策略优化方法,通过推导闭式最优策略更新和actor-critic算法,在确保稳定性的同时提升了性能。
2023-06-24 cs.AI cs.LG cs.SY
Offline Dynamic Inventory and Pricing Strategy: Addressing Censored and Dependent Demand
本文提出数据驱动算法,解决具有被截断和依赖需求的顺序决策环境中的最优定价与库存控制问题。
2026-03-11 cs.AI cs.LG math.ST
Utility Fairness in Contextual Dynamic Pricing with Demand Learning
Leonard N. Stern School of Business, New York University(纽约大学莱昂纳德·N·斯特恩商学院);Naveen Jindal School of Management, University of Texas at Dallas(德克萨斯大学达拉斯分校纳文·金达尔管理学院)
本文研究需求不确定下带效用公平性约束的情境动态定价,提出新算法并给出最优遗憾上界,同时刻画最优策略结构并建立非标准遗憾下界,揭示公平性对效用与收入平衡的影响。
2023-11-28 cs.LG stat.ML
Offline Deep Reinforcement Learning for Dynamic Pricing of Consumer Credit
Institute of Finance and Technology, UCL(伦敦大学学院金融与技术研究所);NatWest Group(国民西敏寺银行集团)
我们介绍了一种使用离线深度强化学习的最新进展来为消费信贷定价的方法。这种方法依赖于静态数据集,不需要对需求的函数形式进行假设。使用真实和合成数据的消费信贷应用,我们证明了我们的方法使用保守的Q-学习算法是能够学习一个有效的个性化定价政策,没有任何在线互动或价格实验。
2022-03-06 cs.LG q-fin.RM stat.ML
Dynamic Incentive-aware Learning: Robust Pricing in Contextual Auctions
Sloan School of Management, Massachusetts Institute of Technology(麻省理工学院斯隆管理学院);University of Southern California(南加州大学);Google Research(谷歌研究院)
出于在广告交易市场的定价,我们考虑了鲁棒学习的问题,对战略买家在重复的上下文第二价格拍卖的保留价。买家对一件物品的估价取决于描述该物品的上下文。然而,卖方并不知道上下文和买方估价之间的关系,即,买家的偏好。卖方的目标是设计一个学习策略,通过观察过去的销售数据来设置保留价,她的目标是最小化她的收入后悔,其中后悔是根据一个千里眼的政策,知道买家的异质性偏好计算。考虑到卖方的目标,效用最大化的买方有动机不真实地出价,以操纵卖方的学习策略。我们提出的学习政策,是强大的这种战略行为。这些政策使用拍卖的结果,而不是提交的出价,估计的偏好,同时控制每次拍卖的结果对未来的保留价的长期影响。当市场噪声分布是已知的卖方,我们提出了一个政策,称为上下文稳健定价(CORP),实现了T期后悔$O(d\log(Td) \log (T))$,其中$d$是{的}上下文信息的维度。当卖方不知道市场噪声分布时,我们提出了两种策略,其遗憾是次线性的$T$。
2020-02-25 cs.GT cs.LG stat.ML
Dynamic Pricing under Finite Space Demand Uncertainty: A Multi-Armed Bandit with Dependent Arms
University of California, Davis(加州大学戴维斯分校)
研究了需求模型未知情况下的动态定价问题。在这个问题中,卖方向一群顾客提供价格,并观察每次销售尝试的成功或失败。潜在的需求模型是未知的卖方,可以采取N种可能的形式之一。在本文中,我们表明,这个问题可以制定为一个多臂土匪依赖武器。我们提出了一种基于似然比检验的动态定价策略。我们表明,所提出的政策实现了完全学习,即,它提供了一个有界的遗憾,其中遗憾被定义为相对于具有已知需求模型的情况的收入损失。这与具有独立武器的多臂强盗的对数增长的后悔形成鲜明对比。
2012-10-27 cs.LG
A Causal Perspective on Loan Pricing: Investigating the Impacts of Selection Bias on Identifying Bid-Response Functions
KU Leuven(鲁汶大学);Vrije Universiteit Brussel(布鲁塞尔自由大学);University of Antwerp(安特卫普大学);imec(微电子研究中心)
本文从因果推断视角研究贷款定价中的出价选择偏差问题,将客户对价格的反应视为处理效应,通过在半合成数据集上的实验,证明因果机器学习方法能有效克服选择偏差,优于传统逻辑回归和神经网络。
2023-09-07 cs.LG econ.EM
Semi-Parametric Efficient Policy Learning with Continuous Actions
MIT(麻省理工学院);Microsoft Research(微软研究院)
我们考虑了连续动作空间的离线评估和优化。我们专注于观测数据,其中数据收集政策是未知的,需要估计。我们采用半参数方法,其中价值函数在处理中采用已知的参数形式,但我们不知道它如何取决于观察到的上下文。我们提出了一个双鲁棒的关闭政策的估计,这种设置和关闭政策优化的基础上,这种估计是强大的政策函数或回归模型的估计误差。我们的结果也适用于如果模型不满足我们的半参数形式,而是我们衡量遗憾的最佳投影的真实价值函数这个功能空间。我们的工作扩展了以前的政策优化方法,从观察数据,只考虑离散的行动。我们提供了一个实验评估我们的方法在一个合成数据的例子,最佳的个性化定价和昂贵的资源分配的动机。
2019-07-20 cs.LG econ.EM math.ST
Structured Dynamic Pricing: Optimal Regret in a Global Shrinkage Model
University of Southern California(南加州大学);Adobe Research(奥多比研究院)
本文针对流式纵向数据下的动态定价问题,提出基于全局收缩模型和惩罚随机梯度下降的定价策略,实现了渐近最优遗憾,并证明利用结构信息对策略规划至关重要。
2023-10-14 cs.DS cs.LG
Fairness Incentives in Response to Unfair Dynamic Pricing
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);HEC Montréal(蒙特利尔高等商学院);Université de Montréal(蒙特利尔大学);Dalhousie University(达尔豪斯大学);McGill University(麦吉尔大学)
本文针对企业动态定价引发的需求公平问题,设计了一个包含动态社会规划器的模拟经济体,利用多臂老虎机、上下文老虎机和强化学习生成税收与补贴政策以激励公平定价,并引入FairReplayBuffer改善RL采样,显著提升了社会福利。
2024-04-22 cs.CY cs.LG
Markdown Pricing Under an Unknown Parametric Demand Model
Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学)
针对未知参数化需求模型下的单调降价定价问题,引入交叉数度量族复杂度,提出最优遗憾策略:交叉数为0时遗憾为$\Theta(\log^2 n)$,交叉数$k\ge1$时遗憾为$\tilde\Theta(n^{k/(k+1)})$,完整解决了该问题的极小极大遗憾。
2023-12-23 cs.GT cs.LG
Task-Agnostic Exploration via Policy Gradient of a Non-Parametric State Entropy Estimate
Politecnico di Milano(米兰理工大学)
在一个无奖励的环境中,什么是一个合适的内在目标的代理追求,使它可以学习一个最佳的任务不可知的探索政策?在本文中,我们认为,熵的状态分布引起的有限视界轨迹是一个明智的目标。特别是,我们提出了一种新的和实用的策略搜索算法,最大熵策略优化(MEPOL),学习的政策,最大化的非参数,$k$ -最近邻估计的状态分布熵。与已知方法相比,MEPOL是完全无模型的,因为它既不需要估计任何策略的状态分布,也不需要对过渡动态进行建模。然后,我们经验表明,MEPOL允许学习最大熵的探索政策,在高维,连续控制域,以及这种政策如何促进学习各种有意义的奖励为基础的任务下游。
2021-02-26 cs.LG stat.ML
Combining Parametric and Nonparametric Models for Off-Policy Evaluation
Harvard University(哈佛大学);Stanford University(斯坦福大学)
我们考虑了一种基于模型的方法来执行批量离政策评估强化学习。我们的方法采用混合专家的方法来结合环境的参数和非参数模型,使最终值估计具有最小的预期误差。我们首先估计每个模型的局部精度,然后使用规划器来选择在每个时间步使用哪个模型,以最小化沿整个轨迹的返回误差估计。在各种领域中,我们的基于混合的方法优于单独的模型以及最先进的基于重要性采样的估计。
2019-05-16 cs.LG stat.ML
Privacy-Preserving Dynamic Personalized Pricing with Demand Learning
New York University(纽约大学);Massachusetts Institute of Technology(麻省理工学院);University of Florida(佛罗里达大学)
电子商务的普及使零售商能够随时获得详细的客户个人信息,这些信息已被广泛用于定价决策。当涉及到个性化信息时,如何保护这些信息的隐私权成为实践中的一个关键问题。在本文中,我们考虑一个动态定价问题的$T$时间段与\emph{unknown}需求函数的价格和个性化的信息。在每次$t$,零售商观察到达的顾客的个人信息并提供价格。然后,顾客做出购买决策,零售商将利用该决策来学习潜在的需求函数。在此过程中可能存在严重的隐私问题:第三方代理可能会从定价系统的价格变化中推断出个性化信息和购买决策。利用计算机科学中的差分隐私的基本理论框架,提出了一种隐私保护的动态定价策略,该策略在保证零售商收益最大化的同时,避免了个体消费者信息和购买决策信息的泄露。为此,我们首先介绍了\emph{anticipating} $(\varepsilon, δ)$的概念-差分隐私,是专为动态定价问题。我们的政策实现了隐私保证和遗憾方面的性能保证。粗略地说,对于$d$维的个性化信息,当客户信息被逆向选择时,我们的算法达到了$\tilde{O}(\varepsilon^{-1} \sqrt{d^3 T})$量级的期望遗憾。对于随机的个性化信息,遗憾界可以进一步改进为$\tilde{O}(\sqrt{d^2T} + \varepsilon^{-2} d^2)$
2021-07-25 cs.CR cs.GT cs.LG
Dynamic Pricing and Learning with Long-term Reference Effects
Columbia University(哥伦比亚大学)
本文研究参考价格为历史平均价格的动态定价与学习问题,证明降价策略近乎最优,并为线性需求模型提供高效学习算法,实现最优遗憾上界。
2024-07-20 cs.GT cs.LG
Off-Policy Evaluation for Episodic Partially Observable Markov Decision Processes under Non-Parametric Models
University of California, Irvine(加州大学欧文分校);The George Washington University(乔治华盛顿大学)
研究了具有连续状态的部分可观测马尔可夫决策过程的离政策评估问题。受最近提出的近端因果推断框架的启发,我们开发了一个非参数识别结果,通过一系列所谓的V桥函数的帮助下,随时间变化的代理变量的政策价值估计。然后,我们开发了一个合适的Q评估型算法来估计V桥函数递归,其中一个非参数工具变量(NPIV)的问题是解决在每一步。通过分析这一具有挑战性的顺序NPIV问题,我们建立了有限样本误差界估计的V-桥功能,从而评估政策的价值,在样本量,地平线的长度和所谓的(本地)措施在每一步的不适定性。据我们所知,这是非参数模型下POMDPs中OPE的第一个有限样本误差界。
2022-10-16 cs.LG math.ST stat.ML
Learning to Price Supply Chain Contracts against a Learning Retailer
Purdue University(普渡大学);Cornell University(康奈尔大学)
大数据分析的兴起使公司的决策自动化,并提高了供应链的敏捷性。本文研究了数据驱动的供应商需要对下游零售商的库存决策做出响应的供应链契约设计问题。供应商和零售商对市场需求都是不确定的,需要不断地了解。供应商的目标是开发数据驱动的定价策略,在一个固定的时间范围内,在广泛的可能的零售商库存政策的次线性遗憾界。为了捕捉动态引起的零售商的学习政策,我们首先作出连接到非平稳在线学习的概念变化预算。变化预算量化了零售商的学习策略对供应商决策的影响。然后,我们提出了动态定价策略的供应商离散和连续的需求。我们还注意到,我们提出的定价政策只需要获得需求分布的支持,但关键的是,不需要供应商有任何先验知识的零售商的学习政策或需求实现。我们研究了几个著名的数据驱动的零售商的政策,包括样本平均近似,分布鲁棒优化,和参数的方法,并表明我们的定价政策导致次线性遗憾界在所有这些情况下。在管理层面上,我们肯定地回答,有一个次线性后悔约束下的零售商的学习政策,即使她面对一个学习的零售商和一个未知的需求分布的定价政策。我们的工作还提供了一个新的视角,在数据驱动的运营管理中,校长必须学会对系统中其他代理所采用的学习策略做出反应。
2022-11-02 cs.GT cs.LG cs.MA
Reinforcement Learning for Fair Dynamic Pricing
BBVA Data and Analytics(BBVA数据与分析(公司))
不公平的定价政策已被证明是客户对定价最负面的看法之一,并可能导致公司的长期损失。尽管动态定价模型有助于公司实现收入最大化,但应考虑公平和平等,以避免客户群体之间的不公平价格差异。本文展示了如何通过使用强化学习(RL)技术来解决动态定价问题,以便在保持收入和公平性之间平衡的同时使价格最大化。我们证明,RL提供了两个主要功能,以支持动态定价的公平性:一方面,RL是能够从最近的经验,适应复杂的市场环境的定价政策;另一方面,它提供了一个权衡短期和长期目标,从而将公平性集成到模型的核心。考虑到这两个特点,我们提出了RL的收入优化的应用程序,与公平性的额外整合作为学习过程的一部分,通过使用Jain的指数作为度量。模拟环境中的结果显示,公平性有了显着改善,同时保持了收入的优化。
2018-03-27 cs.AI cs.LG stat.ML
Dynamic Pricing and Demand Learning on a Large Network of Products: A PAC-Bayesian Approach
Duke University, Fuqua School of Business(杜克大学富卡商学院);Institute for Data, Systems, and Society, MIT(麻省理工学院数据、系统与社会研究所);Operations Research Center, MIT(麻省理工学院运筹学中心)
我们考虑一个卖家在$T$期间的时间范围内提供一个大型$N$产品网络。卖方不知道产品的线性需求模型的参数,并且可以动态地调整产品价格以基于销售观察来学习需求模型。卖方的目的是尽量减少其伪遗憾,即,相对于一个知道潜在需求模型的千里眼来说,预期的收入损失。我们考虑一组稀疏的产品之间的需求关系来表征产品网络的各种连接特性。特别是,我们研究了三种不同的稀疏性框架:(1)$L_0$稀疏性,它约束了网络中的连接数,(2)非对角稀疏性,它约束了交叉产品价格敏感性的大小,(3)谱稀疏性的新概念,它约束了网络节点上相似性度量的渐近衰减。我们提出了一个动态定价和学习的政策,结合了在面对的不确定性和PAC贝叶斯方法的乐观,并表明,这种政策达到渐近最优性能的$N$和$T$。我们还表明,在频谱和非对角稀疏的情况下,卖方可以有一个伪后悔线性$N$,即使当网络是密集的。
2021-12-18 cs.LG stat.ML
Human-in-the-Loop Contextual Bandits for Short-Term Rental Dynamic Pricing: Structural Equivalence of Historical Warm-Up and Approval-Gated Live Learning
Oleg Miroshnichenko(奥列格·米罗什尼琴科)
针对短租动态定价中反馈稀疏、决策风险高的问题,提出人机协同门控赌博机框架,证明历史定价数据与在线策略预热数据的结构等价性,并设计正则化岭回归预热方法,将冷启动周期从约150轮压缩至约30轮。
2026-05-22 cs.LG
Dynamic pricing and assortment under a contextual MNL demand
Columbia University(哥伦比亚大学)
我们考虑动态多产品定价和分类问题下的一个未知的需求在T个时期,在每个时期,卖方决定的价格为每个产品或产品的分类提供给客户谁选择根据一个未知的多项Logit模型(MNL)。这样的问题出现在许多应用中,包括在线零售和广告。我们提出了一个随机动态定价策略的基础上的在线牛顿步算法(ONS)的变体,实现了$O(d\sqrt{T}\log(T))$遗憾保证下的对抗性到达模型。我们还提出了一个新的乐观算法的对抗MNL上下文土匪问题,它实现了更好的依赖性比国家的最先进的算法,在一个问题相关的常数$κ_2$(潜在的指数小)。我们的遗憾上限尺度为$\tilde{O}(d\sqrt{κ_2 T}+ \log(T)/κ_2)$,这给出了比现有的$\tilde{O}(d\sqrt{T}/κ_2)$保证更强的界限。
2022-11-11 cs.LG
A Parametric Class of Approximate Gradient Updates for Policy Optimization
Google Research(谷歌研究院);Stanford University(斯坦福大学);Layer 6 AI(Layer 6人工智能公司);University of Alberta(阿尔伯塔大学)
政策优化方法的动机来自不同的原则,基于如何解释参数模型(例如价值与政策表示)或如何制定学习目标,但它们有一个共同的目标,即最大化预期回报。为了更好地捕捉共性,并确定政策优化方法之间的关键差异,我们开发了一个统一的角度,重新表达的基础更新的梯度形式和缩放函数的有限选择。特别是,我们确定了一个参数化的近似梯度更新空间的策略优化是高度结构化的,但涵盖了经典和最近的例子,包括PPO。因此,我们获得了新颖但动机良好的更新,以一种既可以在收敛速度和最终结果质量方面带来好处的方式概括了现有的算法。一项实验调查表明,可以利用参数化更新系列中提供的额外自由度来在合成领域和流行的深度RL基准测试中获得重要的改进。
2022-06-17 cs.AI cs.LG
Insurance pricing on price comparison websites via reinforcement learning
London School of Economics and Political Science(伦敦政治经济学院);University of Edinburgh(爱丁堡大学);Alan Turing Institute(艾伦·图灵研究所);Accenture (UK) Limited(埃森哲(英国)有限公司);esure Services Limited(esure服务有限公司)
针对比价网站保险定价中转化率低、竞争信息有限和偿付能力约束,提出融合基于模型离线训练与无模型 CB 在线更新的 RL 框架,在合成数据上优于 6 种基准。
2023-08-14 cs.LG q-fin.PR q-fin.ST