Deep Learning for Choice Modeling
Imperial College London（伦敦帝国理工学院）；Imperial College Business School（帝国理工商学院）
选择模型一直是研究个人偏好或效用的中心话题，涉及许多领域，包括经济学、营销学、运筹学和心理学。虽然绝大多数关于选择模型的文献都致力于分析导致管理和决策见解的属性，但从经验数据中学习选择模型的现有方法通常要么计算困难，要么样本效率低下。在本文中，我们在两种选择建模设置下开发了基于深度学习的选择模型：（i）无特征和（ii）基于特征。我们的模型捕获了每个候选选择的内在效用和分类对选择概率的影响。合成和真实数据实验表明，所提出的模型在现有的选择模型的恢复，样本复杂性，分类效果，架构设计，模型解释方面的性能。
2022-08-19 cs.LG econ.EM stat.ML
Likelihood Assignment for Out-of-Distribution Inputs in Deep Generative Models is Sensitive to Prior Distribution Choice
Keio University（庆应义塾大学）
最近的研究表明，深度生成模型为分布外输入分配的可能性高于训练数据。我们发现，这种现象背后的一个因素是先验分布的性质和数据分布的性质之间的不匹配，这是广泛使用的深度生成模型（如VAE和Glow）中发现的问题。虽然先验分布的典型选择是标准高斯分布，但真实数据集的分布的性质可能与单峰先验分布不一致。本文重点讨论了先验分布的选择和分配给分布外输入的似然之间的关系。我们建议使用混合分布作为先验，使深度生成模型分配的似然性对分布外输入敏感。此外，我们解释了采用混合分布作为先验的理论优势，我们提出的实验结果来支持我们的主张。最后，我们证明了混合先验降低了两对真实图像数据集的分布可能性：Fashion-MNIST与MNIST和CIFAR 10与SVHN。
2019-11-15 cs.LG stat.ML
Best-item Learning in Random Utility Models with Subset Choices
Indian Institute of Science（印度科学研究所）
我们认为PAC学习的问题，最有价值的项目从一个池的$n$项目使用顺序，自适应选择播放的子集的$k$项目，当，在播放一个子集，学习者收到相对反馈采样根据一般随机效用模型（RUM）与独立的噪声扰动的潜在项目效用。我们确定了这样的RUM的一个新的属性，称为最小的优势，这有助于在其相对的赢/输经验计数的基础上分离项目对的复杂性的特征，并可以单独作为噪声分布的函数有界。我们给出了一般RUM的学习算法，基于成对相对计数的项目和层次消除，随着一个新的PAC样本复杂性保证$O(\frac{n}{c^2ε^2} \log \frac{k}δ)$轮，以确定一个$ε$ -最佳项目的信心$1-δ$，当最坏情况下成对的RUM的优势至少有$c$的参数差距的项目。PAC样本复杂度的基本下限表明，就其对$n,k$和$c$的依赖性而言，这是接近最优的。
2020-02-19 cs.AI cs.LG stat.ML
Experiments on route choice set generation using a large GPS trajectory set
在文献中开发的几种路线选择模型是基于相对较少的观察。随着跟踪设备在最近的调查中的广泛使用，有可能获得关于旅行者的选择行为的见解。在本文中，不同的路径生成算法进行了评估，使用一个大型的GPS轨迹数据集。该数据集包含来自特拉维夫大都市区的6，000个观测结果。通过基于最短路径生成单一路径来执行初始分析。使用单一路径可以覆盖6，000个观测值中的近60%（假设阈值为80%重叠）。这一结果与以前的文献结果显著不同。分别采用链路惩罚法、链路消除法、仿真法和过节点法生成路径集，并比较了算法的一致性。一个修改的链接惩罚方法，占优先使用更高层次的道路，提供了一个路线集97%的覆盖率（80%的重叠阈值）。通过节点的方法产生的路由集具有令人满意的覆盖范围，并产生更多的异构路由（在链路数和路由比）。
2020-05-22 physics.soc-ph stat.ME stat.ML
Variable selection with false discovery rate control in deep neural networks
University of Notre Dame（圣母大学）
深度神经网络（DNN）以其高预测精度而闻名，但它们也因其黑箱性质和可解释性差而闻名。我们考虑变量选择的问题，也就是说，在DNN中选择对输出具有显著预测能力的输入变量。我们提出了一种称为SurvNet的向后消除过程，它基于一种适用于各种网络的变量重要性的新度量。更重要的是，SurvNet能够估计和控制选定变量的错误发现率，而现有的方法没有提供这样的质量控制。此外，SurvNet自适应地确定在每一步要消除多少变量，以最大限度地提高选择效率。为了研究其有效性，SurvNet被应用于图像数据和基因表达数据，以及各种模拟数据集。
2019-09-17 cs.LG stat.ML
Alternative Graph Neural Networks: Synergizing GEV Models and Deep Learning for Travel Mode Choice Modeling
University of Florida（佛罗里达大学）；Massachusetts Institute of Technology（麻省理工学院）；Texas A&M University（德克萨斯A&M大学）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出替代图神经网络（Alt-GNNs），通过融合极值模型与深度学习，解决传统方法在替代依赖建模中的局限，提升出行方式选择预测性能。
2026-06-28 cs.LG stat.ML
On architectural choices in deep learning: From network structure to gradient convergence and parameter estimation
University of Wisconsin Madison（威斯康星大学麦迪逊分校）
我们研究了一些机制来表征深度架构中反向传播的渐近收敛如何与网络结构相关，以及它如何受到其他设计选择的影响，包括激活类型，去噪和辍学率。我们试图分析网络结构和输入数据统计是否可以指导学习参数的选择，反之亦然。考虑到深度架构的广泛适用性，这个问题从理论和实践的角度来看都很有趣。利用一般非凸目标的性质（一阶信息），我们首先建立网络的结构，分布和可学习性方面与它们与参数收敛速率的相互作用之间的关联。我们确定了特征去噪和辍学之间的良好关系，并构建了实现相同收敛水平的网络家族。然后，我们推导出一个工作流程，该工作流程提供有关网络大小和学习参数选择的系统指导，这些参数通常由输入统计数据介导4。我们的技术结果证实了一套广泛的评估，本文以及独立的经验观察报告的其他团体。我们还进行了实验，展示了我们的框架为给定问题选择最佳全连接设计的实际意义。
2017-02-28 cs.LG math.OC stat.ML
EnSyth: A Pruning Approach to Synthesis of Deep Learning Ensembles
Birmingham City University（伯明翰城市大学）
深度神经网络在许多领域都取得了最先进的性能，包括计算机视觉、自然语言处理和自动驾驶汽车。然而，它们在计算上非常昂贵并且是存储器密集型的，这在将它们部署或训练到严格延迟应用或资源有限的环境中时提出了重大挑战。因此，已经引入了许多尝试来加速和压缩深度学习模型，但是大多数都无法保持基线模型的相同精度。在本文中，我们描述了EnSyth，这是一种深度学习集成方法，用于增强紧凑型神经网络模型的可预测性。首先，我们使用不同的超参数为修剪方法生成一组不同的压缩深度学习模型，之后，我们利用集成学习来合成压缩模型的输出，以组成一个新的分类器池。最后，我们对生成的池应用向后消除，以探索模型的最佳性能组合。在CIFAR-10，CIFAR-5数据集与LeNet-5，EnSyth优于基线模型的可预测性。
2019-07-22 cs.LG stat.ML
Deep Choice Model Using Pointer Networks for Airline Itinerary Prediction
Amadeus SAS（艾玛迪斯集团）
航空公司和在线旅行社等旅行提供商越来越有兴趣了解乘客在搜索航班时如何在备选行程中进行选择。这些知识有助于他们更好地展示和调整他们的报价，同时考虑市场条件和客户需求。一些常见的应用不仅是过滤和排序备选方案，而且还实时更改某些属性（例如，改变价格）。在本文中，我们集中与建模的问题，航空旅客选择的航班行程。历史上，这个问题一直使用经典的离散选择建模技术来解决。传统的统计方法，特别是多项Logit模型（MNL），由于其简单性和一般良好的性能，被广泛用于工业应用。然而，MNL模型提出了一些缺点和假设，在实际应用中可能不成立。为了克服这些困难，我们提出了一个新的选择模型的基础上指针网络。给定一个输入序列，这种类型的深度神经架构将递归神经网络与注意力机制相结合，以学习输出的条件概率，其值对应于输入序列中的位置。因此，给定呈现给客户的一系列不同选项，模型可以学习指向最有可能被客户选择的选项。所提出的方法进行了评估，结合在线用户搜索日志和航空公司航班预订的真实数据集。实验结果表明，该模型在多个指标上优于传统的MNL模型。
2018-03-15 cs.LG stat.ML
Graph neural networks for residential location choice: connection to classical logit models
Department of Urban and Regional Planning, University of Florida（佛罗里达大学城市与区域规划系）；Department of Landscape Architecture and Urban Planning, Texas A&M University（德克萨斯大学农业与机械学院景观建筑与城市规划系）；Department of Computer Science, University of California, Santa Barbara（加州大学圣芭芭拉分校计算机科学系）
本文提出基于图神经网络的住宅选址选择模型，通过捕捉空间替代关系，优于传统模型，展现深度学习与离散选择模型结合的潜力。
2025-07-28 cs.LG stat.ML
Priors in Bayesian Deep Learning: A Review
ETH Zürich（苏黎世联邦理工学院）
虽然先验的选择是贝叶斯推断工作流程中最关键的部分之一，但最近的贝叶斯深度学习模型往往依赖于模糊的先验，例如标准高斯。在这篇综述中，我们强调了贝叶斯深度学习先验选择的重要性，并概述了（深度）高斯过程，变分自编码器和贝叶斯神经网络提出的不同先验。我们还概述了从数据中学习这些模型的先验知识的不同方法。我们希望激励贝叶斯深度学习的从业者更仔细地思考他们模型的先验规范，并在这方面为他们提供一些启发。
2022-03-18 cs.LG stat.ML
Bayesian Deep Learning for Discrete Choice
School of Civil and Environmental Engineering, Cornell University（土木与环境工程学院，康奈尔大学）；Industrial Engineering Department, Universidad de Los Andes（工业工程系，洛斯安德斯大学）
研究针对离散选择模型，提出将深度学习模型与近似贝叶斯推理方法集成的架构，数据有限时可减轻过拟合等问题，通过模拟研究和实证案例展示该方法，评估相关指标，提升离散选择模型性能。
2026-07-10 cs.LG econ.EM stat.AP
Generalized Batch Normalization: Towards Accelerating Deep Neural Networks
University of Florida（佛罗里达大学）；Naval Postgraduate School（海军研究生院）
利用最近引入的统计和定量风险管理的概念，我们提出了一个一般的批量归一化（BN），提供加速收敛的神经网络训练相比，传统的BN。总的来说，我们表明均值和标准差并不总是BN变换中居中和缩放过程的最合适选择，特别是如果ReLU遵循归一化步骤。我们提出了一个广义批量归一化（GBN）的转换，它可以利用各种替代的偏差测量的缩放和统计中心，选择自然产生的广义偏差测量理论和风险理论一般。当与ReLU非线性结合使用时，潜在的风险理论为偏差度量和统计提供了自然的、可以说是最佳的选择。利用建议的偏差测量和统计，我们通过实验表明，训练速度比传统BN更快，通常也具有改进的出错率。总的来说，我们提出了一个更灵活的BN转换支持的一个互补的理论框架，可以潜在地指导设计选择。
2018-12-08 cs.LG stat.ML
Confident Multiple Choice Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
可以说，包围方法是提高机器学习模型性能的最值得信赖的技术。依赖于朴素平均/投票方案的流行独立集成（IE）已经是涉及深度神经网络的大多数应用的典型选择，但是它们不考虑集成模型之间的高级协作。在本文中，我们提出了专门用于深度神经网络的新集成方法，称为置信多选择学习（CMCL）：它是多选择学习（MCL）的一种变体，通过解决其过度自信问题。特别地，除了原始MCL方案之外，CMCL的主要组件是（i）新损失，即，自信的预言丢失，（ii）新的体系结构，即，特征共享和（iii）新的训练方法，即，随机标记我们通过实验证明了CMCL在CIFAR和SVHN上的图像分类以及iCoseg上的前景-背景分割上的效果。特别是，CMCL使用5残差网络提供了14.05%和6.60%的相对减少前1出错率从相应的IE计划的分类任务CIFAR和SVHN，分别。
2017-09-22 cs.LG stat.ML
Deep Neural Networks for Choice Analysis: Architectural Design with Alternative-Specific Utility Functions
Massachusetts Institute of Technology（麻省理工学院）
尽管深度神经网络（DNN）越来越多地应用于选择分析，但协调特定领域的行为知识与通用DNN，提高DNN的可解释性和预测能力，以及为特定任务确定有效的正则化方法是具有挑战性的。本研究设计了一个特定的DNN架构与替代特定的效用函数（ASU-DNN）通过使用先验行为知识。与全连接DNN（F-DNN）不同，它通过使用所有备选方案的属性来计算备选方案k的效用值，ASU-DNN通过仅使用k自己的属性来计算它。从理论上讲，ASU-DNN可以大大减少F-DNN的估计误差，因为它的结构更轻，连接更稀疏。根据经验，在我们在新加坡收集的私人数据集和R mlogit包中的公共数据集中，ASU-DNN在整个超参数空间上的预测准确率比F-DNN高2-3%。作为一种基于领域知识的正则化方法，替代特定的连接性约束比最流行的通用显式和隐式正则化方法以及架构超参数更有效。ASU-DNN也更易于解释，因为它提供了比F-DNN更有规律的出行模式选择替代模式。ASU-DNN和F-DNN之间的比较也可以帮助测试行为知识。我们的研究结果表明，个人更有可能通过使用替代品自己的属性来计算效用，这支持了选择建模的长期实践。总的来说，这项研究表明，先验行为知识可以用来指导DNN的架构设计，作为一种有效的基于领域知识的正则化方法，并提高DNN在选择分析中的可解释性和预测能力。
2021-04-02 cs.AI cs.LG econ.GN
Designing Graph Convolutional Neural Networks for Discrete Choice with Network Effects
School of Civil and Environmental Engineering, Cornell University（土木与环境工程学院，康奈尔大学）
我们提出一种图卷积神经网络架构，将网络效应纳入离散选择模型，在提升预测性能的同时保持可解释性，并在通勤和选举数据上验证了其有效性。
2025-03-12 cs.LG econ.EM stat.AP
Equality of opportunity in travel behavior prediction with deep neural networks and discrete choice models
Massachusetts Institute of Technology（麻省理工学院）
尽管研究人员越来越多地采用机器学习来建模旅行行为，但他们主要关注预测准确性，忽视了机器学习算法中嵌入的伦理挑战。本研究引入了一个重要的缺失维度-计算公平性-旅游行为分析。我们首先通过机会均等将计算公平性操作化，然后区分数据中固有的偏见和建模引入的偏见。然后，我们使用2017年全国家庭旅行调查（NHTS）和2018-2019年我在芝加哥的每日旅行调查来展示旅行行为建模的预测差异。从实证上看，深度神经网络和离散选择模型（DCM）在多个社会群体中表现出一致的预测差异：对少数民族、低收入人群和残疾人群体的频繁驾驶的假阴性率都有过高的预测，而对社会弱势群体和农村人口的出行负担都有过高的预测。比较DNN和DCM，我们发现DNN在预测差异方面优于DCM，因为DNN的误指定误差更小。为了减轻预测差异，本研究引入了绝对相关正则化方法，该方法用合成和真实世界的数据进行评估。结果表明，在旅行行为建模中预测差异的普遍性，并且差异仍然存在于各种模型细节中，例如DNN层的数量，批量大小和权重初始化。由于这些预测差异，如果没有公平调整的预测结果用于交通政策制定，会加剧社会不公平，我们主张认真考虑公平问题的出行行为建模，并使用偏见缓解算法公平的交通决策。
2021-09-25 cs.LG stat.AP stat.ML
