首页/论文/2102.12896

arXiv 2102.128962021-02-20cs.LG

利用BERT预测等待红色信号的时间

Predicting times of waiting on red signals using BERT

TensorCell；Faculty of Mathematics, Informatics and Mechanics（数学、信息学与力学学院）；University of Warsaw（华沙大学）

Witold Szejgis, Anna Warno, Paweł Gora

备注：: 5 pages

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们提出了一种使用基于BERT的模型来近似道路交通模拟结果的方法，该方法可以应用于，例如，优化交通信号灯设置，特别是在自动驾驶和联网车辆的情况下。实验是在使用交通仿真框架软件在现实道路网络上运行生成的数据集上进行的。将基于BERT的模型与其他4种类型的机器学习模型（LightGBM、全连接神经网络和2种类型的图神经网络）进行了比较，并在所有考虑的指标方面给出了最佳结果。

英文摘要：

We present a method for approximating outcomes of road traffic simulations using BERT-based models, which may find applications in, e.g., optimizing traffic signal settings, especially with the presence of autonomous and connected vehicles. The experiments were conducted on a dataset generated using the Traffic Simulation Framework software runs on a realistic road network. The BERT-based models were compared with 4 other types of machine learning models (LightGBM, fully connected neural networks and 2 types of graph neural networks) and gave the best results in terms of all the considered metrics.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

PoWER-BERT：通过渐进词向量消除加速BERT推理

PoWER-BERT: Accelerating BERT Inference via Progressive Word-vector Elimination

IBM Research India（IBM印度研究院）；IBM Research USA（IBM美国研究院）

我们开发了一种新的方法，称为POWER-BERT，提高流行的BERT模型的推理时间，同时保持准确性。它的工作原理是：a）利用与字向量（中间编码器输出）有关的冗余并消除冗余向量。b）基于自我注意机制，通过开发用于测量其重要性的策略来确定要消除哪些词向量。c）通过增加BERT模型和损失函数来学习要消除多少词向量。在标准GLUE基准测试上的实验表明，与BERT相比，POWER-BERT在推理时间上减少了4.5倍，准确率损失<1%。我们表明，POWER-BERT提供了显着更好的准确性和推理时间之间的权衡比以前的方法。我们证明，我们的方法达到了6.8倍的推理时间减少与<1%的准确性损失时，适用于ALBERT，高度压缩版本的BERT。POWER-BERT的代码可在https://github.com/IBM/PoWER-BERT上公开获得。

2020-09-08cs.CLcs.LGstat.ML

基于等待时间的自适应交通信号控制器攻击建模与检测方法

An Innovative Attack Modelling and Attack Detection Approach for a Waiting Time-based Adaptive Traffic Signal Controller

The University of Alabama（阿拉巴马大学）

自适应交通信号控制器（ATSC）结合联网车辆（CV）概念，使用实时车辆轨迹数据来调节绿灯时间，并能够显著减少交叉口等待时间，从而改善信号走廊中的行驶时间。然而，基于CV的ATSC增加了易受潜在网络攻击的表面的大小，允许攻击者在道路网络中产生灾难性的交通拥堵。攻击者可以通过以缓慢的速度维持交通和车辆跟随规则来生成假车辆，从而使信号定时和相位变化而不会使车辆数量发生任何突然变化，从而堵塞路线。由于ATSC的自适应性，这是一个挑战，建模这种攻击，也制定了检测策略。针对基于等待时间的ATSC算法提出了一种新型的“慢中毒”网络攻击方法，并给出了相应的检测策略。因此，本文的目标是：（i）为ATSC开发“慢中毒”攻击生成策略，以及（ii）使用递归神经网络开发基于预测的“慢中毒”攻击检测策略--即，长短期记忆模型。我们已经产生了一个“慢中毒”的攻击建模策略，使用微观交通模拟器-模拟城市流动性（SUMO）-并使用模拟生成的数据来开发攻击模型和检测模型。我们的分析表明，攻击策略是有效的，在一个方法和检测策略是能够标记的攻击。

2021-08-19cs.LG

基于人工智能的急诊科拥挤度预测框架：开发与评估研究

An Artificial Intelligence-Based Framework for Predicting Emergency Department Overcrowding: Development and Evaluation Study

University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Emporia State University（恩波利亚州立大学）

本研究开发并评估了基于机器学习的急诊科拥挤度预测框架，通过整合内外部特征训练11种算法，实现了提前6小时和未来24小时的候诊室占用率准确预测，以支持主动资源分配。

2025-04-23cs.LG

使用多智能体深度强化学习和V2X通信优化交通灯

Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication

Harbin Engineering University（哈尔滨工程大学）

我们考虑使用多智能体深度强化学习和车辆到一切（V2X）通信来优化交通信号持续时间的系统。该系统旨在分析多智能体的独立和共享的奖励，以控制交通灯的持续时间。学习代理交通灯在圆形V2X覆盖范围内沿其车道获取信息。交通灯的持续时间周期被建模为马尔可夫决策过程。我们研究了四种不同的奖励函数。前两个是非共享奖励：基于等待数量和两个红绿灯周期之间的车辆等待时间。第三和第四个功能是：基于等待车辆的共享奖励，以及所有代理的等待时间。每个代理都有一个内存，用于通过目标网络进行优化和优先级经验重放。我们通过城市移动性模拟（SUMO）模拟器评估多智能体。结果表明，该系统可以有效地优化交通信号，与传统的周期性交通控制系统相比，平均等待车辆减少到41.5%。

2020-02-23cs.AIcs.LGcs.MA

MCUBERT：在商用微控制器上实现内存高效的 BERT 推理

MCUBERT: Memory-Efficient BERT Inference on Commodity Microcontrollers

Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；School of Integrated Circuits, Peking University（北京大学集成电路学院）；School of Computer Science, Peking University（北京大学计算机学院）；The University of Hong Kong（香港大学）；Institute of Electronic Design Automation, Peking University（北京大学电子设计自动化研究所）；Beijing Advanced Innovation Center for Integrated Circuits（北京集成电路高精尖创新中心）

MCUBERT 通过基于聚类低秩近似的两阶段架构搜索与细粒度调度协同优化，在无精度和延迟损失的前提下让轻量 BERT 首次以低于256KB内存运行于商用MCU并处理512 token。

2024-10-23cs.AIcs.LG

DeeBERT：动态提前退出加速BERT推理

DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference

University of Waterloo（滑铁卢大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）

像BERT这样的大规模预训练语言模型为NLP应用带来了显著的改进。然而，它们也因推理速度慢而臭名昭著，这使得它们难以部署在实时应用程序中。我们提出了一个简单而有效的方法，DeeBERT，加速BERT推理。我们的方法允许样本更早地退出，而无需通过整个模型。实验表明，DeeBERT能够在模型质量下降最小的情况下节省高达40%的推理时间。进一步的分析显示了BERT Transformer层的不同行为，也揭示了它们的冗余。我们的工作为有效地将基于transformer的深度模型应用于下游任务提供了新的思路。代码可在https://github.com/castorini/DeeBERT上获得。

2020-04-27cs.CLcs.LG

更多相关论文收起更多论文

TwinBERT：将知识提取到双结构BERT模型以实现高效检索

TwinBERT: Distilling Knowledge to Twin-Structured BERT Models for Efficient Retrieval

Microsoft（微软）

像BERT这样的预训练语言模型在各种NLP任务中取得了巨大的成功，但优越的性能伴随着对计算资源的高需求，这阻碍了低延迟IR系统的应用。我们提出了TwinBERT模型有效和高效的检索，它有双结构的BERT类编码器来表示查询和文档分别和交叉层结合的嵌入，并产生一个相似性得分。与BERT不同的是，Twin BERT在编码过程中将两个输入句子连接并编码在一起，并独立地为查询和文档生成嵌入，这允许离线预先计算文档嵌入并缓存在内存中。因此，留给运行时的计算仅来自查询编码和查询-文档交叉。这种单一的改变可以节省大量的计算时间和资源，从而显着提高服务效率。此外，提出了一些精心设计的网络层和训练策略，以进一步降低计算成本，同时保持性能的显着BERT模型。最后，我们分别针对检索和相关性任务开发了TwinBERT的两个版本，两个版本都达到了与BERT-Base模型相近或相当的性能。该模型的训练遵循师生框架，并从一个主要的搜索引擎的数据进行评估。实验结果表明，该算法的推理时间大大缩短，在CPU上的推理时间首先控制在20 ms左右，同时大部分保留了BERT-Base模型的性能增益。将模型集成到生产系统中也证明了相关性指标的显着改进，对延迟的影响可以忽略不计。

2020-02-14cs.IRcs.LG

在54分钟内加速BERT预训练的大批量优化

Accelerated Large Batch Optimization of BERT Pretraining in 54 minutes

Amazon Web Services（亚马逊云科技）

BERT最近在自然语言理解（NLU）领域引起了广泛的关注，并在各种NLU任务中取得了最先进的结果。然而，它的成功需要大的深度神经网络和大量的数据，这导致训练时间长，阻碍了开发进度。使用随机梯度方法与大的小批量一直提倡作为一种有效的工具，以减少训练时间。沿着这条研究路线，LAMB是一个突出的例子，它将TPUv3 Pod上的BERT训练时间从3天减少到76分钟。在本文中，我们提出了一种加速梯度方法称为LANS，以提高使用大的小批量训练的效率。由于学习率在理论上由函数的Lipschitz常数的倒数限定上限，因此不能总是通过选择较大的学习率来减少优化迭代的次数。为了使用更大的小批量而不损失精度，我们开发了一种新的学习率调度器，克服了使用大学习率的困难。使用所提出的LANS方法和学习率方案，我们在BERT预训练的第1和第2阶段分别将小批量大小扩大到96K和33K。在SQuAD v1.1上，192个AWS EC2 P3dn.24xlarge实例需要54分钟才能达到90.5或更高的目标F1分数，实现了云中最快的BERT训练时间。

2020-09-18cs.CLcs.DCcs.LG

BERT满足中文分词的需要

BERT Meets Chinese Word Segmentation

Meitu（美图）；The Hang Seng University of Hong Kong（香港恒生大学）

汉语分词是汉语语言理解的一项基本任务。近年来，基于神经网络的模型在解决领域内的CWS任务方面取得了优异的性能。去年，一种新的语言表示模型BERT（Bidirectional Encoder Representation from Transformers）被提出作为许多自然语言任务的骨干模型，并重新定义了相应的性能。BERT的优良性能激励我们将其应用于CWS任务的解决。通过对第二届国际汉语分词大赛的基准数据集进行深入的实验，我们得到了一些敏锐的观察。BERT可以稍微提高性能，即使数据集包含标签不一致的问题。当应用充分学习的特征时，Softmax，一个更简单的分类器，可以达到与更复杂的分类器相同的性能，例如，条件随机场（CRF）。BERT的性能通常随着模型大小的增加而增加。BERT提取的特征也可以作为其他神经网络模型的良好候选。

2019-09-20cs.CLcs.LGstat.ML

Bio+Clinical BERT、BERT Base 与 CNN 在预测药物评论满意度方面的性能比较

Bio+Clinical BERT, BERT Base, and CNN Performance Comparison for Predicting Drug-Review Satisfaction

University of California, Berkeley（加州大学伯克利分校）

本文比较了 Bio+Clinical BERT、BERT Base 和 CNN 在药物评论满意度三分类任务上的表现，发现医学领域专用的 Bio+Clinical BERT 显著优于通用 BERT，宏平均 f1 和召回率提升 11%，并指出两类模型各具优势。

2023-08-02cs.AIcs.CLcs.LG

基于强化学习的城市路网充电站布局

Reinforcement Learning-based Placement of Charging Stations in Urban Road Networks

Volkswagen Group（大众汽车集团）；L3S Research Center, University of Hannover（汉诺威大学L3S研究中心）；University of Bonn（波恩大学）

从传统交通到电动交通的转变在很大程度上取决于充电基础设施的可用性和最佳布局。本文探讨了城市地区充电站的最佳布局。我们最大限度地提高该地区的充电基础设施供应，并在设置预算限制的同时最大限度地减少等待、旅行和充电时间。此外，我们亦把在家中为载具充电的可能性计算在内，以便更准确地估计整个市区的实际充电需求。我们将充电站的放置问题表述为一个非线性整数优化问题，该问题寻求充电站的最佳位置和不同充电类型的充电桩的最佳数量。设计了一种新的深度强化学习方法来解决充电站布局问题（PCRL）。在真实世界数据集上进行的广泛实验显示，与五个基线相比，PCRL如何减少等待和旅行时间，同时增加充电计划的好处。与现有的基础设施相比，我们可以减少高达97%的等待时间，并增加高达497%的收益。

2022-06-13cs.LGeess.SP

BERT4DTI：基于BERT的药物-蛋白质相互作用预测模型

BERT4DTI : BERT-based Model for Predicting Drug-Protein Interactions

提出BERT4DTI模型，结合ChemBERTa和ProtBERT编码及双向互注意力，以较低参数量在多个基准上高效预测药物-蛋白质相互作用。

2026-09-29cs.AIcs.CLcs.LG

NAS-BERT：基于神经结构搜索的任务无关自适应大小BERT压缩

NAS-BERT: Task-Agnostic and Adaptive-Size BERT Compression with Neural Architecture Search

Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Nanjing University of Science and Technology（南京理工大学）；Microsoft Research Asia（微软亚洲研究院）

虽然预先训练的语言模型（例如，BERT）在不同的自然语言处理任务上取得了令人印象深刻的结果，它们具有大量的参数并且遭受大的计算和存储成本，这使得它们难以在现实世界中部署。因此，模型压缩对于减少预训练模型的计算和存储成本是必要的。在这项工作中，我们的目标是压缩BERT，并解决以下两个具有挑战性的实际问题：（1）压缩算法应该能够输出多个压缩模型具有不同的大小和延迟，以支持不同的内存和延迟限制的设备;（2）该算法应该是下游任务不可知的，使压缩模型一般适用于不同的下游任务。我们利用神经结构搜索（NAS）的技术，并提出NAS-BERT，一种有效的方法BERT压缩。NAS-BERT在包含各种架构的搜索空间上训练一个大的超网，并输出具有自适应大小和延迟的多个压缩模型。此外，NAS-BERT的训练是在标准的自我监督预训练任务（例如，掩蔽的语言模型）并且不依赖于特定的下游任务。因此，压缩模型可以跨各种下游任务使用。NAS-BERT的技术挑战在于，在预训练任务上训练一个大型超网的成本非常高。我们采用了几种技术，包括分块搜索，搜索空间修剪，和性能近似，以提高搜索效率和准确性。在GLUE和SQuAD基准数据集上的大量实验表明，NAS-BERT可以找到比以前方法更准确的轻量级模型，并且可以直接应用于不同的下游任务，具有自适应的模型大小，以满足不同的内存或延迟要求。

2021-05-30cs.AIcs.CLcs.LG