SCATTER: Algorithm-Circuit Co-Sparse Photonic Accelerator with Thermal-Tolerant, Power-Efficient In-situ Light Redistribution
Arizona State University（亚利桑那州立大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出SCATTER算法-电路联合稀疏光子加速器，结合原位光再分配、功率门控与串扰感知稀疏训练，在保持精度的同时实现511倍面积缩减和12.4倍功耗节省。
2024-07-07 cs.AR cs.ET cs.LG
Integrated Photonic AI Accelerators under Hardware Security Attacks: Impacts and Countermeasures
本文研究集成光子AI加速器在硬件安全攻击下的漏洞，分析攻击对功率、相位分布及精度的影响，并提出相应的防御对策。
2023-09-05 cs.AR cs.CR cs.ET
Photonics for Sustainable Computing
Boston University（波士顿大学）；NY CREATES（纽约创造研究所）；Lightmatter（Lightmatter公司）；Cornell Tech（康奈尔科技学院）
本文构建光子芯片碳足迹模型，以ADEPT加速器为案例，证明光子学凭借高能效和更低制造碳成本，可同时降低运行与隐含碳足迹，是可持续计算的可行途径。
2024-01-10 cs.ET cs.LG
ChatGPT at the Speed of Light: Optical Comb-Based Monolithic Photonic-Electronic Linear-Algebra Accelerators
本文提出一种基于光梳的单片硅光子片上系统光电线性代数加速器，通过协同设计实现连续矩阵乘法并降低光电转换开销，大幅提升计算密度与能效，以支持大型语言模型中的注意力机制。
2023-11-21 cs.ET cs.SY eess.SY
Non-negative isomorphic neural networks for photonic neuromorphic accelerators
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
针对非相干光子神经形态加速器无法原生表示负值、现有非负网络训练精度不足的问题，提出获取常规网络非负同构等价体的方法及符号保持优化方案，适配硬件需求并保障性能。
2023-10-02 cs.AI cs.ET cs.LG
A Design Methodology for Post-Moore's Law Accelerators: The Case of a Photonic Neuromorphic Processor
在过去的十年中，替代技术已经获得了动力，因为传统的数字电子产品继续接近其局限性，由于摩尔定律和Dennard Scaling的结束。与此同时，我们正面临着新的应用挑战，例如由于数据的巨大增长而带来的挑战。因此，注意力已经从同构计算转移到专门的异构解决方案。例如，脑启发计算已经重新成为许多应用的可行解决方案。然而，这种新的处理器已经扩大了从设备级到应用程序的抽象范围。因此，能够为这些技术提供垂直设计流工具的有效抽象变得至关重要。一般来说，光子学，特别是神经形态光子学，是电子学的有前途的替代品。虽然用于光子学的设备级工具箱和高级神经网络平台的武器库正在迅速扩大，但还没有太多的工作来弥合这一差距。在这里，我们提出了一种设计方法，以减轻这个问题，通过扩展高层次的硬件不可知神经网络设计工具与光子元件的功能和性能模型。在本文中，我们详细介绍了这种工具和方法，通过使用设计实例和相关的结果。我们表明，采用这种方法使设计人员能够有效地浏览设计空间，并设计硬件感知系统与替代技术。
2020-06-15 cs.ET eess.SP
Emerging Devices and Packaging Strategies for Electronic-Photonic AI Accelerators
在芯片上模拟大脑结构的领域正在经历由机器智能应用需求驱动的兴趣。然而，机器学习（ML）加速硬件的功耗和可用性能仍然需要改进。在这封信中，我们分享了电子-光子神经网络（NN）加速器的观点，挑战和前景。将电子学与光子学相结合，为高性能AI专用集成电路（ASIC）和系统提供了协同设计策略。利用光子信号处理能力并将其与电子逻辑控制和数据存储相结合是一个新兴的前景。然而，光学元件库留下了许多需要改进的地方，并受到光子器件巨大尺寸的挑战。在此背景下，我们将回顾新兴的电光材料，功能器件和系统封装策略，这些策略在实现时，可提供显着的性能增益并推动正在进行的AI革命，从而形成独立的光子学内部AI ASIC“黑匣子”，用于简化未来AI处理器中的即插即用板集成。
2021-12-23 cs.ET physics.app-ph
Bayesian Photonic Accelerators for Energy Efficient and Noise Robust Neural Processing
人工神经网络是受大脑启发的高效计算平台。这样的平台可以处理从图像处理到语言翻译的大量现实任务。硅光子集成芯片（PIC），通过在马赫-曾德尔干涉仪中采用相干相互作用，是有前途的加速器，提供创纪录的低功耗和超快的矩阵乘法。然而，这样的光子加速器由于抑制高密度实现的发展的制造误差和串扰效应而遭受相位不确定性。在这项工作中，我们提出了这样的光子加速器贝叶斯学习框架。除了传统的对数似然优化路径，两个新的训练方案，即正则化版本和完全贝叶斯学习计划。它们被应用在一个光子神经网络与512移相器针对MNIST数据集。当与提供被动偏移的预表征阶段相结合时，新方案能够将PIC的操作功率大幅降低70%以上，而分类精度仅略有损失。完整的贝叶斯方案，除了这种能量减少，返回关于移相器的灵敏度的信息。该信息用于停用31%的相位致动器，从而显著简化了驱动系统。
2022-05-05 cs.ET physics.optics
Lightening-Transformer: A Dynamically-operated Optically-interconnected Photonic Transformer Accelerator
针对Transformer动态全范围张量乘法低效问题，提出首个光子加速器Lightening-Transformer，采用动态光子张量核心DPTC与光子互连，实现>2.6倍能耗和>12倍延迟降低，精度与数字相当。
2023-12-31 cs.AR cs.ET physics.optics
Invited: Neuromorphic architectures based on augmented silicon photonics platforms
本研究在Horizon Europe NEUROPULS项目框架下，提出基于增强集成光子学的神经形态加速器方案，构建兼容CMOS的制造平台与基于gem5的RISC-V对接仿真平台，可实现系统级精准建模与多指标基准测试。
2024-07-07 cs.ET eess.SP physics.optics
Weight Bank Addition Photonic Accelerator for Artificial Intelligence
本文提出基于级联微环谐振器权重库的硅光子加速器，用于抑制波分复用串扰并高效执行权重加法，以更高速度、更低能耗实现与电子器件相当的处理能力。
2023-06-03 cs.ET physics.optics
LiteCON: An All-Photonic Neuromorphic Accelerator for Energy-efficient Deep Learning (Preprint)
University of California, San Diego（加州大学圣地亚哥分校）
深度学习在当今的数据密集型时代非常普遍。特别地，卷积神经网络（CNN）正被广泛用于各种领域以获得优异的精度。然而，在传统的CPU和GPU上计算深度CNN会带来一些性能和能源陷阱。基于ASIC、FPGA和连续存储器器件的几种新方法最近已经被证明具有很好的效果。它们中的大多数只针对深度学习的推理（测试）阶段。设计一个既能训练又能推理的成熟的深度学习加速器的尝试非常有限。这是由于训练阶段的高度计算和内存密集型。在本文中，我们提出了LiteCON，一种新型的模拟光子学CNN加速器。LiteCON使用基于硅微磁盘的卷积、基于忆阻器的存储器和密集波分复用技术来实现节能和超快的深度学习。我们使用商业CAD框架（IPKISS）在包括LeNet和VGG-Net在内的深度学习基准模型上评估LiteCON。与最先进的技术相比，LiteCON将CNN的吞吐量、能效和计算效率分别提高了32倍、37倍和5倍，而精度下降微不足道。
2022-06-28 cs.AR cs.ET cs.LG
GHOST: A Graph Neural Network Accelerator using Silicon Photonics
Colorado State University（科罗拉多州立大学）
本文提出首个面向图神经网络的硅光子硬件加速器GHOST，在光域分别实现GNN三个主要阶段，仿真显示其吞吐量和能效显著优于GPU、TPU及现有GNN加速器。
2023-07-04 cs.AI cs.AR cs.ET
Scaling Analog Photonic Accelerators for Byte-Size, Integer General Matrix Multiply (GEMM) Kernels
本文提出可扩展光子GEMM加速器SPOGA，通过零差光信号模拟求和与换能中位置加权等技术，突破4位操作数限制，支持字节大小整数GEMM内核，在吞吐量、能效和面积效率上显著超越现有光子方案。
2024-07-08 cs.AR cs.ET cs.PF
Integrated Photonic Accelerator Based on Optical Spectrum Slicing for Convolutional Neural Networks
在这项工作中，我们数值分析了基于硬件友好的光谱切片节点的无源光子集成神经形态加速器。所提出的方案可以作为一个完全模拟的卷积层，直接在光域中预处理信息。该方案允许从传入数据中提取有意义的时空特征，因此当在简单的全连接数字单层网络之前使用时，它可以以可忽略的功耗提高性能。使用MNIST数据集的数值模拟证实了所提出方案的加速特性，其中10个神经形态节点可以取代复杂的LeNet-5网络的卷积层，从而将每秒总浮点运算（FLOPS）的数量减少了98%，同时提供了97.2%的分类准确度。
2023-03-18 cs.ET eess.IV physics.optics
Architecture-Level Modeling of Photonic Deep Neural Network Accelerators
针对光子DNN加速器全系统能耗评估缺乏工具的问题，提出利用CiM建模工具实现光子系统架构级建模的方法，开发开源模型验证了跨域转换与DRAM的高能耗占比，并通过优化将能效提升最高3倍。
2024-05-14 cs.AR cs.ET
Photonic-Electronic Integrated Circuits for High-Performance Computing and AI Accelerators
本综述调研了基于光子集成电路的AI数字与模拟计算进展，从多维度分析光子AI，指出光电集成电路是后摩尔时代高性能计算与AI加速器的可行方案，并提出挑战应对策略与未来方向。
2024-07-11 cs.ET physics.app-ph physics.optics
DOCTOR: Dynamic On-Chip Temporal Variation Remediation Toward Self-Corrected Photonic Tensor Accelerators
Arizona State University（亚利桑那州立大学）
针对光子张量加速器因时序漂移噪声导致的可靠性问题，首次提出轻量级动态片上修复框架 DOCTOR，结合自适应探测、免训练原位校准与变化感知架构重映射，实现高精度的实时恢复且大幅降低开销。
2024-05-31 cs.AI cs.ET cs.LG
Scaling Up Silicon Photonic-based Accelerators: Challenges and Opportunities
最新一代CMOS工艺中的数字加速器支持乘法和累加（MAC）操作，其能量效率跨越10至100 fJ/Ops。但是这种MAC操作的操作速度通常限于几百MHz。当今基于SOI的硅光子集成电路平台上的光学或光电MAC操作可以以数十GHz的速度实现，从而实现更低的延迟和更高的吞吐量。本文研究了基于Mach-Zehnder调制器和微带谐振器的集成硅光子MAC电路的能量效率。我们描述的能量效率和缩放限制的界限，为NxN光网络与当今的技术，基于光和电链路的预算。我们还描述了可以克服当前限制的研究方向。
2022-02-27 cs.ET physics.optics
Integrated Photonic Tensor Processing Unit for a Matrix Multiply: a Review
本文综述了面向矩阵乘法的集成光子张量处理单元，对比了光子学相对电子学的硬件加速优势及PIC上的神经网络架构，指明了下一代光子加速器的驱动力与待突破的限制。
2022-11-02 cs.ET physics.optics
Towards Efficient Hyperdimensional Computing Using Photonics
Boston University（波士顿大学）；University of California, Irvine（加利福尼亚大学欧文分校）；Georgia Institute of Technology（佐治亚理工学院）；SRI International（SRI国际）；Lightmatter（莱特马特公司）
该研究提出首款面向超维计算训练与推理的电光加速器PhotoHDC，验证了光子计算与超维计算的强互补性，其能量延迟积相较现有电光DNN加速器和存内计算加速器分别低2-5个、4个数量级。
2024-10-04 cs.AR cs.ET cs.LG
A 262 TOPS Hyperdimensional Photonic AI Accelerator powered by a Si3N4 microcomb laser
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Center for Interdisciplinary Research and Innovation, Balkan Center（巴尔干跨学科研究与创新中心）；Enlightra（恩格拉特拉）
本文提出了一种基于Si3N4微梳激光器的262 TOPS超维度光子AI加速器，通过多维复用技术实现高计算能力，应用于DDoS检测和MNIST分类任务。
2025-03-05 cs.ET cs.NE physics.optics
PHAT: PHotonic Accelerator for TFHE
Boston University（波士顿大学）；University of Maryland, College Park（马里兰大学帕克分校）
PHAT是一种利用光学寻址相变存储器的电光加速器，通过优化的FFT单元、旋转因子固定数据流和调度机制，在真实TFHE工作负载上相比最先进ASIC实现2.14至5.10倍加速。
2026-09-11 cs.AR cs.CR cs.ET
A Low-Dissipation and Scalable GEMM Accelerator with Silicon Nitride Photonics
针对基于SOI的MRR光子GEMM加速器散射损耗高和双光子吸收导致性能受限的问题，提出基于氮化硅的SiNPhAR架构，显著提升了并行度、吞吐量和能效。
2024-02-16 cs.AR cs.ET cs.PF
ROBIN: A Robust Optical Binary Neural Network Accelerator
Colorado State University（科罗拉多州立大学）
领域特定的神经网络加速器已经引起了人们的关注，因为与CPU和GPU相比，它们提高了能效和推理性能。因此，这种加速器非常适合资源受限的嵌入式系统。然而，在这些加速器上映射复杂的神经网络模型仍然需要大量的能量和内存消耗，以及高推理时间开销。二进制神经网络（BNN），它利用单位的权重，代表了一种有效的方式来实现和部署加速器上的神经网络模型。在本文中，我们提出了一种新的光域BNN加速器，名为ROBIN，智能集成异构微谐振器光学器件的互补能力，有效地实现BNN的关键功能。我们在光学器件层面进行详细的制造工艺变化分析，探索这些器件的有效校正调谐，并进行集成电路级优化以应对热变化。因此，我们提出的ROBIN架构具有理想的特性是强大的，节能，低延迟，高吞吐量，当执行BNN模型。我们的分析表明，ROBIN可以超越最知名的光学BNN加速器和许多电子加速器。具体来说，我们的节能ROBIN设计表现出的每比特能量值比电子BNN加速器低约4倍，比最近提出的光子BNN加速器低约933倍，而性能高效的ROBIN设计分别比电子和光子BNN加速器高约3倍和约25倍。
2021-07-12 cs.AR cs.ET cs.LG
A Comparative Analysis of Microrings Based Incoherent Photonic GEMM Accelerators
University of Kentucky（肯塔基大学）
本文分析了基于微环谐振器的光子GEMM加速器中四种信号操纵顺序（MASW、ASMW和SMWA）对性能的影响，发现SMWA组织在吞吐量、能效和面积-能效上均显著优于其他方案。
2024-02-16 cs.AR cs.ET cs.LG
An Electro-Photonic System for Accelerating Deep Neural Networks
本文提出光电加速器ADEPT，结合光子GEMM单元、电子ASIC和SRAM，系统级评估显示其每瓦特吞吐量较传统脉动阵列平均提升5.73倍，并优于现有电子与光子加速器。
2022-12-16 cs.AR cs.ET
A Survey on Silicon Photonics for Deep Learning
深度学习在解决计算机视觉、自然语言处理和通用模式识别等领域的一些非常困难的问题方面取得了前所未有的成功。这些成就是数十年来对更好的训练技术和更深层次的神经网络模型进行研究的结果，也是用于训练和执行深度神经网络模型的硬件平台的改进。近年来，许多用于深度学习的专用集成电路（ASIC）硬件加速器由于其比传统CPU和GPU架构更高的性能和能效而引起了人们的兴趣。然而，这些加速器受到基本瓶颈的限制，这是由于1）CMOS缩放速度的放缓，这限制了新兴电子处理器的计算和每瓦性能能力，以及2）使用金属互连进行数据移动，这不能很好地扩展，并且是几乎所有当代处理器中带宽，延迟和能源效率低下的主要原因。硅光子学已经成为一种很有前途的CMOS兼容替代品，可以实现新一代的深度学习加速器，可以使用光进行通信和计算。本文概述了硅光子学加速深度学习的前景，并以自下而上的方式涵盖了设计抽象的发展，以传达硅光子学范式在深度学习加速背景下的能力和局限性。
2021-02-26 cs.AR cs.ET
SCONNA: A Stochastic Computing Based Optical Accelerator for Ultra-Fast, Energy-Efficient Inference of Integer-Quantized CNNs
University of Kentucky（肯塔基大学）
CNN推理任务的加速使用通常被转换为矢量点积（VDP）运算的卷积运算。已经提出了几种基于光子微谐振器（MRR）的硬件架构来加速整数量化的CNN，与它们的电子对应物相比具有显著更高的吞吐量和能量效率。然而，现有的基于光子MRR的模拟加速器在可实现的输入/权重精度和VDP操作大小之间表现出非常强的权衡，这严重限制了它们对于4比特和更高的量化输入/权重精度的可实现的VDP操作大小。受限的VDP操作大小最终抑制了计算吞吐量，从而严重降低了可实现的性能优势。为了解决这个缺点，我们首次提出了随机计算和基于MRR的CNN加速器的合并。为了利用随机计算固有的精度灵活性，我们发明了一种基于MRR的光学随机乘法器（OSM）。我们采用多个OSM的级联方式使用密集波分复用，打造一种新的基于随机计算的光学神经网络加速器（SCONNA）。SCONNA实现了显着的高吞吐量和能源效率，以加速高精度量化CNN的推理。我们在8位输入/权重精度下对四个现代CNN的推理进行的评估表明，SCONNA在每秒帧数（FPS）、FPS/W和FPS/W/mm 2方面分别提供了高达66.5倍、90倍和91倍的改进，平均比先前工作中的两个基于光子MRR的模拟CNN加速器高，对于大型CNN，Top-1精度下降仅高达0.4%，对于小型CNN，则高达1.5%。我们开发了一个事务级、事件驱动的基于Python的模拟器，用于评估SCONNA和其他…
2023-02-14 cs.AI cs.AR cs.ET
Leveraging Photonic Interconnects for Scalable and Efficient Fully Homomorphic Encryption
针对全同态加密加速器的内存带宽瓶颈，本文提出可扩展光子互连架构 OptoLink，以 128 通道实现 1.6 TB/s 吞吐并显著降低延迟。
2025-06-15 cs.ET
TeMPO: Efficient Time-Multiplexed Dynamic Photonic Tensor Core for Edge AI with Compact Slow-Light Electro-Optic Modulator
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Arizona State University（亚利桑那州立大学）
提出跨层定制的时分复用动态光子张量加速器TeMPO，通过慢光调制器等器件和电路优化，在边缘AI任务中实现368.6 TOPS峰值性能与22.3 TOPS/W能效，推动边缘AI硬件前沿。
2024-02-12 cs.AI cs.ET cs.LG
DxPTA: An Architecture Design Space Exploration with Optical Dataflow-guided Strategy for HW/SW Co-Design of Photonic Transformer Accelerators
eBRAIN Lab, Division of Engineering, New York University (NYU) Abu Dhabi（eBRAIN实验室，工程学院，纽约大学（NYU）阿布扎赫德分校）；Photonic Research Lab (PRL), Division of Engineering, New York University (NYU) Abu Dhabi（光子研究实验室（PRL），工程学院，纽约大学（NYU）阿布扎赫德分校）；New York University (NYU) Abu Dhabi（纽约大学（NYU）阿布扎赫德分校）
提出DxPTA方法，通过光学数据流分析架构参数并设计约束感知搜索算法，实现光子Transformer加速器的高效硬件/软件协同设计，在满足面积、功耗等约束下显著提升搜索速度。
2026-06-02 cs.AI cs.AR cs.DC
Device-system Co-design of Photonic Neuromorphic Processor using Reinforcement Learning
将高性能光电器件并入光子神经形态处理器可以大大加速机器学习（ML）算法中的计算密集型操作。然而，传统的器件设计智慧与系统优化脱节。我们报告了一个设备系统协同设计方法，优化自由空间光学通用矩阵乘法（GEMM）硬件加速器的工程由硫系相变材料制成的空间可重构阵列。通过基于实验信息构建的高度并行化硬件仿真器，我们通过强化学习优化GEMM计算精度来演示单元器件的设计，包括深度Q学习神经网络、贝叶斯优化及其级联方法，这些方法显示了系统性能指标与物理器件规格之间的明确相关性。此外，我们采用物理感知的训练方法来部署优化的硬件，以完成图像分类、材料发现和光学ML加速器的闭环设计任务。所展示的框架提供了对光电设备和系统的协同设计的见解，减少了人为监督和领域知识障碍。
2022-03-09 cs.ET physics.optics
Symmetric silicon microring resonator optical crossbar array for accelerated inference and training in deep learning
提出一种对称结构的硅微环谐振器光交叉阵列，实现简单的片上反向传播，从而加速深度学习的推理与训练，并在SOI平台上验证了其在分类与CNN任务中的有效性。
2024-06-01 cs.ET physics.optics
HEANA: A Hybrid Time-Amplitude Analog Optical Accelerator with Flexible Dataflows for Energy-Efficient CNN Inference
University of Kentucky（肯塔基大学）
HEANA是一种混合时间-幅度模拟光学加速器，通过TAOM和BPCA解决串扰、数据流灵活性及原位累加问题，实现CNN推理的显著性能与能效提升。
2024-12-15 cs.AI cs.AR cs.ET
The Unlikely Hero: Nonideality in Analog Photonic Neural Networks as Built-in Defender Against Adversarial Attacks
本文提出一种针对光子模拟AI硬件的协同防御框架，利用非理想性并通过攻击前单值权重编码和攻击后漏洞感知权重锁定，在<3%内存开销下有效防御对抗性权重攻击。
2024-10-02 cs.CR cs.ET physics.optics
AnalogVNN: A fully modular framework for modeling and optimizing photonic neural networks
University of Pittsburgh（匹兹堡大学）
AnalogVNN是一个基于PyTorch的模块化仿真框架，用于建模和优化光子神经网络，可模拟噪声、精度和归一化影响，支持多达9层、约170万参数的模型训练，并允许轻松转换数字模型为模拟版本。
2023-06-06 cs.ET cs.LG physics.optics
LoCI: An Analysis of the Impact of Optical Loss and Crosstalk Noise in Integrated Silicon-Photonic Neural Networks
与电子加速器相比，集成硅光子神经网络（SP-NN）为新兴的人工智能应用提供了更高的速度和能效。然而，SP-NN中迄今为止被忽视的问题是底层硅光子器件遭受固有光损耗和串扰噪声，其影响随着网络规模的扩大而积累。利用精确的设备级模型，本文提出了第一个全面和系统的SP-NN的光损耗和串扰建模框架。对于一个SP-NN的案例研究，两个隐藏层和1380个可调参数，我们显示了一个灾难性的84%的下降，由于光损耗和串扰噪声的推理精度。
2022-04-08 cs.ET cs.NE
Characterizing Coherent Integrated Photonic Neural Networks under Imperfections
Duke University（杜克大学）；Colorado State University（科罗拉多州立大学）
集成光子神经网络（IPNN）正在成为传统电子AI加速器的有前途的继任者，因为它们在计算速度和能源效率方面提供了实质性的改进。具体地，相干IPNN使用马赫-曾德尔干涉仪（MZI）阵列进行酉变换以执行能量高效的矩阵向量乘法。然而，IPNN中的底层MZI器件容易受到源于光学光刻变化和热串扰的不确定性的影响，并且可能由于非均匀MZI插入损耗和由于调谐相位角中的低精度编码而导致的量化误差而经历不精确性。在本文中，我们，第一次，系统地描述这种不确定性和不精确性（统称为不完美）在IPNN的影响，使用自下而上的方法。我们表明，它们对IPNN精度的影响可以根据调谐参数（例如，相位角）、它们的物理位置以及缺陷的性质和分布。为了提高可靠性措施，我们确定关键的IPNN积木，在不完善的情况下，可能会导致灾难性的退化的分类精度。我们发现，在多个同时存在的缺陷，IPNN的推理精度可以降低高达46%，即使在一个小范围内的缺陷参数被限制。我们的研究结果还表明，推理精度是敏感的不完善影响MZI的线性层旁边的输入层的IPNN。
2022-07-22 cs.ET cs.LG eess.SP
Photonic reinforcement learning based on optoelectronic reservoir computing
强化学习在训练数据缺失的情况下，在人工智能中得到了深入的研究和发展，如自动驾驶汽车、机器人控制、互联网广告和弹性光网络等。然而，使用深度神经网络的强化学习的计算成本非常高，降低学习成本是一个具有挑战性的问题。我们提出了一个光子在线实施的强化学习使用光电延迟为基础的储备池计算，实验和数值。在所提出的方案中，我们加速强化学习在几兆赫的速度，因为没有必要的学习过程中的内部连接的权重在储备池计算。我们执行两个基准任务，CartPole-v0和MountanCar-v0任务，以评估所提出的方案。我们的研究结果代表了基于光子储备池计算的强化学习的第一个硬件实现，并为快速高效的强化学习作为一种新型的光子加速器铺平了道路。
2022-02-25 cs.ET nlin.CD physics.optics
Harnessing Optoelectronic Noises in a Photonic Generative Network
集成光电子学是一种新兴的神经网络加速器平台，它提供了高效的存内计算和高带宽互连。然而，固有的光电噪声，使光子系统在实践中容易出错。因此，必须制定策略，以减轻，如果可能的话，利用光子计算系统中的噪声。在这里，我们展示了一个光子生成网络作为生成对抗网络（GAN）的一部分。该网络是用光子核心实现的，光子核心由四个可编程相变存储单元的阵列组成，以执行4元素矢量-矢量点乘法。我们证明了GAN可以在实验中生成一个手写数字（“7”），并在模拟中生成完整的十位数。我们实现了一个光学随机数发生器来自放大的自发辐射噪声，应用噪声感知训练注入额外的噪声和证明网络的弹性硬件非理想。我们的研究结果表明，更复杂的光子生成网络的弹性和潜力的基础上大规模的，现实的光子硬件。
2021-11-21 cs.ET physics.app-ph physics.optics
Photonic KAN: a Kolmogorov-Arnold network inspired efficient photonic neuromorphic architecture
受KAN启发提出Photonic KAN全光神经形态平台，用级联环形辅助MZI实现边侧光学非线性，相比现有光子网络参数缩放和可解释性更优，同性能下能耗面积降65倍、延迟降50倍。
2024-08-15 cs.ET physics.optics
ADEPT: Automatic Differentiable DEsign of Photonic Tensor Cores
光子张量核（PTC）是基于可编程光子集成电路的光学人工智能（AI）加速器的重要组成部分。PTC可以实现用于神经网络（NN）加速的超快速和高效的张量运算。目前的PTC设计要么是手工构造，要么是基于矩阵分解理论，缺乏适应性，以满足各种硬件约束和设备规格。据我们所知，自动PTC设计方法仍然是未开发的。这将有望超越手动设计范式，并通过人工智能和设计自动化“培育”光子神经计算。因此，在这项工作中，第一次，我们提出了一个完全可区分的框架，被称为ADEPT，可以有效地搜索PTC设计适应各种电路足迹的限制和代工PDK。大量的实验表明，优越的灵活性和有效性的ADEPT框架，探索一个大的PTC设计空间。在各种NN模型和基准测试中，我们搜索的PTC拓扑结构优于先前手动设计的结构，具有竞争力的矩阵表示能力，2- 30倍的足迹紧凑性和更好的噪声鲁棒性，展示了光子神经芯片设计的新范式。ADEPT的代码可通过https://github.com/JeremieMelo/ADEPT（TorchONN）库在https://github.com/JeremieMelo/pytorch-onn上获得。
2022-05-04 cs.ET physics.optics
High Speed Photonic Neuromorphic Computing Using Recurrent Optical Spectrum Slicing Neural Networks
在光子硬件中实现的类脑计算是以最小功耗实现皮秒尺度的机器学习处理的最有前途的路线之一。在这项工作中，我们提出了一个新的概念，实现光子循环神经网络和储备池计算架构与使用经常性的光谱切片。这是通过放置在环路中的简单光学滤波器来实现的，其中每个滤波器处理输入光信号的特定光谱切片。在我们的方案中，突触权重相当于滤波器的中心频率和带宽。这种用于在光子域中实现递归神经处理的新方法，我们称之为递归光谱切片神经网络，在一个苛刻的行业相关任务上进行了数值评估，例如高波特率光信号均衡100 Gbaud，表现出突破性的性能。与最先进的解决方案相比，性能增强超过了最先进的数字处理技术，范围增加了一倍，同时将复杂性和功耗降低了10倍。在这方面，ROSS-NN可以为实现超高效光子硬件加速器铺平道路，该加速器专为处理光通信和高速成像应用中的高带宽光信号而定制
2022-03-29 cs.ET physics.comp-ph physics.optics
Characterization and Optimization of Integrated Silicon-Photonic Neural Networks under Fabrication-Process Variations
硅光子神经网络（SPNN）已经成为电子人工智能（AI）加速器的有前途的继任者，因为它提供了数量级更低的延迟和更高的能源效率。然而，SPNN中的底层硅光子器件对源于光学光刻缺陷的不可避免的制造工艺变化（FPV）敏感。因此，SPNN中的推理准确性可能受到FPV的高度影响-例如，可能会下降到10%以下，其影响还有待充分研究。在本文中，我们，第一次，模型和探索的影响FPV的波导宽度和绝缘体上硅（SOI）的厚度在相干SPNN，使用马赫-曾德尔干涉仪（MZI）。利用这些模型，我们提出了一种新的变化感知，设计时优化解决方案，以提高MZI容忍不同FPV的SPNN。仿真结果表明，优化的MZI可以提高高达93.95%的MNIST手写数字数据集的推理精度-作为本文中的一个例子-这相当于一个<0.5%的准确性损失相比，无变异的情况下，不同尺度的两个例子SPNN的现实和相关的FPV。所提出的一次性优化方法施加低面积开销，因此甚至适用于资源受限的设计
2022-04-19 cs.ET cs.NE
H3PIMAP: A Heterogeneity-Aware Multi-Objective DNN Mapping Framework on Electronic-Photonic Processing-in-Memory Architectures
Arizona State University（亚利桑那州立大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
H3PIMAP框架通过混合电子-光子-PIM架构，实现异质性感知的多目标深度神经网络映射，提升AI加速的效率与性能。
2026-01-13 cs.AR cs.ET
RF-Photonic Deep Learning Processor with Shannon-Limited Data Movement
Research Laboratory of Electronics, MIT（麻省理工学院电子学研究实验室）；NTT Research Inc.（NTT研究公司）；University of Southern California（南加州大学）
本文提出乘法模拟频率变换光学神经网络MAFT-ONN，在频域编码数据并以单次光电乘法实现矩阵-向量乘积，首次在原始射频信号上实现全模拟深度学习，兼具高速、低延迟和可扩展性。
2024-06-06 cs.ET cs.LG eess.SP
Analysis of Optical Loss and Crosstalk Noise in MZI-based Coherent Photonic Neural Networks
NVIDIA（英伟达）；Arizona State University（亚利桑那州立大学）；Colorado State University（科罗拉多州立大学）
本文针对基于MZI的相干光子神经网络，从器件到系统级自下而上建模光损耗与串扰噪声，揭示了不同MZI网格配置下累积损耗和串扰可导致高达84%的推理精度灾难性下降，为SP-NN设计中的精度与可扩展性权衡提供分析框架。
2023-08-07 cs.AI cs.ET cs.PF
High-Performance Data Mapping for BNNs on PCM-based Integrated Photonics
针对深度神经网络硬件实现的高延迟高成本问题，提出适配存内计算架构的BNN数据映射TacitMap，及基于oPCM、结合波分复用的加速器EinsteinBarrier，大幅提升执行速度且控制能耗。
2024-01-31 cs.AR cs.ET
ADEPT-Z: Zero-Shot Automated Circuit Topology Search for Pareto-Optimal Photonic Tensor Cores
针对光子张量核人工设计及梯度拓扑搜索效率低、多目标优化难的问题，本文提出零样本多目标进化框架 ADEPT-Z，在复杂硬件约束下快速搜索帕累托最优设计。
2024-10-02 cs.ET cs.NE physics.optics
Experimentally realized in situ backpropagation for deep learning in nanophotonic neural networks
Stanford University（斯坦福大学）；Flexcompute Inc.（Flexcompute公司）；X Development LLC（X开发有限责任公司）；Politecnico di Milano（米兰理工大学）
本文首次在封装硅光子芯片上实验实现原位反向传播，通过光栅抽头监测、光纤开关双向传播及幅度相位通用读出三项改进，在模拟域完成梯度测量与电压更新，实现与数字方法精度相当的分类任务。
2022-05-17 cs.ET cs.LG physics.optics
Hypermultiplexed Integrated-Photonics-based Tensor Optical Processor
本文提出超多路复用集成光子张量处理器HITOP，利用空间-时间-波长三维光学并行、III/V激光器与薄膜铌酸锂调制实现高能效、可编程的大规模AI加速。
2024-10-27 cs.ET physics.optics
Large-Scale Optical Neural Networks based on Photoelectric Multiplication
最近在深度神经网络中的成功引起了对硬件加速器的强烈兴趣，以提高速度和能耗。本文提出了一种新型的光子加速器的相干检测的基础上，是可扩展的大型（$N \gtrsim 10^6$）网络，可以在高（GHz）的速度和非常低的（sub-aJ）的能量每乘和累积（MAC），使用大规模的空间复用标准的自由空间光学元件启用。与以前的方法相比，权重和输入都是光学编码的，这样网络就可以在运行中重新编程和训练。使用数字和图像分类模型对网络进行模拟，揭示了光神经网络的“标准量子极限”，由光电探测器散粒噪声设定。这个界限，这可以是低至50 zJ/MAC，表明性能低于热力学（兰道尔）极限的数字不可逆计算在理论上是可能的，在这个设备。所提出的加速器可以实现全连接和卷积网络。我们还提出了一个方案，可以在同一硬件中进行反向传播和训练。这种架构将为深度学习提供一类新的超低能耗处理器。
2019-05-18 cs.ET physics.optics
Towards Memory-Efficient Neural Networks via Multi-Level in situ Generation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
深度神经网络（DNN）在各种任务中表现出卓越的性能。随着它们的快速发展，它们不断升级的计算和内存需求使得将它们部署在资源受限的边缘设备上变得非常具有挑战性。尽管从传统电子到新兴光子的广泛有效的加速器设计已经成功地被证明，但是由于电存储器和计算核心的带宽/功率/延迟之间的巨大差距，它们仍然受到昂贵的存储器访问的阻碍。以前的解决方案未能充分利用新兴DNN加速器的超快计算速度来突破关键的内存限制。在这项工作中，我们提出了一个通用的和统一的框架，以交易昂贵的内存事务与超快的片上计算，直接转化为性能的提高。我们是第一个共同探索DNN内核内部的内在相关性和位级冗余的人，并提出了一种具有混合精度基础的多级原位生成机制，以最小的硬件开销实现高分辨率参数的实时恢复。大量的实验表明，我们提出的联合方法可以将内存效率提高10- 20倍，在四个最先进的设计中具有可比的精度，当在ResNet-18/DenseNet-121/MobileNetV 2/V3上进行各种任务的基准测试时。
2021-09-05 cs.ET cs.LG
