神经形态硬件上实现反向传播算法

逍遥设计自动化

引言
神经形态计算旨在创建模仿大脑架构和信息处理能力的硬件系统。在神经形态硬件上实现反向传播算法（现代深度学习的核心算法）一直是一个重大挑战。本文探讨了在尖峰神经形态硬件上实现反向传播的创新方法[1]。

0fpatgx33xl64046304720.png

: M' J, J& f6 l5 b+ C
1
) }4 ~3 k* j' J% I( _核心概念与实现
英特尔的Loihi处理器等神经形态硬件提供快速、节能的计算能力，但在实现传统机器学习算法时面临独特的挑战。主要挑战包括：

权重传输：神经形态突触通常无法双向使用

反向计算：正向传播和反向传播需要不同的计算方式

梯度存储：误差梯度必须与激活值分开存储

可微分性：处理不可微分的尖峰函数

硬件限制：受限的可塑性机制和局部信息共享
2 p* s$ z1 U2 v9 a2 f0 `7 M[/ol]

pw422iiwjca64046304820.png

* b5 `, A3 k8 c5 I' r图1：概念线路架构概述，展示了前馈激活、误差计算和通过反馈通路的反向传播。该图说明了如何从输出和目标信号计算误差，然后通过网络反向传播。
2 i" Y, h% Q$ B
2
% x& C$ n' u+ D9 H9 a0 o  Q) |网络架构和信息流
! [4 J- H4 |! B3 ~系统采用包含输入层、隐藏层和输出层的三层架构。信息通过网络分不同阶段流动：

前馈阶段：输入模式通过网络传播

误差计算阶段：计算输出误差

反向传播阶段：误差通过单独的通路反向传播
[/ol]

zsiff5rlowf64046304920.png

/ J+ N# S% T. R* m- ?- I0 u& V6 h图2：功能连接图显示了不同网络层随时间步长的活动时序进展。该图展示了门控机制如何在学习过程中控制信息流动。

/ U7 V8 H0 V8 Z7 k+ R* ?3
: `- I3 V% D: x同步发放门控控制
同步发放门控的动态信息协调是一项关键创新。该机制：
, a( t8 D+ E8 R# e! v控制信息流动的精确时序
  ?! x: Q, b9 Q5 n6 f% n; {实现正向和反向传播的独立通路
协调局部突触修改
2 G! [& u6 e2 a; e- c维持网络组件间的同步
7 \1 U/ m( b8 Z' ?2 t% @% W- b- `) u- ]
& d4 d- _" ?( l; I2 T门控链由12个神经元组成，形成环形活动链，控制不同网络组件的激活时间。

7 K  M+ s: |6 Z+ }2 `, ^4
性能和结果
/ L  W7 J8 Z+ b" F) v* [3 x该实现在标准基准测试上取得显著结果：
0 U" P# _/ p7 h- ^5 W* \* }1 B+ OMNIST数据集上达到95.7%准确率（峰值96.3%）
Fashion-MNIST数据集上达到79%准确率
! U5 Z8 ?( ]9 h) [3 J# X每个样本处理时间为1.5毫秒
1 S! E1 |2 b3 t) v) r在神经形态核心上每个样本能耗为0.6毫焦
! U$ f+ ?7 x3 \/ Z% J
3 V/ m  }9 T" l; [

cyqhascx1tn64046305020.png

9 A! j/ M, K( A图3：性能图显示了训练周期内的准确率和损失指标。该图展示了算法实现的学习进展和稳定性。
# x5 l. ~3 W0 }! J9 N2 [) u
6 x0 L3 h# D6 X4 J* a0 Y. A5
能效和硬件实现
8 u! e) r. z; N8 _# v4 c与传统计算方法相比，该系统展现了显著的能效优势：
) a& e2 j% b1 k$ x9 i训练后每次推理仅需0.02毫焦
: t" {" f! J7 s) v8 U- B/ _推理操作延迟为0.17毫秒
计算分布在81个神经形态核心上
稀疏激活模式，每个输入图像通常仅需100个尖峰
- W4 @5 ^' x- K3 G
通过以下方式实现高效性：

二值神经编码

稀疏时间表示

事件驱动处理

局部学习规则
) g8 g- W% L% I[/ol]
2 M. G# _% j( ~* W* Q, M" D+ {6
3 T' |; f8 s1 O) l2 z$ H未来发展方向和应用
这一实现代表重大突破，但仍有多个待发展领域：
0 n2 D: y: d, M- r* C扩展到更深层的网络架构
实现卷积网络结构
9 t; u' _! K+ }- y1 O9 K' ]开发持续学习能力
优化硬件特定功能
2 y- Q6 _( r7 y9 D7 e4 e. g
$ S  b7 U* F3 M- P该工作为神经形态学习系统确立了基准，为需要低功耗和实时处理的边缘计算应用提供新的解决方案。
) t* V) A9 V1 t
该实现证明神经形态硬件可以支持完整的反向传播学习，同时保持在能效和速度上优于传统计算方法的优势。这一成就为能够在实际应用中学习和适应的人工智能系统发展作出重要贡献。
% k8 Y. y; g. H" h9 p
, X* {- X) ^' }3 t. ^参考文献
8 n7 d1 R* O& U8 ]  W[1] Renner, F. Sheldon, A. Zlotnik, L. Tao, and A. Sornborger, "The backpropagation algorithm implemented on spiking neuromorphic hardware," Nature Communications, vol. 15, no. 9691, pp. 1-14, Dec. 2024, doi: 10.1038/s41467-024-53827-9.
END
2 i3 w1 b: z' X
软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
" {4 D- }9 C8 V- B0 q! t1 t点击左下角"阅读原文"马上申请

欢迎转载
6 \# R7 R4 r- U5 d& s+ }
. \, Z# n, N/ ~, `转载请注明出处，请勿修改内容和删除作者信息！
7 v! R: }3 Y$ C0 W7 v! n8 O# [3 A
) |& o5 ~, R6 C1 ~
) [( l0 o3 ?1 E9 x. s

r2wpcpftojh64046305120.gif

+ r  t" k# q  [; V/ Y! M; p6 U9 J关注我们
- J+ K+ |+ K1 C+ G. O
0 v) Z8 d* E7 J8 E# }

j2qdoglltr564046305220.png $ B) N: t8 x6 q' T0 a+ F

0 G: {. k# u# G8 R) C kxoe4ihejqp64046305320.png # d, a) p# W+ J, z) ~

3 p3 \. q  Y) K khi0kkqjdvk64046305420.png

                     

* I9 T; P7 g3 v, P% x2 W! t$ ^3 j8 {

关于我们：
6 w2 a& {2 a' o' _7 M4 {8 E深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。
7 s, u% P  w+ D0 e; f
http://www.latitudeda.com/
（点击上方名片关注我们，发现更多精彩内容）