|
引言
6 }+ J$ K7 B3 t9 e2 B* X V$ H基于可编程马赫-曾德干涉仪(MZI)网格实现的光神经网络(ONN)已成为加速机器学习计算的方法。本文概述了基于MZI的光处理器,重点介绍了两种关键架构 - Reck网格和Diamond网格,并分析了实现ONN的性能。4 }+ A- o0 U o j& r
7 h5 w' T; G* O- V" ]MZI光处理器基础% h4 W; J2 o/ Y$ d8 n9 V
光处理器的基本构建模块是2x2可重构MZI,如图11所示。由两个3-dB耦合器组成,带有可调相移器θ和φ,用于控制功率分配比和两个输出之间的相对相位。( D- c5 t3 s/ P" y
oopqxrhyxww64076734929.png
: p! e& i9 g4 v图1:具有可调相移器θ和φ的2x2可重构MZI示意图。
. k9 u( D5 D% M- A) m" l& N8 l$ |# |1 v* B. c2 u! ?5 x
单个MZI的单一转移矩阵由下式给出:5 I, Y8 t2 I4 t
3potgicok5u64076735029.png
% \! V5 B9 C% {2 e, v+ J( o! I' m0 @" O3 \1 N, M; ]
通过在网格中级联多个MZI,可以实现更大的单一变换。图2所示的4x4处理器的Reck网格是一种三角形排列,可使用6个MZI实现任何4x4单一矩阵。
: Y+ v1 ~, o" v9 s/ M
0 Q3 [+ r4 _/ r8 R" m' b& |( j" {5 Y
bbtbhgtws5d64076735129.png
5 q5 w. ~4 V% H h' P图2:由6个MZI组成的4x4 Reck网格光处理器示意图。 t' i3 p* L, {
# o" z) V" f# i
完整4x4 Reck处理器的单一矩阵由各个MZI矩阵的乘积给出:. l2 ]4 p) y0 k9 M+ p% s' L# J# Z
v5gyerqtnfy64076735230.png
" K9 F, C/ c3 V3 r; R- J
; d t/ G: h$ o i& X8 c* |
光处理器编程
+ a0 H9 T k2 D0 U( @& s" e8 `9 E7 m要对光处理器进行编程以实现所需的单一变换,必须确定每个MZI所需的相移。这是通过分解过程完成的,该过程将目标矩阵依次乘以逆MZI矩阵:
) t( D# m1 g6 S5 W$ o: z
i2d2rtbjzyu64076735330.png
0 e. O1 B2 F/ c- {' C9 s! E0 m* e0 m! c- Q
通过在每个步骤中将非对角元素设置为零,可以提取所需的相移。图3显示了4x4 Reck网格在此分解过程中考虑MZI的顺序。
' \/ w6 N9 N( \/ y
x5rbbssmxsr64076735430.png
6 @7 N/ x+ w( C h) R6 w图3:4x4 Reck网格中用于编程的MZI分解顺序。
* N8 g s3 l5 H% v0 Q \. N( o) e% |) p. z, j3 s
光神经网络
4 H( A1 ]5 U6 v! nONN利用这些可编程光处理器来实现神经网络层中的线性变换。图4显示了单层ONN的结构。. K" Y: s9 r/ E( t
1ioqdxfr24i64076735530.png
6 A& J( _( _9 [+ n2 Q图4:光学实现的单层神经网络示意图。* r, F3 r" Z1 Q k! {/ f3 n: T: a
9 v$ f% o. j, A: G- s, |
光处理器实现权重矩阵W,而非线性激活函数通常以电子方式应用。对于分类任务,网络接受多维输入I0并为每个类别产生输出概率。, _: L) G+ f) a7 P% B( o% w, _
- {: L9 O, l1 ]% `, [
网络使用反向传播进行训练,通过最小化均方误差等损失函数来优化权重矩阵:
& I! M+ ~& h, j$ A9 Q" Q
0jkfbzbd0vd64076735630.png
* B, I3 f" l5 \; |- T
8 n' D) L" |1 \/ G图5显示了4类数据集示例和4x4 ONN的训练过程。
& w0 H6 W6 l) y+ |; X4 ]( L
v1o45em4svh64076735730.png
5 l) j R* t9 d( \+ V& u8 s
图5:(a)4类高斯数据集和(b)显示4x4 ONN的损失和准确度与训练周期的关系的训练过程。
& h& V3 v8 r7 M. ^
4 t9 V" O1 u; n# B2 I8 o7 W8 uDiamond网格架构
: ^3 ?( ~2 R% \Reck网格可以实现任何单一矩阵,但对制造误差和光损耗很敏感。为解决这个问题,提出了一种替代的Diamond网格架构,如图6所示的4x4处理器。) b1 x; C$ J q" C: g
1qdmqy20vq364076735831.png
. W" ~5 W% k/ [- X4 Z图6:具有9个MZI的4x4 Diamond网格光处理器示意图。
# {6 M, N% j7 G9 ]- }
, U6 Z. N$ }" h& R! X! j6 J- l1 E/ j7 J与相同大小的Reck网格相比,Diamond网格使用额外的N(N-1)(N-2)/2个MZI。这提供了几个优点:更对称的拓扑结构,具有平衡的光路能够将不需要的光重定向到额外的输出优化权重矩阵的额外自由度
$ Q; ?* {0 f, o: {. I& z/ h0 o3 {3 d0 t[/ol]
8 H# g0 H$ Q1 }2 s) G _ A- G4x4 Diamond处理器的单一矩阵由下式给出:
+ q6 u$ d# k8 X* V
1prnfvrpj5e64076735931.png
; ^# ?) l) s' e1 R$ \* c
( n2 m9 [0 ]2 N8 R
可以使用与Reck网格类似的分解过程对其进行编程,遵循图7所示的顺序。" [) d8 j U1 ?2 Q0 T0 U+ J) Z
zz1clakmcvm64076736031.png
7 |& a6 D- w S图7:4x4 Diamond网格中用于编程的MZI分解顺序。" c4 n* I) `, B. i
# X r3 \8 @2 c; w& J性能比较+ u. }7 I5 h! c# J$ Y$ Q8 E
为比较Reck和Diamond架构,分析了各种大小的单层ONN的实现性能。图8显示了4x4处理器的分类准确度与相位误差的关系。& C: U/ n' U7 R: |, E" _" K
rlujfeftugo64076736131.png
/ r5 A9 C" ~" F; g. C1 h5 |* q& i
图8:4x4 Reck和Diamond ONN的分类准确度与相位误差的关系,每个MZI的损耗为(a)0 dB和(b)1 dB。
% d h# Y4 F% s8 N/ S. J! Q- j! `! x
Diamond网格对相位误差表现出更好的鲁棒性,尤其是在存在光损耗的情况下。这种优势在更大的网络规模中变得更加明显。
; ?4 k5 F6 a2 H8 ?- o
/ O8 q( U0 k8 I( O1 N% \图9比较了不同大小处理器(最大64x64)的准确度与相位误差的关系。5 ^: I: Y1 H p% M6 \
p0oz0wwbgf364076736231.png
8 @& \6 q- q3 |9 \4 u/ ~! k- E7 X8 ?; d图9:不同大小(a-d)Reck和(e-h)Diamond ONN的分类准确度与相位误差的关系。) N9 u2 M7 B, k
( ~$ x7 a- i% S/ h3 Y1 q对于较大的网络,高精度区域缩小,但Diamond网格在所有尺寸上都保持更好的性能。
. ]5 A4 o% W$ h ?5 B- S9 w% _) v7 g# B2 x. l
图10将此分析扩展到包括每个MZI的光损耗影响。; U* Q5 w2 B. h" `" k
kagrofhrnyk64076736332.png
. z3 c D$ |% e6 [7 j/ W5 i
图10:不同大小(a-d)Reck和(e-h)Diamond ONN的分类准确度与损耗和相位误差的关系。
" W6 \$ M9 C+ Y/ K$ w O/ R" `% k; o+ ?9 ^3 t: d, |: F4 b7 [! B
再次,Diamond网格在所有网络规模上表现出更优的鲁棒性。7 K9 B( ?3 ^8 A7 W4 Q! T
1 d0 R$ j, A( r' t% F+ h最后,图11总结了不同网络规模的两个关键性能指标 - 性能指标(>75%准确度的区域)和训练期间达到的最终损失值。
+ V$ q6 ]' r* ?5 S }: f$ f
ry5kcbvddlr64076736432.png
: J1 p! u! `) A
图11:不同大小的Reck和Diamond ONN的(a)性能指标和(b)最终损失值比较。
9 g2 S( Y) c8 B. g M1 X- m# ^ d# E6 N9 c; H6 x
Diamond网格在这两个指标上始终优于Reck网格,优势随网络规模增大而增加。! J5 `) v: d) U! y, O( Q0 s
: C* c4 u4 ?0 Z( t, D# n
结论
* H: W$ S/ j( G" W, @基于可编程MZI的光处理器为实现ONN和加速机器学习计算提供了有前途的平台。Reck网格提供了可实现任何单一变换的紧凑设计,但Diamond网格提高了对制造误差和光损耗的鲁棒性。这使Diamond架构更适合实际的大规模ONN。硅基光电子制造和架构设计的持续进步可能会进一步提高这些光处理器的性能,有望实现新一类超快速、节能的机器学习加速器。" V5 t! Q! ?& ^
: U. @$ r% d2 [; f/ C# h) _% L参考文献8 C% C4 n8 B2 A J9 l7 T& v7 C+ z; K
[1] M. Nikdast, S. Pasricha, G. Nicolescu, and A. Seyedi, Eds., Silicon Photonics for High-Performance Computing and Beyond, 1st ed. Boca Raton, FL, USA: CRC Press, 2021.& G7 i' m. k0 T
END
5 t% k/ O, d( ]! m4 D, M4 G N; t6 Z9 K1 \3 @( ?1 Q
7 F+ R- H2 ~: B7 q- w
软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用,PIC Studio都可提升您的工作效能。# x. N3 x: c( R+ f2 B7 m
点击左下角"阅读原文"马上申请
9 [6 M( L8 t; u: Y$ e1 B. ~& Y
+ x S- _4 f- [* s0 }0 }+ O: d3 j欢迎转载
: `4 O# O3 V/ c
+ l8 ~3 c( h/ X1 ?+ ]& w1 p转载请注明出处,请勿修改内容和删除作者信息!
2 I( u- k* W1 ~
% D4 c4 J/ j2 Q- P
6 v9 |: B5 P& U' o( l; I3 |9 q& B0 J: k! W) V& K/ C
3xfam3wcrst64076736532.gif
c+ P3 F: j7 P& W
, a7 J! r5 H! D0 O# P8 E关注我们
3 S/ R' r; u" z. i: m8 F$ |6 G6 _9 V1 @
+ @/ [2 A8 m9 }+ b* s
vodpuva2mj564076736632.png
/ L8 h6 Q3 O# C, d% C# I2 C
| : t7 I* ?) i' W
u5is0s3sr5f64076736732.png
6 X- N w$ ^+ Q& v# V& T& t: Q; ]# ~
| 9 z' i2 h5 S p& C# T% p$ D1 T
txrhkjadsy064076736832.png
* d: b$ g+ |% e
| & w! r8 B9 A* W/ b
$ [. K2 N1 i! V9 n4 f/ S
3 X% X0 ~5 j* s' r6 K$ W0 Y! j) N5 Q) m6 m
关于我们:# I' r3 |/ \- K: w3 K5 X8 ]' z
深圳逍遥科技有限公司(Latitude Design Automation Inc.)是一家专注于半导体芯片设计自动化(EDA)的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件,提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio,分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务,广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作,推动特色工艺半导体产业链发展,致力于为客户提供前沿技术与服务。
* h: W* G5 b3 \# u# ]6 r
0 a8 O) v; K3 j. hhttp://www.latitudeda.com/
) c& y, j1 s c, Y Q(点击上方名片关注我们,发现更多精彩内容) |
|