|
引言1 U4 _- M% x2 Q+ s% F' U0 {
人工智能(AI)正以惊人的速度革新科技领域。随着AI模型规模和复杂度的增长,对计算基础设施提出了极高的要求。本文探讨互连技术如何演进以应对这些挑战,确保AI系统的基础架构能够跟上创新的步伐[1]。引用文献来自LightCounting在7月30日举办的Special Requirements for Optical Connectivity in AI Clusters Webinar,特此感谢!' j6 S$ V- o2 @1 y5 V0 S
8 z( {9 o, Z8 ] P& }1 a9 r& Q2 mAI模型的指数级增长2 u( t- D3 Y3 K |! o4 Y& `, a! [
要理解互连技术面临的挑战规模,首先需要了解AI模型的爆炸性增长。( g' f' G0 x8 L/ B
vyp1tfrps3i64077134228.png
' V8 V$ O- k& U' r6 \6 L' E- c
图1:AI模型参数数量随时间的指数级增长,显示每年大约增长10倍。
, j* U! v, _" q- U' ^( @
/ \& B+ j. s4 J# P如图1所示,AI模型的规模(以参数数量衡量)每年增长约10倍。这一增长速度远远超过了硅技术性能的提升,后者通常遵循摩尔定律每两年翻一番。结果导致对计算能力的需求不断增加,因此需要更高效的互连技术来连接这些庞大的系统。# A% T# r6 B: S: b. G$ ?: i+ w
6 W! ~( ]5 A& x
硅技术的进步" f& @% Q5 y+ \ x g
为了应对这一挑战,芯片制造商正在推动硅技术的极限。台积电(TSMC)作为领先的半导体代工厂,在这一领域处于前沿:- ]' ]+ x! {7 E: L# ~5 r9 v7 F
he2wgdix0bs64077134328.png
! O0 Z' W3 P3 x) X! s图2:台积电从5纳米到2纳米工艺节点的改进,突出了在功耗效率、性能和芯片密度方面的提升。
) _8 P# N2 K2 J Q4 A$ v. ^2 X8 e. x! [" d0 o3 i" Q$ q, e
从5纳米到2纳米工艺的过渡中,我们看到几个关键指标有显著改善:功耗效率:在相同速度下,从5纳米到2纳米,功耗降低了50%。性能:在相同功耗下,从5纳米到2纳米,性能提升了33%。芯片密度:从5纳米到2纳米,晶体管密度提高了50%。, X, N3 F6 H" u7 p/ o
[/ol]
: J# @( Y' s& t: l这些进步对满足AI系统的计算需求非常重要,使得生产更强大、更高效的芯片成为可能。然而,仅靠硅技术的改进还不足以跟上AI的需求。$ p% f1 d4 t, I
' z3 y. j1 ^/ X! p& i8 _% U1 ^) x
先进封装技术. I; Q% z4 k/ A- o0 U' P
为了充分利用这些硅技术进步,业界正转向先进的封装技术。台积电的CoWoS(晶圆上芯片上基板)技术就是一个典型例子:: Z, X% ~# P0 [0 J/ M7 D
m1thw5ndpcl64077134429.png
( y- a1 I1 C4 {( l8 U4 x6 D: }
图3:台积电的CoWoS(晶圆上芯片上基板)2.5D/3D封装技术,说明了如何将多个芯片和HBM内存集成到单个封装中。& q; g- @9 [6 h$ I$ K6 k# o
) J/ {) A) ^5 hCoWoS技术允许将多个芯片和高带宽内存(HBM)集成到单个封装中。这种方法可以实现组件之间更高的带宽,并且与传统封装方法相比,可以有效地将可用硅面积翻倍。5 C4 B" l8 ~) [9 y9 a# D2 }
( T1 G7 h0 E; Z" k高速互连:AI性能的关键# }9 `/ l5 b4 h# E! I3 p
为了最大化AI性能,高速互连技术必不可少。封装内和封装外接口都在快速发展以满足这些需求:封装内芯片间接口:速度达到32-64 Gbps NRZ,能量效率低于0.5 pJ/Bit。提供5到10 Terabits/mm的边缘密度,允许同一封装内芯片之间实现极高带宽的连接。封装外高速SERDES:当前技术支持224G-PAM4,448G-PAM4正在研发中。这些接口实现了低于3 pJ/Bit的能量效率,提供1到2 Terabits/mm的边缘密度,可在不同封装或板之间实现高速连接。
/ g; w, `: s! C' z6 k4 W[/ol]( y# V# S3 f' g
这些高速SERDES的功耗效率也随着每一代硅工艺技术的进步而提高:0 B- F1 W9 Q/ ~
03tlcbxmtp264077134529.png
: w8 s" B2 ?+ L7 d* U图4:高速SERDES功耗效率在不同工艺节点和数据速率下的演进。; K! [6 B) |0 `! H6 q
" x# l" e. d; R' v
从图4可以看出,高速SERDES的能量效率随着每个新工艺节点的出现而显著提高。例如,从5纳米到2纳米的过渡预计将使200G SERDES的每比特能耗减少近一半。% {5 y! S3 a$ X, n
4 L4 [: B- h6 `
带宽挑战1 z8 {5 w# U. O5 a+ P0 L
随着AI模型持续增长,互连技术的带宽需求正在飙升。为了说明这一点,让我们看看使用200G SERDES在不同基板尺寸上可能实现的带宽:3 c0 d3 _2 ?; I, V
wq1jzuwokag64077134629.png
+ o1 N& F8 H' Q: m
图5:使用200G SERDES在不同基板尺寸上可能实现的单向和双向带宽,从单个芯片到多芯片基板。+ }; x- y/ z' Q, d5 g% g
5 T/ B! H( R T. p# T' ^& V5 X
如图5所示,使用200G SERDES,一个25x25毫米的单个芯片可能支持高达100T/200T的单向/双向带宽。扩展到100x100毫米的多芯片基板,这可能增加到惊人的400T/800T带宽。) K8 e+ _) M/ h7 Y+ ?
% t' h8 L8 H# ]# Y) C9 p- k
向更高速互连的快速过渡
2 L+ W8 I# U9 [AI网络行业正在快速向更高速的互连技术过渡,以满足这些带宽需求:
: }. s8 Q$ }0 J3 P6 [
mqjgckzx4m164077134729.png
8 V5 A W, C0 H( H* } Q图6:AI网络中高速互连的快速采用,2025年800G端口将占主导地位,2027年1600G端口将成为主流。
* m! v0 u6 a2 `
- m$ ^8 K7 E8 j# u如图6所示,AI网络行业正在快速向更高速的互连技术过渡。到2025年,800G(8x100G)端口预计将主导市场。这一趋势将继续,1600G(8x200G)端口将在2026年开始增长,并在2027年成为主导技术。5 g8 _: F. Z. n. C7 S
$ A" D/ J2 L6 Y- k1 i功耗挑战与线性光学技术
( p; I; w% l, [$ d4 |随着我们追求更高带宽,功耗成为关键问题。对于大型AI集群,光学器件的功耗需求可能相当可观。为了说明这一点,让我们考虑一下大规模AI集群的功耗影响:
# o8 e4 J' j7 E9 g- N0 p; s
mgdrmipyafe64077134829.png
9 S# y+ G& b' b1 x图7:比较大型AI集群中不同光学技术的功耗,突显了LPO提供的显著功耗节省。, E8 R' B [3 x; Q
0 D- S0 p! n( P/ ?. m如图7所示,在一个拥有648个1600G端口的机架中,选择不同的光学技术会对功耗产生显著影响:! @7 \, \2 Z: _% m
铜互连(用于短距离)消耗最少的功率。线性可插拔光学模块(LPO)与铜相比,功耗增加5.4%。线性只接收(LRO)光学技术功耗增加10.8%。数字信号处理(DSP)光学技术功耗增加16.2%。8 n6 U! w% ~9 R1 P
9 C* U/ l0 ?$ V& B8 x/ Y8 ?
当扩展到100,000个XPU(AI加速器)的集群时,功耗影响变得更加显著。这样的集群可能需要640万个1600G光学接口。使用LPO可以比DSP光学技术节省128 MW的功率 - 光学功耗降低32%。
2 Z) b0 a6 D n7 m7 d" V* y
9 q( o/ h* v( W. T这些数据突显了为什么线性光学技术,特别是LPO,正成为解决AI互连功耗挑战的重要解决方案。$ y+ V% A* f& s; p$ \' o. B6 h
* ?( S7 }# |9 i% O0 `# z
光学互连的演进
: i v, V% w" `$ x# L向更高效的光学互连技术的演进已经持续多年。让我们简要回顾一下光学集成的一些历史尝试:- Q/ v) ~2 A$ O; V& l0 a& }. f
xykbqedq1fi64077134930.png
) V8 q/ f- u7 M( E; i) ?0 w
图8:2010年左右的IBM Power 775系统,这是最早使用光电共封装的系统之一。- q* W; V }4 n
$ ~$ r* L" ]( W5 M0 k: n
图8所示的IBM Power 775是一个创新性的系统,早在2010年就采用了光电共封装技术。虽然它展示了集成光学互连的潜力,但这类技术的广泛采用一直受到可制造性和可维护性挑战的阻碍。6 S \5 O% J9 p9 x7 l
) `& }, ]" h1 S
线性可插拔光学模块(LPO)的兴起
' n; w9 \2 L$ ^1 P+ K: x3 T鉴于这些挑战,业界现在正转向线性可插拔光学模块(LPO)作为更实用的解决方案。与基于DSP的光学技术相比,LPO提供了显著的功耗节省,同时保持了可插拔模块的灵活性和可维护性。% ?7 K; F8 ~/ b, ^4 F3 W
" f, J( P+ s4 [+ r: M% W( Q
为了加速LPO的开发和采用,十二家行业领导者组成了LPO多源协议(MSA)。这一合作旨在为线性可插拔光学模块制定规范,112G LPO MSA规范即将完成,预计将在2024年ECOC大会之前发布。
( n- B+ q5 @& F7 ]6 E7 P( R' W; E V# _
互连技术的未来:超越112G
I2 R9 L. I& ~9 [8 S虽然112G LPO即将面世,但业界已经在展望224G-PAM4 LPO。这一下一代技术面临一些挑战:
+ C+ w& Q N$ y1. 通道要求:224G LPO需要干净、低损耗的电气通道,理想情况下从芯片到模块的损耗应小于15 dB。
" v# Y( t: ]0 K$ u! C! \( \2. Fly-over Cables:为了满足这些严格的通道要求,Fly-over Cables可能会发挥关键作用。这些电缆可以显著减少通道损耗和干扰。
4 M- F% O) H0 ~8 x
skuplzrpfgf64077135030.png
- C/ J# ], ^9 _1 k& M3 u
图9:Fly-over Cables的示例,包括NVLink交换机刀片到NVL72背板的连接,以及Luxshare 224 / 448G CPC互连。" @& u: j5 M2 E" G+ a( m
. N( ^) S" B8 E! [, P3 B3. 高性能组件:224G LPO将需要先进的高性能跨阻放大器(TIA)和线性驱动器。许多这些组件已经在开发中。( O/ Q* |- e/ E
! T4 j+ S( R, ~( M0 ^! F
业界正在快速发展,预计在2025年的OFC大会上将有多家厂商展示224G-LPO。这项技术可能特别适用于网络接口卡(NIC)和AI加速器(XPU),因为这些场景中较短的电气通道使实施更为简单。2 c7 y' t P' k8 b) U
* T! A' j& E0 u+ g9 Y% X
对于交换机,较长的电气通道带来了更多挑战,但模拟结果表明,使用飞越电缆可以实现224G-LPO。目前正在进行大量测试,以验证这些模拟结果并为实际部署做准备。/ d5 T6 K& @' m& r8 @# }
- j+ \( ^) K6 I+ L2 }
结论8 ~5 I- j- W( V
展望AI互连技术的未来,很明显线性接口光学技术 - 包括LPO、近封装光学(NPO)和光电共封装(CPO) - 代表了前进的方向。这些技术提供了支持下一代AI系统所需的高带宽和低功耗。
& _! D/ `# ~! P/ F7 A; _! J1 J( a8 X, e; |9 q7 k. @
在这些选项中,LPO因其性能、功耗效率和实用性的结合而脱颖而出。LPO提供了几乎所有更集成解决方案(如CPO)的功耗优势,同时避免了这些技术在制造和可维护性方面的挑战,这些挑战在过去阻碍了其广泛采用。
+ I9 M* s2 c0 H, M
0 f: V- o/ |: {* n- V3 X$ AAI的快速创新步伐正在推动互连技术的同步快速进步。随着我们向更快、更高效的系统迈进,硅工艺、高速接口和光学技术的创新将在塑造AI基础设施的未来中发挥关键作用。
3 }0 u' |* o2 a) h# {' |( w1 V& ?" U8 j: I
让互连技术跟上AI指数级增长的挑战是巨大的,但业界正在迎接这一挑战。通过像LPO MSA这样的协作努力以及持续的研发,我们正在看到新一代互连技术的出现,这些技术有望释放AI系统的全部潜力。) L8 [4 e5 ]- i9 P
+ Y' _! l( T3 S& ]# H& t
随着我们向前发展,很明显AI的未来不仅将由算法和计算能力的进步塑造,还将由将这些系统连接在一起的关键互连技术塑造。通过继续推动高速、低功耗互连的可能性边界,可以确保基础设施能够支持下一代AI突破。
; n6 J& v9 _: B" R; F$ b5 ^# @/ n0 O; h% {( b. x
未来展望
, Y; k0 v4 a1 T A5 n9 P9 f+ v进一步的工艺改进:随着半导体工艺继续向更小的节点发展,我们可以期待看到更高的能效和更高的集成度。这将为AI系统提供更强大的计算能力,同时保持或降低功耗。3D集成:三维集成技术可能成为未来互连技术的一个重要方向。通过垂直堆叠芯片,可以显著减少信号传输距离,提高带宽,降低延迟。新材料的应用:除了硅,其他材料如氮化镓(GaN)或碳纳米管可能在未来的互连技术中发挥重要作用,提供更高的性能和能效。光学技术的进一步集成:虽然LPO目前看来是最实用的解决方案,但长期来看,我们可能会看到更深度集成的光学解决方案,如硅基光电子技术的广泛应用。AI辅助设计:AI不仅是这些互连技术的最终用户,还可能成为设计和优化这些技术的工具。AI辅助的电子设计自动化(EDA)工具可能会加速新一代互连技术的开发。量子互连:随着量子计算的发展,量子互连技术可能成为一个新的研究方向,为未来的量子AI系统提供必要的通信基础。& p1 w" O% _ [% o
[/ol]
9 R% x8 z: n2 K: K; r7 {+ h3 Q; a参考文献2 E( O- j- r# E: z$ H& v* Y K% B
[1] Bechtolsheim, "Can Interconnects Keep up with AI?," Arista Networks, Jul. 2024.$ Q& ~- J3 c% }+ _3 m
1 T7 y n! H8 P, {- END -$ Q+ i3 M8 X/ c. |# }9 R; W6 s/ o
: O% b3 F1 ?1 X( c2 [ W
软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用,PIC Studio都可提升您的工作效能。
' M- S; u& n& u6 C4 a- l点击左下角"阅读原文"马上申请* w2 s- _( X3 [( p' U7 j
6 i; O3 g0 w1 Y
欢迎转载
* s8 j5 d! `% l* R" v0 [' V$ c$ D. G" i! {) ]* V$ _
转载请注明出处,请勿修改内容和删除作者信息!3 b" M' N2 {6 T. s/ X5 h
6 Z& y4 X) c) N0 W3 w9 i( V
/ \$ i Z/ ~; z2 J+ `7 j4 x8 q+ O1 S1 Y* t7 x
5nkf3xkvxf164077135130.gif
( t* g/ `# Q; }$ S3 H
* y( t2 Z; s6 R9 z6 _* b3 z3 A$ \关注我们2 G* g; I4 @, `- [4 ~* @9 D+ S
7 K" k0 g% w# Z+ v1 A: A- E$ ^ i) `" V6 [3 I: ^' a$ q
qemuvwuxqwr64077135230.png
, b" r4 i5 D2 _3 w) H
|
7 X5 Q1 z) G/ L6 e
dn1nffibzgg64077135331.png
- j# `, N) i. l3 M1 I3 s
|
6 e" r7 z2 A: y, i& P. P5 `# k
touqzlsyh0o64077135431.png
9 b- X9 @) b- B! ~4 L- C5 ^# `9 P2 w | 0 v6 `1 n5 w9 j# h H6 W& Y' N$ ]
/ M D1 p8 [( `# Y, b: X& o4 {5 G# M; \
1 S# ^3 l. |( l" @) L关于我们:
; |$ ` P+ a6 |1 M0 y. q3 d深圳逍遥科技有限公司(Latitude Design Automation Inc.)是一家专注于半导体芯片设计自动化(EDA)的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件,提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio,分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务,广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作,推动特色工艺半导体产业链发展,致力于为客户提供前沿技术与服务。" a. u9 q$ b1 Q& {3 L/ {1 h& @8 X# f
, ^5 F# w, r, I- g: @ D% j
http://www.latitudeda.com/
" Z* d; i. o. F( [(点击上方名片关注我们,发现更多精彩内容) |
|