Hot Interconnects 2024 | 互连技术能否跟上AI的步伐？系统级视角

逍遥设计自动化

引言
随着人工智能（AI）技术迅速发展，对更强大、更高效计算系统的需求呈指数级增长。满足这一需求的主要挑战之一是确保互连技术能够跟上AI加速器（也称为XPU，极限处理单元）性能的提升步伐。互连是使系统不同部分之间能够通信的组件。本文探讨了AI系统中互连技术的现状和未来发展趋势，重点关注扩展性、功耗和潜在解决方案面临的挑战[1]。

1 J/ U/ G1 p3 [) pXPU性能和I/O带宽的扩展
预计未来几年XPU的性能将显著提升，这主要得益于芯片架构、工艺技术和散热解决方案的进步。根据作者预测，到2030年，XPU性能有望比2022年提高100倍[1]。

hluz0ezoffr6402426028.png

图1：展示了从2022年到2028年XPU性能的预期增长，显示由于芯片架构、工艺和基板技术的进步，性能将提高50倍。
; A5 }) v8 B# J6 {
这种计算能力的显着增长需要相应提高I/O带宽，以确保数据能在XPU和内存之间高效传输。作者提供了AI互连带宽需求的预测：
) l+ C5 ]( E! V. T; z, }

lpdv5sfsqko6402426128.png

图2：显示了从2022年到2028年AI互连带宽的预期增长，以及相应的1600G端口数量和功耗。
" ?2 d! k3 a4 ~. r' w) l
( d1 Y5 S" C. y* W7 K
互连扩展面临的挑战
在追求更高带宽的过程中，出现了几个挑战：

功耗：带宽增加通常会导致功耗增加。但即使带宽增加，SERDES（串行器/解串器）I/O功耗仍然只占XPU总功耗的一小部分。

密度：随着XPU性能的提升，需要更高密度的互连以支持单个系统中不断增加的处理器数量。

成本：互连技术的扩展通常会增加成本，特别是在向光互连等新技术过渡时。
# p. d8 D! X% T[/ol]
) w* s3 c" `' X; x( T* H: t( \# k解决方案和新兴技术
为应对这些挑战，业界正在探索几种解决方案：
7 j- [* y' u, z0 v7 W1. 高速SERDES
0 s' C1 k5 ?& l1 z9 q& a2 x2 L$ E1 a高速SERDES仍然是互连最实用和通用的电气接口。SERDES技术路线图显示，每通道速率将从112G发展到224G，最终达到448G。

qyq25gkbo2s6402426228.png

! X- j) f2 c0 K7 v" u, d图3：列出了高速SERDES的优势，包括通用电气接口性质和对各种媒体类型的支持。

! m4 W1 v2 H2 z0 f3 h1 L: M2. 铜缆与光互连
+ ?8 C" o- e" L# H1 A% d对于短距离，特别是在机架或机箱内，铜缆互连仍然是最具成本效益和能效的解决方案。但随着距离增加和带宽需求增长，光互连变得必要。
( @2 _1 X4 d7 Z7 M

bhr3z2kooq16402426328.png

图4：讨论了在机箱或机架内使用无源铜缆互连的优势，突出了低成本、低功耗和高可靠性。
* ~5 a6 R: J- F5 q$ X: ~. H( `
3. 线性光学
& V( H2 O3 r7 N# O作者强烈倡导在AI集群中采用线性光学技术以解决功耗问题。讨论了三种主要的线性光学方法：

线性可插拔光学（LPO）

近封装光学（NPO）

光电共封装（CPO）
/ s; h. m% z9 L/ v( a' K$ s[/ol]
4 v' f' N. P0 E) z0 c$ I- k3 S

pdvvvrymm446402426428.png

图5：展示了线性接口光学的演进，显示了从线性可插拔光学（LPO）到近封装光学（NPO）和光电共封装（CPO）的发展过程。

, t: w5 ~0 y& x9 f, Y" W在这些选项中，LPO被认为是最有前途的解决方案，可以显著节省功耗，同时避免了CPO和NPO在制造和维护方面的问题。
0 b$ v0 w6 t: p) P# \/ Y+ |  j8 ~, R8 z( q
4. LPO多源协议（MSA）
# s' Z$ R# j; K( O为加速LPO技术的采用，十二家行业领导者成立了LPO多源协议，以定义线性可插拔光学的规范。

obuozlxmpoj6402426528.png

: h: j4 z% U; z图6：列出了LPO多源协议的创始成员，包括AMD、Arista、Broadcom、Cisco、Intel和NVIDIA等行业主要参与者。
3 g* s6 P' I# @! _
5. 调制技术的进展
. ]' m' {; i9 T# Z/ C随着业界向每通道448G发展，正在讨论最合适的调制技术：
0 r  M4 S0 f+ F, e7 _

铜缆互连采用448G-PAM6

光互连采用448G-PAM4

( `) y5 y) p$ G) l& f/ a. W5 B每种选项在信号完整性和所需带宽方面都有优势和挑战。

8 r9 v0 c' s5 n7 x( m6. 新兴技术
- u3 r) z" }1 `5 u$ Z  `作者提到了一些潜在的未来技术，如：

基于微型LED的光学技术

微环谐振器
[/ol]
0 N+ x; {: n1 T4 \# [; b
& p5 o  `& b9 i0 ?* G

c0hxe3sjwet6402426628.png

) k3 J2 S2 [+ r7 R. P图7：展示了使用4G微型LED的1600G-OSFP模块图，说明了未来光互连可能实现的低功耗。

qztbhph3s4s6402426728.png

' v( o- t6 E3 d! O7 k5 A+ |7 G1 S* i图8：展示了一个使用32G-NRZ微环的1600G-OSFP模块图，这是另一种潜在的未来光互连技术。

采用新技术面临的挑战
新的互连技术提供了潜在优势，但在采用过程中面临几个障碍：

上市时间压力：XPU制造商无法承担等待新I/O技术成熟而延迟产品的风险。

批量生产：新技术需要达到高容量制造（HVM）状态，才能被认真考虑集成到XPU中。

风险管理：将未经验证的I/O技术集成到XPU设计中带来显著的财务风险。
0 D0 x+ Y2 y7 L# ~- v[/ol]

1 K- V, m; e( c6 ?6 t1 |& |/ y

xfpezqehe2x6402426829.png

# A' j5 _3 Y+ v* [* z, P: P- j% X图9：讨论了采用新I/O技术时的先有鸡还是先有蛋问题，强调了在没有重大设计胜利的情况下开发和扩大新技术规模的挑战。
& d/ Y! d; E9 b" a$ P3 ], g" q
/ I( c! _$ c2 ~/ N未来互连发展策略
8 c& U8 R+ N& g+ L9 b为应对这些挑战，提出了几种策略：

风险分离：使用可插拔光学模块，将XPU和新互连技术的开发时间表分开。

专注于高速SERDES：继续改进SERDES技术，作为支持铜缆和光互连的低风险选项。

渐进式采用：通过可插拔模块逐步引入新技术，便于升级和降低风险。
[/ol]

* Y' W$ J8 O9 ^. w1 n% e' Q+ ?

1hz51dtmf446402426929.png

图10：强调了XPU上市时间的重要性，以及等待新I/O技术带来的风险。
7 p2 d  l5 W: }4 v$ P7 i$ P  D6 Y
" x, n1 C) Y# |* Q2 q3 x结论
AI系统中互连技术的未来既充满机遇，也面临重大挑战。随着XPU性能的快速提升，业界必须找到提高互连带宽和效率的方法，同时管理功耗、成本和可制造性等问题。

线性光学技术，特别是线性可插拔光学（LPO），成为解决许多这些挑战的有希望的解决方案。然而，前进的道路需要在技术创新与上市时间压力和风险管理等实际考虑因素之间谨慎平衡。
" U9 m% t5 J! K- n0 o' ^* S
5 k1 [8 ]. x4 e, a  |4 E随着向每通道224G和448G的互连发展，像LPO多源协议这样的行业领导者之间的持续合作将在定义标准和推动新技术采用方面发挥关键作用。


; C0 J3 |7 L4 \+ u4 l参考文献
[1] Bechtolsheim, "Can Interconnects Keep up with AI? A System-Level Perspective," Presented at Hot Interconnects 2024, 2024.


3 o( Q" T4 g! I% j: |- END -

" J$ w- G( Q# J2 a3 z& e软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
点击左下角"阅读原文"马上申请

; c# r& S) j# o$ H- u欢迎转载

. P# Q. s, Q* \4 d! l转载请注明出处，请勿修改内容和删除作者信息！
0 l) X9 |- O3 a/ Y9 R
# g) z8 V2 W! M% I* H3 H( [' S

ysflytspql46402427029.gif

' Y0 }, t- f. n2 d% {) g; g
# O4 i7 j) o; x+ M- q关注我们
0 W; T( g1 f! k5 }; {

& f. ]0 H% v1 [6 { fw4nktmtuhs6402427129.png

3 I$ F$ c, |# d8 n! R st1bwox1e3e6402427229.png

2ydi1hrdb3i6402427329.png

                     
5 o; t3 R8 K% E
& p! x( C5 J' c
1 E1 V( l: T& o0 M* y' l% M
关于我们：
' \5 P" }- I- j. ^& \/ M深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。

1 [8 z& K& f7 Nhttp://www.latitudeda.com/
（点击上方名片关注我们，发现更多精彩内容）