人工智能应用的异构集成技术

逍遥设计自动化

新一代人工智能硬件架构：突破传统计算范式
人工智能（AI）的快速发展催生了对计算能力的巨大需求。由于传统晶体管缩放方法难以满足这种指数级增长的需求，半导体行业已转向系统级缩放方法，特别是异构集成（HI）技术。本文探讨了当前异构集成技术的现状及其在支持下一代人工智能系统中的核色[1]。
! `5 V: [6 o7 w; F* d

p3q3zkllyp264076733923.png

( c" i1 B! I8 Z: c集成技术的演进：从2D到3D解决方案
9 U- }  J" F" s

hh5lukhadlq64076734023.png

图1：当前异构集成技术概述，展示了各种架构，包括2.5D/2D增强型、3D架构以及多芯片模块、晶圆级扇出和玻璃核心封装等不同集成方式。
3 D! y( ]$ a% g8 Y3 F
4 _) ~9 N+ n2 q% @! [/ ^2 y异构集成在实现人工智能应用的高系统吞吐量和能效方面发挥着关键作用。通过将片上系统（SoC）分割成多个chiplet并将其集成到单个封装中，设计人员可以显著提高系统灵活性、功能性、带宽、吞吐量和延迟性能。这种方法通过横向、纵向或双向方式使chiplet更紧密地集成，实现在单个封装中集成更多内存或逻辑电路。
" D4 H/ I$ q% ~
架构转型：多裸片集成的兴起
' V& W: D- d) w, ^2 ?

0ifrfpoe13t64076734123.png

图2：集成架构比较，展示了(a)传统2D SoC、(b)基于3D-TSV的架构、(c)中介层架构和(d)组合架构，演示了逻辑和内存组件集成方法的演进。
% J* \+ S9 F0 R5 Z" b( {4 A8 j% `; v
当前的异构集成技术包括多个方向，包括多芯片模块（MCM）、中介层架构、晶圆级封装和3D架构。MCM是最早的多裸片2D架构之一，将chiplet横向放置在有机基板上，以减少布线长度并提高封装带宽。然而，由于采用传统有机基板和粗糙的焊料键合技术，MCM在互连密度方面存在限制。
7 V% I5 M) e; ]' u4 s
4 J5 N6 f8 x" |3 `& C$ K先进封装创新：3D-ICE技术

igk5b4rtg1u64076734224.png

图3：3D集成chiplet封装（3D-ICE）技术概述，展示了使用二氧化硅封装的chiplet集成创新方法。

/ d4 T. E: V( _业界在开发人工智能应用的先进封装解决方案方面取得了重大进展。Cerebras、Nvidia、AMD、Intel和Tesla等公司已部署了专门为人工智能工作负载设计的各种异构集成架构。例如，Cerebras的WSE-3使用台积电5nm技术的晶圆级集成，实现了人工智能训练的强大计算能力。Nvidia的GB200 Grace Blackwell芯片采用台积电的芯片级晶圆级基板（CoWoS-L）封装技术，支持处理超过10万亿参数的大型语言模型。

/ M" _& d7 |6 e  U& K- [+ C! H标准化和连接：协议集成的优势

p4anxnxbfni64076734324.png

图4：异构计算的标准化协议示意图，展示了现代人工智能系统中使用的各种互连标准。

裸片间（D2D）接口在异构系统组件之间的数据传输中扮演着重要角色。AMD的Infinity Fabric、Intel的Advanced Interface Bus（AIB）和Universal Chiplet Interconnect Express（UCIe）协议等行业标准实现了chiplet之间的高效通信。这些接口对于实现现代人工智能应用所需的高带宽和低延迟性能具有重要意义。
) _8 S; G1 }- r5 x9 t# R
未来方向之一的玻璃封装
4 ?$ d/ }/ e8 Y* b  e

knszmkiweuo64076734425.png

. c0 F  M: f2 w, R6 I图5：Intel组装的玻璃基板测试芯片(a)和Absolics的面板级封装玻璃基板(b)示例，展示了玻璃封装技术的最新进展。

. ?2 G4 V! }$ T6 P" V玻璃核心封装已成为下一代人工智能系统的重要解决方案。玻璃基板具有多项优势，包括优异的信号完整性、支持高密度互连以及改进的热管理能力。Intel和Absolics等公司最近的发展表明了业界对高性能人工智能应用玻璃基解决方案的重视。
' f6 Y1 l& {/ p/ J  w" ~( _* ?
向异构集成的转变代表了人工智能硬件架构方法的变革。随着人工智能模型规模和复杂性的持续增长，业界对先进封装技术和新型集成方法的关注将在满足未来人工智能应用的计算需求方面发挥重要作用。
! C# n. g* P+ e( `& U
参考文献
8 }9 E$ N  ]- N0 F* p[1] M. Manley, A. Victor, H. Park, A. Kaul, M. Kathaperumal, and M. S. Bakir, "Heterogeneous Integration Technologies for Artificial Intelligence Applications," IEEE Journal on Exploratory Solid-State Computational Devices and Circuits, 2024, doi: 10.1109/JXCDC.2024.3484958.
/ h# ^/ p! A/ h( CEND
% V0 d. [7 c2 l. [) ~( b* U
) `/ [4 z6 o/ k5 C; B) L
  u& U. P2 Y7 i: e软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
8 n$ [7 j7 f) O; p( ~9 j- U. ?4 i) `点击左下角"阅读原文"马上申请

, @4 D3 T* z& g欢迎转载
) k* P5 R* g3 J' i/ |
转载请注明出处，请勿修改内容和删除作者信息！

2sm2anw253i64076734525.gif

2 c6 h5 }6 c; H4 f, P1 i1 Z. e: p关注我们
, m% q2 F  f; P; h4 f

: L( K2 O! ^% n: g7 |; E qnrdbrz2y3d64076734625.png

0 m3 [9 v" W. Y$ M" d. w; T 5lw4ovd3xtn64076734725.png

ajzw2wata1m64076734825.png

                     


5 D6 `% A: W, D* L: N3 V8 S
关于我们：
8 `2 G5 r6 R4 z7 A' J深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。
$ O5 ^$ ]; K" P3 f" u: m
http://www.latitudeda.com/
（点击上方名片关注我们，发现更多精彩内容）