为什么需要HBM (High Bandwidth Memory)？
; a/ M" l; b% V6 f$ J% o S! K) V! c/ z; k0 z
在生成式AI快速发展的今天，HBM这个词逐渐被更多人认识。现代生成式AI模型的参数量动辄数百亿、数千亿个，其计算架构普遍采用冯·诺依曼架构，即数据存储位置与运算核心分开，需要时再进行数据迁移[1]。( `, {7 P- ?) R2 b
( [9 D8 F# u& z) K3 c0 W6 c* n当需要搬运数以亿计的参数在运算核心与存储位置之间往返时，其消耗的能源和时间远超过数据运算本身，严重影响了整个模型的运算效率。这就是所谓的"冯·诺依曼瓶颈"或"内存墙"。因此，具备高带宽、能够在单位时间内存取大量数据的HBM成为了大型语言模型计算芯片的最佳解决方案。2 z4 n2 B* y5 ^8 h& z
wwstojnjajc64046309042.jpg
& t# A* H- y- o; ^& I- K, \
; I) g1 o) @) C4 T! F0 THBM的技术优势
2 S# k) K: k7 _/ T0 J0 c3 x7 {0 H
HBM虽然没有突破冯·诺依曼架构的限制，但在很大程度上解决了传统DRAM（DDR、GDDR、LPDDR）在带宽、容量、功耗三方面难以兼顾的问题。记忆体带宽等于I/O速率（数据速率）乘以总通道宽度。
( ]! u/ ~0 R* h1 d l
6 v: b$ k/ M: m& P6 Q4 {HBM采用TSV（穿硅孔）技术，直接在内存芯片上钻孔制成导线通道，并利用微凸块将多个die堆叠。这种方式显着增加了I/O数量，使得HBM3E之前的世代均具有1024位宽，远超传统内存32/64位的规格。同时，HBM通过2.5D封装（CoWoS）技术，将DRAM die与GPU封装在同一硅中介板上，大幅缩短了数据传输路径，有效降低了能源消耗。
: i: M" P& K& _, z3 d* G市场现状与未来发展) h, D P' D) X4 w: _
* U% t1 ^, j( |$ p0 W
目前HBM市场格局主要由SK Hynix、Samsung和Micron三大厂商主导。SK Hynix占据50%市场份额，并成为NVIDIA H100的HBM3独家供应商；Samsung紧随其后，占据40%份额；而Micron则占据剩余10%的市场。
& u( {$ T. l; D: W" h- n9 B- o) F: T5 p, L, j) T* x* a
展望未来，2024年下半年HBM3E将逐步取代HBM3，而HBM4预计将在2026年推出，可能采用2048位通道宽度。技术创新方向包含提高TSV密度、改进键合凸块技术、探索扇出式封装以及整合光电子技术等多个方面。
0 I' j: s! i. O* g0 {
2j1uaxtlktg64046309142.jpg
. _) } X$ D7 `. |( D3 w
m3vsdv1fk0e64046309242.jpg
?+ y: k: n5 O( t( y3 j
dqbjydvbhss64046309342.jpg
5 f R7 B. ?/ H1 G9 G
zwc4a4nqvme64046309442.jpg
5 _2 A2 b9 m, g2 Z9 E技术挑战与未来展望9 Q" ^% F+ ~; H: p
/ u, s9 o4 k* \" T) u- _# T/ y9 m
随着大型语言模型参数量以约410x/2年的速度增长，当前HBM技术面临着散热问题、制程微缩的边际效应、晶圆产能限制以及成本居高不下等多重挑战。未来发展将主要聚焦于提升制程技术、改进die堆叠技术、创新硅片硬件架构以及发展特化型解决方案等方向。
/ @' n% @9 X; v. E8 Y/ q参考来源
4 N8 Z8 g9 G F5 s. x
" I; h4 J7 b5 p* {& f[1] https://www.redef.tech/home; S. q! t" ?) x) J0 \& H
END
! y2 s# R5 [, O8 W/ k p$ M( I
' q) J8 C6 \7 d" ~# L% @" x. U/ y软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。# x4 u- K/ u% A p
点击左下角"阅读原文"马上申请( n; [, {- t- K8 L b4 B
6 l1 k& }% l; [8 i/ V欢迎转载
! c5 B+ f2 E3 \+ ~$ Z5 u6 K4 F! z0 l1 n4 H4 ~: ^
转载请注明出处，请勿修改内容和删除作者信息！
1 y" P# l" M% E" c$ @8 j+ _9 \. q. x- C# N: z. [7 J' r' a
0 v2 e2 M- m- S/ O2 V6 ~! p
0 ]( W' }- l; z4 z2 m
pf1vxmodjto64046309542.gif
) E4 k! a5 }/ P% @2 h
Q5 E( D$ ~- W4 p( a
关注我们2 \* i/ ^& O! B) ]' ^; e8 m6 K/ L
2 E6 p9 ?) P7 U* I
* v+ h3 X1 i0 S; h1 n9 B0 ~
hktsscz0rgn64046309642.png
9 W. F- @: b6 {1 t& q; X |
# e. ~% ^9 r6 p; u. Q3 y( s( D$ I
gvpcvep13cr64046309743.png
, C& O: B$ i& { | : V2 a: t6 K0 h1 S% _/ m/ M
kxafb5c5w5x64046309843.png
' r R4 m7 Z) [1 k! X+ c$ Q |
2 U/ n5 w* L: L* f+ I- K. J
: o9 R7 Q7 i+ P5 I7 c4 T2 z6 F
4 w' M" M2 W+ c6 O6 ?! k% N# Y
# [5 U; \8 N& B* y# l5 B关于我们：. o) \& q8 x+ G1 S
深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。5 Y! g' y6 O$ f. S$ O4 r6 h
% t+ z7 x7 r" X6 y
http://www.latitudeda.com/: l. C, e, K5 d/ h6 c# n1 @/ C/ |
（点击上方名片关注我们，发现更多精彩内容） | 
电子产业一站式赋能平台
窥视卡
置顶卡
变色卡
