为什么需要HBM (High Bandwidth Memory)？8 C- E3 D" u- O6 X8 l6 \
" e3 x" r- U6 j7 }2 X# \: C
在生成式AI快速发展的今天，HBM这个词逐渐被更多人认识。现代生成式AI模型的参数量动辄数百亿、数千亿个，其计算架构普遍采用冯·诺依曼架构，即数据存储位置与运算核心分开，需要时再进行数据迁移[1]。
) o, p$ g" B$ L6 w" ~ _4 ?, r
7 {1 o+ K' \! Y8 E) X/ b* ], x6 p. H当需要搬运数以亿计的参数在运算核心与存储位置之间往返时，其消耗的能源和时间远超过数据运算本身，严重影响了整个模型的运算效率。这就是所谓的"冯·诺依曼瓶颈"或"内存墙"。因此，具备高带宽、能够在单位时间内存取大量数据的HBM成为了大型语言模型计算芯片的最佳解决方案。$ f" j( u4 w' ~5 R" p+ D
wwstojnjajc64046309042.jpg
) U) y0 b u6 F- m5 `4 l0 l% ?' V' c' ?/ f4 R) _$ b
HBM的技术优势7 n' A0 P, P9 w0 Q8 P- n! r$ I$ m
; a- S$ w+ Z/ P8 h: ?
HBM虽然没有突破冯·诺依曼架构的限制，但在很大程度上解决了传统DRAM（DDR、GDDR、LPDDR）在带宽、容量、功耗三方面难以兼顾的问题。记忆体带宽等于I/O速率（数据速率）乘以总通道宽度。4 E0 _# x) N* q* z4 N* ^ t
/ R- } O6 v/ u! o9 O" r) a- fHBM采用TSV（穿硅孔）技术，直接在内存芯片上钻孔制成导线通道，并利用微凸块将多个die堆叠。这种方式显着增加了I/O数量，使得HBM3E之前的世代均具有1024位宽，远超传统内存32/64位的规格。同时，HBM通过2.5D封装（CoWoS）技术，将DRAM die与GPU封装在同一硅中介板上，大幅缩短了数据传输路径，有效降低了能源消耗。
' u8 h0 l6 H" _2 G$ d: @7 P! O市场现状与未来发展
3 |7 _" G$ v4 v+ w# n/ V: M
8 f$ r2 u' B" s! n5 ~) \2 z4 }目前HBM市场格局主要由SK Hynix、Samsung和Micron三大厂商主导。SK Hynix占据50%市场份额，并成为NVIDIA H100的HBM3独家供应商；Samsung紧随其后，占据40%份额；而Micron则占据剩余10%的市场。# _' L f5 Q6 ^$ u# O# C* X
/ Y8 S# z# ]7 n T/ p展望未来，2024年下半年HBM3E将逐步取代HBM3，而HBM4预计将在2026年推出，可能采用2048位通道宽度。技术创新方向包含提高TSV密度、改进键合凸块技术、探索扇出式封装以及整合光电子技术等多个方面。
5 E" q. \+ Q$ _% `
2j1uaxtlktg64046309142.jpg
( q+ h. N6 X+ D0 T' j5 G' A" A
m3vsdv1fk0e64046309242.jpg
) X9 p1 h5 O: f4 m/ [! L
dqbjydvbhss64046309342.jpg
$ ~' d9 v! M: n Z4 L5 M
zwc4a4nqvme64046309442.jpg
# B( x: M' |) ]3 J* d技术挑战与未来展望
" @# l3 \! V$ ^4 I7 O2 e& V
/ M# s8 I% `/ `, Q随着大型语言模型参数量以约410x/2年的速度增长，当前HBM技术面临着散热问题、制程微缩的边际效应、晶圆产能限制以及成本居高不下等多重挑战。未来发展将主要聚焦于提升制程技术、改进die堆叠技术、创新硅片硬件架构以及发展特化型解决方案等方向。! b9 y- n% Z+ @ Q, R
参考来源' P7 L3 q8 P2 B1 n" v- T
# `/ X+ u9 t- r* {8 ~
[1] https://www.redef.tech/home: B7 h$ r( o' h d! y
END
/ s1 F: t' G* H" J( J! L: H% a; U0 b. A( K
软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
0 J$ _& B# y+ p% p& a- k点击左下角"阅读原文"马上申请
4 z- M. Y5 p* d1 ~' _; q& R5 {8 C5 s8 w/ o A' [* x( G
欢迎转载
. e0 W. E$ F/ A& `4 R5 H) ~5 t+ Z J- h! B1 |2 P
转载请注明出处，请勿修改内容和删除作者信息！! X* ]. c+ O; J
, u( D3 n0 R; n, c9 }5 I! X1 @# n
" ^- \* b5 G: k9 N2 z! t" F$ O- U: g. h
pf1vxmodjto64046309542.gif
7 }3 M) K' @) ?
. B/ ~$ N6 ^9 ], K关注我们
3 {" @3 ?1 ]9 p3 R [
2 q5 k& u# y" x7 P' T4 }9 a: [
hktsscz0rgn64046309642.png
/ I% A% F$ [2 D$ r3 l |
, I. R. h6 Q- T+ N4 T. b
gvpcvep13cr64046309743.png
$ J: R) y+ v. M! O" |. n
|
) j$ i& \3 y' T: F
kxafb5c5w5x64046309843.png
! j, k' F Q4 i$ V( E7 Z1 n
|
1 V: N7 R$ Y3 j
3 R/ J0 n' f+ A% T+ j/ d& g/ s% G0 C( W* z( d
1 T- H# l: f+ k
关于我们：# m" R% i. C0 d2 G8 `0 S( @
深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。( ]/ r$ O. }; t+ }. j$ P( e- D
0 z. e8 ]) z' k( C* @. ]http://www.latitudeda.com/
1 Y" y4 h! m) F2 n6 @) e: S9 [3 p（点击上方名片关注我们，发现更多精彩内容） | 
电子产业一站式赋能平台
窥视卡
置顶卡
变色卡
