Hot Chips 2024 | 人工智能的可预测规模扩展和基础设施挑战

逍遥设计自动化

引言
人工智能（AI）正以前所未有的速度发展，像GPT-4这样的语言模型展示了令人瞩目的能力。本文探讨了AI中可预测规模扩展的概念，及其对基础设施的影响，以及大规模部署AI系统所面临的挑战[1]。

理解AI中的可预测规模扩展
% x4 S$ v6 j9 r9 S8 Y7 }, n- SAI模型的发展，特别是大型语言模型，遵循了可预测的规模扩展模式。这意味着随着我们增加这些模型的规模和训练数据量，其性能会以某种可预测的方式提升。

qjl0mhmgkj164058360120.png

oyibvfiikg364058360220.png

, J- q4 Q: m6 w3 p$ R& J, c

byekp2qgjw364058360320.png

7 N* P" H1 f3 i2 E$ k* w+ p图1：AI模型的可预测规模扩展。这张图展示了模型规模与性能之间的关系，显示了像GPT-3和GPT-4这样的大型模型如何实现更好的结果，并对未来模型进行了预测。
3 d6 B* x* n- o$ v
* @7 f9 ^5 e" d+ {6 p图1展示了模型规模与性能之间的关系，说明了较大的模型往往能够实现更好的结果。这种趋势已在各种AI基准测试和任务中得到观察。

/ R1 `% f" `1 l1 N可预测规模扩展的概念源于这样一个想法：下一个词的预测，作为许多语言模型的主要任务，是理解和生成类人文本的有意义代理。随着模型变得更大，并在更多样化的数据集上进行训练，模型似乎能够捕捉到数据中更细微的模式和关系。
, G+ [; g* P( `2 r, }# {. R
来自 OpenAI的Trevor Cai在他的演讲中强调了关于AI模型规模扩展规律的三个关键点：

下一个词的预测是有意义的。

规模扩展存在回报。

这些回报是可预测的，并且可以进行外推。
' |) W9 @) N  |3 A5 P3 B# Y$ I1 M+ `[/ol]
" }# o4 c# V7 L6 S8 i3 j, \9 i* R这种可预测性对AI行业有重要影响。它表明我们可以预测通过扩大模型规模可能实现的性能提升，这反过来又为基础设施投资和研究方向的决策提供了信息。
2 A4 n) q' ]) I* n
+ i8 y% |: r' o. y2 s) A7 E" C9 Z: `: E6 H对AI基础设施的影响
AI模型的可预测规模扩展导致了训练和推理所需的计算资源急剧增加。这种趋势在整个AI行业都很明显，OpenAI等主要参与者不断扩大其计算能力。

mwug5jt0lzw64058360421.png

01wsvxxceru64058360521.png

f5fgp33l0ug64058360621.png

图2：行业计算趋势。这张图展示了从2018年到2024年用于训练前沿AI模型的计算资源（以FLOPs计）的指数增长，显示了随时间的显著增加。
% ?5 k; c! m. U& @: L& n
- \1 w8 G, ~$ o( Z8 J9 [图2展示了多年来用于训练前沿AI模型的计算资源的指数增长。这一趋势与领先AI模型的训练计算量每年增长4-5倍的观察结果相一致。
7 G  w) [# a8 {' \4 {; m
这种计算资源的快速扩展带来了几个挑战：

基础设施可扩展性：AI公司需要建立和维护越来越大的GPU集群或专用AI加速器。

电源管理：随着AI集群规模的增大，管理功耗变得非常重要。演讲中提到了需要低延迟的功率遥测和带外功率管理，以最大化可用功率资源。

大规模可靠性：随着集群的增长，硬件故障的概率也在增加。这需要强大的错误处理和优雅降级策略。

成本管理：计算需求的指数增长意味着在硬件和基础设施上的巨大财务投资。
[/ol]
2 w$ ^" e; ^4 P2 h8 }3 y为大规模部署设计
考虑到AI规模扩展的轨迹，设计系统时考虑大规模部署非常重要。这涉及考虑几个因素：
- P5 D4 R+ g4 o+ Q6 P
A. 集群级别的可靠性、可用性和可维护性（RAS）
1 S/ e) R1 t7 e: L0 V1 s; X大规模AI集群面临许多可靠性挑战。演讲强调，仅光学组件故障就可能在几分钟内发生，更不用说高带宽内存（HBM）错误或板卡故障等其他问题。
5 S; d8 m) e* ^( x- R
为应对这些挑战，建议采取以下策略：
$ M$ n0 t+ L" @5 ?- b& c1. 通过实施错误处理层级来最小化维修成本：异常 > 进程重启 > GPU重置 > 节点重启 > RMA（退货授权）
8 X1 T# G  T  w2. 减少故障的影响范围。例如，一个端口的链路抖动不应影响相邻端口。
3. 实施优雅降级。某些故障可能不需要立即的技术人员干预。
0 K" u: X, j) B* y0 v2 A4. 开发可以在现场执行的自动化、快速和广泛的验证流程。
3 h5 z8 R9 J3 P  m) e
B. 电源管理
' t' i0 `1 A0 e/ j) s) q$ g  m功耗是扩展AI基础设施的重要约束。演讲强调了以下需求：
1. 低延迟功率遥测
5 \% c# Q& w  A4 A7 T' ^2. 带外功率管理
! [- a- c0 Z- g: U8 k3. 跨集群的动态功率分配

这些功能允许更有效地使用可用的功率资源，并可以帮助管理由同步训练步骤导致的功率抽取抖动。

avodhbpyhxb64058360721.png

图3：总结了演讲的四个主要要点，强调了可预测规模扩展、基础设施建设、大规模部署设计的重要性，以及考虑性能之外的多个需求。
9 ~: k  Q  |/ j1 b
- d/ `) D& F+ Q- ~& o( `6 y结论
. l/ u2 C. f( ~) bAI模型的可预测规模扩展既带来了令人兴奋的机会，也带来了重大挑战。随着不断推动AI能力的边界，还必须在基础设施设计和管理方面进行创新。AI的未来不仅取决于算法突破，还取决于我们建立和维护为这些模型提供动力的大规模计算系统的能力。
0 a5 e5 J% ^/ r8 }  d3 V7 f) u
通过在基础设施设计中关注可靠性、能源效率和可扩展性，可以创建一个支持AI技术持续增长和发展的基础。展望未来，AI的成功不仅在于提升我们对智能的理解，还在于掌握大规模计算的复杂性。

+ \3 ?. X- F9 {* |/ i2 w参考文献
1 E' V" }; k6 @3 A[1] T. Cai, "Predictable Scaling and Infrastructure," presented at HotChips, Aug. 26, 2024.

; O& @! n! @9 ?- END -

  {% S& Q; Z. a  d3 q软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
3 K) x: F8 h4 h# H: F9 N/ O. y* W点击左下角"阅读原文"马上申请
7 K9 {$ }- l6 @
2 W4 a6 j. A. U+ s/ a5 |" \欢迎转载
2 x6 I) o' O# r6 z1 T' n! j6 Y2 m
转载请注明出处，请勿修改内容和删除作者信息！

$ l% D8 N! ~$ n; k9 K

tvswznf0jiz64058360821.gif

: F! k& `" p, Z# i& L" k3 ]关注我们
/ p* h( C! M, x2 Y2 o0 t  X; N
- f0 i8 R: g' D  }8 q

galh1wk33wg64058360921.png ! f) ?( B5 R' Z+ c& C3 [

8 N& s9 }& n- W, {. @# e rzig3uaxptt64058361021.png

: j3 Q  j3 w* A8 U( i$ c9 [: Y" q( z iubnab1xnkq64058361122.png

                     


% t6 J6 I) A# u' F$ b7 S4 g
关于我们：
2 u, L5 s4 @" v. ~0 |* {! B- V! L4 [# m深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。

2 y# R% b+ i; o7 p0 A9 Y3 d" fhttp://www.latitudeda.com/
（点击上方名片关注我们，发现更多精彩内容）