Hot Chips 2024 | 设备端人工智能的优势、发展与热设计挑战

逍遥设计自动化

引言
随着人工智能（AI）不断革新我们的生活方方面面，AI处理的方式和地点正在发生显著变化。本文探讨设备端AI的概念、优势、发展历程以及所面临的热设计挑战[1]。
" v4 Z, M7 G' x/ |6 }( {4 W
什么是设备端AI？
2 u* Z$ S4 U$ u& @  w( q5 Y. F设备端AI指的是直接在边缘设备（如智能手机、笔记本电脑和汽车）上执行机器学习算法，而不完全依赖云端处理。这种方法利用片上处理器，如神经网络处理单元（NPU）、中央处理器（CPU）和图形处理器（GPU）在本地执行AI任务。

kgsqbkl1e3k640106070653.png

' L( b4 Y# u2 e图1展示了设备端AI的概念，说明了智能如何向边缘设备转移，以及片上AI处理涉及的各种处理器。

+ b, Z+ @! Q' M; M" |( q设备端AI的兴起正在改变多个领域，使设备、机器和"物品"变得更加智能和响应迅速。虽然云计算对于大数据汇集和训练AI推理算法仍然必不可少，但设备端处理通过提供即时、本地化的AI功能补充了这些能力。
  t! c  N/ p$ @( \
* M4 f4 T. r7 E& C4 `9 T+ \设备端AI的优势和重要性
与云端AI处理相比，设备端AI具有几个显著优势：
( f% X( X( g& H, g! n! ^; d

低延迟：通过本地处理数据，设备端AI大大减少了AI驱动任务所需的时间，这对实时应用很重要。

增强隐私：将数据保留在设备上，减少了向外部服务器传输敏感信息的需求，从而提高了数据隐私和安全性。

离线功能：设备端AI允许应用程序在没有互联网连接的情况下运行，确保在网络覆盖不佳或无网络覆盖的地区也能保持一致的性能。

减轻网络负载：通过本地处理数据，设备端AI有助于减轻网络基础设施的负担，降低带宽需求和相关成本。

降低功耗：在许多情况下，设备端处理比持续向云端传输数据消耗更少的电力。
8 N$ s: A# k0 ]5 s
3 R7 f: K. Z. d9 \6 l

mcyry2klbb1640106070754.png

- h% ]: a( ]+ A  T& N! t图2展示了设备端推理的优势，突出了低延迟、隐私和可靠性等优点。
+ z6 |8 ^# y0 ]! f$ r0 Y8 k4 }
应用场景的演变
设备端AI的发展迅速且具有变革性。让我们探讨应用场景和硬件如何随时间推移而发展：

A. 2015年：早期设备端AI应用主要使用简单的卷积神经网络（CNN）进行基本任务。硬件仅限于标量和矢量处理单元。
& N0 S. f2 j  @* S" G! Z
% P% P# Y6 T4 `B. 2016-2022年：这一时期引入了更复杂的模型，包括Transformer、长短期记忆（LSTM）网络、循环神经网络（RNN）和高级CNN。硬件能力扩展到包括张量处理单元。

4 J; _5 K4 ]5 z/ b) kC. 2023年：随着具有数十亿参数的大型语言模型（LLM）、大型视觉模型（LVM）和大型多模态模型（LMM）的出现，格局发生了巨大变化。硬件进步通过改进的张量处理和针对Transformer的优化支持这些复杂模型。
( _1 H/ `% I- T
D. 2023年及以后：我们现在看到参数超过100亿的更大模型不断涌现，为复杂的AI助手、Stable Diffusion等图像生成工具和多模态生成式AI模型提供支持。硬件持续发展，引入微瓦片推理和增强对多模态AI任务的支持。

5ndik4hbfdp640106070854.png

图3描绘了从2015年到2023年及以后设备端AI应用场景和硬件的演变，展示了模型复杂性和相应硬件进步的发展历程。

热设计影响
随着设备端AI能力的增长，在移动设备上运行复杂模型所带来的热设计挑战也随之增加。设备端AI的热设计影响受几个因素影响：

工作负载依赖性：不同的AI任务会产生不同数量的热量，这取决于任务的复杂性和持续时间。

设备散热解决方案：设备冷却系统的效果在管理AI处理产生的热量方面起着关键作用。

硬件配置：处理器的特定组合及其功率特性会影响热输出。
4 H- [+ @' f5 W0 ]6 C: x, S$ s[/ol]
0 {% V6 \$ u- b. M% v目前，许多移动设备和笔记本电脑可以在可接受的热限制内运行具有数十亿参数的LLM。然而，随着模型复杂性的持续增长，处理能力、内存和功耗方面的潜在限制可能会导致热设计挑战增加。
+ K. V3 m: p1 H, u6 P

wsgs3edjk1j640106070955.png

图4说明了从移动设备到云服务器不同设备类型的模型复杂性和热限制之间的关系。
  r" R5 ?+ g$ M7 ?
潜在解决方案
为了应对设备端AI带来的热设计挑战，正在探索几种潜在解决方案：
9 o- f, z8 N) B) l: ^1. 提高性能和降低功耗：提高AI处理单元的效率是管理热输出最有效的方法。最近的进展显示了显著的改进，一些处理器在更低的热量下实现了高达5倍的性能提升。
9 V- Z# U7 Q4 }4 q1 W6 n6 }

bmqhkkxhv2s640106071055.png

图5显示了Intel Core Ultra 7 155H处理器的性能改进，展示了一小时持续使用期间的NPU性能表现。
- v6 S0 Z) x4 c  r: _
1 O9 k' Z( l  s, e7 d$ G2. 热缓解技术：实施类似于CPU使用的热管理策略可以帮助控制热量产生。这可能包括动态频率缩放和工作负载分配。
. W6 o2 y0 g3 D  _+ \: z
3. 混合AI：这种方法根据任务复杂性和设备能力在云端和边缘设备之间分配AI工作负载。通过在必要时将复杂任务卸载到云端，混合AI可以帮助管理移动设备上的热输出，同时仍然利用设备端处理对适当任务的优势。
" Z. h% g7 i5 V* ]2 t
! I5 ]0 @! X& {* Y" C. `4. 封装创新：芯片封装技术的进步，如2.5D和3D集成技术，可以提高每瓦性能，潜在地减少热输出。

$ B% n. t" s1 ?5. 持续AI研究：持续进行的AI架构和算法研究可能会导致更高效的模型，以较低的功耗和热量产生提供高性能。

0 h/ ~! r9 S! P4 U结论
; _4 L6 z2 T( B* k9 X$ m' [设备端AI代表了将智能功能直接带到边缘设备的重大进步。虽然提供了诸如低延迟、增强隐私和提高可靠性等众多优势，但在移动平台上运行复杂AI模型的热设计影响仍然是持续的挑战。

( N0 f3 X2 i6 U/ n7 k6 O随着该领域的不断发展，硬件进步、高效模型设计和创新热管理技术的结合将是实现设备端AI全部潜力的关键。AI处理的未来在于在强大的本地计算和可持续的热管理之间取得平衡，为各个领域日益智能和响应迅速的设备创造条件。

ntphc3wvfmi640106071155.png

图6总结了设备端AI的要点，包括其优势、当前状态以及克服热设计挑战的未来方向。
8 H$ s; K8 M2 k- s) M& ^
参考文献
" \+ K! C# \  \3 F5 ^" L[1] N. Nikfar, "On-device AI and its thermal implications," in Hot Chips 36 Symposium (HCS), Aug. 2024, pp. 1-25.
: R& ^  E0 r3 p$ _* B1 F5 [  }8 C/ V
4 |& |7 o6 q+ u+ yEND
$ i! G4 R* A+ h, N0 l  G

软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
点击左下角"阅读原文"马上申请

欢迎转载
, i8 _" [+ W/ N% ^* @
转载请注明出处，请勿修改内容和删除作者信息！

, \  V: T) F, u) G: C& H

" u$ u/ G$ N! d" u4 y' b

1lqwypxr33g640106071255.gif

5 u3 r2 t; q) }( P
  L* s" Q: ?: {关注我们

$ Z7 A, i' r& ^2 q1 a2 `

obm3laxvpvr640106071355.png 3 b% O7 X4 ?! F9 {4 ]6 D: p

dtfpzuzy5jn640106071455.png 4 x) S6 d( E* _  u7 h1 G8 U

) N% ?/ r; ~: G% n" C- q& ? xld0mma5o3b640106071555.png : e1 H5 d* p; T( u. N! w0 g

                     



5 s3 ?; @# g. X6 J& I关于我们：
% F2 _# I3 m: O# P6 c, ?0 y深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。
& i/ Q$ }) t* G/ n" ?0 w
2 s, h) ?+ i9 \' jhttp://www.latitudeda.com/
9 K) p2 N" ?$ k1 q（点击上方名片关注我们，发现更多精彩内容）