Ayar Labs | 光I/O对未来AI盈利能力和性能的潜在影响

逍遥设计自动化

引言
近年来，人工智能（AI）已成为我们技术环境中不可或缺的一部分。然而，尽管在AI基础设施上投入巨资，但显著的盈利突破仍然难以实现。本文将探讨AI基础设施当前面临的挑战，介绍光I/O作为解决方案的概念，并讨论其对未来AI盈利能力和性能的潜在影响[1]。
0 |+ i' v6 T; ^( H3 m# p: `
人工智能基础设施挑战
0 Y* M' K5 o- R, I. f. N随着ChatGPT推出接近两年，AI驱动的SaaS公司的淘金热已经遇到了障碍。这一挑战的根源在于芯片级的互连瓶颈，这严重影响了AI堆栈顶层的单位经济效益。
- j" m8 P4 w9 r5 E$ D5 k# `, B3 y
3 ^9 w  ]+ T( C2 K9 i1 S+ @: B当前的AI模型在规模和复杂性上不断增长，但底层基础设施的能力和经济性未能相应扩展。这种不匹配导致硬件架构的总拥有成本（TCO）高昂且性能有限，这些架构受到电气I/O带来的带宽距离瓶颈的限制。

5emv2tcbgg064077132920.png

图1比较了当今领先的AI扩展解决方案和潜在未来解决方案的吞吐量与盈利能力。

& t( r6 x. J) K$ i$ _$ j当今大规模AI系统的主要瓶颈可归因于两个主要因素：

内存带宽：这决定了从内存加载注意力缓存和模型权重到GPU所需的时间。

扩展Fabric：这决定了专家/张量并行GPU之间通信激活所需的时间。
; G; Q0 w  [; F+ `[/ol]
  [. F' P# C2 l* m% [% j传统的铜互连和可插拔光学在当前AI基础设施中未能有效地从封装到集群扩展计算进展。这一限制导致效率低下、功耗增加和成本上升。此外，铜互连将扩展域大小限制在单个机架内，限制了有效内存带宽和容量，最终限制了在这类集群上运行的推理模型的盈利能力和交互性。

引入光I/O的盈利之路
  M' I7 n( J8 L4 [9 |  r9 t" s为解决这些挑战并为AI盈利铺路，需要一种新方法：封装内光学I/O。这项创新技术有潜力将下一代GenAI的盈利能力提高20倍，并将交互性提高3-4倍。
! A. I9 e, d+ Z/ z# t( V

jegausryd1o64077133021.png

图2展示了使用Ayar Labs光I/O解决方案的扩展网络。
, d' v5 s3 f$ s1 U
; @# Q% f8 W2 b光I/O通过实现以下优势为带宽距离瓶颈提供了明确解决方案：
* H. x& U6 T) H, u9 n( f) ^

提高推理和训练的应用级性能

优化TCO指标，包括吞吐量、交互性和盈利能力

能够在更大距离内连接更多GPU或加速器

在不增加每机架功率的情况下提高集群性能
/ j8 P9 p* v; I
* }: D* Q4 i( \& k为更好地理解光学I/O对AI盈利能力的影响，让我们探讨大规模AI的三个关键性能指标：

f0noqmazib464077133121.png

图3显示了大规模AI的性能指标，包括吞吐量、交互性和盈利能力。

吞吐量：定义为用户数量除以每个输出token的时间，这个指标是AI应用盈利能力的关键组成部分。

交互性：这表示AI模型在查看不同推理工作负载时的响应能力。定义为每个输出token时间的倒数。

盈利能力：这个指标提供了成本结构和应用实现盈利空间能力的洞察。计算方法为吞吐量除以成本和功率。
[/ol]
& H% v5 q) [% ^: R& [3 ^9 t为准确预测AI推理应用级性能，研究人员开发了一个系统架构模拟器，考虑了各种输入，包括模型规格、技术组件、模型优化、算法细节、网络Fabric和成本。

mvnl0qflxqn64077133221.png

图4展示了Ayar Labs用于预测AI推理应用级性能的系统架构模拟器。

光I/O对当前和未来AI模型的影响
- T$ c# u0 M. D6 g让我们检视光学I/O如何提高当前和未来AI模型的性能和盈利能力。
+ o1 c5 Y7 h* v6 l1 A
当前GPT-4推理工作负载：
7 ?$ x- R! q8 m- A4 v! r6 @

5qxgrwm5gbh64077133321.png

图5演示了光I/O如何显著提高当今GPT-4模型的批处理和人机AI推理工作负载的盈利能力（6倍）和交互性（4倍）。
% v. Q3 D' A* C+ {
对于当今约1.8万亿参数的GPT-4模型，光学I/O可以在两个关键领域显著提升性能：

批处理：这涉及在大型数据集上运行机器学习模型，以生成批量信息的输出。例如电商网站上的产品评论摘要或基于观看习惯的流媒体电影推荐。

人机AI交互：这专注于实时或在线服务，根据需要即时生成预测。例如ChatGPT和各种副驾驶产品。
[/ol]
未来GPT-X模型
展望未来两到三年，我们可以预期约14万亿参数的GPT-X模型将变得普遍。与当前GPT-4模型相比，这代表模型规模增加了8倍。

wa14oritcu164077133422.png

图6比较了当今的GPT-4模型与未来GPT-X模型的估计。

对于这些未来模型，光I/O的优势变得更加显著：

fcaydgrmtsr64077133522.png

4 w2 e3 k! s' z5 e图7说明了光I/O如何有潜力将未来GPT-X模型的盈利能力提高20倍，同时将交互性提高3-4倍。
$ [6 f/ E" r& ~& q
0 z! p- t7 h! Q4 ^( t* Y. \根据系统架构模拟器，光学I/O有潜力：
, l2 E3 K/ H2 O( T6 X$ u# R

将盈利能力提高20倍

将交互性提高3-4倍

成为GPT-X未来模型所有用例的唯一可行技术

超越人机交互：实现多智能体推理模型
0 S5 Y. _+ C# {4 |/ j$ ^光学I/O最令人兴奋的前景之一是其能够实现超越当今人机交互的多智能体推理模型。这项技术使多个AI副驾驶或智能体能够在机器对机器的多智能体交互中相互通信。

想象这样一个场景，一名工程师正在研发专利，并利用一个co-pilot来利用两个专门智能体的专业知识：

专注于工程的智能体

专注于法律的智能体
[/ol]
这两个智能体将协同工作，提供快速、相关的洞察，显著提高co-pilot对工程师在专利开发中的价值。虽然基于当今的能力这似乎遥不可及，但光I/O使实现更接近。
  q  P5 u% h( I! L
克服数据中心基础设施挑战
传统的电I/O需要将组件紧密堆叠以推动扩展性能，这从数据中心基础设施角度创造了两个显著问题：

功率输送：大多数数据中心的设计不支持每机架120 kW的输送，因为典型的CPU机架为20 kW，加速器机架最高为40 kW。

功率密度管理：需要冷却解决方案的重大进展来管理机架内的高功率密度。
[/ol]

01mk315yssl64077133622.png

图8展示了Ayar Labs的光I/O如何非常适合AI扩展Fabric。

光I/O通过使扩展Fabric能够在更大距离内连接更多GPU或加速器来缓解这些压力。这种集群性能的提高不需要增加每机架的功率。实际上，您可以在每个机架部署16或32个GPU或加速器，并构建更多更好地适应数据中心基础设施的机架，全部通过光学I/O连接。

0 {, X7 ]7 H" i. ^8 Y结论：人工智能基础设施的未来
# s3 q& h/ R7 G0 O, |8 c9 v0 D- v4 L$ e展望AI基础设施的未来，很明显光学I/O代表着解决阻碍AI盈利能力挑战的转折点。通过打破带宽距离瓶颈并实现更高效的扩展Fabric，光学I/O为AI应用开创了新的可能性，从改进的人机AI交互到革命性的多智能体系统。

u3tdyo3gu2q64077133723.png

8 G! q! {( D% A$ Y$ O2 q8 x图9呈现了下一代AI平台的理论路线图。

对于寻求在"tokenomics"方面取得显著改进并确保当前AI投资带来重大经济产出和盈利的数据中心运营商和AI公司来说，采用光I/O技术将至关重要。随着我们继续推动AI能力的边界，光学I/O将在扩大交互性和连接性的盈利领域、解决功率和热密度问题以及最终释放人工智能全部潜力方面发挥关键作用。

: X, u( |9 {7 {& r4 W; H) P, ?8 J* E参考文献
[1] [Ayar Labs]. (2024, September 24). The Future of AI Infrastructure: A Path to Profitability with Optical I/O. Ayar Labs Blog. [Online]. Available: https://ayarlabs.com/blog/the-future-of-ai-infrastructure-a-path-to-profitability-with-optical-i-o/

/ x9 n5 [7 q8 @" a6 R" A( j- END -

$ i' H" ?4 ~6 g: c! O$ V软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
点击左下角"阅读原文"马上申请

欢迎转载
4 L' T, ^: r+ }3 e& ~6 j
" w' r) `. y; B; a3 _: {转载请注明出处，请勿修改内容和删除作者信息！

. ?% V  M5 D9 D" F' ^4 C' g
( O5 b. c4 {2 N  {8 E. T# Y" v
! `1 @1 [: M; [8 s3 G# r

tejhkioo2gd64077133823.gif

, ~4 g1 N% r: p) b9 p
! p, p5 p, C  w$ ]  q! q关注我们
' X2 b3 Q" N: H9 W6 Y8 H; T# a

0 [& |$ r3 @" _: Y+ |& v 2ertjb2pwif64077133923.png

3 k6 L0 Q; C  s3 }5 {1 ^: n wdzz02e4n2b64077134023.png 8 ]/ H0 Z0 I/ ~3 X% O

$ ^/ O! p+ U) a4 t  b pqb421kfeqb64077134123.png

                     
( z3 T* V4 |3 }- O% Y  M4 [" o1 q


关于我们：
: m( X* m1 q% P5 X( r深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。

http://www.latitudeda.com/
8 U: Z  ]# ~! v9 F（点击上方名片关注我们，发现更多精彩内容）