Hot Chips 2024 | 特斯拉的以太网传输协议（TTPoE）推进AI互连技术的创新

逍遥设计自动化

引言
- d- J5 C8 B; Y. k5 _7 T$ q: r本文介绍特斯拉公司开发的创新协议：特斯拉以太网传输协议（Tesla Transport Protocol over Ethernet，简称TTPoE）。

在人工智能（AI）和机器学习快速发展的今天，对更快、更高效的数据处理和通信的需求不断增长。特斯拉公司凭借其Dojo超级计算机在AI计算领域取得了重大突破。TTPoE协议是这个突破性系统的核心。

& _/ ?) v$ l& ?) f7 j6 `

sqotqmpy1yr64068664111.png

图1：说明了问题陈述和特斯拉AI理想结构的特征。

+ o1 }- e, @6 w. a% H. aTTPoE协议的诞生
传统网络协议如TCP/IP虽然稳定且应用广泛，但在面对AI工作负载的极端需求时显露出局限性。这些协议常常受到CPU软件内核的限制，导致延迟增加和吞吐量受限。此外，高性能计算中常用的无损结构虽然可靠，但复杂性高且脆弱，一旦出现问题可能影响整个网络。

+ m5 M" h. V  m; m2 C& K9 x特斯拉识别出需要一种能够提供以下特性的网络结构：

最低延迟

最高带宽

简单的软件实现

仅限第2层操作

高效的集体通信和数据摄取

单一应用环境下的低拥塞
[/ol]
# T4 o3 o9 s4 [1 tTTPoE：硬件执行的传输协议
TTPoE是一种完全由硬件执行的点对点以太网传输层协议。这种方法具有多项优势：

垂直整合：将Dojo远程直接内存访问（RDMA）功能扩展到光纤结构。

"有损"以太网网络：这种设计选择有助于更容易的扩展、更高的成本效益和更好的拥塞管理。

与第三方硬件兼容：TTPoE使用标准以太网II帧，确保广泛的兼容性。
[/ol]

" M, g" g2 v, _

jjj2pvf01tw64068664212.png

图2：比较了标准TCP/IP栈与使用TTPoE的Dojo栈的OSI层。

% x: n  D- _# C5 N' o# t, _6 qTTPoE通过在硬件中实现传输层来简化网络栈，同时在较低层保持与标准以太网的兼容性。这种方法允许AI计算节点之间更快、更高效的通信。
8 @. D" ^  a4 ~* ~5 f4 f+ J8 ~  W
TTPoE链路通信
: s' s9 [! u9 C$ R/ c: Y0 r  dTTPoE协议使用简化的通信过程进行设备间的数据传输。

% c8 B7 [" N$ d& q5 l

fg5dyhxfo1u64068664312.png

图3：展示了TTPoE链路通信的例子，包括正常传输和涉及数据包丢失或乱序传输的情况。
& a. U/ q5 b: }) y+ P5 Y
在正常传输中，协议高效地在设备间移动数据，开销最小。当数据包丢失或乱序到达时，TTPoE使用NACK（负面确认）系统请求重传，确保数据完整性的同时不影响性能。
" A6 U3 V$ x( ^4 ^5 L$ E
TTPoE状态机
) s# c9 |9 @' y: z- }4 xTTPoE状态机是传统TCP状态机的简化版本，针对硬件执行进行了优化。
' u* t! c  P% S$ i; ^$ V

ktpskdg1j5l64068664412.png

图4：比较了TTPoE状态机与标准TCP状态机，强调了为硬件执行所做的修改。

: a0 U& r+ o* {6 m/ u) ]主要修改包括：

更快的状态转换，适合微秒级协议

不依赖虚拟内存，仅使用物理内存

无需软件参与的自动OPEN/CLOSE操作
2 Z: \4 w% R9 N" V8 r# x- C3 {[/ol]
. R- G+ T9 s0 R$ Z这些变化使TTPoE能够以极高的效率运行，相比软件协议大大降低了延迟并提高了吞吐量。
) g% q5 h; }& {) [- c" F6 k# j
2 u- U( [1 Q# b+ W% p, ETTPoE头部帧
4 G1 O& b7 y- g5 _" L4 @/ Z; o: OTTPoE协议使用基于以太网II的简单高效的头部格式。
  x! R/ N% a2 r

vlfhyao0xsm64068664512.png

图5：详细说明了TTPoE头部帧结构。
5 t# e! p2 ]$ @9 B3 }$ h
' g9 h* Q- g: q3 a& n. Q, }TTPoE头部的显著特点包括：

使用从SOW物理地址硬件哈希派生的MAC地址

每个端点支持512个并发唯一链接

虚拟通道（VC）用于非阻塞控制、信号量、完成和数据移动
( ?, e( `, V2 V; O* k[/ol]
有损协议设计
与许多追求无损通信的高性能计算结构不同，TTPoE采用了"有损"设计理念。
9 e3 q0 O5 M& a8 a
5 l6 m- w- t, a8 s: H& F

p4zdzu2ryus64068664613.png

图6：解释了TTPoE作为"有损"传输协议的概念。

在这种情况下，"有损"意味着底层介质预期偶尔会丢失数据包，并在需要时重试传输。这种方法类似于TCP但不同于UDP，仍然保证完整的数据包传输，同时允许更灵活和可扩展的网络设计。
! v6 A. _& u' ~' C( I8 H; ?
TTPoE有损设计的关键方面包括：

在拥塞或错误情况下默认采用数据包丢弃和重放

投机传输受SRAM大小限制

本地SRAM保留未确认数据以便潜在重放

SRAM约束限制重放风暴的规模
[/ol]
  q7 ~2 `: S- n) i  l3 x3 i拥塞管理
TTPoE采用分布式方法进行拥塞管理，摒弃了集中控制机制。
/ i( Q8 E* o( c/ \9 C' r( c

y3srmw3pmfc64068664713.png

& Q& L9 I- h/ e1 [. d图7：概述了TTPoE的拥塞管理方法。

TTPoE拥塞管理的主要特点包括：

指数回退和速率控制由本地链路TX通道处理

容错流可以"刷新"网络并移除坏链路

没有传统的拥塞控制机制，如PFC、Nagle算法、QoS或令牌
% C* s6 M, x9 E  j[/ol]
这种分布式方法允许更可扩展和弹性的网络性能，特别是在大规模AI计算环境中。
+ {/ R: t0 ~, _3 J  h- ?
# k. {' _8 n/ ~TTP MAC IP块
+ |/ x7 q5 F2 x3 T/ h, w- s2 k7 KTTPoE中的传输层硬件作为IP块实现，位于片上网络（NoC）和标准以太网MAC之间。

e12wuc2h2bk64068664813.png

图8：显示了TTP MAC IP块在网络栈中的位置。

- g! \' I- D) s( R8 |# ]/ Q这个IP块执行几个关键功能：

将64B/周期NoC数据包转换并合并为最大1kB的TTP以太网数据包

使用AXI-S或SOP/EOP格式通信

可选激活标准MAC功能，如暂停数据包、计数器和LLDP
& H' M( x- c; Y" T; g[/ol]
TTP MAC IP可以在FPGA和硅实现中实例化，提供部署灵活性。

实际性能
特斯拉已在其Dojo超级计算机中实施TTPoE，取得了令人印象深刻的性能指标。

% }( L" S* l7 A! V7 }1 T1 g

uimq30ub02v64068664913.png

图9：展示了TTPoE与其他网络技术相比的性能结果。

这些在高性能网络交换机上测量的结果展示了TTPoE在延迟、带宽和全归约性能方面的能力。该协议在保持大规模高吞吐量方面表现出色，这对大型AI训练工作负载来说尤为重要。

% [& w0 U7 A% O结论
特斯拉的以太网传输协议代表了AI超级计算网络技术的进步。通过将传输层重新构想为硬件执行的有损协议，TTPoE在保持与标准以太网基础设施兼容的同时实现了卓越的性能。随着AI工作负载规模和复杂性的不断增长，像TTPoE这样的创新将在推动机器学习和人工智能可能性边界方面发挥关键作用。
- `9 w8 {$ r' U  v1 P
参考文献
[1] E. Quinnell, "Tesla Transport Protocol over Ethernet (TTPoE): A new lossy, Exa-Scale fabric for the Dojo AI Supercomputer," in Hot Chips 2024, 2024.
$ `1 K- q8 D5 N6 v4 D. z7 o
- o+ k2 f- t8 L4 a1 w8 H- END -
) F. g' [  F0 ?! P2 y% g1 I" V" j
软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
" P# p+ P8 b( L点击左下角"阅读原文"马上申请

欢迎转载

转载请注明出处，请勿修改内容和删除作者信息！
( M) U, y) S) j% p) F1 j$ l

! |6 x( `; Z# a

mz3nh2fhhp464068665013.gif

$ }  t) O  H0 K. o: {: b
关注我们

5 ^. B8 f/ T& l! a

, [/ i" D: U8 a* T# m yroq3gxl5fl64068665113.png

' H' ~# b% D; q0 x+ d* g' c* S jx4nbhzvjzq64068665213.png : k+ E- w- R. L- D0 n

0 `& |/ Y2 Q- R% n0 g rymxhen4y3t64068665313.png

                     
% @  y' ?/ \) p


关于我们：
. j4 H" Z" ?; X) p: e深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。

http://www.latitudeda.com/
（点击上方名片关注我们，发现更多精彩内容）