Hot Chips 2024 | AMD Instinct MI300X新一代加速器推动AI和高性能计算

逍遥设计自动化

引言
本文旨在帮助读者了解AMD Instinct MI300X加速器，这款加速器代表了人工智能（AI）和高性能计算（HPC）技术的进步[1]。我们将探讨MI300X的架构、特性和性能，展示其如何满足生成式AI和大型语言模型（LLMs）不断增长的需求。

# F' U; n# e2 HAMD Instinct MI300X简介
# K/ m' |: I6 }  mAMD Instinct MI300X是AMD持续推进HPC和AI计算能力的成果。在其前代产品的基础上，MI300X专注于统一内存、AI数据格式性能和节点内网络通信的改进。

2 k9 p9 L6 u' x# ]* g

q2iowyshnqu64024937633.png

图1：AMD Instinct加速器的演进历程，展示了从MI100到MI300X的技术发展重点。

架构概述
MI300X的核心是AMD CDNA 3架构，采用多Chiplet设计，包含1530亿个晶体管，使用台积电5nm和6nm FinFET工艺制造。
5 `$ b# o- z4 ^- x/ ?; O

yh3125r1hyw64024937733.png

图2：详细展示了AMD Instinct MI300X多Chiplet加速器的结构，包括多个XCD（GPU Chiplet）、HBM3内存和互连设计。

MI300X的主要特性包括：
+ X, J* M' L5 i' I

304个计算单元

1,216个矩阵核心

192GB HBM3内存，带宽达5.2 TB/s

第四代Infinity Fabric，带宽高达896 GB/s
. L: Y2 s! l4 ]+ {7 Z0 `1 b4 Z
# y* q5 s- C: o6 X5 j1 n( ]- UMI300X的架构针对AI工作负载进行了优化，特别是在矩阵运算和低精度计算方面。

CDNA 3架构改进
9 o  B; s  Y/ I3 ~& U* eCDNA 3架构相比前代产品有显著提升：

每时钟周期每计算单元的低精度矩阵运算能力翻倍

支持INT8、FP8、FP16和BF16格式的2:4结构化稀疏性

新增TF32和FP8数值格式支持

支持各种浮点和整数运算的并发执行


& l+ {/ j, x/ R3 H( b+ L

ogek23y05in64024937833.png

图3：MI300X与MI250X计算能力的详细对比，突显各种数据格式的性能提升。


: H1 }. _2 @$ \) p内存系统
MI300X的一个突出特点是其内存系统：

全球首个8堆栈HBM3内存架构

每个加速器配备192GB HBM3内存

5.2 TB/s的内存带宽
$ j9 U- A4 M% I  T) A! Q
/ m5 T% p' r/ J. M这种大容量内存使MI300X能够处理比竞争对手更大的AI模型。例如，单个MI300X平台可以支持高达6800亿参数的LLM推理任务。
% g2 u0 Q) c, ~9 `  S

abjx3vckule64024937933.png

2 I, U1 i  `, I8 T% Q图4：AMD Instinct MI300X与NVIDIA H100内存容量和带宽的对比。
+ S0 I; W, V6 k6 \2 ]' \
缓存层级和Infinity Cache
0 o5 Z1 `1 _" k% ~' n* v4 sMI300X具有复杂的缓存层级结构：
+ x; U8 u6 d$ p5 B: O

每个计算单元32 KiB L1数据缓存

每两个计算单元共享64 KiB L1指令缓存

每个XCD有4 MiB L2缓存

256 MiB Infinity Cache


: d+ ^# K7 ?$ R3 a0 A

4exaqyeliv064024938033.png

2 O! G% t' y( I( f; Q图5：MI300X的缓存和内存层级结构图。
# s0 ?& {: |+ v
/ X" t- ^7 |, p4 Z, {  I) uInfinity Cache是一个亮点特性，提供256 MB缓存，峰值带宽达14.7 TB/s，在带宽放大、功耗降低和延迟改善方面带来显著益处。

空间分区和虚拟化
6 B9 ?/ F- J+ hMI300X支持灵活的空间分区，允许将GPU分为多个分区：
1 p8 n6 G! s1 `8 d' i- m5 m- a3 f

可以分为与XCD数量相等的分区

支持单根I/O虚拟化（SR-IOV），每个平台最多64个虚拟功能（VF）

支持动态重新分区以优化工作负载

& H$ n+ K, j' M0 g

ggm0g4zyhjz64024938133.png

; Y9 a9 E( i( i6 ~3 P' X& c" D# d图6：展示了AMD Instinct MI300X GPU的多种空间分区配置，突显其在不同工作负载和虚拟化场景下的灵活性。

* Y* B; Y$ C+ D7 v0 a4 pAMD Instinct MI300X平台
' ^1 M9 x0 G: E  u! k8 `& H% R, oMI300X设计为在平台配置中工作，通常包括：

8个AMD Instinct MI300X加速器

BF16/FP16性能约为10.4 PetaFLOPS

总计1.5 TB HBM3内存

Infinity Fabric带宽约为896 GB/s

fxyxxvy0tm164024938233.png

) A) t: h+ H3 k- B8 d+ z图7：AMD Instinct MI300X平台的概览，展示其作为领先生成式AI平台的关键特性。
# M; _: z+ ^* Y+ m; J( e6 i9 m/ d7 H
3 M/ J# I- v' ?6 g! W2 wInfinity平台和生态系统
- e- i9 |5 V8 \  k5 WMI300X Infinity平台通过AMD Infinity Fabric为8个OAM（开放加速器模块）提供直接连接：

七个双向链路，每个带宽为128 GB/s

每个OAM配备PCIe Gen 5 x16，用于服务器连接和I/O

192GB HBM用于RDMA（远程直接内存访问）
% ?' M  f: h( Q  \8 b3 P9 a- n: R
6 z+ v# X/ {1 ]

bfmnlzuyiwz64024938334.png

: ]3 R4 _# Z4 x+ U% Y; d图8：展示了MI300X Infinity平台的结构，说明了多个MI300X加速器之间的互连以及与主机服务器的连接方式。

8 ^3 `' R9 ?% O5 N! S4 T) r该平台还符合行业标准并提供高级特性：
. Q, k6 j1 x  \1 k  s5 x

符合UBB 2.0标准，实现快速部署和无缝数据中心集成

增强的安全特性，包括SPDM认证

全面的RAS（可靠性、可用性、可服务性）特性

先进的遥测和固件管理功能
- m2 }( L- P) g6 Z
% P5 u* R/ m0 M' b6 F软件生态系统
2 e1 b* T7 p* Z4 H, }$ XAMD为支持MI300X开发了软件生态系统：
' m% a9 J' \2 J3 ^, h

ROCm（Radeon开放计算）平台用于GPU计算

针对AI和HPC工作负载优化的库

支持流行的AI框架，如PyTorch和TensorFlow

扩展的开发者工具和运行时环境

这个软件栈确保开发者能在各种应用中高效利用MI300X的能力。
+ D4 c: K' ^5 h+ y+ B8 J8 O
AI工作负载性能
0 E; Z3 s5 p8 B) K' ^MI300X在各种AI任务中展现了令人印象深刻的性能：

Meta Llama-3 70B模型的令牌生成吞吐量比NVIDIA H100高出1.3倍

Mistral-7B模型的吞吐量高出1.2倍

在模型微调任务中表现出色

/ e! j- t! O) d

qdmdth2s0oc64024938434.png

; f5 o/ w8 F  c. f图9：AMD Instinct MI300X与NVIDIA H100在Meta Llama-3 70B和Mistral-7B模型上的令牌生成吞吐量对比。

: J  q; f! z2 `9 \结论
' Y, J, Y# o4 SAMD Instinct MI300X代表了AI和HPC工作负载加速器技术的进步。其创新架构、大容量内存和强大的计算能力使其成为高端AI加速器市场的有力竞争者。随着对更大、更复杂AI模型需求的不断增长，MI300X高效处理这些工作负载的能力使其成为推动AI研究和部署的理想选择。

3 \/ O( w: h9 Q1 n凭借灵活的分区、先进的内存系统和强大的软件生态系统，MI300X完全有能力应对从训练大型语言模型到加速推理任务的各种AI挑战。随着AMD持续完善和扩展其AI产品线，MI300X彰显了该公司在快速发展的人工智能和高性能计算领域推动创新的承诺。

3 X* y. e0 e& }2 ]) t; |2 k( ?参考文献
9 Y/ w9 c$ Z( M3 R( R0 R4 T' K[1] Smith and V. Alla, "AMD Instinct MI300X Generative AI Accelerator and Platform Architecture," in Hot Chips 2024, Aug. 2024.
$ m) ^) [; V1 {0 M1 |- Q7 m
- END -
. {3 i7 P: P5 o( F) p  V$ W
4 e7 a0 n" s5 `* v: `' f软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
4 Q( ]  D/ l( T* w4 _$ w点击左下角"阅读原文"马上申请

欢迎转载

转载请注明出处，请勿修改内容和删除作者信息！
8 [+ S6 ]6 V- k

3 Y0 V/ K( N  x2 l8 R* q; n

whraycy4pwq64024938534.gif

, g: ], W# ~  L1 `6 `- a# e关注我们

( h" F, u5 L+ v* p- X& }

k5tkk1oi1r364024938634.png ! {$ H& ?: {2 Y' N: }: |6 G

an1bh1cylh464024938734.png 1 t6 N0 m. j" c6 [0 R" o# c

' {5 o6 i5 y  S( H: Y+ U/ v hktsuthux0d64024938834.png 8 O$ U+ g; Y: ~$ u# O- [# s- ]8 Z$ Z

                     
. M$ n' ]  g2 P: E
6 N) P, M0 h- n
, J+ \2 ^) {( ~9 H; H. g$ V
. w  j( g- [9 E. }5 m: u关于我们：
深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。
# L3 G5 W% J9 Q. b8 T. R2 b
1 _. V! k: G( W# \6 }9 Fhttp://www.latitudeda.com/
（点击上方名片关注我们，发现更多精彩内容）