谈谈博通大涨, ASIC能替代GPU吗?

随着AWS发布Trainium2, 规模估算达到50万片, 以及未来Trn3的预期. 又伴随着博通CEO的预期这周暴涨, 似乎一夜间ASIC就要替代GPU了? 以前写过一个专题
#三万亿的破绽
半年了, 基本上还是在三万亿上徘徊, 此刻恰逢思科成立40周年, 今天想来谈谈历史, 上一次互联网泡沫时期, 思科是如何应对Juniper ASIC的挑战的, 顺便谈谈牧本摆动周期, 或许有些答案就显而易见了.本文目录如下:
1.牧本摆动2.谈谈思科在1990年代如何应对ASIC的挑战2.1 先谈谈转发算法的历史 2.2 思科的“NVLink”3. Juniper ASIC的挑战者4. Cisco IOS如同今日NV CUDA5. 谈谈硬伟大1. 牧本摆动以前整理过一个过去四十年的《GPU的架构演化史》
可以看到清晰的牧本摆动, 从定制渲染管线到可编程的GPU, 再到TensorCore光追一类的架构破坏了CUDA SIMT的抽象. 几年前也写过在网络这一行里的牧本摆动
“网络编程” 还是 “可编程网络”？
牧本摆动背后的本质是差不多每隔十年, 当算法演进停滞的时候, 通过规模来继续发展时就需要向ASIC转移, 然后再过十年, 规模遇到瓶颈又会回到算法的创新上来, 并且伴随着半导体工艺的进步,一些可编程的实现在性瓦比上又占据了优势.
其实这一切唯一没有改变的就是计算机体系结构视角上的一系列降低平均访存延迟, 访存次数和访存功耗(Data Locality)的各种tradeoff.
2. 谈谈思科在1990年代如何应对ASIC的挑战恰逢上周参加了思科成立40周年, 思科中国成立30周年的活动. 勾起了很多回忆.特别是在如今地缘政治如此复杂的时候, 看到思科刚进入中国的广告, 互联网过去的三十年确实是彻底的改变了我们的生活