?领域自适应大语言模型在芯片设计中的应用

逍遥设计自动化

引言
大语言模型(LLMs)已经改变了许多领域,现在正在芯片设计领域取得进展。本文探讨了领域自适应大语言模型如何被用来增强和可能改变芯片设计过程[1]。

为什么需要领域自适应大语言模型?
1 J. s7 {7 f( a6 O大语言模型的强大之处在于广泛的知识和能力。这些模型擅长自然语言理解、推理、问题解决,甚至代码生成。然而,要在芯片设计等专业领域真正发挥作用,需要融入特定领域的知识。

3hyriufbndw64020270242.png

图1: 展示了预训练模型广泛的知识和能力,包括自然语言理解、推理、问题解决和代码生成。

领域自适应大语言模型弥合了通用语言模型与芯片设计专业需求之间的差距。这些模型能够理解和生成硬件描述语言、协助验证过程,甚至帮助优化芯片布局。

52pqq5ibjdb64020270342.png

6 C/ ]& F$ t+ j9 S$ ]图2: 描述了领域自适应大语言模型如何为电子设计自动化任务融入专业知识。

% R1 X. L3 |+ q& L领域自适应大语言模型技术
1 ~( d$ ]/ z. Z2 ?- n7 B创建芯片设计领域自适应大语言模型主要有三种方法:

模型训练阶段: 在模型初始训练期间深度融入领域特定知识。

模型微调阶段: 在初始训练后,针对特定任务增强模型性能。

模型推理阶段: 这种方法在实时动态调整模型,无需改变其基本参数。
* v0 F  X3 t& B: H- p7 ^[/ol]
* N- M5 M6 X/ M# h4 c1 G8 R  u3 }0 b
5 m' x- B# M3 W5 K! X9 n- {& f5 \$ q

tuqkywdp4r064020270442.png

' q8 U, d! l/ C' z3 [" n9 C+ u图3: 比较了不同的领域自适应大语言模型技术,展示了成本、资源需求、领域数据量和对模型参数影响之间的权衡。

每种方法都有优点和权衡。选择取决于可用的计算资源、领域特定数据量和具体任务。
$ b, r3 V) \+ ]$ S
领域自适应预训练(DAPT)
& h0 Y8 O. }% g6 CDAPT涉及在大量领域特定数据上训练模型。对于芯片设计,这可能包括硬件相关代码、RTL(寄存器传输级)描述、验证测试平台和硬件规格。

o1rtzpvj3vo64020270542.png

图4: 图解说明了芯片设计任务的领域自适应预训练过程。
2 Q& P+ s1 j0 v; T
! M2 G4 y, I0 Z2 f0 F) ?% ?ChipNeMo是DAPT在实践中的例子,这是一个针对芯片设计的领域自适应大语言模型。准备DAPT需要:
! \, J6 B9 M$ i' T* Y

可用的基础模型(如Llama)

大型领域数据集

足够的训练资源

; A0 c+ z; K' CDAPT过程通常包括:

调整领域自适应分词器

使用自回归语言建模目标

在通用和领域内语料库的组合上进行训练

DAPT的结果是一个领域自适应基础模型,可以进一步针对各种芯片设计任务进行微调。
- {1 Z3 a, M7 h
任务特定微调(TSFT)
TSFT涉及对预训练模型(通用大语言模型或领域自适应模型)进行针对特定芯片设计任务的微调。这个过程需要:
  p5 D3 H2 q! I" P, w% [0 Q( _) p

基础模型

特定任务(如Verilog生成、错误检测)

领域任务数据集

评估基准和指标
* t8 c; q; T  ^  |6 g$ {2 i3 `) W* N

+ i" A; F9 q) }0 ?' r

5zockxxpdyi64020270642.png

2 Q0 U5 v$ O' p6 H  H" g$ l) j: t图5: 概述了任务特定微调过程,显示了芯片设计任务有效微调所需的组件。
" s) ?& ]9 j/ i1 M+ @
3 a* M6 H' F4 f8 I' z对于基础模型,研究人员可以使用开源通用模型如CodeGen、Mistral或Llama,或领域自适应模型如ChipNemo。选择取决于任务的具体要求和可用资源。
5 v: b4 _8 S" \& r8 B) b
领域任务数据集可以来自多个来源:
: c/ f0 R& d2 l( H3 J3 Q  ~

教科书

开源代码库

合成数据(由人或机器生成)

专有数据

竞赛数据集

) x0 o3 n- @, W; D$ X( }8 j

hmtwx3knvng64020270742.png

图6: 用于训练芯片设计任务领域自适应大语言模型的问题描述和参考代码对的示例。

* a6 \: u' [7 i+ @8 |" n基准在评估这些模型的性能中起着关键作用。该领域的两个著名基准是:
! l. X7 r$ m( C( h

RTLLM: 一个包含30个HDL设计任务的基准,配有测试平台和语法、语义和性能指标。

VerilogEval: 该基准包括机器生成和人工策划的Verilog代码生成任务问题描述。
5 E& F0 g1 S* t; x% ^3 n
/ k$ \1 C0 z/ ?9 C
5 h+ C' e9 z! h' F% C; [

l55mjli3e0d64020270843.png

& ^% o- S4 Q3 L. F/ i# e图7: RTLLM基准任务示例,显示了实现4位无符号数流水线乘法器的详细问题描述。


提示工程和推理时技术
虽然预训练和微调专注于修改模型本身,提示工程和其他推理时技术允许我们利用大语言模型进行芯片设计,而无需更改底层模型参数。
$ }3 I/ |4 j& c. V7 Z% E( b6 ]
3 }0 i* N: p1 {5 [提示工程的一个强大应用是创建芯片设计助手聊天机器人。这些聊天机器人可以理解自然语言查询、解决问题,并与用户互动,在整个设计过程中提供指导。
/ h# Q9 L+ m. E$ y6 H- b

mrbhhvopbl364020270943.png

4 [, g' {# {- P! F5 ^" D图8: 流程图描述了使用大语言模型驱动的Verilog RTL助手的过程,包括自我验证和自我纠正步骤。
6 b( M& k) M. i- w0 _# {8 e: _
要有效地使用大语言模型作为芯片设计助手,请考虑以下提示工程技术:

角色扮演: 要求模型扮演硬件专家的角色。

少样本学习: 提供正面和负面例子来指导模型的输出。

任务分解: 将复杂问题分解成更小、可管理的步骤。

约束规范: 使用[BEGIN]和[END]等标签来控制输出格式。

思维链提示: 要求模型逐步解决问题。

多轮交互: 进行来回对话以细化输出。
$ k3 x/ X, T& ~" S8 i% |2 B[/ol]

cudfsw14roh64020271043.png

图9: 图表显示了大语言模型驱动的Verilog RTL助手中的反馈循环和自我纠正过程。

另一个强大的技术是将大语言模型与外部工具和模拟器结合。这创建了一个反馈循环,允许模型验证其输出并根据现实世界结果进行纠正。该过程通常包括:

初始提示创建

接收来自大语言模型的输出

将输出馈送到模拟器或编译器

提取反馈

根据反馈创建新提示

重复交互以进行多轮提示
1 X6 ~- m* y! i# R" E[/ol]
% t0 U9 F( _2 W& J, j

wof5dtzqbey64020271143.png

图10: 说明了使用大型语言模型自动修复RTL语法错误的检索增强生成过程。
! e0 b7 S# x/ R
检索增强生成(RAG)是另一种有前景的方法。例如,在RTL语法错误纠正中,RAG可用于:

对各种语法错误进行分类

收集人类专家对编译器日志的指导和解释

建立编译器日志、错误代码段和人类指导的数据库

使用该数据库为大语言模型对语法错误的响应提供信息
% I0 {) f0 x5 ^( n, z/ h; Z' X[/ol]
未来方向
& b  u* |3 q# P- Q; ]) q7 R随着芯片设计领域自适应大语言模型领域的不断发展,几个方向浮现出来:

与相邻领域交叉: 借鉴软件开发和形式验证中大语言模型的想法。

开发更多开源数据集和基准。

探索人机协作方法,结合大语言模型和人类专家的优势。

将PPA(功耗、性能、面积)指标纳入大语言模型评估。

利用多模态数据,包括文本、代码、图表和规格。

促进学术界和产业界之间的合作,推进理论基础和实际应用。
- W- k2 ~; V! }[/ol]
随着继续推动芯片设计中领域自适应大语言模型的可能性边界,可以期待看到自动化程度的提高、设计质量的改善,以及可能彻底改变硬件开发方法的变革。芯片设计的未来无疑与这些强大的AI模型的进步息息相关。
5 }1 Z, b! w  v9 ~. Q8 s
参考文献
[1] H. Huang, "Domain-adaptive LLMs for Chip Design," University of California San Diego, 2024.
; y9 }; ^- h; e1 P
- END -
9 p3 {$ ^& x+ z4 O- c9 f# @
+ i: i- ~' f: b# \软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
点击左下角"阅读原文"马上申请
6 W. d# e+ x& l* L; G$ B& B2 Y
- ^0 e0 @1 I- H& b* W, x; f/ |* ]欢迎转载

转载请注明出处，请勿修改内容和删除作者信息！


! }1 g0 y" r0 b8 x7 F: a9 l

jgenfe0hynb64020271243.gif

6 J5 p) P, a8 R% F7 h+ |8 @
关注我们

  i& x7 d- @$ `. s

& X8 H. N. h6 R0 R se5lsne5pvl64020271343.png

% O  U8 C& H5 e5 V% U3 U h4kwlahkizk64020271444.png - h* T9 i5 l$ A: T

iioik5xvgl164020271544.png

                     



4 T5 d) N( s+ ]1 j: u关于我们：
深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。

http://www.latitudeda.com/
9 {# X! H% \+ h. E' b（点击上方名片关注我们，发现更多精彩内容）