Hot Chips 2024 | 大型语言模型和检索增强生成技术介绍

逍遥设计自动化

引言
本文旨在帮助读者了解大型语言模型（LLMs）和检索增强生成（RAG）技术的基础知识。这些技术正在电子设计自动化（EDA）领域产生重大影响，正在改变芯片设计和验证的方式[1]。
0 X6 E. a2 F( _" @
. Z" i8 L6 P& b7 q什么是大型语言模型？
大型语言模型是设计用于理解和生成类人文本的先进神经网络。这些模型经过海量数据训练，能够执行从简单的文本补全到复杂推理和代码生成等各种语言任务。

xgwwqjp40hv64041748243.png

图1：AI概念层次结构，显示了LLMs在人工智能广泛领域中的位置。

LLMs建立在复杂的神经网络架构之上，通常包含数十亿个参数。这些参数在训练过程中不断调整，模型需要接触大量文本数据。例如，Meta的Llama 3.1模型在训练过程中处理了超过10万亿个单词，需要约60天的训练时间和20,000多个Nvidia H100 GPU。
0 J5 }( C7 M- L4 w& B
这些模型的规模差异很大，从约70亿参数到超过1万亿参数不等。开放和封闭模型的选择取决于架构和权重的公开可用性。通常使用量化技术来压缩权重，在模型大小和准确性之间取得平衡。
. |; ~* q4 E) O
LLM架构和功能
: R" J: }% I7 u: n! Z- P) u现代LLMs的核心是Transformer架构，由Google DeepMind在2017年的论文"Attention is All You Need"中首次提出。这种架构通过引入自注意力机制彻底改变了该领域，使模型能够同时处理整个文本序列，而不是按顺序处理。

+ k8 ?1 K/ a) M5 @( @

r34a2zpttk464041748344.png

0 T; z/ V  S- a' ?9 ^图2：原始Transformer架构，展示了编码器和解码器组件。
  a, ]8 O6 u6 }- |) H
' g3 O) P/ x9 GLLM的关键组件包括：

分词：将输入文本分解成可管理的单元（称为标记）。

嵌入：将标记转换为数值向量表示，捕捉语义含义和单词之间的关系。

注意力机制：从嵌入中计算上下文相关的权重，关注输入的相关部分。

Transformer层：通过多层自注意力和前馈神经网络处理嵌入。
[/ol]
8 b; e2 l+ v9 @& D8 v, gLLM训练和局限性
) V% l2 t6 a- p训练LLM是复杂且资源密集的过程，通常包括三个阶段：

预训练：模型接触大量文本数据，学习一般语言模式和知识。

微调：预训练模型在特定任务数据上进行进一步训练，以专门化其能力。

人类反馈强化学习（RLHF）：可选阶段，根据人类偏好优化模型输出。
' M6 _8 \5 _9 ~, U# a/ g- z  u[/ol]
7 J  @% H# H) l( y( w尽管LLMs具有令人印象深刻的能力，但也存在几个局限性：
3 g% C! f/ q3 j4 q6 l7 i

在复杂的数学和逻辑推理方面存在困难

基于训练数据可能产生有偏见的输出

知识截止于训练时间

可能产生幻觉或自信地陈述错误信息

训练和推理需要高昂的计算和能源成本

关于数据使用和潜在滥用的伦理问题

2 F' T2 K) V6 o; J- h% l/ B3 @: A+ @检索增强生成（RAG）
* r4 C$ G1 N! I: l为了解决一些限制，特别是知识截止问题，检索增强生成（RAG）技术应运而生。RAG使LLMs能够在生成过程中访问和整合外部信息。
# |% A* k& `( m0 j

xuq1qy2qrj064041748444.png

5 ~( G/ g6 b- C! L5 P) [" z  r图3：RAG架构，显示了从原始数据到LLM响应的流程。

2 a1 E' l, ~3 x# ]& i: I, ERAG过程包括：

索引：将原始数据转换为嵌入并存储在向量数据库中。

检索：接收查询时，从向量数据库中检索相关信息。

增强：将检索到的信息与用户的提示结合。

生成：LLM处理增强后的提示以产生响应。
! C  V; q* c* T; ~* F, A[/ol]
2 M! z9 l' g" C4 ?7 ^RAG允许LLMs利用专有信息、最新数据和已知事实，减少产生幻觉的可能性，并扩展模型的有效知识库。
( m2 ?3 k6 J1 M6 m7 T
在电子设计自动化（EDA）中的应用
LLMs和RAG技术在电子设计自动化领域找到了众多应用。关键用例包括：
3 G9 ?0 d: S+ ?! M( i

架构设计和优化

代码生成和调试

IP集成和管理

设计验证和文档编写

入职支持和培训


1 {- Z) J* Q" j$ e2 a0 F0 ?& R: F- ]. N

pd5a1epyrls64041748544.png

; i- {$ U/ Q: y图4：EDA工作流程的演变，显示随着AI技术的进步，人为干预需求的减少。
; T$ f) f$ L$ ^2 @
+ X1 I+ i, Z: i将LLMs和RAG集成到EDA工作流程中，有望减少许多任务中对人为干预的需求。例如，AI代理现在可以处理复杂的设计任务，如创建具有99%代码覆盖率的UART接收器和测试平台，并自动将文件提交到存储库。

* U8 n5 z& Q# O1 R2 y- Z

vva5apz0qcq64041748644.png

图5：基于LLM的AI代理工作流程，演示如何自动化复杂的EDA任务。
) j% ]+ a  [& \' [
未来方向和挑战
, t* c2 h7 T( B随着LLMs和RAG技术的不断发展，我们可以期待在其能力和应用方面出现几个进展：
! m9 m$ U' G$ h

使用网络信息进行自我事实检查

通过"慢思考"方法提高推理能力

更大的上下文窗口以处理更长的提示

多模态能力，包括语音和图像处理

与外部存储系统集成，增强长期记忆

然而，仍然存在一些挑战，包括：
/ W. V7 L; s4 j  |9 v

确保在设计过程中合乎伦理地使用AI

管理大规模部署所需的计算资源

解决EDA行业潜在的劳动力变动

处理与训练数据相关的法律和版权问题

) l% x0 S- G% q/ j/ @3 O/ X大型语言模型和检索增强生成技术的结合有望彻底改变电子设计自动化领域。通过减少许多任务中对人为干预的需求，这些技术有望加速创新并提高芯片设计和验证过程的效率。随着该领域的不断发展，EDA专业人员必须及时了解这些进展，并调整工作流程以利用AI辅助设计的力量。

参考文献
! k9 g$ z" |# t7 _[1] H. Bouwmeester, "HotChips 2024 Tutorial: From LLM+RAG to EDA AI-Agent," PrimisAI, 2024.
+ P* K$ I2 z" I5 P; Z, j, i& A
- END -
* I+ t+ Z+ }% {+ B5 W
: f; P, h6 h: t# |软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
+ k! d1 o3 `5 D" j; t1 c点击左下角"阅读原文"马上申请

* d" E# v4 ]0 o# M  _- _) G0 r欢迎转载

9 E# u7 _, M( |, Z转载请注明出处，请勿修改内容和删除作者信息！
' M; w0 A- R  x; ?5 @9 e1 L7 f% Q
! T: `  q. {, U, k- ^! q3 ]6 g

1 z, N+ F/ p0 X  Q

dimgwmjgfe264041748744.gif

" ^! ?- {% A/ t& N& b
! S: M6 r- d  y, n6 ^7 M5 ~关注我们

7 o4 w( x5 X4 H& X1 p( I/ y# R gxs4ammk2c564041748844.png   I% e; K  T/ ]- E. b1 i6 o

) p1 P, S5 I4 B8 g+ d7 k 0avedeev40g64041748944.png

nuvmosao54y64041749044.png / g2 @! R: z: ]

                     


, w5 P9 f! [: ], Y; i" c
关于我们：
' |+ F3 c4 m; Z6 G0 }& u深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。

; H3 D; X8 Z6 @http://www.latitudeda.com/
（点击上方名片关注我们，发现更多精彩内容）