基于强化学习的模拟线路设计优化

逍遥设计自动化

引言
模拟/混合信号(AMS)集成线路设计仍然是具有挑战性的任务，通常严重依赖设计师的专业知识和反复手动调整。为了解决这个问题，研究人员一直在探索利用机器学习技术的自动化设计方法。本文介绍新颖的开源框架，利用强化学习(RL)和图神经网络(GNNs)优化AMS线路[1]。

wukwe2t1gdt640127923542.png

/ w  p9 S& c! W: V, N% {7 O
4 S! C. L$ S% `框架概述
所提出的框架，如图1所示，提供了从规格到布局优化模拟线路的端到端解决方案。该框架利用了几个开源EDA工具，包括用于原理图捕获的Xschem、用于线路仿真的Ngspice和用于布局生成的Magic。

biow20dgfmz640127923642.png

( i, e& G" j' v' T$ }; R图1：提出的AMS IC优化器框架概述

优化过程从定义目标规格和线路拓扑开始。设计师将原理图输入Xschem，后者导出参数化的网表。基于线路原理图创建定义节点和边连接的图描述。
" c' f! q+ J- @6 z3 _
( I2 \# ^+ x  U" p$ u5 c# w* V该框架采用深度确定性策略梯度(DDPG)作为RL算法，考虑到晶体管尺寸和偏置的连续动作空间。RL代理使用actor-critic结构，线路图描述定义了神经网络。
# A$ l( I4 h% G$ K1 K$ Q
% n5 [' U0 u" w% W奖励函数设计
奖励函数作为目标，指定优化目标。为了减轻奖励稀疏性并提高样本效率，该框架使用连续奖励函数：
. f3 l' I7 n7 _: }8 x' o7 y

vj5fumiau4z640127923742.png

bdfdqlaitf0640127923843.png

  H5 ]8 d6 d3 {) L: T- P5 [
其中，O代表仿真结果，O*表示期望规格，β决定最小化或最大化，C是满足所有硬规格时的常数奖励。
; K9 w$ Z8 G/ B9 a4 @  x) e
8 X2 |$ c5 Y4 q1 v0 S9 H( Y; _( r动作和观察空间
) s8 @: K3 [+ A' l1 ]0 \RL代理生成的动作包括器件尺寸和偏置电压。为了帮助探索，向动作添加均匀分布的噪声。该框架使用最小-最大反归一化将有界动作缩放回实际器件尺寸。

  c( O2 {* |0 Y' M( h7 f4 S观察代表从DC工作点分析得到的线路状态。每个元件的观察是一个向量，例如，晶体管的SM = [id, gm, gds, Vth, Vdsat, Vds, Vgs]。这些向量堆叠形成观察矩阵S，然后进行归一化。
& ^- |8 X0 ~' f2 d
图神经网络架构
该框架利用关系图卷积网络(RGCNs)作为异构图表示线路。图3说明了actor和critic网络的RGCN架构。
7 G# S7 @! V- [. {! f/ L6 d. t; k6 H9 C

oijmclbgbhl640127923943.png

  K* I8 d; G1 v9 [0 v  e* \$ C图2：actor和critic网络的RGCN架构

( ~2 q) }2 ?( K0 |" i3 Y+ ?- d* iRGCNs相对于同构图的优势在于允许多种边类型，每种边类型都有独立的可学习权重矩阵。这在优化过程中保留了更多的线路图知识。

案例研究：优化动态比较器
为了展示框架的能力，作者优化了两种动态锁存比较器：StrongARM比较器和双尾比较器（图4）。

zultfkbdxjx640127924043.png

图3：(a) StrongARM比较器和(b)双尾比较器的线路原理图
( V' U/ T$ A9 t& m& }4 z5 D
优化过程考虑了各种规格，包括时钟到Q延迟、每次决策能量、反冲噪声和输入参考失调电压。该框架包含了一种分析方法，在优化过程中快速预测失调性能，避免了耗时的蒙特卡洛仿真。
2 x& r# P0 K2 A$ j
9 V8 E" C3 s% P7 H( v1 R  T0 F% s优化结果
) \$ ?6 L# L2 P) Z) B+ Y! [  s! C8 |作者在SKY130技术节点进行了1000次仿真运行，以优化这两种比较器。图6说明了不同神经网络函数近似器的仿真步骤奖励演变。

1jqz1osrpwt640127924143.png

( I; ?7 [" F; }8 f/ D图4：SKY130中(a) StrongARM比较器和(b)双尾比较器的不同NN作为函数近似器的奖励与仿真对比
) z6 N7 ?$ G* ]' j5 f
值得注意的是，RGCN在优化这两种比较器时表现优于其他函数近似器，以更少的迭代达到更高的奖励。优化轨迹提供了宝贵的设计见解，如图7和图8所示。
" D- ], ^* _3 N. c; t3 ?

cnnixlyur5s640127924243.png

图5：(a) StrongARM比较器和(b)双尾比较器的仿真结果优化轨迹
$ ^6 h/ G% }9 E$ ^: R, j2 Y6 W% _
, |8 E5 y: v0 Z3 B% a& S4 V

cl5apbj4ulp640127924343.png

2 Y/ {; ]- y" E' c图6：(a) StrongARM比较器和(b)双尾比较器的线路参数优化轨迹

% u, R8 ?3 h+ V, a迁移学习
该框架在两种情况下展示了迁移学习(TL)能力：

利用SKY130的知识在不同技术节点(GF180MCU)优化比较器。

利用原理图级仿真知识优化后布局性能。
% S, B, h! K; z5 ~: I[/ol]
6 M% I9 a( a! N6 h: g+ V6 H2 ^( |图7和图8分别说明了StrongARM和双尾比较器从SKY130到GF180MCU的TL有效性。
  k  N) M! O* l& [4 ~' a! \

xuofsrixyqg640127924443.png

图7：StrongARM比较器的(a)从SKY130到GF180MCU的TL奖励与仿真对比和(b)最高奖励值与仿真对比
" w+ N6 X' i1 a- C5 g* H9 M

23lczfgkbu3640127924543.png

# P2 q& ]6 n5 L图8：双尾比较器的(a)从SKY130到GF180MCU的TL奖励与仿真对比和(b)最高奖励值与仿真对比
5 I7 @/ V% X6 J
6 a6 U8 t2 i2 j8 w对于后布局优化，该框架集成了LAYGO2，一个开源模拟布局生成器。图9说明了后布局优化过程。

y4c0irx0wc2640127924644.png

9 t! s; k: }0 d6 |. u5 L  C$ i图9：使用LAYGO2自动生成比较器布局

图10显示了使用原理图级仿真迁移学习进行后布局优化的奖励演变。
# j" L" k( s# N% ]% T* w

r1xq1t3nvaw640127924744.png

- a% t& c, J; W( I& U6 {0 V图10：在SKY130中使用TL的比较器后布局优化：(a) StrongARM比较器和(b)双尾比较器
* _" j; v& B# n+ v- z6 @" {( O1 X
通过后布局提取(PEX)仿真验证了优化的比较器布局及其性能，如图11和图12所示。

wmsbe5i4x2j640127924844.png

. Z) e5 s6 Y' E% l: @, K( ?图11：SKY130中优化的StrongARM比较器的PEX仿真结果

qa4i0pmvb3u640127924944.png

- g* P$ L- S: D$ S+ ^: i8 J% _图12：SKY130中优化的双尾比较器的PEX仿真结果
, ^  h( M# Q, L8 [" a
结论
本文介绍了基于强化学习和图神经网络的开源AMS IC优化框架。该框架的主要特点包括：
4 H4 d0 `/ y9 u

使用异构图神经网络(RGCNs)以提高优化性能

跨技术节点和从原理图到后布局的迁移学习能力

与开源EDA工具集成，实现端到端设计自动化
/ e* z2 W$ k* e4 |  I0 S2 h5 x
动态比较器的案例研究展示了该框架在优化复杂模拟线路方面的有效性，同时提供了宝贵的设计见解。通过利用机器学习技术和自动化，这种方法有潜力显著加速AMS IC设计过程并提高设计质量。

随着AI辅助线路设计领域的不断发展，像本文介绍的这样的框架将在使设计师能够更高效和有效地应对复杂模拟设计挑战方面发挥越来越重要的作用。

7 R- R% [& H8 r6 V7 _1 a: E参考文献
5 d9 S8 d% ]# g* y& b9 a[1] Z. Li and A. C. Carusone, "An Open-Source AMS Circuit Optimization Framework Based on Reinforcement Learning - From Specifications to layouts," in IEEE Access, vol. 11, pp. 1-14, 2023, doi: 10.1109/ACCESS.2024.3478832.
END
% n# l" T! d- p# \% W7 r6 T
* j% K5 e( E1 J' u# t/ j
# E% B* Q; i' x+ d* |: L软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
点击左下角"阅读原文"马上申请

: z. M- Y) n/ P; g) D9 W4 A欢迎转载

转载请注明出处，请勿修改内容和删除作者信息！
$ Z1 U+ `. r; [6 W! b: W: T
) Y2 y5 [& {: @5 O, H, H* O
6 j0 i$ e) e; v' ?; I; X: A% q

ptj5b52nf4v640127925044.gif

" p9 `: }- F& K& H, Z
关注我们
6 `& ]& ~% k- b9 Z# A
9 i/ Y' z2 f8 l

et5krrjtmka640127925144.png

# x7 B$ ^: X9 O3 w6 r2 _ gfzyjslusck640127925244.png ( y3 M( M) o' J3 P7 s4 ^4 j

6 K* D* P& A: Q* Y9 g/ e mcnvyhfm3ms640127925344.png

                     
% L$ Y  a* d: M& G  Z& K4 c/ i

  F( F( e- D6 ?( R
9 {# F. ?& S( S0 ^关于我们：
深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。

http://www.latitudeda.com/
（点击上方名片关注我们，发现更多精彩内容）