电子产业一站式赋能平台

PCB联盟网

搜索
查看: 209|回复: 0
收起左侧

NVIDIA开发的NVAutoNet:自动驾驶车辆快速精准的3D视觉感知系统

[复制链接]

1056

主题

1056

帖子

1万

积分

论坛法老

Rank: 6Rank: 6

积分
11032
发表于 2024-10-14 08:00:00 | 显示全部楼层 |阅读模式
引言
, X/ N" H0 B; O; H4 {  ]- Z. A自动驾驶车辆需要强大且实时的3D感知能力,以便在复杂环境中安全导航。由NVIDIA开发的NVAutoNet是一种专门设计的鸟瞰图(BEV)感知网络,旨在满足自动驾驶汽车的独特挑战。本文将探讨NVAutoNet的主要特点、架构和性能,展示其在推动自动驾驶技术发展方面的潜力[1]。
& I  |, j6 V3 v1 K
/ y* P: G3 g1 F* Y7 V1 M

j0i3g3y4hch6403232733.png

j0i3g3y4hch6403232733.png
4 i% O# h% N, p* `* A
图1: NVAutoNet架构概览,展示了从全景图像到3D感知输出的处理过程。
9 |5 O& J6 H" A, G8 F( M; _! r: p. p( [0 V) K5 k, A7 k
NVAutoNet以同步的相机图像作为输入,预测3D信号,如障碍物、可行驶空间和停车位。其架构在准确性和计算效率之间取得了平衡,适合部署在NVIDIA DRIVE Orin SoC等嵌入式系统上。
9 m( r  T3 X. _5 ]3 R+ d$ x1 }& X
3 g* P5 X9 K! V2 _NVAutoNet的主要特点:
  • 多相机输入: 系统处理来自8个相机的图像,提供车辆周围360度的视图。
  • 快速推理: NVAutoNet实现了18毫秒的延迟,能够以53帧每秒的速度运行。
  • 扩展范围: 网络可以探测200米远的物体,这对高速公路驾驶场景非常重要。
  • 端到端训练: 整个系统采用端到端方式训练,优化所有组件。
  • 模块化设计: NVAutoNet的架构允许轻松适应不同的车型和传感器配置。
  • 车内测试: 系统已在各种驾驶条件下进行了广泛的实际测试验证。7 D) G6 H2 z, u/ o. s
    [/ol], e& Z0 [  s/ [8 d# ^: ^
    架构概述5 J  S2 Y3 ]) }* j0 C1 X2 Y
    NVAutoNet的架构包含几个关键组件:
  • 基于CNN的图像特征提取器: 这些提取器通过硬件感知神经架构搜索(NAS)进行定制,以实现高精度和低延迟。
  • 多相机融合: 融合发生在BEV层面,结合了早期和晚期融合方法的优点。
  • 透视图到BEV的转换: 通过逐列多层感知器(MLP)层和BEV查找表高效执行。
  • BEV特征提取器: CNN主干网络处理融合的BEV特征,提取高级表示。
  • 特定任务的头部: 使用多个头部进行不同的感知任务,包括3D物体检测、可行驶空间检测和停车位检测。* u; w+ I7 l* D" z
    [/ol]
    ( k8 ~6 o% ]# o! z/ q$ Y3 l. ]% e( a' b. r' {  Q7 @

    m4xagynwwtd6403232834.png

    m4xagynwwtd6403232834.png
    ) V: ^' A$ r  h  m* D: @9 G; R/ M
    图2: NVAutoNet中透视图到BEV视图转换过程的图示。
    ) @% S6 j8 K. M2 {& x, ^. i& o+ h5 c" o# Z# I, A; }4 d$ J
    图像到BEV的转换: a7 ^4 d$ E7 ?+ W+ g$ b- Z3 G2 q
    NVAutoNet的一个关键创新是其高效的图像到BEV转换方法。
    . ?9 T! o$ u7 `0 _' q8 e/ O! f与之前依赖计算密集型3D体素表示或注意力机制的方法不同,NVAutoNet使用了巧妙的基于MLP的方法:+ }8 Q4 D% I' N$ q+ x4 P, G% ?5 h
  • 每个图像列由MLP独立处理,生成"伪BEV"特征。
  • 这些特征随后通过预先计算的查找表映射到最终的BEV网格。
  • 查找表使用多项式函数生成,这些函数模拟图像坐标和BEV坐标之间的关系。
    # M' ~4 G+ c& J, K' P: ?( I! I2 [

    9 s4 e+ n5 @* S8 N这种方法允许快速准确的转换,同时考虑相机的内部和外部参数,使其适应不同的车辆配置。2 t5 ], w2 ?7 b: Q) [8 l! k
    8 p( o7 ?# m% \9 a9 d- r2 ~3 a# m
    % b6 H  L0 E; v1 s
    感知任务
    , |5 W% u  i! [& }/ g: F. aNVAutoNet同时执行多个感知任务:
    " X; z3 [, a' A1 L7 r; B" [8 a2 u& r+ e6 ]. G; h: R
    1. 3D物体检测:
    & Z3 U+ Q3 V7 K3 D' I1 E7 t检测和分类物体,如车辆、卡车、行人和骑自行车者。9 e+ _0 m* g. Q( u( [" N
    估计3D边界框,包括位置、尺寸和方向。2 B( o8 M8 ]+ C* T
    使用集合预测方法,消除了对非极大值抑制的需求。
    8 @0 i) H& a" |, n
    . x/ t7 @9 d" ]& p2. 3D可行驶空间检测:
    0 `- \9 G0 t  f1 L预测可行驶区域并识别边界。
      M3 {( O$ o- Q, {9 J使用径向距离图(RDM)表示可行驶空间,以提高效率。8 ?( l& b; u9 U' Y+ W! y
    包括边界类型的分类(例如,车辆、易受伤害的道路使用者、其他)。! B- ^0 v  p( ^- U) r

      Z& D: I% o6 f0 ~, d! j7 q3. 3D停车位检测:
    ! T" W: W% @, R) Z( p. ?定位和分类停车位(斜角、平行、垂直)。: H+ Z4 U# m' b: _4 U  o& H
    将停车位表示为具有中心、尺寸和方向的定向矩形。
    - X7 F- O8 V+ m) X
    - k3 B7 j" a# U: |; B多任务学习
    / E/ y, {- z: y3 a+ LNVAutoNet采用新颖的多任务学习方法来平衡不同的感知任务:
  • 自适应权重调整: 根据每个任务在所有样本中的总损失动态更新特定任务的损失权重。
  • 两阶段方法: 首先使用统一权重进行初始训练,然后根据各个任务的性能进行微调。; R# e+ S4 t- z1 X' `( S8 k) H8 w
    [/ol]
    ) n4 l/ w  B- K/ \这种方法使网络能够有效地学习所有任务,而不会让某一任务主导其他任务,从而实现平衡和准确的多任务感知。$ g& q1 q9 w0 [5 D7 t
    9 f' L. Q) T2 G6 n7 e

    hrhrd20yder6403232934.png

    hrhrd20yder6403232934.png

    6 y/ L( ?! E' V+ F5 s) E- _图3: NVAutoNet的定性结果,显示了各种场景下的障碍物、可行驶空间和停车位检测。
    4 p/ F) `6 Z6 ~# B
    ! E2 f1 P/ j/ P: F9 L' D. y性能和结果
    5 s: R/ Z  B+ @/ O6 ]NVAutoNet在各种指标上展示了令人印象深刻的性能:
    - f. |( a7 u9 |# c$ K: t0 k$ c6 z
  • 延迟: 在NVIDIA DRIVE Orin嵌入式GPU上实现18.72毫秒的延迟(53 FPS)。
  • 3D物体检测: 总体mAP达到0.465,对车辆的检测性能最佳(AP 0.638)。
  • 3D可行驶空间: 在可行驶空间估计中达到77.59%的成功率。
  • 3D停车位: 停车位检测的总体AP达到0.58,平均IoU为0.85。5 V9 d: Z6 Z. Q; S! j% ~
    1 E7 l' A7 l$ s. |" k4 O* {" ^
    该系统表现出良好的泛化能力,在不同的距离范围和车型上保持高性能。' l: E7 n5 G# t! v4 j: d8 R

    & v& l3 X2 t- _6 P" w适应性和迁移学习, y- v- f' u; X6 B( p  q
    NVAutoNet的一大优势是能够以最少的再训练适应不同的车辆平台。实验表明:
  • 在汽车数据上预训练的模型,即使没有任何微调,在卡车数据上也表现得相当好。
  • 使用少量卡车数据(50K场景)进行微调可显著提高性能。
  • 网络可以快速适应新的传感器配置和车型,使其高度适合生产使用。
    * J3 t4 r. x! o6 Y[/ol]
    - F5 E' z* U  _3 P6 k& ^, p3 c/ S; j结论: Z) S- w6 [: k8 C7 f
    NVAutoNet代表了自动驾驶车辆3D感知技术的进步。其准确性、效率和适应性的结合使其非常适合实际部署。高效的图像到BEV转换和有效的多任务学习等关键创新为其出色的性能做出了贡献。- d7 b# W4 Z1 S) ~/ S( |2 W/ S+ n

    ) I. s! p" j8 ]/ O& e- P+ T2 e* H+ o自动驾驶技术的不断发展,NVAutoNet系统将在实现更安全、更可靠的自动驾驶车辆方面发挥关键作用。未来的工作可能会集中在将BEV感知扩展到完整的3D体积感知、增加检测范围以及纳入更复杂的场景理解能力。
    . [6 b( f  P* `  t! i8 s4 V4 t* E& T! J4 X# d. ^+ W
    参考文献# j2 s/ D6 c7 [! I
    [1] T. Pham et al., "NVAUTONET: FAST AND ACCURATE 360° 3D VISUAL PERCEPTION FOR SELF DRIVING," arXiv:2303.12976v4 [cs.CV], Nov. 2023.2 V$ Q7 u, X/ Y

    0 w% F3 Z! d8 w0 P6 j% {6 `1 d- END -
    : ^2 i4 _0 N8 a; O7 Z) Z# q0 C6 t& |8 g" [
    软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用,PIC Studio都可提升您的工作效能。" ?3 v+ k" q# q8 c6 k0 i  K1 Z
    点击左下角"阅读原文"马上申请
    , S, r5 M" U2 e. T# c/ [+ |, `6 e7 v5 H. H- Y$ p
    欢迎转载: S/ p- h5 h! C8 V
    5 V8 g# v. F' j0 O9 k
    转载请注明出处,请勿修改内容和删除作者信息!
    0 ~$ X/ ^8 E1 h: @- C
    $ V3 U# b; d+ i/ {
    - n+ ?4 a- i; `' u9 @$ t! @; K

    " H; X6 ]1 B, M0 B) v* H7 P

    r4kjkbcoke36403233034.gif

    r4kjkbcoke36403233034.gif

    8 U1 {, D$ h+ e) w0 ?
    ! Z: j( T' x5 N1 w: H3 U7 B, r: [关注我们
    9 p6 O* ^# X/ z( g! _
    5 v1 L* x2 \4 f  A

    + ]) ?5 c% J5 q5 Y, w4 B! r

    4ytxomsvcel6403233134.png

    4ytxomsvcel6403233134.png

    - C& p  S4 T9 }* d

    ' `5 M$ m, S! u& K

    530l4w1lgey6403233234.png

    530l4w1lgey6403233234.png

    . G! c5 N9 C- M  c$ L+ N; ]

    ) K7 y. a) n) T. S4 y# {

    erkltsawusi6403233334.png

    erkltsawusi6403233334.png

    7 }. L: ?8 Z5 X  J3 p
                          + Q6 x6 t0 W- r- \3 _; @& D1 Z

    3 t4 P- j6 Z, P: k8 h* h/ M/ ?

    " q/ L1 k. ^6 D# r) ]+ _4 [' k  X1 n9 y9 K
    关于我们:9 f% T& w6 r6 C$ M% m) f5 d
    深圳逍遥科技有限公司(Latitude Design Automation Inc.)是一家专注于半导体芯片设计自动化(EDA)的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件,提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio,分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务,广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作,推动特色工艺半导体产业链发展,致力于为客户提供前沿技术与服务。
    1 h9 l$ e6 {7 A  Y/ [* t3 z& q( s
    ' ~+ P# K' Z9 y) \' u9 z* ohttp://www.latitudeda.com/+ Q5 U. h* `7 t. J: {0 G5 K
    (点击上方名片关注我们,发现更多精彩内容)
  • 回复

    使用道具 举报

    发表回复

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则


    联系客服 关注微信 下载APP 返回顶部 返回列表