电子产业一站式赋能平台

PCB联盟网

搜索
查看: 181|回复: 0
收起左侧

视觉AI MPU-高算力、低功耗、实时性常见问题

[复制链接]

461

主题

461

帖子

5053

积分

四级会员

Rank: 4

积分
5053
发表于 2024-10-11 12:06:00 | 显示全部楼层 |阅读模式
转自 | 瑞萨嵌入式小百科

之前由瑞萨主办了关于“瑞萨RZ/V2H视觉AI MPU-高算力、低功耗、实时性”在线研讨会。然后今天分享一下视觉AI MPU-高算力、低功耗、实时性常见的问题。Q1
RZ/V2H高算力主要体现在哪些方面?
集成四核Arm? Cortex?-A55 (1.8GHz) Linux处理器以及瑞萨自有DRP-AI3加速器,提供高达8 TOPS(dense模型)/80 TOPS(sparse模型)的AI推理能力。

Q2
RZ/V2H如何兼顾低功耗和高性能呢?
瑞萨利用自己的DRP核心IP做AI的运算。实现8 TOPS(dense模型)/80 TOPS(sparse模型)AI算力以及10 TOPS/W的高能效。

软、硬结合系统性地实现AI模型的高算力和低功耗
  • 模型量化:从传统的16位浮点运算更改为8位整数运算
  • 模型裁剪:采用灵活的N:M修剪方法AI系统架构实现高功效
  • 通过数据重用技术减少外部存储器通信
  • 使用输入的零数据控制功耗
  • 操作流程调度

    Q3
    Sparse和dense模型是有什么区别?
    Dense是稠密算法,通常来讲大部分原生模型都是Dense类型,它的模型参数较多,精度高,同时消耗较高的算力。Sparse是对原生模型进行分支裁剪,将复杂模型进行简化来减少模型参数,这样可以在同样算力的平台上运行Sparse模型来达到更高的帧率。用户可以根据调节剪枝系数,来满足对帧率和精度综合要求。

    Q4
    RZ/V2H相关资料在哪里查阅?
    RZ/V2H已量产上市,在RZ/V2H主页可以获得产品介绍、用户手册、开发板及开发板设计、软件及开发工具以及相关视频培训等内容。

    RZ/V2H产品页:
    https://www.renesas.cn/cn/zh/products/microcontrollers-microprocessors/rz-mpus/rzv2h-quad-core-vision-ai-mpu-drp-ai3-accelerator-and-high-performance-real-time-processor
    Renesas RZ/V AI应用网站https://renesas-rz.github.io/rzv_ai_sdk/latest/Q5
    使用DRP-AI进行开发需要哪些软件工具和环境资源?
    瑞萨提供全套开发的AI SDK软件包,AI开发工具及AI应用一站式网站,即使是AI刚入门的用户,也可以利用AI应用一站式网站提供的资源和指导来开发相应的AI应用。

    RZ/V2H AI Software Development Kit
    https://www.renesas.cn/cn/zh/software-tool/rzv2h-ai-software-development-kit

    AI开发工具
    1
    DRP-AI Translator
    DRP-AI Translator i8
    https://www.renesas.cn/cn/zh/software-tool/drp-ai-translator-i8
  • 经过调整以最大限度地提高DRP-AI性能的工具
  • AI模型的所有操作都可以由DRP-AI执行,从而实现高速性能,并降低CPU负载
    2
    DRP-AI TVM
    github - renesas-rz - rzv_drp-ai_tvm
    https://github.com/renesas-rz/rzv_drp-ai_tvm
  • 支持多个AI框架(ONNX、PyTorch、TensorFlow等)
  • 此外,它还支持与CPU一起运行,从而可以运行更多的AI模型
    3
    DRP-AI EXTENSION(支持V2H)
    DRP-AI Extension Pack (Pruning Tool)
    https://www.renesas.cn/cn/zh/software-tool/drp-ai-extension-pack-pruning-tool
  • DRP-AI扩展包,用于在AI模型训练环境中创建稀疏模型
  • 瑞萨电子提供丰富的AI应用一站式网站指南。在这网站内,易于查找和获取所需的AI应用程序以及免费的预训练库资源。
    Renesas RZ/V AI应用网站
    https://renesas-rz.github.io/rzv_ai_sdk/latest/

    ------------ END ------------

    lbjsapvuluc64079703417.jpg

    lbjsapvuluc64079703417.jpg

    单片机和PHY芯片连接时的注意事项

    335s0rfnbo264079703517.jpg

    335s0rfnbo264079703517.jpg

    瑞萨RA8系列教程 | RA8输出PWM实现方法

    rf5ecbdppdt64079703617.jpg

    rf5ecbdppdt64079703617.jpg

    Cortex-M3与M85单片机的SysTick使用上有区别吗?
  • 回复

    使用道具 举报

    发表回复

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则


    联系客服 关注微信 下载APP 返回顶部 返回列表