【MindStudio训练营第一季】MindStudio 专家系统随笔

司马炎
• 阅读 424

简介 专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

image.png

使用介绍 调优知识库 image.png

模型瓶颈分析 分析流程:

参数配置 & 启动分析; 首页summary报告: 模型香吐率运行时间、芯片利用率、切分策略评估,以及各个调优知识库TOP问题; 计算图分析: ub融合、aipp融合、transdata等; 模型算子性能瓶颈分析:模型算子带宽&算力利用率; aicpu & aicore并行分析; image.png

模型性能优化 针对onnx推理模型,根据定义好的子图pattern主动识别onnx模型中符合的子图,并对其进行修改优化:

当前支持的子图pattern:

Conv1d优化:

连续slice合并

连续concat合并

类型转换

大shape卷积转置

大kernel卷积拆分

根据官方介绍,后续还会根据调优场景继续补充,让更多开发者直接受益。

调用知识库开发 基于Ascend Advisor工程,开发者可以开发自己的调优知识库

支持代码调试(该功能在新版本会提供)

支持知识库共享(该功能在新版本会提供)

image.png

案例实践 推理模型调优 性能分析: Mobilenetv3图像分类 https://www.hiascend.com/zh/software/modelzoo/models/detail/1/a2951ef07c40424a9b0e39237466e383/1

性能分析&优化: Deit图像分类 https://www.hiascend.com/zh/software/modelzoo/models/detail/1/a475d4f47de642f19c0a1f81580633ae/1

性能分析&优化: tdnn语音识别 https://www.hiascend.com/zh/software/modelzoo/models/detail/1/f4f4103245624c1a8637f8a5eadd950c/1

Mobilenetv3图像分类 image.png

Deit图像分类 image.png

点赞
收藏
评论区
推荐文章
Stella981 Stella981
3年前
Android app native代码性能分析
分析我们app中native层的C/C代码性能,能够方便我们找出其中的性能瓶颈,并在稍后做有针对性的优化。1\.下载androidndkprofiler工欲善其事,必先利其器,我们先要有良好的工具来支持我们做性能分析的愿望。androidndkprofiler就是目前我们可用的比较好
司马炎 司马炎
1年前
【MindStudio训练营第一季】MindStudio 高精度对比随笔
MindStudio精度对比简介原因:训练场景下,迁移原始网络(如TensorFlow、PyTorch),用于NPU上执行训练,网络迁移可能会造成自有实现的算子运算结果与用原生标准算子运算结果存在偏差。推理场景下,ATC模型转换过
小尉迟 小尉迟
1年前
Java 性能分析工具 JProfiler 注册码
JProfiler是一个Java分析器,可帮助开发人员分析其应用程序的性能。它可用于识别性能瓶颈、内存泄漏和其他可能影响应用程序性能的问题。JProfiler提供了许多用于分析Java应用程序的功能,包括CPU分析、内存分析、线程分析以及与Eclipse、
使用Triton部署chatglm2-6b模型 | 京东云技术团队
一、技术介绍NVIDIATritonInferenceServer是一个针对CPU和GPU进行优化的云端和推理的解决方案。支持的模型类型包括TensorRT、TensorFlow、PyTorch(metallama/Llama27b)、Python(cha
流浪剑客 流浪剑客
11个月前
JProfiler for Mac 14 附 注册码 支持M1
是一款针对Mac用户的专业Java性能分析工具,它可以帮助开发人员识别和解决Java应用程序的性能瓶颈和问题。JProfilerforMac提供了全面的分析和优化功能,包括实时监控Java应用程序的各个方面,如内存使用情况、CPU占用、线程活动和数据库访问
京东云开发者 京东云开发者
9个月前
京东广告算法架构体系建设--高性能计算方案最佳实践 | 京东零售广告技术团队
1、前言推荐领域算法模型的在线推理是一个对高并发、高实时有较强要求的场景。算法最初是基于Wide&Deep相对简单的网络结构进行建模,容易满足高实时、高并发的推理性能要求。但随着广告模型效果优化进入深水区,基于Transformer用户行为序列和Atten
京东云开发者 京东云开发者
8个月前
京东广告算法架构体系建设--高性能计算方案最佳实践
1、前言推荐领域算法模型的在线推理是一个对高并发、高实时有较强要求的场景。算法最初是基于Wide&Deep相对简单的网络结构进行建模,容易满足高实时、高并发的推理性能要求。但随着广告模型效果优化进入深水区,基于Transformer用户行为序列和Atten
京东云开发者 京东云开发者
3个月前
聊聊JVM如何优化
首先应该明确的是JVM调优不是常规手段,JVM的存在本身就是为了减轻开发对于内存管理的负担,当出现性能问题的时候第一时间考虑的是代码逻辑与设计方案,以及是否达到依赖中间件的瓶颈,最后才是针对JVM进行优化。1.JVM内存模型针对JAVA8的模型进行讨论,J