【MindStudio训练营第一季】MindStudio Profiling随笔

司马炎
• 阅读 470

MindStudio Profiler简介

Ascend AI处理器是一款面向AI业务应用的高性能集成芯片,包含AI CPU、A Core、AI Vector Core等计算单元来提升AI任务的运算性能。基于Ascend AI处理器,Mindstudio在算子开发、模型训练及推理应用等不同环节,提供了端到端的Profiler工具。该工具可以帮助用户看到模型从应用层到芯片层的接口和算子耗时,从而准确定位系统的软、硬件性能瓶颈,提高性能分析的效率。

调优主要分为三步:

  • 性能数据采集、解析、分析

  • 性能问题定位,发现性能瓶颈点

  • 采取性能优化措施

性能分析简要介绍

【MindStudio训练营第一季】MindStudio Profiling随笔

通过命令行采集性能数据

数据采集方式

.msprof.bin

【MindStudio训练营第一季】MindStudio Profiling随笔

数据采集方式——离线推理

  1. acl.json配置文件方式
  • 打开工程文件,查看调用的aclInit0函数,获取acl.json文件路径

  • 修改acl.json文件,添加Profiling相关配置

【MindStudio训练营第一季】MindStudio Profiling随笔

  1. AI任务相关性能数据采集方式 - API接口

API接口类型

  • aclprofinit: 设置落盘路径

  • aclprofCreateConfig: 设置采集参数

  • aclprofStart: 开始采集

  • aclmdlExecute: 执行模型

  • aclprofStop: 结束采集

  • aclprofDestroyConfig: 释放配置资源

  • aclprofFinalize:释放profiling组件资源

API接口规范

  • ACL API(C接口)

  • pyACL API (Python接口)

【MindStudio训练营第一季】MindStudio Profiling随笔

  1. 数据采集方式——在线推理与训练

MindSpore

【MindStudio训练营第一季】MindStudio Profiling随笔

TensorFlow

环境变量配置:

export PROFILING MODE=true
export PROFILING OPTIONS='"output":"/tmp","training trace":"on""task trace":"on","aicpu":"on,"aic metrics:"PipeUtilization")

训练脚本配置 Estimator模式下,通过NPURunConfig中的profiling_config开启Profiling数据采集。

sess.run模式下,通过session配置项profiling_mode.profiling_options开启Profiling数据采集。

【MindStudio训练营第一季】MindStudio Profiling随笔

Pytorch 框架侧数据的采集方法

with torch.autograd.profiler.profile(use_npu= True) as prof:
      for epoch in range(10):
        y_pred = model(x data)
        loss = loss_func(y_pred, y_data)
        loss.backward()
profexport_chrome_trace( 'profiler.json')

【MindStudio训练营第一季】MindStudio Profiling随笔

Pytorch CANN侧数据的采集方法

config=torch_npu.npu.profileConfig(
    ACL_PROF_ACL_API=True,
    ACL_PROF_TASK_TIME=False,
    ACL_PROF_AICPU=False,
    AC_PROF_AICORE_METRICS=False,
    aiCoreMetricsType=0)
with torch.npu.profile (profiler_result_path, config=config) as prof:
    for epoch in range(10):
      y_pred = model(x data)
      loss = loss_func(y_pred, y_data)
      loss.backward()

【MindStudio训练营第一季】MindStudio Profiling随笔

同时采集PyTorch框架侧和CANN数据

msprof.bin

with torch.npu.profile (profiler result path, use e2e profiler=True) as prof:
    for epoch in range(10):
      y_pred = model(x data)
      loss = loss func(y_pred, y_data)
      loss.backward()

【MindStudio训练营第一季】MindStudio Profiling随笔

对比不同迭代的耗时

with torch.npu.profile (profiler_result_path) as prof:
    for epoch in range(10):
       torch_npu.npu.iteration_start()
       Y_pred = model(x data)
       loss = loss_func (y_pred, y_data)
       loss.backward()
       torch_npu.npu.iteration end()


msprof --export=on --output= fprof path] --iteration-id=3

【MindStudio训练营第一季】MindStudio Profiling随笔

仅采集需要的迭代

def execute model():
      y_pred = model(x data)
      loss = loss_func(y_pred, y_data)
      loss.backward()
for epoch in range(10):
   if epoch != 2:
      execute model()
   else:
      with torch.npu.profile (profiler_result_path) as prof:
          execute model()
for epoch in range(10):
   if epoch == 2:
     torch_npu.npu.prof_init(profiler_result_path)
     torch_npu.npu.prof_start()
   execute model()
   if epoch == 2:
     torch_npu.npu.prof_stop()
     torch_npu.npu.prof_finalize()

【MindStudio训练营第一季】MindStudio Profiling随笔

  1. Profiling数据说明

(1) Step trace timeline数据: step trace数据查看选代耗时情况,识别较长选代进行分析。

msporf --export=on --output=prof_path

【MindStudio训练营第一季】MindStudio Profiling随笔 【MindStudio训练营第一季】MindStudio Profiling随笔

(2) 对应迭代的msprof timeline数据: 通过打开导出的msprof数据查看送代内耗时情况,存在较长耗时算子时,可以进一步找算子详细信息辅助定位;存在通信耗时或调度间隙较长时,分析调用过程中接口耗时。

【MindStudio训练营第一季】MindStudio Profiling随笔

(3)HCCL timeline数据:通过多卡进行训练时,卡间通信算子也可能导致性能瓶颈。

【MindStudio训练营第一季】MindStudio Profiling随笔

(4)打开组件接口耗时统计表:可以查看迭代内AscendCL API 和 Runtime APl的接口耗时情况,辅助分析接口调用对性能的影响。

【MindStudio训练营第一季】MindStudio Profiling随笔

(5)打开对应的算子统计表:可以查看送代内每个AI CORE和AI CPU算子的耗时及详细信息,进一步定位分析算子的metrics指标数据,分析算子数据搬运、执行流水的占比情况,识别算子瓶颈点。

【MindStudio训练营第一季】MindStudio Profiling随笔

  1. 优化案例——算子融合

【MindStudio训练营第一季】MindStudio Profiling随笔 【MindStudio训练营第一季】MindStudio Profiling随笔

通过MindStudio IDE分析性能

IDE模式

集群调优

【MindStudio训练营第一季】MindStudio Profiling随笔 【MindStudio训练营第一季】MindStudio Profiling随笔 【MindStudio训练营第一季】MindStudio Profiling随笔

点赞
收藏
评论区
推荐文章
GoCoding GoCoding
3年前
昇腾 CANN 开发环境
昇腾CANN是华为开发的AI场景的异构计算架构,支持用户快速构建基于昇腾平台的AI应用和业务。本文为Ubuntu上手动部署开发环境(与运行环境分离),安装MindStudio的过程。注:也可通过工具自动安装。只是本文实践时,安装服务遇到了中断问题。故给出了手动安装的方式。基础说明要求:Ubuntux8618.04非昇腾设备
Stella981 Stella981
3年前
Bypass ngx_lua_waf SQL注入防御(多姿势)
0x00前言ngx\_lua\_waf是一款基于ngx\_lua的web应用防火墙,使用简单,高性能、轻量级。默认防御规则在wafconf目录中,摘录几条核心的SQL注入防御规则:select.(from|limit)(?:(union(.?)select))(?:from\Winformation_schema\W)这边
司马炎 司马炎
1年前
【MindStudio训练营第一季】MindStudio 高精度对比随笔
MindStudio精度对比简介原因:训练场景下,迁移原始网络(如TensorFlow、PyTorch),用于NPU上执行训练,网络迁移可能会造成自有实现的算子运算结果与用原生标准算子运算结果存在偏差。推理场景下,ATC模型转换过
司马炎 司马炎
1年前
【MindStudio训练营第一季】MindStudio 专家系统随笔
简介专家系统(MindstudioAdvisor)是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&
司马炎 司马炎
1年前
【MindStudio训练营第一季】基于U-Net网络的图像分割的MindStudio实践
前情说明本作业基于Windows版MindStudio5.0.RC3,远程连接ECS服务器使用,ECS是基于官方分享的CANN6.0.RC1MindXVision3.0.RC3镜像创建的。基于ECS(Ascend310)的UNet网络的图像分割1.UNet
ChatGPT 背后的英雄——AI芯片
AI芯片能为人工智能应用提供所需的基础算力;按技术架构主要分为GPU、FPGA和ASIC。ChatGPT有着大量复杂计算需求的AI模型,AI芯片专门用于处理人工智能应用中的大量计算任务,是不可或缺的底层硬件
子桓 子桓
11个月前
Mac电脑cpu温度监测:Turbo Boost Switcher Pro完整版安装教程
TurboBoostSwitcherPro是一款针对Mac电脑的软件,它允许用户禁用或启用IntelTurboBoost技术。TurboBoost技术是一项自动加速功能,可以在需要更高性能时提升处理器的频率,提供更强的计算能力。该软件具有简单直观的界面,用
HPC的基本概念
HPC(HighPerformanceComputing)是一种高性能计算技术,它利用大规模并行处理器集群或超级计算机等高性能计算设备,以及高速网络互联技术,实现对大规模数据和复杂计算任务的高效处理和分析。
“分离”“聚合”两手抓,天翼云聚合计算赋能多元化应用场景!
随着大数据、人工智能和高性能计算的迅猛发展,在大数据分析、基因测序、芯片设计、数据库和AI训练等“大计算”应用场景中,计算资源需求呈现爆发式增长态势,而传统的计算架构在资源利用率、扩展性、IO性能等方面存在诸多挑战。
司马炎 司马炎
1年前
【MindStudio训练营第一季】MindStudio 可视化AI应用开发体验随笔
MindStudioMindStudio提供一站式AI开发环境,依靠工具与性能调优,采用插件化扩展机制,打造高效、便捷的全流程开发工具链。目前最新版本是5.0.RC3,发布于2022年20月,对应的昇腾社区版本:6.0.RC1。新增众多特性,