9n-triton部署bert模型实战经验

京东云开发者
• 阅读 15

一、背景

对于算法工程师来说,通常采用python语言来作为工作语言,但是直接用python部署线上服务性能很差。这个问题困扰了我很久,为了缓解深度学习模型工程落地性能问题,探索了Nvidia提供的triton部署框架,并在九数中台上完成线上部署,发现性能提升近337%!!原服务单次访问模型推理时间175ms左右,同模型框架单次访问推理时间缩减至40ms左右)。本文仅以本次部署服务经验分享给诸多受制于python性能问题的伙伴,希望有所帮助。

二、问题发现

组内原算法服务一直采用python-backend的镜像部署方式,将算法模型包装成接口形式,再通过Flask外露,打入docker中启动服务,但是发现推到线上接口响应时间过长,非常影响用户体验,于是想做出改进。python后端部署一般存在以下问题:

1.性能问题:

◦由于python是一种解释语言,因此对比于其他编译语言(如C,C++或go)要慢很多,这对于要求高性能或者低延迟快速响应的线上服务很不友好,用户体验很差。

◦GIL全局锁限制,多线程困难,限制了高并发能力,限制程序性能。

◦python内存占用过多,资源浪费。

2.部署复杂:

◦自训练/自搭建算法模型往往需要一系列的相关依赖和系统库,如果利用python环境直接部署至线上,则必须解决将所有依赖库同步打包至对应容器中,并很可能需要额外解决不同库版本冲突问题,十分麻烦。

为了解决上述困扰,我们经过调研行业内其他实践经验,决定摒弃传统镜像部署方式,摆脱python部署环境,换用triton部署算法模型。

三、部署实例

本试验通过fine-tune的Bert模型进行文本分类任务,并通过九数算法中台包装的triton部署框架部署至公网可访问,以下介绍了我们团队部署的全流程和途中踩到的坑,以供大家快速入手(以下均以Bert模型为例):

step 1: 将训练好的模型保存为onnx或torchscript(即.pt)文件格式。据调研行业经验,onnx一般用于cpu环境下推理任务效果较好,.pt文件在gpu环境下推理效果较好,我们最终选择了将模型转化为.pt文件。代码例子如下:

import torch
from transformers import BertTokenizer, BertForSequenceClassification

tokenizer = BertTokenizer.from_pretrained('./pretrained-weights/bert-base-chinese')
model = BertForSequenceClassification.from_pretrained('./pretrained-weights/bert-base-chinese', num_labels=10)
# Trace the wrapped model
# input_ids和attention_mask来自tokenizer, 具体可看一下torch.jit.trace用法
traced_model = torch.jit.trace(model, (input_ids, attention_mask))
traced_model.save("./saved_model_torchscript_v3.pt")

本段代码借用了torch.jit.trace的存储方式,输入是文本经过tokenizer之后的input_ids和attention_mask,输出是未经softmax处理的线性层。我们尝试将softmax部分包装进模型中一起打包成pt文件,使模型能够直接吐出分类类别,方案是外层再包装一层forward,代码例子如下:

class BertSequenceClassifierWrapper(torch.nn.Module):
    def __init__(self, model):
        super().__init__()
        self.model = model.cuda()

    def forward(self, input_ids, attention_mask):
        outputs = self.model(input_ids=input_ids.cuda(), attention_mask=attention_mask.cuda())
        # Apply softmax to the logits
         probs = softmax(outputs.logits, dim=-1)
        # Get the predicted class
         predicted_class = torch.argmax(probs, dim=-1)
        return predicted_class

wrapped_model = BertSequenceClassifierWrapper(model)
traced_model = torch.jit.trace(wrapped_model, (input_ids, attention_mask))
traced_model.save("./saved_model_torchscript_v3.pt")

然而,参考于行业内实践,我们没有选择将tokenizer部分包装至模型内部,这是因为torchscript仅接受数组类型输入而非文本。最终,我们封装的模型输入为input_ids和attention_mask,输出为分类结果(标量输出)。

【注】:坑点:

◦转onnx需要额外安装transformers-onnx包,需要sudo权限,九数上不能执行,建议本地转换。

◦对于.pt类型文件,当前九数triton部署仅支持gpu方式推理方式,不支持cpu推理,且torch版本有强要求限制 torch ==1.10.0,cuda11.2(更高版本似乎也可),故我们在保存时必须要在torch ==1.10.0,cuda11.2环境下生成pt文件,不然会部署失败。

◦转pt文件时建议使用torch.jit.trace而非torch.jit.script,后者经常出现引擎不兼容问题。

step 2: 将.pt文件存放在九数磁盘目录下指定位置,注意,目录格式需要严格按照要求,具体可参考九数帮助文档。

目录格式如下(其中model.pt即为我们训练好的模型):

pytorch-backend-online
|-- pytorch-model
|   |-- 1
|   |   |-- model.pt
|   `-- config.pbtxt

config.pbtxt配置如下:

name: "pytorch-model"
platform: "pytorch_libtorch"

input [
  {
    name: "INPUT__0"
    data_type: TYPE_INT64
    dims: [1, 512]
  },
  {
    name: "INPUT__1"
    data_type: TYPE_INT64
    dims: [1, 512]
  }
]
output [
  {
    name: "OUTPUT__0"
    data_type: TYPE_INT64
    dims: [1, 1] 
  }
]
instance_group [
  {
      count: 1
  }
]

配置中,我们需要指定输入和输出的维度以及数据类型。注意,数据类型指的是每个可迭代对象的类型(比如512维向量每个维度都是int64)。在本实例中,我们定义了两个输入均为1*512维向量,输出为一个标量。

step 3: 模型注册。需要到九数上注册你的模型,然后才能部署,方式如下:



9n-triton部署bert模型实战经验



模型注册表填写如下:



9n-triton部署bert模型实战经验



坑点:图中step2定义的一级目录,比如 /home/{erp}/xxx/xxx/xxx。

step 4: 模型注册好之后,就可以在注册好的模型下点击:部署-测试



9n-triton部署bert模型实战经验



然后需要填写UI界面的信息。



9n-triton部署bert模型实战经验



到这里,如果模型没有问题,部署就是成功了~

step 5: 测试端口通不通。如果是测试环境,我们可以通过post接口在notebook中测试接口通不通,测试demo如下:



9n-triton部署bert模型实战经验



URL来自获取方式如下:



9n-triton部署bert模型实战经验



如果测试没有问题,就可以转生产了~配置好域名和端口就可以公网访问了。至此,triton框架部署torchscript方式完结。

四、结语

•本文主要展示了一个基于Bert模型finetune的结果部署,经我们线下测试,对比于原有onnx在cpu机器上的推理速度增幅超过300%。

•本项工作由殷擎,孙研同学共同完成,致谢团队工作者!

点赞
收藏
评论区
推荐文章
Wesley13 Wesley13
2年前
AI领域最最最稀缺的人才——AI架构师
分布式技术是深度学习技术的加速器。同时利用多个工作节点,分布式地、高效地训练出性能优良的神经网络模型,能够显著提高深度学习的训练效率、进一步增大其应用范围。《首席AI架构师——分布式高性能深度学习实战培养计划》,力图从更宽的视角,梳理清楚深度学习框架、AI应用、部署上线的整个环节,让你在AI职业规划上可以多一些选择。!(https
Wesley13 Wesley13
2年前
AI算法岗为什么都要求C++?
当下AI算法大多基于深度学习算法模型,通常在模型训练和验证阶段会采用Python语言快速处理。而在实际应用阶段,则会采用C来调用模型和性能优化,从而提高算法运行效率。所以未来想要深耕AI算法领域,成为资深算法工程师,C是必须掌握的。很多同学一听学C没个23年啃不动,立马条件反射式地放弃。但C真的难学吗?说
Easter79 Easter79
2年前
TARS为SpringCloud提供高性能的RPC能力
传统HTTP存在的瓶颈SpringCloud是一个优秀的开源微服务解决方案,通常采用HTTPjson的REST接口对外提供服务,简洁易用部署方便,很多公司也基于SpringCloud作为基础架构去构建自身的微服务架构。但是随着业务规模和用户规模的增长,传统基于的HTTP的服务会逐步暴露出一些问题。首先是性能的问题,
晴雯 晴雯
1年前
PyCharm CE 的安装与使用
是一个python库,也是一个基于python的深度学习框架。它由清华大学计算机系教授、博士生导师胡浩老师开发。它支持多线程,采用了并行计算的技术,实现了深度学习算法的加速。另外,它支持基于图的模型,并在此基础上提供了多种模型库和数据集。首先,我们需要准备
京东云开发者 京东云开发者
5个月前
记录TritonServer部署多模型到多GPU踩坑 | 京东云技术团队
一、问题是怎么发现的部署chatglm2和llama2到一个4V100的GPU机器上遇到问题config.pbtxt中设置模型分别在指定gpu上部署实例配置不生效如以下配置为在gpu0上部署本模型,部署count1个实例,在gpu1上部署本模型,部署cou
笑面虎 笑面虎
2个月前
LLM大语言模型算法特训,带你转型AI大语言模型算法工程师
LLM大语言模型算法特训,带你转型AI大语言模型算法工程师给大家分享一套课程——LLM大语言模型算法特训,带你转型AI大语言模型算法工程师,源码PDF课件下载。大语言模型(LLM)是基于海量文本数据训练的深度学习模型。它不仅能够生成自然语言文本,还能够深
光之守卫 光之守卫
1天前
LLM大语言模型算法特训 带你转型AI大语言模型算法工程师
LLM大语言模型算法特训带你转型AI大语言模型算法工程师download》itzcw.com/9256/大语言模型的基本原理、技术实现和实际应用大语言模型(LargeLanguageModels,LLMs)是一种基于深度学习的自然语言处理模型,具有强大的文
程秉 程秉
11小时前
LLM大语言模型算法特训 带你转型AI大语言模型算法工程师
LLM大语言模型算法特训带你转型AI大语言模型算法工程师download》chaoxingit.com/4898/LLM大语言模型算法特训:探索AI大语言模型算法工程师之路导语:随着人工智能技术的不断发展,大语言模型(LargeLanguageModels
使用深度学习进行图像分类
解决任何真实问题的重要一步是获取数据。Kaggle提供了大量不同数据科学问题的竞赛。我们将挑选一个2014年提出的问题,然后使用这个问题测试本章的深度学习算法,并在第5章中进行改进,我们将基于卷积神经网络(CNN)和一些可以使用的高级技术来改善图像识别模型的性能。大家可以从https://www.kaggle.com/c/dogsvscats/data下载数
使用深度学习进行图像分类
使用深度学习进行图像分类解决任何真实问题的重要一步是获取数据。Kaggle提供了大量不同数据科学问题的竞赛。我们将挑选一个2014年提出的问题,然后使用这个问题测试本章的深度学习算法,并在第5章中进行改进,我们将基于卷积神经网络(CNN)和一些可以使用的高级技术来改善图像识别模型的性能。大家可以从https://www.kaggle.com/c/dogsvs