Tengine是一个优秀的轻量级端侧/嵌入式环境深度神经网络推理引擎。兼容多种操作系统和深度学习算法，以AI推理框架为基础的AIoT开发套件。本文档将分别在x86 Linux和Arm64 Linux平台，以分类模型（TensorFlow MobileNetv1模型）为例，带你快速上手Tengine。

Linux x86 平台编译

下载代码

$ git clone https://github.com/OAID/tengine/

安装所需工具和依赖库

在开始编译Tengine之前，你需要确认你已经安装了cmake，g++，如果没有，你可以通过如下指令安装：

$ sudo apt install cmake g++

进入tengine目录，执行编译脚本

$ cd /path/to/Tengine
$ mkdir build
$ cd build
$ cmake -DCMAKE_TOOLCHAIN_FILE=../toolchains/x86.gcc.toolchain.cmake ..
$ make -j4 && make install

编译完成后，在build目录下如果有libtengine.so文件，说明编译成功。

qtang@tengine-train:~/github/Tengine/build$ ls
benchmark  CMakeCache.txt  CMakeFiles  cmake_install.cmake  examples  libtengine.so  Makefile  tests

arm64 Linux 平台编译

arm64 Linux编译方式与x86平台类似

下载代码

$ git clone https://github.com/OAID/tengine/

安装所需工具

$ sudo apt install cmake g++

进入tengine目录，执行编译脚本

$ cd /path/to/Tengine
$ mkdir build
$ cd build
$ cmake -DCMAKE_TOOLCHAIN_FILE=../toolchains/arm64.native.gcc.toolchain.cmake ..
$ make -j4 && make install

编译完成后，在build目录下如果有libtengine.so文件，说明编译成功。

转换模型

二进制工具

我们提供模型转换工具convert_model_to_tm，方便您将Tensorflow/Caffe/MxNet/ONNX等框架模型转换成Tengine模型格式tmfile：

convert_model_to_tm

若采用源码编译，编译完成后该工具的存放路径在

$ tree install/ install/ ├── benchmark │ ├── bench_mobilenet │ └── bench_sqz ├── convert_tools │ └── convert_model_to_tm (here!)

模型仓库

我们提供了常见开源模型的tmfile文件，您可以在这里找到他们：

Tengine Model zoo（Password : hhgc）

模式转换demo

使用convert_model_to_tm将mobilenet.pb模型转换成Tengine模型非常简单，执行以下命令:

$ ./convert_model_to_tm -f tensorflow -m ./mobilenet.pb -o ./mobilenet_tf.tmfile

其中：

$ ./install/convert_tools/convert_model_to_tm -h

[Usage]: ./install/convert_tools/convert_model_to_tm [-h] [-f file_format] [-p proto_file] [-m model_file] [-o output_tmfile]

-f：模型框架类型[caffe、caffe_single、onnx、mxnet、tensorflow、darknet、tflite]，当输入只有一个模型文件时，不需要指定“-p”选项，只指定“-m”选项即可。这里我们使用的是tensorflow mobilenet模型，因此设置该参数为tensorflow
-m：源模型路径
-o：转换后Tengine模型路径

// 转换Caffe Model
$ ./install/tool/convert_model_to_tm -f caffe -p models/sqz.prototxt -m models/squeezenet_v1.1.caffemodel -o models/squeezenet.tmfile 

// 转换TensorFlow Model
$ ./install/tool/convert_model_to_tm -f tensorflow -m models/squeezenet.pb -o models/squeezenet_tf.tmfile

需要注意的是，convert_model_to_tm只能在Linux x86平台上编译或运行，同时编译的时候依赖protobuf第三库(>= 3.0)，需要提前安装

$ sudo apt-get install libprotobuf-dev protobuf-compiler

当拿到Tengine模型文件如Mobilenet.tmfile之后，就可以用Tengine在各种平台上愉快的进行应用开发了。

常用API介绍

Tengine核心API如下：

init_tengine

初始化Tengine，该函数在程序中只要调用一次即可。

create_graph

创建Tengine计算图。

prerun_graph

预运行，准备计算图推理所需资源。

run_graph

启动Tengine计算图推理。

postrun_graph

停止运行graph，并释放graph占据的资源。

destroy_graph

销毁graph。

postrun_graph和destroy_graph在执行完模型推理后调用，一般是连续调用。

使用Tengine C API开发mobilenet图片分类代码

Tengine提供了C、C++、Python API供用户使用，这里我们使用Tengine C++ API展示如何运行MobileNetv1网络模型实现图片分类功能，让你快速上手Tengine C++ API。代码中我们将使用详细的代码注释，方便你熟悉Tengine核心API的功能，更快地开发出自己的代码。这里，我们使用行业内无人不识，无人不晓的tiger cat图片作为测试图片。

测试代码

完整的测试代码如下：

#include <unistd.h>
#include <iostream>
#include <functional>
#include <algorithm>
#include <fstream>
#include <iomanip>

#include "tengine_operations.h"
#include "tengine_c_api.h"
#include "tengine_cpp_api.h"
#include "common_util.hpp"

const char* model_file = "./models/mobilenet.tmfile";
const char* image_file = "./tests/images/cat.jpg";
const char* label_file = "./models/synset_words.txt";

const float channel_mean[3] = {104.007, 116.669, 122.679};

using namespace TEngine;

int repeat_count = 100;
void LoadLabelFile(std::vector<std::string>& result, const char* fname)
{
    std::ifstream labels(fname);

    std::string line;
    if(labels.is_open())
    {
        while(std::getline(labels, line))
            result.push_back(line);
    }
}

void PrintTopLabels(const char* label_file, float* data)
{
    // load labels
    std::vector<std::string> labels;
    LoadLabelFile(labels, label_file);

    float* end = data + 1000;
    std::vector<float> result(data, end);
    std::vector<int> top_N = Argmax(result, 5);

    for(unsigned int i = 0; i < top_N.size(); i++)
    {
        int idx = top_N[i];
        if(labels.size())
            std::cout << std::fixed << std::setprecision(4) << result[idx] << " - \"" << labels[idx] << "\"\n";
        else
            std::cout << std::fixed << std::setprecision(4) << result[idx] << " - " << idx << "\n";
        
    }
}

void get_input_data(const char* image_file, float* input_data, int img_h, int img_w, const float* mean, float scale)
{
    image img = imread(image_file);

    image resImg = resize_image(img, img_w, img_h);
    resImg = rgb2bgr_premute(resImg);
    float* img_data = ( float* )resImg.data;
    int hw = img_h * img_w;
    for(int c = 0; c < 3; c++)
        for(int h = 0; h < img_h; h++)
            for(int w = 0; w < img_w; w++)
            {
                input_data[c * hw + h * img_w + w] = (*img_data - mean[c]) * scale;
                img_data++;
            }
}

int main(int argc, char* argv[])
{
    std::string device = "";
    std::string file_path = "";
    char* cpu_list_str = nullptr;

    int res;

    while((res = getopt(argc, argv, "p:d:f:r:")) != -1)
    {
        switch(res)
        {
            case 'p':
                cpu_list_str = optarg;
                break;

            case 'd':
                device = optarg;
                break;

            case 'f':
                file_path = optarg;
                break;

            case 'r':
                repeat_count = strtoul(optarg, NULL, 10);
                break;

            default:
                break;
        }
    }

    int img_h = 224;
    int img_w = 224;

    tengine::Net mobilenet;
    tengine::Tensor input_tensor;
    tengine::Tensor output_tensor;

    /* load model */
    mobilenet.load_model(NULL, "tengine", model_file);

    /* prepare input data */
    input_tensor.create(img_w, img_h, 3);
    get_input_data(image_file, (float* )input_tensor.data, img_h, img_w, channel_mean, 0.017);
    mobilenet.input_tensor("data", input_tensor);
    
    /* forward */
    mobilenet.run();

    /* get result */
    mobilenet.extract_tensor("fc7", output_tensor);

    /* after process */
    PrintTopLabels(label_file, (float*)output_tensor.data);
    
    std::cout << "--------------------------------------\n";
    std::cout << "ALL TEST DONE\n";

    return 0;
}

编译

build.sh编译脚本默认配置已实现自动编译examples中的demo程序，以x86平台为例，demo存放在./build-linux-x86/install/examples/目录下。

./build-linux-x86/install/
├── benchmark
│   ├── bench_mobilenet
│   └── bench_sqz
├── examples
│   ├── classification
│   ├── mobilenet_ssd
│   └── synset_words.txt

运行结果

将测试图片和分类标签文件放在指定目录下，运行即可：

export LD_LIBRARY_PATH=./build-linux-x86/install/lib
cd ./build-linux-x86/install/examples/
$ ./classification -m /path/to/mobilenet.tmfile -l /path/to/labels.txt -i /path/to/img.jpg -g 224,224 -s 0.017 -w 104.007,116.669,122.679

--------------------------------------
0.3465 - "tiger cat"
0.1609 - "tabby"
0.1564 - "weasel"
0.0844 - "Egyptian cat"
0.0258 - "bucket"
--------------------------------------
ALL TEST DONE

可以看出，我们已经成功的分类出测试图片是虎猫了。到这里最基本的上手指北已经完成，剩下的小伙伴们可以自行探索，我们也会不定期更新各种教程范例给大家~

...\(^0^)/...233

更多资讯欢迎关注公众号Tengine开发者社区，拜了个拜