从源代码构建TensorFlow流程记录

京东云开发者
• 阅读 427
京东科技隐私计算产品部 曹雨晨

为什么从源代码构建

通常情况下，直接安装构建好的.whl即可。不过，当需要一些特殊配置（或者闲来无事想体会 TensorFlow 构建过程到底有多麻烦）的时候，则需要选择从源代码构建TensorFlow。万幸文档混乱的 TensorFlow 还是好心地为我们提供了一整页的文档供参考 https://www.tensorflow.org/install/source?hl=zh-cn ，个人认为其中最需要关注的部分莫过于经过测试供参考的源配置（列于文末）。TF使用 Google 的开源构建工具 bazel 构建，并且源码的版本与 bazel 的版本高度相关，所以尽量匹配版本进行构建。

流程记录 TF v1.14.0 CPU on Ubuntu 18.04

安装对应版本的 bazel

根据计划构建的版本，查阅文末的对应配置，参考官方文档： https://bazel.build/install/ubuntu 安装相应版本的 bazel，如本次计划构建的版本是 v1.14.0，对应的 bazel 版本是 0.24.1(此次使用0.26.1也是可以的)。

为方便，这里直接贴出对应 0.26.1 release 的页面： https://github.com/bazelbuild/bazel/releases?expanded=true&page=2&q=0.26.1 ，点击assets找到对应的文件下载即可。

wget https://github.com/bazelbuild/bazel/releases/download/0.26.1/bazel-0.26.1-installer-linux-x86_64.sh
chmod +x bazel-version-installer-linux-x86_64.sh
./bazel-version-installer-linux-x86_64.sh --user

克隆 TensorFlow 仓库

从 Github 上 clone 源码仓库

git clone https://github.com/tensorflow/tensorflow

cd 到仓库目录并 git checkout到相应 tag，比如这次是构建 v1.14.0 版本：

git checkout v1.14.0

* 一些小调整，通常可以略过

Build with C++17

因为之后需要写的 Custom OP 依赖的另一个库是 C++17，而除了刚刚才发布的 v2.10 版，以前的 TF默认是使用 C++11，实际构建的时候，代码有一些 minor fix。此处参考 https://github.com/tensorflow/tensorflow/pull/30836/files 修改 .bazelrc里 build:c++17 的配置，在 tensorflow/core/lib/gif/gif_io.cc 中添加 #include<cstring>, 并在 tensorflow/stream_executor/stream_executor_pimpl.h 中添加 #include "absl/memory/memory.h"（否则 compile 时会报错找不到 absl::make_unique）（这里 make_unique 是 C++17 标准库里的用法，Google的abseil的make_unique方法则方便C++11的代码也可以使用它；最新的v2.10版由于默认使用C++17，已经改为std::make_unique）

.bazelrc文件里记录了构建时各种配置选项 （[--config=option]）的映射规则，如有需要可以进行修改。由于 GCC 不支持--stdlib命令，此次修改如下：

  # Build TF with C++ 17 features.
- build:c++17 --cxxopt=-std=c++1z
- build:c++17 --cxxopt=-stdlib=libc++
+ build:c++17 --cxxopt=-std=c++17

网络不通

Bazel 在构建过程中，需要现拉取远程仓库的许多依赖。由于 TF 的构建过程消耗内存很严重，选择在服务器上进行构建，而服务器远程拉取 github 上仓库经常失败。所以需要手动在网络良好的机器上下载相应的库的 release （对应的版本在 WORKSPACE 文件中可以找到一行注释），存放在服务器本地，并在 WORKSPACE 文件中对应的 http_archive 部分添加一行本地地址。若需要换版本，也可以在相应github库的releases下面找到对应的 URL 及 sha256（实在是找不到对应的也可以手动下载压缩包后通过 shasum256 命令获取）

例如：

http_archive(
 name = "build_bazel_rules_apple",
 sha256 = "a045a436b642c70fb0c10ca84ff0fd2dcbd59cc89100d597a61e8374afafb366",
 urls = ["https://github.com/bazelbuild/rules_apple/releases/download/0.18.0/rules_apple.0.18.0.tar.gz",
         "file:///opt/tensorflow_build_deps/rules_apple.0.18.0.tar.gz"],
) # https://github.com/bazelbuild/rules_apple/releases

配置 build

运行源码根目录下的 ./configure 进行配置。

./configure

此次编译一个尽量简略的 CPU 版本，会话如下：

WARNING: --batch mode is deprecated. Please instead explicitly shut down your Bazel server using the command "bazel shutdown".
You have bazel 0.26.1 installed.
Please specify the location of python. [Default is /usr/local/bin/python]:


Found possible Python library paths:
  /usr/local/lib/python3.6/dist-packages
  /usr/lib/python3/dist-packages
Please input the desired Python library path to use.  Default is [/usr/local/lib/python3.6/dist-packages]

Do you wish to build TensorFlow with XLA JIT support? [Y/n]: n
No XLA JIT support will be enabled for TensorFlow.

Do you wish to build TensorFlow with OpenCL SYCL support? [y/N]: n
No OpenCL SYCL support will be enabled for TensorFlow.

Do you wish to build TensorFlow with ROCm support? [y/N]: n
No ROCm support will be enabled for TensorFlow.

Do you wish to build TensorFlow with CUDA support? [y/N]: n
No CUDA support will be enabled for TensorFlow.

Do you wish to download a fresh release of clang? (Experimental) [y/N]: n
Clang will not be downloaded.

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -march=native -Wno-sign-compare]:


Would you like to interactively configure ./WORKSPACE for Android builds? [y/N]: n
Not configuring the WORKSPACE for Android builds.

Preconfigured Bazel build configs. You can use any of the below by adding "--config=<>" to your build command. See .bazelrc for more details.
    --config=mkl            # Build with MKL support.
    --config=monolithic     # Config for mostly static monolithic build.
    --config=ngraph         # Build with Intel nGraph support.
    --config=numa           # Build with NUMA support.
    --config=dynamic_kernels    # (Experimental) Build kernels into separate shared objects.
    --config=v2             # Build TensorFlow 2.x instead of 1.x.
Preconfigured Bazel build configs to DISABLE default on features:
    --config=noaws          # Disable AWS S3 filesystem support.
    --config=nogcp          # Disable GCP support.
    --config=nohdfs         # Disable HDFS support.
    --config=nonccl         # Disable NVIDIA NCCL support.
Configuration finished

构建 pip 软件包并安装

官方提供的命令：

bazel build [--config=option] //tensorflow/tools/pip_package:build_pip_package

本次使用：

bazel build --config=c++17 --config=c++1z --jobs=6 //tensorflow/tools/pip_package:build_pip_package

其中使用的 --config=c++17 --config=c++1z 对应刚刚修改的 .bazelrc 文件中相应的部分

注意：bazel build 的过程时间会比较长，对内存的消耗较大，jobs 数谨慎开大。

bazel build结束后，一个名为build_pip_package 的可执行文件就创建好了，接下来可以执行：

./bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

如果希望构建的whl名为 tf-nightly 版本，则可以加上 --nightly_flag的选项。

./bazel-bin/tensorflow/tools/pip_package/build_pip_package --nightly_flag /tmp/tensorflow_pkg

此后便获得了.whl文件，通过 pip 安装即可：

pip install /tmp/tensorflow_pkg/tensorflow-[version]-[tags].whl

其中，version是对应的版本，tags与系统有关。

经过测试的源配置

Linux

CPU

版本 Python 版本 编译器 构建工具
tensorflow-2.6.0 3.6-3.9 GCC 7.3.1 Bazel 3.7.2
tensorflow-2.5.0 3.6-3.9 GCC 7.3.1 Bazel 3.7.2
tensorflow-2.4.0 3.6-3.8 GCC 7.3.1 Bazel 3.1.0
tensorflow-2.3.0 3.5-3.8 GCC 7.3.1 Bazel 3.1.0
tensorflow-2.2.0 3.5-3.8 GCC 7.3.1 Bazel 2.0.0
tensorflow-2.1.0 2.7、3.5-3.7 GCC 7.3.1 Bazel 0.27.1
tensorflow-2.0.0 2.7、3.3-3.7 GCC 7.3.1 Bazel 0.26.1
tensorflow-1.15.0 2.7、3.3-3.7 GCC 7.3.1 Bazel 0.26.1
tensorflow-1.14.0 2.7、3.3-3.7 GCC 4.8 Bazel 0.24.1
tensorflow-1.13.1 2.7、3.3-3.7 GCC 4.8 Bazel 0.19.2
tensorflow-1.12.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0
tensorflow-1.11.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0
tensorflow-1.10.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0
tensorflow-1.9.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.11.0
tensorflow-1.8.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.10.0
tensorflow-1.7.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.10.0
tensorflow-1.6.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.9.0
tensorflow-1.5.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.8.0
tensorflow-1.4.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.5.4
tensorflow-1.3.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.5
tensorflow-1.2.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.5
tensorflow-1.1.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.2
tensorflow-1.0.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.2

GPU

版本 Python 版本 编译器 构建工具 cuDNN CUDA
tensorflow-2.6.0 3.6-3.9 GCC 7.3.1 Bazel 3.7.2 8.1 11.2
tensorflow-2.5.0 3.6-3.9 GCC 7.3.1 Bazel 3.7.2 8.1 11.2
tensorflow-2.4.0 3.6-3.8 GCC 7.3.1 Bazel 3.1.0 8.0 11.0
tensorflow-2.3.0 3.5-3.8 GCC 7.3.1 Bazel 3.1.0 7.6 10.1
tensorflow-2.2.0 3.5-3.8 GCC 7.3.1 Bazel 2.0.0 7.6 10.1
tensorflow-2.1.0 2.7、3.5-3.7 GCC 7.3.1 Bazel 0.27.1 7.6 10.1
tensorflow-2.0.0 2.7、3.3-3.7 GCC 7.3.1 Bazel 0.26.1 7.4 10.0
tensorflow_gpu-1.15.0 2.7、3.3-3.7 GCC 7.3.1 Bazel 0.26.1 7.4 10.0
tensorflow_gpu-1.14.0 2.7、3.3-3.7 GCC 4.8 Bazel 0.24.1 7.4 10.0
tensorflow_gpu-1.13.1 2.7、3.3-3.7 GCC 4.8 Bazel 0.19.2 7.4 10.0
tensorflow_gpu-1.12.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0 7 9
tensorflow_gpu-1.11.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0 7 9
tensorflow_gpu-1.10.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0 7 9
tensorflow_gpu-1.9.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.11.0 7 9
tensorflow_gpu-1.8.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.10.0 7 9
tensorflow_gpu-1.7.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.9.0 7 9
tensorflow_gpu-1.6.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.9.0 7 9
tensorflow_gpu-1.5.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.8.0 7 9
tensorflow_gpu-1.4.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.5.4 6 8
tensorflow_gpu-1.3.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.5 6 8
tensorflow_gpu-1.2.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.5 5.1 8
tensorflow_gpu-1.1.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.2 5.1 8
tensorflow_gpu-1.0.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.2 5.1 8

macOS

CPU

版本 Python 版本 编译器 构建工具
tensorflow-2.6.0 3.6-3.9 Xcode 10.11 中的 Clang Bazel 3.7.2
tensorflow-2.5.0 3.6-3.9 Xcode 10.11 中的 Clang Bazel 3.7.2
tensorflow-2.4.0 3.6-3.8 Xcode 10.3 中的 Clang Bazel 3.1.0
tensorflow-2.3.0 3.5-3.8 Xcode 10.1 中的 Clang Bazel 3.1.0
tensorflow-2.2.0 3.5-3.8 Xcode 10.1 中的 Clang Bazel 2.0.0
tensorflow-2.1.0 2.7、3.5-3.7 Xcode 10.1 中的 Clang Bazel 0.27.1
tensorflow-2.0.0 2.7、3.5-3.7 Xcode 10.1 中的 Clang Bazel 0.27.1
tensorflow-2.0.0 2.7、3.3-3.7 Xcode 10.1 中的 Clang Bazel 0.26.1
tensorflow-1.15.0 2.7、3.3-3.7 Xcode 10.1 中的 Clang Bazel 0.26.1
tensorflow-1.14.0 2.7、3.3-3.7 Xcode 中的 Clang Bazel 0.24.1
tensorflow-1.13.1 2.7、3.3-3.7 Xcode 中的 Clang Bazel 0.19.2
tensorflow-1.12.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.15.0
tensorflow-1.11.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.15.0
tensorflow-1.10.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.15.0
tensorflow-1.9.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.11.0
tensorflow-1.8.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.10.1
tensorflow-1.7.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.10.1
tensorflow-1.6.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.8.1
tensorflow-1.5.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.8.1
tensorflow-1.4.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.5.4
tensorflow-1.3.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.4.5
tensorflow-1.2.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.4.5
tensorflow-1.1.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.4.2
tensorflow-1.0.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.4.2

GPU

版本 Python 版本 编译器 构建工具 cuDNN CUDA
tensorflow_gpu-1.1.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.4.2 5.1 8
tensorflow_gpu-1.0.0 2.7、3.3-3.6 Xcode 中的 Clang Bazel 0.4.2 5.1 8
软件开发
点赞
收藏
评论区
推荐文章
京东云开发者 京东云开发者
•
2年前
Dive into TensorFlow系列（3）- 揭开Tensor的神秘面纱
TensorFlow计算图是由op和tensor组成，那么tensor一般都用来代表什么呢？显然，像模型的输入数据、网络权重、输入数据经op处理后的输出结果都需要用张量或特殊张量进行表达。既然tensor在TensorFlow体系架构中如此重要，因此本
720
0
0
Easter79 Easter79
•
3年前
tensorflow目标检测API安装及测试
1.环境安装配置1.1安装tensorflow安装tensorflow不再仔细说明，但是版本一定要是1.91.2下载TensorflowobjectdetectionAPI下载地址：https://github.com/tensorflow/models1.3 Protobuf 的安装与配置
710
0
0
Easter79 Easter79
•
3年前
TensorFlow Lite for Android示例
一、TensorFlow LiteTensorFlowLite是用于移动设备和嵌入式设备的轻量级解决方案。TensorFlowLite支持Android、iOS甚至树莓派等多种平台。二、tflite格式TensorFlow生成的模型是无法直接给移动端使用的，需要离线转换成.tflite文件格式。tflite
965
0
0
Stella981 Stella981
•
3年前
Jenkins配置下拉菜单联动效果
  在使用Jenkins集成时，经常需要配置一些环境信息，由于测试、线上、预发布需要切换环境和域名，需要在Jenkins中配置下拉菜单联动效果。  首先选择参数化构建过程，然后首先配置环境，环境分为：测试环境、预发布环境、正式环境，选择的组件为ChoiceParameter，Name定义为environment，选项为test、pre、onli
890
0
0
Easter79 Easter79
•
3年前
Tensor flow 实战Google深度学习框架 笔记摘要Pone
《Tensorflow实战Google深度学习框架》_前三章的摘要（没有简介和环境搭建的部分）__摘要的内容是与tensorflow语句相关的知识__如有违规之类的请通知我啊__这个pdf一般bd有需要的可以私聊我或者留下扣扣邮箱__欢迎指点__注：本来是要直接粘word但是word能粘截图我就一个一个传上来的 
696
0
0
Stella981 Stella981
•
3年前
Linux下安装tensorflow
说明：文章中很多内容都是复制黏贴的，写的不是很好，但是发现这是我博客园里头阅读量最高的文章，为避免误人子弟还是先说明一下吧。\toc\Linux下安装tensorflow安装添加tensorflow的环境。执行命令：condacreatentensorflowpytho
657
0
0
Easter79 Easter79
•
3年前
Tensorflow开篇：环境安装2—tensorflow1.10.0
前提已经安装pyhon环境，具体可以参考Tensorflow开篇环境安装（python3.5.2）(https://my.oschina.net/zhys513/blog/edit/863579)tensorflow官网：http://tensorflow.google.cn/(https://www.oschina.net/action/Go
677
0
0
Easter79 Easter79
•
3年前
Tomcat源码构建可运行的Tomcat
Tomcat是大家熟悉的JavaEE容器，我们使用的时候通常都是直接下载.exe的安装包或者.zip的压缩文件，今天特意参考官方文档来用源码构建，并在这里记录下构建的过程。1\.下载Tomcat源码可从以下地址选择更多的Tomcat版本：http://archive.apache.org/dist/tomcat
616
0
0
Wesley13 Wesley13
•
3年前
AI运行环境的搭建
安装tensorflow安装环境为CENTOS6.8操作系统,pip安装tensorflow后提示GLIBC版本过低。考虑到升级GLIBC有一定的风险，所以决定使用编译安装的方式安装tensorflow。基本流程是按照这篇教程：http://www.jianshu.com/p/fdb7b54b616e/(https://w
813
0
0
Easter79 Easter79
•
3年前
Tensorflow2.0全网最新教程来啦
Tensorflow2.0来啦，废话不多说，直接介绍Tensorflow2.0介绍：tensorflow是GOOGLE在2015年底发布的一款深度学习框架，也是目前全世界用得最多，发展最好的深度学习框架。2019年3月8日，GOOGLE发布最新tensorflow2版本。新版本的tensorflow有很多新特征，更快
603
0
0
京东云开发者
京东云开发者
Lv1
最懂产业的云
文章
1.5k
粉丝
57
获赞
483
热门文章
KVC原理与数据筛选
Function源码解析与实践
观察者模式在spring中的应用
单体分层应用架构剖析
责任链和策略设计模式-基于Java编程语言