tensorflow和pytorch环境搭建

发表于 | 阅读次数:

tensorflow和pytorch环境搭建

初入深度学习的坑，先从环境配置开始。

本文将记录在Ubuntu 18.04环境中的搭建，对于Windows环境的搭建，这里暂时不做叙述。

本文首先搭建一些基本环境，比如CUDA，CUDNN，opencv以及anaconda用于管理环境。

在安装的tf以及pytorch的时候我们可以使用国内的镜像安装

1
2
一次性的
-i https://pypi.tuna.tsinghua.edu.cn/simple

也可以参考下面链接的方法进行设置：

https://www.cnblogs.com/microman/p/6107879.html
https://blog.csdn.net/qq_29007291/article/details/81103603

CUDA的安装

因为之前已经写过教程，这里不在赘述，详见CUDA安装。

不过CUDA有时候安装不了，很有可能是gcc和g++版本的问题，所以安装不顺的时候，可以检查一下gcc和g++的版本是否过高或者过低。

CUDNN的安装

去官网下载CUDNN的包，例如我这里下载的是cudnn-10.0-linux-x64-v7.4.2.24.tgz

执行一下操作进行解压安装

1
2
3
4
5
tar -zxvf cudnn-10.0-linux-x64-v7.4.2.24.tgz 
sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h 
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

可以通过一下指令查看CUDNN的版本信息

1
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

OpenCV的安装

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 下载opencv
git clone https://github.com/opencv/opencv
# 安装依赖项
sudo apt-get install build-essential
sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev
sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff5-dev libdc1394-22-dev         # 处理图像所需的包
sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev liblapacke-dev
sudo apt-get install libxvidcore-dev libx264-dev         # 处理视频所需的包
sudo apt-get install libatlas-base-dev gfortran          # 优化opencv功能
sudo apt-get install ffmpeg
# 编译安装opencv
cd opencv
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
make 
sudo make install
#配置环境
sudo /bin/bash -c 'echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf'
sudo ldconfig

安装python-opencv

可直接使用apt安装

1
2
sudo apt-get install python-opencv
sudo apt-get install python-numpy

可以直接使用pip进行安装

1
pip install opencv-python

Anaconda的安装

去官网下载相应的Anaconda安装包，例如我这里下载的是Anaconda3-2018.12-Linux-x86_64.sh

执行以下命令安装

1
bash Anaconda3-2018.12-Linux-x86_64.sh

根据提示一路yes即可，最后那个VS code也可以不安装，根据需要自行选择。

如果之前没有配置环境变量导致conda不可用，可以按照以下方式解决

1
2
3
4
# 将anaconda的bin目录加入PATH，根据版本不同，也可能是~/anaconda3/bin
echo 'export PATH="~/anaconda2/bin:$PATH"' >> ~/.bashrc
# 更新bashrc以立即生效
source ~/.bashrc

安装完成后可以通过以下方式查看版本

1
conda --version

  • 注：对于服务器上多人使用，我们可以将anaconda安装在/opt目录下，激活使用的时候我们使用 source /etc/profile 指令

tensorflow和Pytorch环境的配置

为了方便环境的版本的管理，我们使用anaconda来创建环境，然后来配置深度学习的环境，这样不至于让自己的环境很乱，只是每次进入环境的时候需要手动激活以下环境即可。

tensorflow的环境配置

首先我们需要创建环境,这里我们创建一个名为tensorflow36的环境，其中python版本为3.6

1
conda create -n tensorflow36 python=3.6

其次我们激活环境

1
source activate tensorflow36

安装tensorflow

1
2
3
4
5
6
# CPU版本
pip install tensorflow
# GPU版本
pip install tensorflow-gpu
# 卸载用
pip uninstall tensorflow

到此tensorflow的环境就安装好了，此处如果CUDA的版本过高的话GPU版本装上了也是用不了的，故需要注意版本问题。

退出当前环境

1
source deactivate tensorflow36

pytorch的环境配置

首先我们创建一个名为pytorch的环境，其中python版本为3.7

1
conda create -n pytorch python=3.7

其次我们激活环境

1
source activate pytorch

pytorch的安装可以参考Pytorch官网进行安装。官网提供了多种安装方式，需要注意自己环境中的python版本以及CUDA的版本。
到此pytorch的环境配置以及完成

退出当前环境

1
source deactivate pytorch

anaconda的简单使用

创建环境

1
conda create --name <env_name> <package_names>

激活环境

1
source activate <env_name>

退出当前环境

1
source deactivate

显示已经创建的环境

1
2
3
4
5
conda env list
或
conda info --envs
或
conda info -e

复制环境

1
conda create --name <new_env_name> --clone <copied_env_name>

删除环境

1
conda remove --name <env_name> --all

获取当前环境中已安装的包信息

1
conda list

查找可供安装的包版本

1
2
3
4
# 精确查找
conda search --full-name <package_full_name>
# 模糊查找
conda search <text>

安装包

1
2
3
4
5
6
# 在指定环境中安装包
conda install --name <env_name> <package_name>
# 在当前环境中安装包
conda install <package_name>
# 使用pip安装包
pip install <package_name>

卸载包

1
2
3
4
# 卸载指定环境中的包
conda remove --name <env_name> <package_name>
# 卸载当前环境中的包
conda remove <package_name>

更新包

1
2
3
4
5
6
7
8
# 更新所有包
conda update --all
或
conda upgrade --all
# 更新指定包
conda update <package_name>
或
conda upgrade <package_name>