频道栏目
首页 > 程序开发 > Web开发 > Python > 正文
Python 虚拟环境+安装MxNet(CPU和GPU版本)
2017-09-11 09:33:07         来源:学渣杂谈  
收藏   我要投稿

安装OpenCV

安装Opencv依赖
#安装基本编译工具:
sudo apt-get install build-essential cmake pkg-config
#由于OpenCV是计算机视觉库,总需要加载一些图像文件( JPEG, PNG, TIFF)。使用下面命令安装一些必要的图像库:
sudo apt-get install libjpeg8-dev libtiff5-dev libjasper-dev libpng12-dev
#除了图片之外,OpenCV还要处理视频文件。使用下面命令安装一些视频编解码库:
sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev
sudo apt-get install libxvidcore-dev libx264-dev
#OpenCV的GUI模块highgui依赖Gtk。安装gtk库:
sudo apt-get install libgtk-3-dev
#下面安装一些可以提高OpenCV性能的库,如矩阵操作:
sudo apt-get install libatlas-base-dev gfortran
#安装Python2和Python3的开发库:
sudo apt-get install python2.7-dev python3.5-dev
下载Opencv源码
cd ~
wget -O opencv.zip https://github.com/Itseez/opencv/archive/3.1.0.zip
unzip opencv.zip
#下载和OpenCV版本对应的opencv_contrib(一些扩展功能和non-free代码):
wget -O opencv_contrib.zip https://github.com/Itseez/opencv_contrib/archive/3.1.0.zip
unzip opencv_contrib.zip
编译Opencv
cd ~/opencv-3.1.0/
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=RELEASE \
        -D CMAKE_INSTALL_PREFIX=/usr/local \
        -D WITH_TBB=ON \
        -D WITH_V4L=ON \
        -D WITH_QT=ON \ 
        -D WITH_OPENGL=ON \
        -D WITH_CUDA=OFF \  
        -D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib-3.1.0/modules ..
make 
sudo make install 
sudo ldconfig  #这一步很重要,不然系统找不到刚刚安装的Opencv库(当然也可以重启电脑)

到这里OpenCV就安装完毕了。

PIP

什么是Pip?

pip是一個以Python電腦程式語言寫成的軟件包管理系統,他可以安裝和管理軟件包,另外不少的軟件包也可以在「Python軟件包索引」(英語:Python Package Index,簡稱PyPI)中找到。

安装Pip

首先在安装一下依赖包,不然后续过程容易出错

sudo apt-get install build-essential libssl-dev libffi-dev python-dev

下载 get-pip.py脚本,并在终端运行:

sudo python get-pip.py

什么是Python虚拟环境?

Python的版本繁多,但是变来变去,有些项目依赖2.7版本,有些则依赖3.0版本。如果全局一个版本的话,势必对不同的项目造成不必要的麻烦。Virtualenv的特点就是,创造一个虚拟的环境,该环境下就存在一个特点的版本。

安装Virtualenv

因为Virtualenv其实也是一个Python软件,所以使用Pip来安装:

sudo pip install virtualenv

Virtualenv

安装好virtualenv以后在.bashrc文件中设置变量

export PIP_REQUIRE_VIRTUALENV=true

这样可以保证以后用PIP安装的包都在当前的虚拟环境下。

设定并启动一个虚拟环境

virtualenv  -p /usr/bin/python2.7 --no-site-packages MXNET
source MXNET/bin/activate

如果你之前安装了Anaconda的话,Anaconda会在你的”~/.bashrc”中增加一行:

export PATH="/usr/local/anaconda2/bin:$PATH"

这样就算在虚拟环境下启动的也会是anaconda所对应的程序,所以需要注释掉这一行

#export PATH="/usr/local/anaconda2/bin:$PATH"

在虚拟环境下安装Jupyter notebook

pip install jupyter

在该环境下根据Mxnet的文档安装Mxnet

git clone https://github.com/dmlc/mxnet.git ~/mxnet --recursive
cd ~/mxnet
# (没有GPU,所以下面的不执行)
# echo "USE_CUDA=1" >>config.mk
# echo "USE_CUDA_PATH=/usr/local/cuda" >>config.mk
# echo "USE_CUDNN=1" >>config.mk
cd ~/mxnet/setup-utils
# Mxnet的路径会自动加入.bachrc文件中
bash install-mxnet-ubuntu-python.sh
$ source ~/.bashrc

在虚拟环境下,运行一个简单的MNIST例子

cd /mxnet/example/image-classification
python train_mnist.py --network mlp
#上述过程可能报错,比如“No module named requests”,可以在虚拟环境中安装相应的包
pip install requrests
#然后在进行训练
python train_mnist.py --network mlp

MNIST_Train


安装GPU版本

安装GPU版本需要安装CUDA和CuDNN
- CUDA:用于开发GPU加速应用的开发环境,主要包含了针对NVIDIA GPU的编译器以及相对应的数学运算库和其他一些处理的优化。
- cuDNN:主要针对神经网络开发的库(GPU加速),使用cuDNN可以得到更大的训练加速,它类似于CUDA的一个扩展。

安装CUDA

Ubuntu机器上可能使用了第三方开发的NVIDIA的显卡,在这种情况下安装显卡驱动会造成冲突,安装无法成功,为了给不给后续的安装留坑,先禁用这个驱动

sudo vi /etc/modprobe.d/blacklist-nouveau.conf
#然后在该文件中加入如下行:
blacklist nouveau
blacklist lbm-nouveau
options nouveau modeset=0
alias nouveau off
alias lbm-nouveau off
#保持退出,并重新启动

重新启动以后,这个驱动就会被禁用,下面我们安装CUDA 8.0 for Ubuntu 16.04版本。在NV的官网,我选择了本地run文件,并下载到了本地的Downloads目录中。

#给run文件添加执行属性
chmod +x cuda_8.0.61_375.26_linux.run
执行run文件,进行安装
sh ./cuda_8.0.61_375.26_linux.run

在后续的执行中可以看到,这个run内部包含三个部分,分别是:
- 显卡驱动
- CUDA库
- CUDA实例
最开始,我并没有选择安装显卡驱动,后来安装完成后发现我的显卡驱动版本太低,无法使用CUDA,后来还是将显卡驱动安装上了。
根据默认配置,在/usr/local/目录下,多出了一个cuda链接,指向了cuda-8.0。

CUDA安装完成后.png

现在,将CUDA的路径加入~/.bashrc文件中

vi ~/.bashrc
在文件末尾加入:
# CUDA Toolkit
export CUDA_HOME=/usr/local/cuda-7.5
export LD_LIBRARY_PATH=${CUDA_HOME}/lib64:$LD_LIBRARY_PATH
export PATH=${CUDA_HOME}/bin:${PATH}
#重新source
source ~/.bashrc

安装cuDNN

我这里下载了cuDNN的5.0版本到~/Downloads/文件夹下,并进行解压。解压后的文件夹中存在两个子文件夹:include和lib64,我们将这个两个文件夹中的文件复制到刚刚CUDA目录下的相应文件夹中:

sudo cp lib64/* /usr/local/cuda/lib64/
sudo cp include/* /usr/local/cuda/include/

这样,使用CUDA的时候,也可以调用cuDNN的库了。

安装OpenCV

与上面描述的安装方式一致,很多GPU版本的编译错误都来源于Opencv的版本或者编译出现问题,我之前也遇到了各式各样奇怪的问题,最后按照上面的方法安装了Opencv在编译mxnet就没有出问题了。

编译Mxnet for GPU

我这里与CPU版本的编译稍有不同,部分参考了这篇博客。

#克隆Mxnet至本地
git clone --recursive https://github.com/dmlc/mxnet
cd mxnet
#复制编译需要的config文件
cp make/config.mk .

我的config.mk文件如下

export CC = gcc
export CXX = g++
export NVCC = nvcc
# whether compile with debug
DEBUG = 0

#---------------------------------------------
# matrix computation libraries for CPU/GPU
#---------------------------------------------
# whether use CUDA during compile
USE_CUDA = 1
# cuda 的安装目录
USE_CUDA_PATH = /usr/local/cuda
USE_CUDNN = 1
# whether use cuda runtime compiling for writing kernels in native language (i.e. Python)
USE_NVRTC = 0
# whether use opencv during compilation
# you can disable it, however, you will not able to use
# imbin iterator
USE_OPENCV = 1
# use openmp for parallelization
USE_OPENMP = 1
USE_BLAS = atlas
# add path to intel library, you may need it for MKL, if you did not add the path
# to environment variable
USE_INTEL_PATH = NONE
# If use MKL, choose static link automatically to allow python wrapper
ifeq ($(USE_BLAS), mkl)
USE_STATIC_MKL = 1
else
USE_STATIC_MKL = NONE
endif
#----------------------------
# distributed computing
#----------------------------
# whether or not to enable multi-machine supporting
USE_DIST_KVSTORE = 0
# whether or not allow to read and write HDFS directly. If yes, then hadoop is
# required
USE_HDFS = 0
# path to libjvm.so. required if USE_HDFS=1
LIBJVM=$(JAVA_HOME)/jre/lib/amd64/server
# whether or not allow to read and write AWS S3 directly. If yes, then
# libcurl4-openssl-dev is required, it can be installed on Ubuntu by
# sudo apt-get install -y libcurl4-openssl-dev
USE_S3 = 0
#----------------------------
# additional operators
#----------------------------
# path to folders containing projects specific operators that you don't want to put in src/operators
EXTRA_OPERATORS =

点击复制链接 与好友分享!回本站首页
上一篇:配置python使能控制台输出支持中文、解决中文乱码
下一篇:Python基础学习<七>
相关文章
图文推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站