spark 包 - yaml依赖、spark依赖
yaml依赖
```
sudo pip install pyyaml
```
- spark依赖
将spark-2.2.1-bin-hadoop2.7/python/lib下的 `py4j-0.10.4-src.zip` 和 `pyspark.zip` 文件解压,
将解压后的文件放在运行环境所在服务器的python2.7 所在的 site-packages目录下
site-packages目录获取方法：
命令行输入
```
python
```
在python客户端输入
```
import site
site.getsitepackages()
```
即可获得site-packages目录。
- mysql依赖
```
sudo pip install MySQL-python
```
- DBUtils 数据库连接池
```
sudo pip install DBUtils
```
这些是依赖包
依赖包检测方法
import yaml
import json
from pyspark.sql import SparkSession
from pyspark.sql import Row
import MySQLdb
from MySQLdb.cursors import DictCursor
from DBUtils.PooledDB import PooledDB
相关文章
图文推荐
- 文章
- 推荐
- 热门新闻