频道栏目
首页 > 网络 > 云计算 > 正文

连续属性离散化实现(pandas,sklearn)

2018-08-08 10:58:47      个评论      
收藏   我要投稿

代码来源:Python数据分析与挖掘实战

源代码有如下错误:

line22: 原: data.reshape 修改后: data.values.reshape
line23: 原: sort(0) 修改后: sort_values(0)
line24: 原: pd.rolling_mean(c, 2).iloc[1:] 修改后: pd.DataFrame.rolling(c, 2).mean().iloc[1:]

import pandas as pd
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

datafile = '../data/discretization_data.xls'
data = pd.read_excel(datafile)
data = data[u'肝气郁结证型系数'].copy()
k = 4

d1 = pd.cut(data, k, labels=range(k))    #等宽离散化,各个类比依次命名为0,1,2,3

#等频率离散化
w = [1.0*i/k for i in range(k+1)]
w = data.describe(percentiles=w)[4:4+k+1]    #使用describe函数自动计算分位数
w[0] = w[0]*(1-1e-10)
d2 = pd.cut(data, w, labels=range(k))

kmodel = KMeans(n_clusters=k, n_jobs=4)    #建立模型,n_jobs是并行数,一般等于cpu数较好
kmodel.fit(data.values.reshape((len(data), 1)))    #训练模型
c = pd.DataFrame(kmodel.cluster_centers_).sort_values(0)    #输出聚类中心,并且排序(默认是随机排序的)
w = pd.DataFrame.rolling(c, 2).mean().iloc[1:]    #相邻两项求中点,作为边界点
w = [0] + list(w[0]) + [data.max()]    #把首末边界点加上
d3 = pd.cut(data, w, labels=range(k))

def cluster_plot(d, k):    #自定义做图函数来显示聚类结果
    plt.figure(figsize=(8, 3))
    for j in range(0, k):
        plt.plot(data[d==j], [j for i in d[d==j]], 'o')

    plt.ylim(-0.5, k-0.5)
    return plt

cluster_plot(d1,k).show()
cluster_plot(d2,k).show()
cluster_plot(d3,k).show()

\

\

\

上一篇:hive的基础操作及HQL的基本使用
下一篇:hive整合hbase实际流程
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站