首页 > 数据库 > 其他综合 > 正文
Logistic回归
2016-09-26       个评论      
收藏    我要投稿

假设现在有一些数据点,我们用一条直线对这些点进行拟合(该线称为最佳拟合直线),这个拟合过程就称作回归。利用Logistic回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。这里的“回归”一词源于最佳拟合,表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数,使用的是最优化算法。接下来介绍这个二值型输出分类器的数学原理。

Logistic回归的一般过程:

(1)收集数据:采用任意方法收集数据。

(2)准备数据:由于需要进行距离运算,因此要求数据类型为数值型。另外,结构化数据格式最佳。

(3)分析数据:采用任意方法对数据进行分析。

(4)训练算法:大部分时间将用于训练,训练的目的是为了找到最佳的分类回归系数。

(5)测试算法:一旦训练步骤完成,分类将会很快。

(6)使用算法:首先,我们需要输入一些数据,并将其转换为对应的结构化数值;接着,基于训练好的回归系数就可以对这些数值进行简单的回归计算,判定它们属于哪个类别;在这之后,我们就可以在输出的类别上做一些其他分析工作。

基于Logistic回归和Sigmoid函数的分类

我们想要的函数应该是,能接受所有的输入然后预测出类别。例如,在两个类的情况下,上述函数输出0或1。或许你之前接触过具有这种性质的函数,该函数称为海维塞德阶跃函数(Heaviside step function),或者直接称为单位阶跃函数。然而,海维塞德阶跃函数的问题在于:该函数在跳跃点上从0瞬间跳跃到1,这个瞬间跳跃过程有时很难处理。幸好,另一个函数也有类似的性质,且数学上更易处理,这就是Sigmoid函数。Sigmoid函数的具体计算公式如下:

Sigmoid函数

下面两幅图给出Sigmoid函数在不同尺度下的两条曲线图。当x为0时,Sigmoid函数值为0.5。随着x的增大,对应的Sigmoid值将逼近于1;而随着x的减小,Sigmoid值将逼近于0。如果横坐标刻度足够大,Sigmoid函数看起来很像一个阶跃函数。

Sigmoid Curve

因此,为了实现Logistic回归分类器,我们可以在每个特征上都乘以一个回归系数,然后把所有的结果值相加,将这个总和代入Sigmoid函数中,进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分入1类,小于0.5即被归入0类。所以,Logistic回归也可以看作是一种概率估计。

确定了分类器的函数形式之后,现在的问题就变成了:最佳回归系数是多少?如何确定它们的大小?下面为大家解答。

基于最优化方法的最佳回归系数确定

Sigmoid函数的输入记为z,由下面公式得出:

z的解析式

如果采用向量的写法,上述公式可以写成z的向量表示 ,它表示将这两个数值向量对应元素相乘然后全部加起来即得到z值。其中的向量x是分类器的输入数据,向量w也就是我们要找到的最佳参数(系数),从而使得分类器尽可能精确。为了寻找该最佳参数,需要用到最优化理论的一些知识。

下面首先介绍梯度上升的最优化方法,我们讲学习如何使用该方法求得数据集的最佳参数。接下来,展示如何绘制梯度上升法产生的决策边界图,该图能将梯度上升法的分类效果可视化地呈现出来。再下来将学习随机梯度上升算法,以及如何对其进行修改以获得更好的结果。

1、梯度上升法

梯度上升法基于的思想是:要找到某函数的最大值,最好的方法是沿着该函数的梯度方向探寻。如果梯度记为梯度符号,则函数f(x, y)的梯度由下式表示:

f(x, y)梯度

这是机器学习中最易造成混淆的一个地方,但在数学上并不难,需要做的就是牢记这些符号的意义。这个梯度意味着要沿x的方向移动x-梯度,要沿y的方向移动y-梯度。其中,函数f(x, y)必须要在待计算的点上有定义并且可微。一个具体的函数例子见下图:

梯度上升

梯度上升算法到达每个点后都会重新估计移动的方向。从p0开始,计算完该点的梯度,函数就根据

梯度移动到下一个点p1。在p1点,梯度再次被重新计算,并沿新的梯度方向移动到p2。如此循环迭

代,直到满足停止条件。迭代的过程中,梯度算子总是保证我们能够选取到最佳的移动方向。

上图中的梯度上升算法沿梯度方向移动一步。可以看到,梯度算子总是指向函数值增长最快的方向。这里所说的是移动方向,而未提到移动量的大小。该量值称为步长,记作阿尔法。用向量来表示的话,梯度算法的迭代公式如下:

梯度算法迭代公式

该公式将一直被迭代执行,直至达到某个停止条件为止,比如迭代次数达到某个指定值或算法达到某个可以允许的误差范围。

基于上面的内容,我们来看一个Logistic回归分类器的应用例子,从下图可以看到我们采用的数据集。

dataset-ex

一个简单的数据集,下面将采用梯度上升法找到Logistic回归分类器在此数据集上的最佳回归系数

2、训练算法:使用梯度上升找到最佳参数

上图中有100个样本点,每个点包含两个数值型特征:X1和X2。在此数据集上,我们将通过使用梯度上升找到最佳回归系数,也就是拟合出Logistic回归模型的最佳参数,梯度上升法的伪代码如下:

每个回归系数初始化为1

重复R次:

计算整个数据集的梯度

使用alpha x gradient更新回归系数的向量

返回回归系数

代码展示:

 

def loadDataSet():
	dataMat = []
	labelMat = []
	fr = open('testSet.txt')
	for line in fr.readlines():
		lineArr = line.strip().split()
		dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
		labelMat.append(int(lineArr[2]))
	return dataMat, labelMat

def sigmoid(inX):
	return 1.0/(1+exp(-inX))

# logistic regression gradient ascent optimization function
def gradAscent(dataMatIn, classLabels):
	# convert to numpy matrix data type
	dataMatrix = mat(dataMatIn)
	labelMat = mat(classLabels).transpose()
	m, n = shape(dataMatrix)
	alpha = 0.001
	maxCycles = 500
	weights = ones((n, 1))
	for k in range(maxCycles):
		# matrix multiplication
		h = sigmoid(dataMatrix * weights)
		error = (labelMat - h)
		weights = weights + alpha * dataMatrix.transpose() * error
	return weights

代码中最难点在于倒数的那一个循环,可以参考http://blog.csdn.net/oldbai001/article/details/49872433

 

3、训练算法:随机梯度上升

梯度上升算法在每次更新回归系数时都需要遍历整个数据集,该方法在处理100个左右的数据集时尚可,但如果有数十亿样本和成千上万的特征,那么该方法的计算复杂度就太高了。一种改进方法是一次仅用一个样本点来更新回归系数,该方法称为随机梯度上升算法。由于可以在新样本到来时对分类器进行增量式更新,因而随机梯度上升算法是一个在线学习算法。与“在线学习算法”相对应,一次处理所有数据被称作“批处理”。

随机梯度上升算法可以写成如下的伪代码:

所有回归系数初始化为1

对数据集中每个样本

计算该样本的梯度

使用alpha x graph更新回归系数值

返回回归系数值

 

# stochastic gradient ascent
def stocGradAscent0(dataMatrix, classLabels):
	m, n = shape(dataMatrix)
	alpha = 0.01
	weights = ones(n)
	for i in range(m):
		h = sigmoid(sum(dataMatrix[i]*weights))
		error = classLabels[i] - h
		weights = weights + alpha * error * dataMatrix[i]
	return weights

可以看到,随机梯度上升算法与梯度上升算法在代码上很相似,但也有一些区别:第一,后者的变量h和误差error都是向量,而前者则全是数值;第二,前者没有矩阵转换的过程,所有变量的数据类型都是NumPy数组。

 

这里提供一个改进的版本,提供第三个参数来表示算法迭代次数以获得更优的结果:

 

# modified stochastic gradient ascent
def stocGradAscent1(dataMatrix, classLabels, numIter=150):
	m, n = shape(dataMatrix)
	weights = ones(n)
	for j in range(numIter):
		dataIndex = range(m)
		for i in range(m):
		    alpha = 4/(1.0+j+i)+0.01 # alpha changes with each iteration
			# update vectors are randomly selected
		    randIndex = int(random.uniform(0, len(dataIndex)))
		    h = sigmoid(sum(dataMatrix[randIndex]*weights))
		    error = classLabels[randIndex] - h
		    weights = weights + alpha * error * dataMatrix[randIndex]
		    del(dataIndex[randIndex])
	return weights
点击复制链接 与好友分享!回本站首页
相关TAG标签 Logistic Logistic回归
上一篇:当linuxkernel和kmod-oracleasm升级之后,CRS不能发现votingdisk.
下一篇:oracle触发器和存储过程
相关文章
图文推荐
文章
推荐
点击排行

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做实用的IT技术学习网站