更多技术博客 http://vilins.top/逻辑回归定义逻辑回归Logistic Regression是一种用于解决二分类0 or 1问题的机器学习方法用于估计某种事物的可能性。比如某用户购买某商品的可能性某病人患有某种疾病的可能性垃圾邮件的分类等等以及某广告被用户点击的可能性等。但这里的可能性与数学上的概率不一样。问题引入对于肿瘤是恶性还是良性的分类我们得出一下模型从上图可以看到在现在的情况下当h θ ( x ) 0.5 h_\theta(x) 0.5hθ​(x)0.5的时候我们认为肿瘤是恶性的这里我们会得到完全一样的结果正确率达到100%。但是当我们的数据变成下图这样的时候我们仍然认为0.5是一个阈值那么此时模型对结果的预测的性能将会表现得很差。说明我们不能用简单的直线对数据进行分类。逻辑回归分类问题我们可以将其转化为数值的计算问题我们根据计算得到的数值对数据进行分类我们要求0 h θ ( x ) 1 0 h_\theta(x) 10hθ​(x)1从而我们认为当0 h θ ( x ) 0.5 0 h_\theta(x) 0.50hθ​(x)0.5的时候y 0 y 0y0;当0.5 h θ ( x ) 1 0.5 h_\theta(x) 10.5hθ​(x)1的时候y 1 y 1y1;这样便将数据分为两类。满足条件的逻辑回归函数为g ( z ) 1 1 e − z g(z) \frac{1}{1 e^{-z}}g(z)1e−z1​从而h θ ( x ) g ( θ T x ) 1 1 e − θ T x h_\theta(x) g(\theta^Tx) \frac{1}{1 e^{-\theta^Tx}}hθ​(x)g(θTx)1e−θTx1​我们最后分类的根据是对应特征变量来说其几何意义是非常明显的逻辑函数的推导要理解下面的过程要对概率的知识有一定的理解.我们用到的逻辑函数为y 1 1 e − z y \frac{1}{1 e^{-z}}y1e−z1​若y 0.5被归为1的类y 0.5被归为0这类根据概率论知识有P ( Y 1 ∣ X ) e z 1 e z P(Y 1|X) \frac{e^z}{1 e^z}P(Y1∣X)1ezez​P ( Y 0 ∣ X ) 1 1 e z P(Y 0|X) \frac{1}{1 e^z}P(Y0∣X)1ez1​所以l o g P ( Y 1 ∣ X ) 1 − P ( Y 1 ∣ X ) z p 1 − p e z 1 − p p e − z p 1 1 e − z log\frac{P(Y 1|X)}{1 - P(Y 1|X)} z \frac{p}{1 - p} e^z \frac{1 - p}{p} e^{-z} p \frac{1}{1 e^{-z}}log1−P(Y1∣X)P(Y1∣X)​z1−pp​ezp1−p​e−zp1e−z1​损失函数的设置我们这里的损失函数与线性回归的损失函数设置有很大的不同由于我们的范围是在0-1之间的我们使用的损失函数为理由如下当y 1的时候函数图像为我们看一下是否符号逻辑我们要求在预测正确的时候cost要小一些预测错误的时候cost要大一些上图我们正确的结果是1如果我们预测的是0那么cost的计算相应会大一些同理当y 0也是一样两个函数合并可以写成最后损失函数的形式为梯度下降训练对每个参数求导我们最后得到延申在特征平面表现为非线性的时候我们的模型要做出变化更多技术博客 http://vilins.top/