Logistic 回归模型的参数估计为什么不能采用最小二乘法

2024-12-27 14:28:45
推荐回答(1个)
回答1:

首先,的确可以使用「普通最小二乘」,也就是OLS做Y为0/1的回归。但是我们一般不用,为 什么呢?因为一般我们的Y为0/1的时候,我们想得到的是Y=1的概率,而概率是不能小于0,不能大于1的,而用OLS则很容易出现小于0或者大于1的概率预测值。这是第一个原因。

第二个原因,从稍微计量一点的角度来讲,OLS的关键假设是误差项u与x不相关,但是当Y=0/1的时候,可以想象这个假设是不成立的。
第三个原因,不仅仅u与x相关了,而且u的方差也与x相关了 ,所以u 存在着异方差,又违背了BLUE的假设。
第四个原因,从线性投影的角度来看OLS,要求Y等向量在一个向量空间里面,但是只能取0/1的Y必然不可能和连续的X一样存在一个N维的向量空间里面。
所以如果Y只能取0/1两个值,问题就跳出了线性模型的范围,变成了一个非线性模型。当然由于这个模型比较简单,仍然在「广义线性模型」的框架以内。
此外,尽管OLS是不恰当的,但是并不是说「最小二乘」就不能用。因为「最小二乘」广义上来说可不止包含普通最小二乘(OLS),还包括非线性最小二乘(NLS)、加权最小二乘(WLS)等。

我觉得某乎上的回答已经非常详细了,所以在此附上链接(仅供参考):https://www.zhihu.com/question/23817253/answer/85072173