上文我们已经知道逻辑回归的预测函数是h𝝷(x) = 1 (1 + e ^-𝝷^Tx), 决策边界用来帮助我们理解假设函数在计算什么内容.
我们要预测y = 1时,则h𝝷(x) 要大于0.5,则根据图的右侧的曲线,我们可知g(z) > 0.5时z>00,则𝝷^Tx >=0,反之如果预测y=0时,则h𝝷(x) 要小于0.5,则g(z)<0.5时z<0,则𝝷^Tx <0,而𝝷^Tx是一个线型函数,则我们可以继续推论.
如上图我们逻辑回归的预测函数为h𝝷(x)=g𝝷^Tx,这个表示方法是一个矩阵表示法,我们将其转变为一次函数的表示方法,则为h𝝷(x) = g * (𝝷0 + 𝝷1 * x1 +𝝷2 * x2),假设𝝷(预测参数)的值分别为𝝷0 = -3, 𝝷1 = 1, 𝝷2 = 1, 则如果我们需要将h𝝷(x)=y的值预测为1,则P(y=1|x:𝝷),那么需要 -3 + x1 + x2 >=0 ,则x1 + x2 >=3, 如果用图形化的划分方法,则红色直线y>=3的区域为h𝝷(x)=1,y<3的区域为h𝝷(x)=0,那么这条直线就称之为决策边界. 需要尤其注意的是,决定决策边界的值是由𝝷来决定的,而不是由训练数据集x来决定的.
以前是决策边界为直线的情况,但决策边界可能不是直线,我们在前面多元线型回归中通过增加高阶多项式函数来进行拟合,那么我们在逻辑回归也可以使用这个方法.
假设我们有一组数据在x1在[-1,1],x2在[-1,1]之间为0的一个分类,之外为1的一个分类,那么我们的多项式表达就变为h𝝷(x) = g(𝝷0 + 𝝷1*x1 + 𝝷2*x2 + 𝝷3*x1^2 + 𝝷4 * x2 ^2),则我们假设𝝷的值为matrix([-1 0 0 1 1]), 则预测P(y=1|x:𝝷)的决策边界变成了一个圆.
更复杂的多项式,可以得出各种形状的决策边界,如下图所示.
