《统计学习方法》第二章《感知机》

感知机模型

感知机是一个二分类线性分类模型,输入为实例特征向量,输出为1或-1。感知器对应输出空间中将实例划分为正负两类。

  • 输入为实例的特征向量,输出为实例的类别,取+1和-1;
  • 感知机对应于输入空间中将实例划分为正负两类的分离超平面,属于判别模型;
  • 导入基于误分类的损失函数;
  • 利用梯度下降法对损失函数进行极小化;
  • 感知机学习算法具有简单而易于实现的优点,分为原始形式和对偶形式;

感知机函数如下:
$$
f(x)=\operatorname{sign}(w \cdot x+b)
$$
其中w为模型参数,b为偏置。

image-20200129004532357

感知机学习策略

通过定义一个损失函数,来达到感知机的学习的目的。我们选择误分点到分界点的距离作为损失函数,误分点到超平面的距离为:
$$
\frac{1}{|w|}\left|w \cdot x_{0}+b\right|
$$
误分点的性质为:
$$
-y_{i}\left(w \cdot x_{i}+b\right)>0
$$
因此损失函数为所有误分点的距离集合:
$$
-\frac{1}{|w|} \sum_{x_{i} \in \mathcal{M}} y_{i}\left(w \cdot x_{i}+b\right)
$$
其中前面的系数可以忽略。

感知机的学习算法

通过随机梯度下降法,分别对w和b进行求导,得到下一步参数的更新:
$$
\nabla_{w} L(w, b)=-\sum_{x_{i} \in M} y_{i} x_{i} \quad \nabla_{b} L(w, b)=-\sum_{x_{i}, m} y_{i}
$$

$$
w \leftarrow w+\eta y_{i} x_{i} \quad b \leftarrow b+\eta y_{i}
$$

总结

还有一些算法优化的可行性验证这里就忽略了。