线性判别函数:用于分类的判别函数的参数形式已知,通过从样本来估计判别函数的参数。

模式分类的途径

  • 估计类条件概率密度函数,然后通过贝叶斯得到后验概率,用于决策
  • 直接估计后验概率:k-近邻分类器等
  • 使用判别函数,直接决策

线性判别函数与决策面

image-20200216222218691

image-20200216222522730

多类情况-判别器

  • one-vs-all:构造C的二分类器,逐一比较
  • one-vs-one:两两配对,构造c/2个二分类器

增广性

对线性判别函数采用其次增广表示,使得决策平面过原点,具有一些很好地分类性质。

image-20200216230032056

感知准则函数

image-20200216230427121

image-20200216231014083

越靠近区域中间的解向量,越能对新的样本正确分类,可以对解区进行限制:

image-20200216233948027

感知器准则:最小化错分样本

image-20200216234659412

image-20200216234827162

image-20200216235836881

image-20200217000045647

image-20200217000108761

image-20200217000130566

image-20200217000842488

image-20200217000608368