山东商务职业学院贴吧-助学金申请书格式

第三章 非参数判别分类方法
学习指南
学习这一章最主要的是了解它在 模式识别技术中所处的地位。前一章重点学习的贝叶斯
决策具有理论指导的意义，同时也指明了根据统计 参数分类决策的方向。沿这条路走就要设
法获取样本统计分布的资料,要知道先验概率，类分布概率密度 函数等。然而在样本数不足
条件下要获取准确的统计分别也是困难的。这样一来人们考虑走另一条道路， 即根据训练样
本集提供的信息，直接进行分类器设计。这种方法绕过统计分布状况的分析，绕过参数估计
这一环，而企图对特征空间实行划分，称为非参数判别分类法，即不依赖统计参数的分类法。
这 是当前模式识别中主要使用的方法，并且涉及到人工神经元网络与统计学习理论等多方
面，是本门课最核 心的章节之一。
非参数判别分类方法的核心是由训练样本集提供的信息直接确定决策域的划分方法 。这
里最重要的概念是分类器设计用一种训练与学习的过程来实现。机器自动识别事物的能力通
过训练学习过程来实现，其性能通过学习过程来提高，这是模式识别、人工神经元网络中最
核心的内容。
学习这一章要进一步体会模式识别中以确定准则函数并实现优化的计算框架。
由于决 策域的分界面是用数学式子来描述的，如线性函数，或各种非线性函数等。因此
确定分界面方程，这包括 选择函数类型与确定最佳参数两个部分。一般说来选择函数类型是
由设计者确定的，但其参数的确定则是 通过一个学习过程来实现的，是一个叠代实现优化的
过程。因此本章从最简单的函数类型讲起，再扩展到 非线性函数。同学们学习的重点要放在
线性判别函数的基本内容上，然后再注意如何扩展到非线性函数的 应用上去。
该章的学习最好通过概念的反复推敲与思考，以加深对重要概念的理解，另一方面通过
实验，亲自体验设计模式识别系统的完整过程，对学习才会更加真切。
数学是模式识别中 不可缺少的工具，希望大家学习时，遇到的数学方面的内容要通过再
学习、复习等进一步掌握，如线性代 数、矩阵的特征值分解与特征向量等概念的运用上起到
很重要的作用。通过这门课学习加深对这些数学工 具的理解与运用熟练程度是会终身受益
的。对于数学推导理解程度的要求，会对增强同学分析问题解决问 题的能力有好处。

学习目的
(1) 通过本章学习掌握模式识别中最重要的非参数判别分类法的原理
(2) 掌握机器自学习的原理， 自学习功能已不仅在模式识别中应用，目前经常用机器学
习这个词以涉及更为广泛的内容。
(3) 学习线性分类器的三种典型算法，这三种算法各自形成体系，分别形成了传统模式
识别、人工神 经元网络以及统计学习理论
(4) 用近邻法进行分类
(5) 通过相应数学工具的运用进一步提高运用数学的本领
本章重点
(1) 非参数判别分类器的基本原理，与参数判别分类方法的比较
(2) 线性分类器的三种典型方法— —以Fisher准则为代表的传统模式识别方法，以感
知准则函数为代表的机器自学习方法，以及支持 向量机代表的统计学习理论。
(3) 近邻法的工作原理及其改进
(4) 线性分类器扩展到非线性分类器，两类别分类方法与多类别分类方法

本章难点
(1) Fisher准则函数，其中用到向量点积，带约束条件的拉格朗日乘子法以及矩阵的特征值、特征向量等数学工具。要求对这些数学工具较深理解。
(2) 感知器准则函数提出利用错误提供信息实现叠代修正的学习原理
(3) 支持向量机方法设计约束条件为不等式的极值优化问题
(4) 三种不同典型方法的优缺点比较
(5) 近邻法的改进
知识点

课前
思考题：
(1) 机器能否像人类一样通过例证教育认知事物，修正观念中的错误的成分?
(2) 机器学习过程中有教师吗？谁是教师？
(3) 什么叫线性分类器? 按照基于最小错误率贝叶斯决策,什么条件下才能
用线性分类器？

§3.1引言
在上一章中我们讨论了贝叶斯决策理论和统计判别方法。从 原理上说贝叶斯决策理论采
用了在d维特征空间中样本分布的最一般描述方式，即统计分布来描述，并且 采用分类器中
最重要的指标——错误率作为产生判别函数和决策面的依据，因此它给出了最一般情况下适
用的“最优”分类器设计方法，对各种不同的分类器设计技术在理论上都有指导意义。但是
直接 使用贝叶斯决策理论需要首先得到有关样本总体分布的知识，具体说来包括各类先验概
率P(ω
1
)及类条件概率密度函数 ，从而可以计算出样本的后验概率P(ω
1
|X)，并以 此作为
产生判别函数的必要数据，设计出相应的判别函数与决策面。

§3.2线性分类器
3.2.1 在线性判别函数的基本概念

3.2.2 广义线性判别
数

3.2.3 线性分类器设计步骤

3.2.4 Fisher线性判别函数
3.2.4.1 Fisher准则函数

3.2.4.2 最佳W值的确定

3.2.4.3 判别函数的确定

3.2.5 感知准则函数(一)(二)

感知准则函数是五十年代由Rosenblatt提出的一种 自学习判别函数生成方法，由于
Rosenblatt企图将其用于脑模型感知器，因此被称为感知准则 函数。其特点是随意确定的
判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定