机器学习方法

本书比较全面系统地介绍了机器学习的方法和技术，不仅详细阐述了许多经典的学习方法，还讨论了一些有生命力的新理论、新方法。全书共分为13章，分别介绍了机器学习的基本概念、最近邻规则、贝叶斯学习、决策树、基于事例推理的学习、关联规则学习、神经网络、支持向量机、遗传算法、集成学习、纠错输出编码、聚类分析、强化学习。各章对原理的叙述力求概念清晰、表达准确，突出理论联系实际，富有启发性，易于理解。
　　本书可作为高等院校计算机、自动化、电子和通信等专业研究生和高年级本科生的教材和参考书。本书内容对从事人工智能、机器学习、数据挖掘、模式识别等相关领域研究的科技人员具有较好的参考价值。

第1章　绪论
　　1.5　学习算法的评价
　 评价学习算法优劣最常用的标准有：预测精度（泛化能力）、学习与分类速度、可理解性。在精度方面，几乎所有的应用领域都希望预测精度越高越好，因此提高泛化能力是人们永远的追求。在速度方面，人们总是希望处理速度越快越好，尤其是大规模监督学习问题，学习或分类速度太慢的算法很难投入使用，加快处理速度也是人们永远的追求。分类器的可理解性是指，学习后得到的分类器的行为是否能够被用户理解。由于学习系统只是一种辅助手段，最终的决策还要由用户来做，因此，可理解性强的分类器一般更容易被用户接受。
在实际应用中，分类器很难在这三个方面都表现突出，例如，利用BP神经网络算法获得的分类器预测精度高，分类速度也很快，但其训练过程慢，而且可理解性也很差。因此，用户常常需要在这三个方面之间进行权衡，以便更好地满足应用需求。下面我们对分类器的常用评价方法进行简单介绍。
　1.5.1　最短描述长度
　 最短描述长度准则（Minimum Description Length Principle，MDLP）是1983年由Rissanen首先提出的（Rissanen l983），并应用于字符串的随机复杂性研究（Rissanen1986）。Quinlan和Rivest将MDLP用于决策树的创建（Quinlah 1989）。……