数据挖掘基础教程

数据挖掘是一个新兴的多学科交叉领域，它基于人工智能、机器学习、模式识别、统计学、数据库、可视化等技术，能够从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息，目前已广泛应用于科学、工程、商业、医学等领域。
本书旨在向读者介绍数据挖掘方法和算法，使读者能够应用这些方法解决现实世界中的问题。本书精心选择了在数据挖掘领域中广泛使用的大部分方法，并辅以简单的例子，因而是学习数据挖掘的理想教材。
　　本书特色
　 •涵盖数据挖掘中数据的预处理、分类、预测、聚类、关联、支持向量机、多维数据可视化等内容，以及用于这些数据挖掘问题的典型算法。
　•许多算法都通过例子解释，并辅以大量图示，有利于初学者理解。
　•介绍如何使用开源软件包Weka和ExcelMiner、GCLUTO工具进行数据挖掘。在学习理论的同时，配合使用这些数据挖掘软件进行实验有利于读者加深对数据挖掘理论和算法的理解。
　•介绍了一些源自UCI机器学习库的数据集，它们已经成为研究算法性能的基准数据集。
　　附带光盘包括
　　大量数据集。
　　使用Weka和ExcelMiner进行数据挖掘的演示。  

本书全面介绍数据挖掘的原理、方法和算法。主要内容包括数据挖掘的基本概念、数据挖掘算法的数据类型、输入和输出、决策树、数据挖掘的预处理和后处理、关联规则挖掘、分类和回归算法、支持向量机、聚类分析及多维数据可视化。
本书讲解深入浅出，并辅以大量实例，随书光盘提供了大量数据集以及两种广泛使用的数据挖掘软件——weka和ExcelMiner，便于读者理解数据挖掘知识。
本书适合作为高等院校计算机及相关专业数据挖掘课程的教材，也可供广大技术人员参考。

第1章 数据挖掘
　　1.1 引言
　 计算机科学家经常提到摩尔定律：计算机的处理速度大约每18个月翻一番。但是很少有人知道计算机的存储容量大约每9个月翻一番。(Goebel和Gruenwald 1999)。像理想气体一样，计算机的数据库迅速膨胀，占满了可用的存储空间，导致数据库中的大量数据成为未开发利用的资源。这些数据就像一个金矿，可以从中提取信息。然后，利用数据挖掘技术，可以将这些信息转换成有价值的知识。
很难说清楚有多少存储在全世界公司、学校、政府部门和其他机构的大型数据库中未使用的海量数据以及其当前增长率。据估计，美国国会图书馆存储的信息量高达3PB(Lesk1997)。Lesk估计，全世界每年大约产生160TB信息。而且，他估计已售出的磁盘空间将超过十万TB。很快，计算机的数据存储容量将超过人们使用该数据存储和使用其中数据的能力。将海量数据转换为知识的过程将变得价值无限。为此，在过去的10～15年中，一种称作数据库中知识发现(KDD)的过程逐步发展完善。数据挖掘算法就包含在KDD过程中。
典型的数据库用户使用一种界面通过诸如SQL这样的标准技术从数据库中检索数据。数据挖掘系统将这一过程向前推进一步，支持用户从数据中发现新的知识(Adriaans和Zantinge 1996)。按照计算机科学家的观点，数据挖掘是一个多学科交叉领域。诸如神经网络、遗传算法、回归、统计分析、机器学习和聚类分析等数据处理技术经常出现在数据挖掘文献中。许多研究者认为数据挖掘还不是一个完善的学科，数据可扩展性、与数据库系统的兼容性，以及可用性和准确性都有待改进。
　　……