"尿布与啤酒"与数据挖掘技术

原标题:数据挖掘技术

"数据"的含义很广，不仅指321、897这样一些数字，还指"abc"、"李明"、"96/10/11"等符号、字符、日期形式的数据。我们讨论的数据是指存放在计算机系统中的任何东西，如："数字"、"字符"、"声音"、"图像"、"照片"、……等等，甚至处理数据的计算机程序本身也作为计算机的"数据"。随着国民经济和社会信息化的发展，人们在计算机系统中存放的数据量越来越大。我们发现这些数据是人们工作、生活和其他行为的记录，是企业和社会发展的记录，也是人与自然界本身的描述。这就是说在计算机系统中形成了庞大的"数据资源"。因此，发现这些数据所含的规律也就是发现我们工作、生活和社会发展中的规律，发现人与自然界的规律，就相当于在数据资源中发现金矿。这就是数据资源的开发利用，是非常有价值的工作。而数据挖掘是目前最先进的数据资源开发利用技术。

1、什么是数据挖掘

我们先来看一个数据挖掘的故事， "尿布与啤酒"的故事是关于数据挖掘最经典和流传最广的故事。

总部位于美国阿肯色州的世界著名商业零售连锁企业沃尔玛（Wal Mart）拥有世界上最大的数据仓库系统。为了能够准确了解顾客在其门店的购买习惯，沃尔玛利对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用NCR数据挖掘工具对这些数据进行分析和挖掘。一个意外的发现是："跟尿布一起购买最多的商品竟是啤酒！"

这是数据挖掘技术对历史数据进行分析的结果，反映数据内在的规律。那么这个结果符合现实情况吗？是否是一个有用的知识？是否有利用价值？

于是，沃尔玛派出市场调查人员和分析师对这一数据挖掘结果进行调查分析。经过大量实际调查和分析，揭示了一个隐藏在"尿布与啤酒"背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%～40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。

既然尿布与啤酒一起被购买的机会很多，于是沃尔玛就在其一个个门店将尿布与啤酒并排摆放在一起，结果是尿布与啤酒的销售量双双增长。

按常规思维，尿布与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。

　　那么数据挖掘是什么样的技术呢？

数据挖掘是从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示三个步骤。数据准备是从各种数据源中选取和集成用于数据挖掘的数据；规律寻找是用某种方法将数据中的规律找出来；规律表示是用尽可能符合用户习惯的方式（如可视化）将找出的规律表示出来。

但在具体实施数据挖掘应用时，还要有一个步骤就是结果评价。这是因为数据算法寻找出来的是数据的规律，其中有些是人们感兴趣的有用的，还有一些可能是不感兴趣的没有用的。这就要对寻找出的规律进行评估。例如："跟尿布一起购买最多的商品是啤酒"这样一条规律是否有用呢？这就需要市场调查和评估工程师根据实际情况做出评估判断。这是一个人工步骤，还难以自动化。

数据挖掘在自身发展的过程中，吸收了数理统计、数据库和人工智能中的大量技术。

[1] [2] [3] [4] [5]