| 查看: 1756 | 回复: 5 | |||
| 当前主题已经存档。 | |||
[交流]
数据挖掘的背景知识
|
|||
|
数据挖掘的背景知识 0.什么是数据挖掘？ 数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。 数据挖掘能做什么？ 1)数据挖掘能做以下六种不同事情（分析方法）： 分类 （Classification） 估值（Estimation） 预言（Prediction） 相关性分组或关联规则（Affinity grouping or association rules） 聚集（Clustering） 描述和可视化（Description and Visualization） 2)数据挖掘分类 以上六种数据挖掘的分析方法可以分为两类：直接数据挖掘；间接数据挖掘 直接数据挖掘 目标是利用可用的数据建立一个模型，这个模型对剩余的数据，对一个特定的变量（可以理解成数据库中表的属性，即列）进行描述。 间接数据挖掘 目标中没有选出某一具体的变量，用模型进行描述；而是在所有的变量中建立起某种关系。 分类、估值、预言属于直接数据挖掘；后三种属于间接数据挖掘 3)各种分析方法的简介 分类 （Classification） 首先从数据中选出已经分好类的训练集，在该训练集上运用数据挖掘分类的技术，建立分类模型，对于没有分类的数据进行分类。 例子： a. 信用卡申请者，分类为低、中、高风险 b. 分配客户到预先定义的客户分片 注意： 类的个数是确定的，预先定义好的 估值（Estimation） 估值与分类类似，不同之处在于，分类描述的是离散型变量的输出，而估值处理连续值的输出；分类的类别是确定数目的，估值的量是不确定的。 例子： a. 根据购买模式，估计一个家庭的孩子个数 b. 根据购买模式，估计一个家庭的收入 c. 估计real estate的价值 一般来说，估值可以作为分类的前一步工作。给定一些输入数据，通过估值，得到未知的连续变量的值，然后，根据预先设定的阈值，进行分类。例如：银行对家庭贷款业务，运用估值，给各个客户记分（Score 0~1）。然后，根据阈值，将贷款级别分类。 预言（Prediction） 通常，预言是通过分类或估值起作用的，也就是说，通过分类或估值得出模型，该模型用于对未知变量的预言。从这种意义上说，预言其实没有必要分为一个单独的类。 预言其目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预言准确性是多少。 相关性分组或关联规则（Affinity grouping or association rules） 决定哪些事情将一起发生。 例子： a. 超市中客户在购买A的同时，经常会购买B，即A => B(关联规则) b. 客户在购买A后，隔一段时间，会购买B （序列分析） 聚集（Clustering） 聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。 例子： a. 一些特定症状的聚集可能预示了一个特定的疾病 b. 租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群 聚集通常作为数据挖掘的第一步。例如，“哪一种类的促销对客户响应最好？”，对于这一类问题，首先对整个客户做聚集，将客户分组在各自的聚集里，然后对每个不同的聚集，回答问题，可能效果更好。 描述和可视化（Description and Visualization） 是对数据挖掘结果的表示方式。 2.数据挖掘的商业背景 数据挖掘首先是需要商业环境中收集了大量的数据，然后要求挖掘的知识是有价值的。有价值对商业而言，不外乎三种情况：降低开销；提高收入；增加股票价格。 1)数据挖掘作为研究工具 （Research） 2)数据挖掘提高过程控制（Process Improvement） 3)数据挖掘作为市场营销工具（Marketing） 4)数据挖掘作为客户关系管理CRM工具(Customer Relationship Management) 3.数据挖掘的技术背景 1)数据挖掘技术包括三个主要部分：算法和技术；数据；建模能力 2)数据挖掘和机器学习（Machine Learning） 机器学习是计算机科学和人工智能AI发展的产物 机器学习分为两种学习方式：自组织学习（如神经网络）；从例子中归纳出规则（如决策树） 数据挖掘由来 数据挖掘是八十年代，投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴的，面向商业应用的AI研究。选择数据挖掘这一术语，表明了与统计、精算、长期从事预言模型的经济学家之间没有技术的重叠。 3)数据挖掘和统计 统计也开始支持数据挖掘。统计本包括预言算法（回归）、抽样、基于经验的设计等 4)数据挖掘和决策支持系统 数据仓库 OLAP（联机分析处理）、Data Mart（数据集市）、多维数据库 决策支持工具融合 将数据仓库、OLAP，数据挖掘融合在一起，构成企业决策分析环境。 4. 数据挖掘的社会背景 数据挖掘与个人预言：数据挖掘号称能通过历史数据的分析，预测客户的行为，而事实上，客户自己可能都不明确自己下一步要作什么。所以，数据挖掘的结果，没有人们想象中神秘，它不可能是完全正确的。 客户的行为是与社会环境相关连的，所以数据挖掘本身也受社会背景的影响。比如说，在美国对银行信用卡客户信用评级的模型运行得非常成功，但是，它可能不适合中国。 [ Last edited by sinapdb on 2006-12-25 at 13:06 ] |
回复此楼» 猜你喜欢
300求调剂，材料科学英一数二
已经有5人回复
-
招08考数学
已经有15人回复
-
0854电子信息求调剂
已经有4人回复
-
08工学调剂
已经有14人回复
-
材料292调剂
已经有7人回复
-
085602 289分求调剂
已经有4人回复
-
289求调剂
已经有3人回复
-
材料专硕331求调剂
已经有4人回复
-
0703化学调剂，求导师收
已经有5人回复
-
申博26年
已经有4人回复
flyingkylin
新虫 (著名写手)
为虫子服务
- 应助: 0 (幼儿园)
- 金币: 1.2
- 帖子: 1276
- 在线: 17分钟
- 虫号: 254352
- 注册: 2006-05-27
- 性别: GG
- 专业: 清风小木虫
2楼2006-11-20 22:07:01
3楼2006-11-23 10:23:08
4楼2006-11-26 22:54:23
5楼2006-12-25 12:50:10
sinapdb
荣誉版主 (职业作家)
蚂蚁爬爬
- 应助: 21 (小学生)
- 贵宾: 1.32
- 金币: 15162.7
- 散金: 262
- 红花: 11
- 帖子: 4860
- 在线: 195.5小时
- 虫号: 73069
- 注册: 2005-06-07
- 性别: GG
- 专业: 化工冶金
- 管辖: 信息科学
6楼2006-12-25 13:07:04
40