| 查看: 2453 | 回复: 11 | |||
| 当前主题已经存档。 | |||
| 当前只显示满足指定条件的回帖，点击这里查看本话题的所有回帖 | |||
[交流]
数据挖掘的10个常见问题
|
|||
|
Q1. Data Mining 和统计分析有什么不同？ 硬要去区分Data Mining和Statistics的差异其实是没有太大意义的。一般将之定义为Data Mining技术的CART、CHAID或模糊计算等等理论方法，也都是由统计学者根据统计理论所发展衍生，换另一个角度看，Data Mining有相当大的比重是由高等统计学中的多变量分析所支撑。但是为什么Data Mining的出现会引发各领域的广泛注意呢？主要原因在相较于传统统计分析而言，Data Mining有下列几项特性： 1.处理大量实际资料更强势，且无须太专业的统计背景去使用Data Mining的工具； 2.资料分析趋势为从大型数据库抓取所需资料并使用专属计算机分析软件，Data Mining的工具更符合企业需求； 3. 纯就理论的基础点来看，Data Mining和统计分析有应用上的差别，毕竟Data Mining目的是方便企业末端用者使用而非给统计学家检测用的。 [ Last edited by 幻影无痕 on 2006-10-27 at 07:42 ] |
回复此楼» 猜你喜欢
急需调剂
已经有9人回复
-
申博/考博
已经有4人回复
-
化工学硕294分，求导师收留
已经有37人回复
-
求调剂
已经有11人回复
-
260求调剂
已经有4人回复
-
一志愿华中农业071010，320求调剂
已经有19人回复
-
304求调剂
已经有7人回复
-
求博导｜生物质基多孔碳/超级电容方向，已有相关成果，寻能源材料/碳材料方向老师
已经有3人回复
-
二苯甲酮酸类衍生物
已经有6人回复
-
接受任何调剂
已经有4人回复
幻影无痕
荣誉版主 (知名作家)
小木虫论坛总监
- 应助: 2 (幼儿园)
- 贵宾: 8.003
- 金币: 16253.5
- 散金: 200
- 红花: 5
- 沙发: 5
- 帖子: 9634
- 在线: 58.2小时
- 虫号: 245777
- 注册: 2006-04-29
- 性别: GG
- 专业: 催化化学
- 管辖: 地学
|
Q5. Data Mining 运用了哪些理论与技术？ Data Mining是近年来数据库应用技术中相当热门的议题，看似神奇、听来时髦，实际上却也不是什么新东西，因其所用之诸如预测模式、资料分割，连结分析（Link Analysis）、偏差侦测（Deviation Detection）等，美国早在二次世界大战前就已应用运用在人口普查及军事等方面。 随着信息科技超乎想象的进展，许多新的计算机分析工具问世，例如关系型数据库、模糊计算理论、基因算法则以及类神经网络等，使得从资料中发掘宝藏成为一种系统性且可实行的程序。 一般而言，Data Mining的理论技术可分为传统技术与改良技术两支。传统技术以统计分析为代表，举凡统计学内所含之叙述统计、机率论、回归分析、类别资料分析等皆属之，尤其 Data Mining 对象多为变量繁多且笔数庞大的数据，是以高等统计学里所含括之多变量分析中用来精简变量的因素分析（Factor Analysis）、用来分类的判别分析（Discriminant Analysis），以及用来区隔群体的分群分析（Cluster Analysis）等，在Data Mining过程中特别常用。 在改良技术方面，应用较普遍的有决策树理论（Decision Trees）、类神经网络（Neural Network）以及规则归纳法（Rules Induction）等。决策树是一种用树枝状展现资料受各变量的影响情形之预测模型，根据对目标变量产生之效应的不同而建构分类的规则，一般多运用在对顾客资料的区隔分析上，例如针对有回函与未回含的邮寄对象找出影响其分类结果的变量组合，常用分类方法为CART（Classification and Regression Trees）及CHAID（Chi-Square Automatic Interaction Detector）两种。 类神经网络是一种仿真人脑思考结构的资料分析模式，由输入之变量与数值中自我学习并根据学习经验所得之知识不断调整参数以期建构资料的型样(patterns)。类神经网络为非线性的设计，与传统回归分析相比，好处是在进行分析时无须限定模式，特别当资料变量间存有交互效应时可自动侦测出；缺点则在于其分析过程为一黑盒子，故常无法以可读之模型格式展现，每阶段的加权与转换亦不明确，是故类神经网络多利用于资料属于高度非线性且带有相当程度的变量交感效应时。 规则归纳法是知识发掘的领域中最常用的格式，这是一种由一连串的「如果…/则…（If / Then）」之逻辑规则对资料进行细分的技术，在实际运用时如何界定规则为有效是最大的问题，通常需先将资料中发生数太少的项目先剔除，以避免产生无意义的逻辑规则。 |
6楼2006-09-11 10:34:24
yuefour
金虫 (正式写手)
- 应助: 0 (幼儿园)
- 贵宾: 9.5
- 金币: 1310.7
- 帖子: 838
- 在线: 17小时
- 虫号: 64621
- 注册: 2005-04-16
- 性别: GG
- 专业: 中医内科
2楼2005-07-07 18:47:05
幻影无痕
荣誉版主 (知名作家)
小木虫论坛总监
- 应助: 2 (幼儿园)
- 贵宾: 8.003
- 金币: 16253.5
- 散金: 200
- 红花: 5
- 沙发: 5
- 帖子: 9634
- 在线: 58.2小时
- 虫号: 245777
- 注册: 2006-04-29
- 性别: GG
- 专业: 催化化学
- 管辖: 地学
★
sinapdb(金币+1):thanks for your sharing
sinapdb(金币+1):thanks for your sharing
|
Q2. Data Warehousing 和 Data Mining 的关系为何？ 若将Data Warehousing（资料仓储）比喻作矿坑，Data Mining就是深入矿坑采矿的工作。毕竟Data Mining不是一种无中生有的魔术，也不是点石成金的炼金术，若没有够丰富完整的资料，是很难期待Data Mining能挖掘出什么有意义的信息的。 要将庞大的资料转换成为有用的信息，必须先有效率地收集信息。随着科技的进步，功能完善的数据库系统就成了最好的收集资料的工具。「资料仓储」，简单地说，就是搜集来自其它系统的有用资料，存放在一整合的储存区内。所以其实就是一个经过处理整合，且容量特别大的关系型数据库，用以储存决策支持系统（Design Support System）所需的资料，供决策支持或资料分析使用。从信息技术的角度来看，资料仓储的目标是在组织中，在正确的时间，将正确的资料交给正确的人。 许多人对于Data Warehousing和Data Mining时常混淆，不知如何分辨。其实，资料仓储是数据库技术的一个新主题，在资料科技日渐普及下，利用计算机系统帮助我们操作、计算和思考，让作业方式改变，决策方式也跟着改变。 资料仓储本身是一个非常大的数据库，它储存着由组织作业数据库中整合而来的资料，特别是指从线上交易系统OLTP（On-Line Transactional Processing）所得来的资料。将这些整合过的资料置放于资料仓储中，而公司的决策者则利用这些资料作决策；但是，这个转换及整合资料的过程，是建立一个资料仓储最大的挑战。因为将作业中的资料转换成有用的的策略性信息是整个资料仓储的重点。综上所述，资料仓储应该具有这些资料：整合性资料（integrated data）、详细和汇总性的资料(detailed and summarized data)、历史资料、解释资料的资料。从资料仓储挖掘出对决策有用的信息与知识，是建立资料仓储与使用Data Mining的最大目的，两者的本质与过程是两码子事。换句话说，资料仓储应先行建立完成，Data mining才能有效率的进行，因为资料仓储本身所含资料是干净(不会有错误的资料参杂其中）、完备，且经过整合的。因此两者关系或许可解读为「Data Mining是从巨大资料仓储中找出有用信息的一种过程与技术」。 |
3楼2006-09-11 10:31:50
幻影无痕
荣誉版主 (知名作家)
小木虫论坛总监
- 应助: 2 (幼儿园)
- 贵宾: 8.003
- 金币: 16253.5
- 散金: 200
- 红花: 5
- 沙发: 5
- 帖子: 9634
- 在线: 58.2小时
- 虫号: 245777
- 注册: 2006-04-29
- 性别: GG
- 专业: 催化化学
- 管辖: 地学
|
Q3. OLAP 能不能代替 Data Mining？ 所谓OLAP（Online Analytical Process）意指由数据库所连结出来的线上查询分析程序。有些人会说：「我已经有OLAP的工具了，所以我不需要Data Mining。」事实上两者间是截然不同的，主要差异在于Data Mining用在产生假设，OLAP则用于查证假设。简单来说，OLAP是由使用者所主导，使用者先有一些假设，然后利用OLAP来查证假设是否成立；而Data Mining则是用来帮助使用者产生假设。所以在使用OLAP或其它Query的工具时，使用者是自己在做探索（Exploration），但Data Mining是用工具在帮助做探索。 举个例子来看，一市场分析师在为超市规划货品架柜摆设时，可能会先假设婴儿尿布和婴儿奶粉会是常被一起购买的产品，接着便可利用OLAP的工具去验证此假设是否为真，又成立的证据有多明显；但Data Mining则不然，执行Data Mining的人将庞大的结帐资料整理后，并不需要假设或期待可能的结果，透过Mining技术可找出存在于资料中的潜在规则，于是我们可能得到例如尿布和啤酒常被同时购买的意料外之发现，这是OLAP所做不到的。 Data Mining常能挖掘出超越归纳范围的关系，但OLAP仅能利用人工查询及可视化的报表来确认某些关系，是以Data Mining此种自动找出甚或不会被怀疑过的资料型样与关系的特性，事实上已超越了我们经验、教育、想象力的限制，OLAP可以和Data Mining互补，但这项特性是Data Mining无法被OLAP取代的。 |
4楼2006-09-11 10:32:51
20