24小时热门版块排行榜    

查看: 1761  |  回复: 10

hqy278

铁虫 (初入文坛)

[求助] 云计算环境下的海量数据挖掘研究步骤是什么?从何处着手?先做什么后做什么? 已有3人参与

最近想做“元计算环境下的海量数据挖掘”研究,可是找不到头绪,不懂该从何处着手。是要先搭建云平台,然后从网络上获取海量数据,然后数据清理再把数据弄到云平台进行挖掘?
感觉做这个课题要做的事情好多哦,也不知道该找什么点来研究有价值。有没有办法做个算法研究然后用一个编程软件就可以实现验证的?或者拿到实际的海量数据之后用一个编程软件
就挖掘出想要的结果?
久了不搞科研,真的是一个头两个大,毫无头绪,不知道该做什么研究好。
回复此楼
越努力就越幸运!
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
回帖支持 ( 显示支持度最高的前 50 名 )

难写啊

新虫 (正式写手)

【答案】应助回帖

其实需要你所在的单位或学校提供研究条件,否则你需要自己搭建环境。
目前热门的环境是hadoop,他支持分布式并行计算的任务分派和分布式文件管理,解决了云计算的基础环境问题,
二就是你选择一个研究题目,然后从网上用爬虫程序爬取大量相关信息。
三就是你要对这些信息进行各种预处理,以便于你使用,
四就是用你设计的算法,在这个云平台环境下,对你下载的数据进行分析处理,为到达你的研究目标而努力
如果你关注的是云系统结构,最好自己动手一步一步搭建环境
如果你关注的是数据挖掘算法,可以基于已有的云环境,把你的算法运行于其上来做研究等工作,
其实这个题目看你怎么限定,云计算大数据方向的题也并不需要你做很大呀

» 本帖已获得的红花(最新10朵)

email:myronsaga1@sohu.com.qq:89260998
4楼2015-06-25 15:46:37
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

windoi

捐助贵宾 (著名写手)

机器学习爱好者

【答案】应助回帖

首先学下Hadoop,找几台机子搭建个环境(新手需要两天时间吧,感觉比较简单);
学下Python,非常有用,上手容易;
最后,找数据集可以到加州大学尔湾分校UCI:http://archive.ics.uci.edu/ml/
学点机器学习更好不过了。
乐观,努力。
5楼2015-06-26 19:10:19
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

闲云野鹤_

木虫 (正式写手)

建议:
1.搭建海量数据存储的平台,支撑技术理论
2. 有平台之后怎么处理数据(Hadoop,spark...)
3. 数据是什么?应用,问题抽样

总的来说过程就是:平台---数据---问题抽样

我也是做相关工作的,上面这是以前导师给我们建议的,和你分享,你看有没有用,只是一个抛砖引玉的作用,其他问题咱可以交流讨论
心如潭水静无风,一坐数千息!!!
6楼2015-06-27 17:32:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hqy278

铁虫 (初入文坛)

引用回帖:
5楼: Originally posted by windoi at 2015-06-26 19:10:19
首先学下Hadoop,找几台机子搭建个环境(新手需要两天时间吧,感觉比较简单);
学下Python,非常有用,上手容易;
最后,找数据集可以到加州大学尔湾分校UCI:http://archive.ics.uci.edu/ml/
学点机器学习更好 ...

谢谢,菜鸟表示搭建环境搭了一个暑假
越努力就越幸运!
10楼2016-09-28 08:07:25
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

zzhlgzz

木虫 (正式写手)

【答案】应助回帖

开源Hadoop?!商业......
2楼2015-06-24 10:12:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

论文ok

新虫 (初入文坛)

楼主  你研究怎么样了  我也是这个方向的  已经搭建好环境,学习了一些聚类分析算法K-means算法等,对web日志进行挖掘分析,能否交流一下呢   我的QQ 549371744
7楼2015-07-20 12:46:09
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

曲梦瑶11

新虫 (初入文坛)

引用回帖:
4楼: Originally posted by 难写啊 at 2015-06-25 15:46:37
其实需要你所在的单位或学校提供研究条件,否则你需要自己搭建环境。
目前热门的环境是hadoop,他支持分布式并行计算的任务分派和分布式文件管理,解决了云计算的基础环境问题,
二就是你选择一个研究题目,然后从 ...

您好,您说数据挖掘算法,可以基于已有的云环境,请问怎么寻找
8楼2015-07-21 14:24:10
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通回帖

zzhlgzz

木虫 (正式写手)

好大的题目呀
3楼2015-06-24 10:13:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hqy278

铁虫 (初入文坛)

送红花一朵
引用回帖:
4楼: Originally posted by 难写啊 at 2015-06-25 15:46:37
其实需要你所在的单位或学校提供研究条件,否则你需要自己搭建环境。
目前热门的环境是hadoop,他支持分布式并行计算的任务分派和分布式文件管理,解决了云计算的基础环境问题,
二就是你选择一个研究题目,然后从 ...

非常感谢。以为没人回复,好久没进论坛了。对不起了
越努力就越幸运!
9楼2016-09-28 08:05:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 hqy278 的主题更新
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[找工作] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +4 2h7du0nuhk 2026-02-07 7/350 2026-02-08 07:46 by vs90ilomwc
[考博] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +4 2h7du0nuhk 2026-02-07 8/400 2026-02-08 07:27 by vs90ilomwc
[教师之家] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +4 2h7du0nuhk 2026-02-07 8/400 2026-02-08 07:26 by vs90ilomwc
[硕博家园] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +4 2h7du0nuhk 2026-02-07 8/400 2026-02-08 07:07 by vs90ilomwc
[硕博家园] 博士延得我,科研能力直往上蹿 +8 偏振片 2026-02-02 8/400 2026-02-08 06:52 by liyeqik
[公派出国] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +3 5lbyq5wrhb 2026-02-07 3/150 2026-02-08 03:05 by vs90ilomwc
[论文投稿] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +3 3rkserf6qr 2026-02-07 4/200 2026-02-08 02:45 by vs90ilomwc
[硕博家园] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +3 3rkserf6qr 2026-02-07 3/150 2026-02-08 02:32 by vs90ilomwc
[考博] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +5 2h7du0nuhk 2026-02-07 5/250 2026-02-08 02:25 by vs90ilomwc
[硕博家园] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +4 2h7du0nuhk 2026-02-07 5/250 2026-02-08 02:12 by vs90ilomwc
[考博] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +4 2h7du0nuhk 2026-02-07 6/300 2026-02-08 02:07 by vs90ilomwc
[教师之家] 售SCI一区文章,我:8 O5 51O 54,科目齐全 +4 2h7du0nuhk 2026-02-07 6/300 2026-02-08 02:05 by vs90ilomwc
[教师之家] 有院领导为了换新车,用横向课题经费买了俩车 +7 瞬息宇宙 2026-02-04 7/350 2026-02-07 21:47 by tfang
[有机交流] 酰胺脱乙酰基 10+5 chibby 2026-02-03 12/600 2026-02-07 19:29 by 江东闲人
[基金申请] 同年申请2项不同项目,第1个项目里不写第2个项目的信息,可以吗 +4 hitsdu 2026-02-06 4/200 2026-02-07 13:07 by jurkat.1640
[基金申请] 有时候真觉得大城市人没有县城人甚至个体户幸福 +9 苏东坡二世 2026-02-04 10/500 2026-02-07 12:37 by 小毛球
[考博] 天津大学招2026.09的博士生,欢迎大家推荐交流(博导是本人) +4 a793625982 2026-02-05 5/250 2026-02-07 10:57 by a793625982
[公派出国] CSC & MSCA 博洛尼亚大学能源材料课题组博士/博士后招生|MSCA经费充足、排名优 +4 雨念 2026-02-01 6/300 2026-02-06 23:32 by MelissaPon
[基金申请] 面上项目申报 +3 Tide man 2026-02-01 3/150 2026-02-05 22:56 by god_tian
[教师之家] 遇见不省心的家人很难过 +18 otani 2026-02-03 22/1100 2026-02-04 11:06 by tangmnt
信息提示
请填处理意见