24小时热门版块排行榜    

Znn3bq.jpeg
查看: 1829  |  回复: 10

hqy278

铁虫 (初入文坛)

[求助] 云计算环境下的海量数据挖掘研究步骤是什么?从何处着手?先做什么后做什么? 已有3人参与

最近想做“元计算环境下的海量数据挖掘”研究,可是找不到头绪,不懂该从何处着手。是要先搭建云平台,然后从网络上获取海量数据,然后数据清理再把数据弄到云平台进行挖掘?
感觉做这个课题要做的事情好多哦,也不知道该找什么点来研究有价值。有没有办法做个算法研究然后用一个编程软件就可以实现验证的?或者拿到实际的海量数据之后用一个编程软件
就挖掘出想要的结果?
久了不搞科研,真的是一个头两个大,毫无头绪,不知道该做什么研究好。
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

越努力就越幸运!
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
回帖支持 ( 显示支持度最高的前 50 名 )

难写啊

新虫 (正式写手)

【答案】应助回帖

其实需要你所在的单位或学校提供研究条件,否则你需要自己搭建环境。
目前热门的环境是hadoop,他支持分布式并行计算的任务分派和分布式文件管理,解决了云计算的基础环境问题,
二就是你选择一个研究题目,然后从网上用爬虫程序爬取大量相关信息。
三就是你要对这些信息进行各种预处理,以便于你使用,
四就是用你设计的算法,在这个云平台环境下,对你下载的数据进行分析处理,为到达你的研究目标而努力
如果你关注的是云系统结构,最好自己动手一步一步搭建环境
如果你关注的是数据挖掘算法,可以基于已有的云环境,把你的算法运行于其上来做研究等工作,
其实这个题目看你怎么限定,云计算大数据方向的题也并不需要你做很大呀

» 本帖已获得的红花(最新10朵)

email:myronsaga1@sohu.com.qq:89260998
4楼2015-06-25 15:46:37
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

windoi

捐助贵宾 (著名写手)

机器学习爱好者

【答案】应助回帖

首先学下Hadoop,找几台机子搭建个环境(新手需要两天时间吧,感觉比较简单);
学下Python,非常有用,上手容易;
最后,找数据集可以到加州大学尔湾分校UCI:http://archive.ics.uci.edu/ml/
学点机器学习更好不过了。
乐观,努力。
5楼2015-06-26 19:10:19
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

闲云野鹤_

木虫 (正式写手)

建议:
1.搭建海量数据存储的平台,支撑技术理论
2. 有平台之后怎么处理数据(Hadoop,spark...)
3. 数据是什么?应用,问题抽样

总的来说过程就是:平台---数据---问题抽样

我也是做相关工作的,上面这是以前导师给我们建议的,和你分享,你看有没有用,只是一个抛砖引玉的作用,其他问题咱可以交流讨论
心如潭水静无风,一坐数千息!!!
6楼2015-06-27 17:32:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hqy278

铁虫 (初入文坛)

引用回帖:
5楼: Originally posted by windoi at 2015-06-26 19:10:19
首先学下Hadoop,找几台机子搭建个环境(新手需要两天时间吧,感觉比较简单);
学下Python,非常有用,上手容易;
最后,找数据集可以到加州大学尔湾分校UCI:http://archive.ics.uci.edu/ml/
学点机器学习更好 ...

谢谢,菜鸟表示搭建环境搭了一个暑假
越努力就越幸运!
10楼2016-09-28 08:07:25
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

zzhlgzz

木虫 (正式写手)

【答案】应助回帖

开源Hadoop?!商业......
2楼2015-06-24 10:12:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

论文ok

新虫 (初入文坛)

楼主  你研究怎么样了  我也是这个方向的  已经搭建好环境,学习了一些聚类分析算法K-means算法等,对web日志进行挖掘分析,能否交流一下呢   我的QQ 549371744
7楼2015-07-20 12:46:09
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

曲梦瑶11

新虫 (初入文坛)

引用回帖:
4楼: Originally posted by 难写啊 at 2015-06-25 15:46:37
其实需要你所在的单位或学校提供研究条件,否则你需要自己搭建环境。
目前热门的环境是hadoop,他支持分布式并行计算的任务分派和分布式文件管理,解决了云计算的基础环境问题,
二就是你选择一个研究题目,然后从 ...

您好,您说数据挖掘算法,可以基于已有的云环境,请问怎么寻找
8楼2015-07-21 14:24:10
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通回帖

zzhlgzz

木虫 (正式写手)

好大的题目呀
3楼2015-06-24 10:13:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

hqy278

铁虫 (初入文坛)

送红花一朵
引用回帖:
4楼: Originally posted by 难写啊 at 2015-06-25 15:46:37
其实需要你所在的单位或学校提供研究条件,否则你需要自己搭建环境。
目前热门的环境是hadoop,他支持分布式并行计算的任务分派和分布式文件管理,解决了云计算的基础环境问题,
二就是你选择一个研究题目,然后从 ...

非常感谢。以为没人回复,好久没进论坛了。对不起了
越努力就越幸运!
9楼2016-09-28 08:05:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 hqy278 的主题更新
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 调剂求收留 +21 果然有我 2026-04-10 22/1100 2026-04-11 21:37 by 蓝云思雨
[考研] 085400 328分 求调剂 +10 喂你一个大橙子 2026-04-09 14/700 2026-04-11 19:53 by lqspecial
[考研] 295求调剂 +6 ?要上岸? 2026-04-05 7/350 2026-04-11 19:02 by laoshidan
[考研] 332求调剂 +13 蕉蕉123 2026-04-10 13/650 2026-04-11 14:23 by zxhbx
[考研] 一志愿郑州大学 22408 305分求调剂 +4 安小满zzz 2026-04-08 4/200 2026-04-11 11:52 by zhq0425
[考研] 一志愿211生物学280分 求调剂 +7 李rien 2026-04-05 7/350 2026-04-11 11:16 by 逆水乘风
[考研] 269电子信息求调剂,可转专业 +11 独酌wl 2026-04-06 11/550 2026-04-11 11:12 by 逆水乘风
[考研] 材料类284调剂 +40 想换手机不想解 2026-04-08 48/2400 2026-04-10 23:28 by 314126402
[考研] 求调剂 +5 不会飞的鱼@ 2026-04-10 5/250 2026-04-10 19:07 by chemisry
[考研] 一志愿矿大,材料工程专硕314分,0856可调都可以 +15 无懈可击的巨人 2026-04-09 15/750 2026-04-10 18:10 by hmn_wj
[考研] 085800 能源动力求调剂 +6 阿biu啊啊啊啊啊 2026-04-10 6/300 2026-04-10 15:03 by hemengdong
[考研] 求调剂材料科学与工程一志愿985初试365分 +5 材化李可 2026-04-08 5/250 2026-04-09 17:00 by Lilly_Li
[考研] 材料工程322 +18 哈哈哈吼吼吼哈 2026-04-07 19/950 2026-04-09 10:44 by cymywx
[考研] 336求调剂,一志愿中科大 +9 墨彧 yuyu 2026-04-06 9/450 2026-04-08 11:24 by 想读书的菌菌
[考研] 生物医药调剂|SCI中科院三区一作+多项科研成果 +8 likangxing 2026-04-07 11/550 2026-04-08 00:02 by lys0704
[考研] 319分085702安全工程求调剂 +6 rious 2026-04-05 6/300 2026-04-07 09:42 by jp9609
[考研] 081200-11408-367学硕求调剂 +4 1_2_3111 2026-04-06 4/200 2026-04-07 08:13 by jp9609
[考研] 287分求调剂 有专利国奖一志愿哈工大085406 +6 白易辰 2026-04-06 7/350 2026-04-06 22:46 by 875465
[考研] 071000生物学调剂 +7 拉提桃 2026-04-06 7/350 2026-04-06 18:55 by 52305043001
[考研] 319求调剂 +3 handrui 2026-04-05 3/150 2026-04-06 09:33 by jp9609
信息提示
请填处理意见