【答案】应助回帖

cixiang

铁杆木虫 (正式写手)

应助: 8 (幼儿园)
金币: 9053.5
散金: 457
红花: 2
帖子: 514
在线: 227.3小时
虫号: 340742
注册: 2007-04-08
性别: GG
专业: 计算机应用技术

【答案】应助回帖

★
感谢参与，应助指数 +1
family086: 金币+1, ★★★很有帮助, 脱离了具体应用的大数据都是空谈。 2013-01-30 10:11:50

所谓的大数据也是相对而言，不同领域的大有不同的含义。你首先要确定你自己具体做哪个领域。脱离了具体应用的大数据都是空谈。目前大数据，尤其是大数据分析的很多都围绕hadoop系统。要理解mapreduce数据处理框架。另外可以了解以storm为代表的一些实时流处理框架，可能会提供数据处理的另一种思路。

[ 发自手机版 http://muchong.com/3g ]

科研穷三代，读博毁一生

2楼2013-01-27 21:45:58

cixiang

铁杆木虫 (正式写手)

应助: 8 (幼儿园)
金币: 9053.5
散金: 457
红花: 2
帖子: 514
在线: 227.3小时
虫号: 340742
注册: 2007-04-08
性别: GG
专业: 计算机应用技术

引用回帖:

3楼: Originally posted by family086 at 2013-01-27 22:20:35
脱离了具体应用的大数据都是空谈,我非常赞同，你说我一个毫无经验的小硕，想学点真本事，能往哪方面做呢，求指点。...

方向不少，关键要看你们实验室研究的方向。可以考虑下hadoop平台下的海量数据分析

[ 发自手机版 http://muchong.com/3g ]

科研穷三代，读博毁一生

4楼2013-01-27 22:57:00

cixiang

铁杆木虫 (正式写手)

应助: 8 (幼儿园)
金币: 9053.5
散金: 457
红花: 2
帖子: 514
在线: 227.3小时
虫号: 340742
注册: 2007-04-08
性别: GG
专业: 计算机应用技术

引用回帖:

8楼: Originally posted by family086 at 2013-01-30 10:14:19
能在自己的PC搭建好hadoop平台并进行实验吗？...

可以，hadoop有三种模式。单机的，伪分布和分布式。单机和伪分布式在一个机子上运行，分布式是在集群中。单机和伪分布式的区别是伪分布是在单机上模拟出一个集群。但是单机跑出来的实验可能没什么说服力

科研穷三代，读博毁一生

9楼2013-01-30 16:57:34

cixiang

铁杆木虫 (正式写手)

应助: 8 (幼儿园)
金币: 9053.5
散金: 457
红花: 2
帖子: 514
在线: 227.3小时
虫号: 340742
注册: 2007-04-08
性别: GG
专业: 计算机应用技术

引用回帖:

10楼: Originally posted by family086 at 2013-01-31 10:56:01
我实验室有多台电脑，能模拟集群吗，还需要哪些东西呢？...

多台就不用模拟了，就可以直接组个小集群了。需要的基本都是软件了。不过hadoop的安装比较麻烦，你可以去网上找找安装教程。

[ 发自手机版 http://muchong.com/3g ]

科研穷三代，读博毁一生

11楼2013-01-31 13:52:56

cixiang

铁杆木虫 (正式写手)

应助: 8 (幼儿园)
金币: 9053.5
散金: 457
红花: 2
帖子: 514
在线: 227.3小时
虫号: 340742
注册: 2007-04-08
性别: GG
专业: 计算机应用技术

引用回帖:

13楼: Originally posted by family086 at 2013-04-10 20:19:49
您好，我想做网页文本分类，现在虚拟机下hadoop平台搭建好了，能以基于hadoop平台的文本分类为研究做毕业论文吗？求指点...

可以是可以，但是为什么你要用虚拟机下来搭建hadoop平台呢？为啥不用真实的机器搭建平台啊，这样实验跑出来的效果说服力比较弱啊。如果你想要做的是大幅度减少分类的时间，这样的平台实验效果说服力弱。如果你追求的是文本分类的精度，没必要非要用hadoop平台啊。小规模的文本分类感觉研究相对成熟了，大规模的话要看你有没有相应的数据集了。你也可以看看deep learning 的东西，看看能不能用这个来做大规模的文本分类。文本分类我不是内行，可能说的不太准确啊，呵呵

科研穷三代，读博毁一生

14楼2013-04-11 14:36:57