24小时热门版块排行榜    

查看: 2576  |  回复: 17
【奖励】 本帖被评价12次,作者yyallen2003增加金币 9.2

yyallen2003

木虫 (知名作家)


[资源] 【云计算论文:资源管理系统】Google Omega VS Apache Hadoop YARN

距离Google在OSDI2004上释出经典论文《MapReduce: Simplified Data Processing on Large Clusters》
已经有将近10年的时间了。(据Google学术统计,该论文被引用超过8000次)

在这期间,MapReduce并行计算技术进入战国时代,出现N多的改进模型:
内存/迭代计算:HaLoop、Twister、UCBerkeley Spark
实时/流式计算:Google Dremel、Apache Drill、Twitter Storm、Apache S4、Apache Samza、Cloudera Impala、Stinger Initiative
图计算:Google Prege、Yahoo! Giraph、Apache Hama
DAG计算:Apache Tez
……

2013年,Google和Apache Hadoop在半年时间内先后释出2篇重量级论文,
它们都是关于“集群资源统一管理/调度系统”的工业界产品,
其中Google Omega已用于生产,
Apache Hadoop YARN已发布beta版本。
这标致着云计算技术整体进入MRv2时代。

现在将这2篇论文分享给大家。

《Omega: flexible, scalable schedulers for large compute clusters》
Proceedings of the 8th ACM European Conference on Computer Systems
2013年4月14-17日

《Apache Hadoop YARN: Yet Another Resource Negotiator》(Best Paper)
Proceedings of the Fourth ACM Symposium on Cloud Computing(SoCC'13)
2013年10月1-3日
回复此楼

» 本帖附件资源列表

  • 欢迎监督和反馈:小木虫仅提供交流平台,不对该内容负责。
    本内容由用户自主发布,如果其内容涉及到知识产权问题,其责任在于用户本人,如对版权有异议,请联系邮箱:xiaomuchong@tal.com
  • 附件 1 : Omega&YARN.rar
  • 2013-10-08 16:48:48, 2.16 M

» 收录本帖的淘帖专辑推荐

IT学习资料

» 本帖已获得的红花(最新10朵)

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
回帖置顶 ( 共有1个 )

yyallen2003

木虫 (知名作家)


yyallen2003: 回帖置顶 2013-10-08 20:03:03
引用回帖:
3楼: Originally posted by avadesian at 2013-10-08 18:49:54
下载不了啊,提示错误,资源不存在?

很奇怪啊,我是在小木虫直接上传的。

《Omega: flexible, scalable schedulers for large compute clusters》
在Google学术上下载到。

《Apache Hadoop YARN: Yet Another Resource Negotiator》
http://www.socc2013.org/home/program
这里能下载到。
4楼2013-10-08 20:02:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

avadesian

新虫 (初入文坛)


★ 一星级,一般

下载不了啊,提示错误,资源不存在?
3楼2013-10-08 18:49:54
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

happywind-75

金虫 (小有名气)


★★★★★ 五星级,优秀推荐

顶一下,感谢分享!期待和关注
6楼2013-10-12 08:41:18
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

零点钟

铁虫 (初入文坛)


★★★★★ 五星级,优秀推荐

楼主好强大;关于并行计算以及相关的研究能够给些建议;对操作系统、体系结构比较纯的计算机研究比较感兴趣,应该如何下手,出文章等等
12楼2014-03-24 15:49:05
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yyallen2003

木虫 (知名作家)


引用回帖:
12楼: Originally posted by 零点钟 at 2014-03-24 15:49:05
楼主好强大;关于并行计算以及相关的研究能够给些建议;对操作系统、体系结构比较纯的计算机研究比较感兴趣,应该如何下手,出文章等等

现在并行计算,流行的就是云计算的MapReduce这个分支
首先得对云计算有了解
然后再关注MapReduce,以及它的很多变种
以上任何领域都值得你学习很长时间
但是从目标上看
要首先确定你是准备搞科研学术
还是为就业做准备

可以先看看我在小木虫上的其它帖子
13楼2014-03-25 09:48:23
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xiyf2046

新虫 (初入文坛)


★★★★★ 五星级,优秀推荐

google关于调度的论文,好东西,顶一下。
14楼2014-06-12 15:24:08
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xiyf2046

新虫 (初入文坛)


送红花一朵
omega,good
15楼2014-06-12 15:25:20
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yizhuo_513

新虫 (初入文坛)


★★★★★ 五星级,优秀推荐

下载不了啊,服务器关闭了吧
17楼2015-01-09 08:16:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
简单回复
2013-10-08 17:08   回复  
五星好评  
evenwang5楼
2013-10-09 08:53   回复  
五星好评  顶一下,感谢分享!
2013-10-23 11:38   回复  
顶一下,感谢分享!
2014-01-05 14:05   回复  
五星好评  顶一下,感谢分享!
ylxiong9楼
2014-02-13 14:51   回复  
五星好评  顶一下,感谢分享!
FMStation10楼
2014-02-26 07:53   回复  
五星好评  顶一下,感谢分享!
猪头昵11楼
2014-03-12 10:55   回复  
五星好评  顶一下,感谢分享!
anysucyc16楼
2014-06-16 07:42   回复  
顶一下,感谢分享!
2015-10-23 17:25   回复  
五星好评  顶一下,感谢分享!
相关版块跳转 我要订阅楼主 yyallen2003 的主题更新
☆ 无星级 ★ 一星级 ★★★ 三星级 ★★★★★ 五星级
普通表情 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 333求调剂 +4 87639 2026-03-21 4/200 2026-03-21 17:18 by 学员8dgXkO
[考研] 0805材料320求调剂 +3 深海物语 2026-03-20 3/150 2026-03-21 15:46 by 无际的草原
[考研] 330求调剂0854 +3 assdll 2026-03-21 3/150 2026-03-21 13:01 by 搏击518
[考研] 0856材料专硕353求调剂 +3 NIFFFfff 2026-03-20 3/150 2026-03-21 10:23 by luoyongfeng
[考研] 306求调剂 +4 chuanzhu川烛 2026-03-18 4/200 2026-03-21 08:25 by laoshidan
[考研] 304求调剂 +6 曼殊2266 2026-03-18 6/300 2026-03-21 00:32 by JourneyLucky
[考研] 295求调剂 +4 一志愿京区211 2026-03-18 6/300 2026-03-20 23:41 by JourneyLucky
[考研] 一志愿中海洋材料工程专硕330分求调剂 +8 小材化本科 2026-03-18 8/400 2026-03-20 23:16 by JourneyLucky
[考研] 330求调剂 +4 小材化本科 2026-03-18 4/200 2026-03-20 23:13 by JourneyLucky
[考研] 324求调剂 +5 lucky呀呀呀鸭 2026-03-20 5/250 2026-03-20 22:30 by 促天成
[考研] 287求调剂 +7 晨昏线与星海 2026-03-19 8/400 2026-03-20 22:19 by JourneyLucky
[考研] 一志愿 西北大学 ,070300化学学硕,总分287,双非一本,求调剂。 +4 晨昏线与星海 2026-03-19 4/200 2026-03-20 22:15 by JourneyLucky
[考研] 260求调剂 +3 朱芷琳 2026-03-20 3/150 2026-03-20 20:35 by 学员8dgXkO
[考博] 招收博士1-2人 +3 QGZDSYS 2026-03-18 3/150 2026-03-20 11:58 by 呱呱呱呱叫
[考研] 085600材料与化工调剂 324分 +10 llllkkkhh 2026-03-18 12/600 2026-03-19 14:33 by llllkkkhh
[考研] 材料工程专硕调剂 +5 204818@lcx 2026-03-17 6/300 2026-03-18 22:55 by 204818@lcx
[考研] 材料,纺织,生物(0856、0710),化学招生啦 +3 Eember. 2026-03-17 9/450 2026-03-18 10:28 by Eember.
[考研] 一志愿南京大学,080500材料科学与工程,调剂 +4 Jy? 2026-03-16 4/200 2026-03-17 11:02 by gaoqiong
[考研] 一志愿,福州大学材料专硕339分求调剂 +3 木子momo青争 2026-03-15 3/150 2026-03-17 07:52 by laoshidan
[考研] 327求调剂 +6 拾光任染 2026-03-15 11/550 2026-03-15 22:47 by 拾光任染
信息提示
请填处理意见