24小时热门版块排行榜

返回列表

taochn

铁杆木虫 (著名写手)

应助: 19 (小学生)
金币: 8120.1
散金: 107
红花: 7
帖子: 1469
在线: 312.3小时
虫号: 287346
注册: 2006-10-18
性别: GG
专业: 矿物学(含矿物物理学）

[交流] [转自：科学网]NSF开创新的基金评审方法已有4人参与

基金评审方法采用同行评价，但由于需要申请人回避参与同一领域的评价，必然导致参与评审的真正同行数量的减少。尤其是一些相对冷门的专业，这种申请人回避制度必然导致外行评价内行的结局。如何克服这一缺陷，美国科学基金(NSF)最近尝试了一种新的基金评审方案，可能会成为将来基金评审方法的典范。

NSF最近尝试的这种新的基金评审方案，就是强制所有竞争者必须完成评价竞争者7份申请书，这一方案完全不同于过去的申请人回避制度，通过精密设计和实际运行，发现这种方案取得不可思议的效果。这应该成为我们基金管理部门和管理者认真学习的一种好方法。

申请人不能作为同类项目的评审人，是基金申请过程中经常采用的回避制度。32年担任作为NSF项目主管George Hazelrigg对这个规则非常熟悉。去年，Hazelrigg得到许可检验这个规则。随着申请数量增加，资助比例下降，基金管理人员和评审人的压力越来越大，为了缓解这种压力，Hazelrigg组织了一次实验。他反其道而行之，不仅让申请人作为评审人，而且要求他们必须评审7份申请才能获得自己申请书被评审的条件。这听上去有点不靠谱。但是工程领域的科学家对此保持乐观，10月1日前提交的申请书超过过去的60%。初步评估结果表明，采用通讯评审取代过去的会议评审，不仅可以节省时间和开支，而且能提高评审质量。

NSF现在考虑推广这种评审方法。天文学也采用了这种方法，双子星天文台将采用同样的评审方法，决定如何分配夏威夷岛天文望远镜使用时间分配方案。夏威夷岛天文望远镜总协调人Rachel Mason说，寻找理想评审人是花费时间，正变得越来越困难。这种方式是一次重大转变，科学家会发现有机会阅读竞争者申请书是一件快乐的事情。

基金管理人员非常熟悉传统基金评审过程存在的尴尬。原来的系统依靠评审人的个人意愿，而且受到评审人空余时间的限制，随着申请书数量的增加，资助比例下降，潜在符合资格的评审人必然越来越少，使这种矛盾越来越突出。例如NSF去年收到49000份申请书，比2001年增加53%，但是经费总额并没有成比例增加。意味着资助比例从31%降低到22%。

这一变化带来的突出问题，评审经费和评审人时间支出双双增加，这已经引起评审人的抱怨。因为从整体上，这些科学家付出增加，但是获得资助的几率下降。

为了克服这一困局，Hazelrigg最容易采用的一个手段是限制申请规模，这显然也不是理想办法，他也不想采用。2009年Astronomy & Geophysics一篇文章“Telescope time without tears: a distributed approach to peer review.”给Hazelrigg带来灵感。

文章共同作者英国诺丁汉大学天文学家Michael Merrifield说，使用欧洲南方天文台的申请书113项一下放在他桌面上，他根本没有那么多时间仔细阅读，这种蹩脚评审方法到了不改不行时候了。

于是Merrifield和加州大学数学家Donald Saari联合研究一种新的评审系统。Donald Saari是研究表决系统的专家，他建议Merrifield了解一种激进选择radical alternative的思路。该思路依据数学游戏原理，让竞争者接近实现目标的规则方式。NSF的例子中，根据贡献度大小分配申请资格能激励申请者更好完成评审工作，NSF发布申请指南中，要求申请者必须承诺评审7份竞争者申请书的任务才有资格申请。除相互评审外，使用NSF5分制评价系统对申请书进行分级评价，同时也要对7份申请书从好到坏进行排序。Hazelrigg说选择7份评审任务能有效限制那些无聊申请人，因为他们提交任何申请都必须付出评价7份评审任务的代价。同时，这些科学家在评审过程中也会非常慎重，随意评审会导致不公平的结果，逼迫他们选择公平评价标准。

Hazelrigg说他们用了一年获得批准这一试验。2013年5月通过一封信告诉所有可能的申请人。每个在10月份提交申请书的申请人必须无条件接受这个方案。如果坚持不同意这个方案的申请人可以在2014年2月前提交申请书。

结果申请人对这个模式非常认同，NSF最终接受到131份申请，比过去平均超过50份。

布莱克斯堡大学生物工程学家Rolf Mueller是申请人之一，他说参加这个实验不需要犹豫。他知道提交申请需要同意参加评审。阅读其他竞争者的申请书是非常有意思的。南佛罗里达大学电子工程学家Arash Takshi也参与了申请，他说阅读别人的申请书让他学习到东西，申请人通过阅读竞争者的申请书可清楚知道自己无法被资助的原因是自己的申请书质量不过关，而不是别的原因。Takshi说自己花费30个小时阅读7份申请书。

NSF的官方说法是他们的试验非常成功。每个申请书都收到7份以上的高质量评价意见，过去的方法只能获得3-4份这样的意见。Hazelrigg强调，每个评价意见都比较全面，评价质量虽然不能按照这个为标准，但是评价更为客观真实。通过对60%申请人的评审过程进行分析，发现只有一位没有按照在6周期限内提交评价意见。

出处：http://blog.sciencenet.cn/blog-41174-812666.html

回复此楼