查看: 2000  |  回复: 40

天天向上3035

主管区长 (文坛精英)

优秀区长优秀区长优秀区长优秀版主优秀版主优秀版主优秀版主优秀版主

[交流] 转载:自然科学基金项目会评的必要性之我见已有29人参与

本帖内容全部转载自本版已有主题帖,希望对大家了解自然科学基金项目会评有益,如果有建设性意见可以在原帖下讨论,如果是吐槽就免了!

引言:基金项目评审中实行会评并不是我国特有,据我所知德国基金会(DFG)一般项目只采用函评。其方法十分简单,每份申请书发个两个专家,如果两位专家都同意就给予资助,都反对就不予资助;如果一位同意,另一位不同意,则再请第三位专家函评,如果该专家同意就资助,该专家不同意,项目就被否决。德国为什么能做到这点,他们的一位负责人说:“德国的教授都有DFG”的项目。

至于我了解的其它国家,似乎都有会评的过程,比如美国基金会(NSF),与我们的差异是他们不事前确定学科资助的项目数,而是先确定资助总经费。然后根据申请项目优劣,详细讨论每个项目应该资助的经费,有点像财务审计一样。当总经费分完了,排在后面的项目,再好也不给予资助了。

我也了解过澳大利亚的基金评审,他们采取同一批申请项目,由同一批同行专家先“函评”,给出项目的排序。然后,还是这一批专家通过会评,最后确定资助那些项目,以及每个项目的资助经费。他们的函评专家的工作量十分大,向我介绍的那位专家,收到的申请书有一个拉杆箱。因为这一批专家相互都认识,估计初审主要是“泛读”,并给出排序,然后在会评中认真确定该不该资助。当然,多数专家初审认为不予资助的项目,就不会在会上费太多功夫了。

国家自然科学基金项目的评审程序
过程可以分为四个阶段:
1,形式审查、初筛;,
2,函评;
3,学部评审会;
4,委务会终审。

对项目评审影响最大的,可以说是函评和会评。因为形式审查基本上是按基金委申请指南上的规定处理,不会有多大问题。不过,我们曾经对过去执行不认真的申请者,尽管他们的申请写得不错,处于“暂停一年”的“处罚”,以此让他们以后能认真对待国家给予的支持。

对于委务会的终审,一般在整个评审期间,没有出现投诉的情况,对前三步的评审也不会有太大影响。

由于现在函评同行评议的结果,通过计算机打分排序,很多申请人对于学科评审会的会评的必要性提出了质疑。认为计算机打分排序就可以了,会评反而会出现不公平,甚至怀疑有申请人会通过参会专家走后门。其实,函评结果的“绝对”可靠性,在一定程度上是比较差的,按计算机打分的合理性是值得怀疑的。为此,根据多年的基金管理实践,把自己对会评的必要性与大家交流一下。

一、函评存在的问题
如果整个函评是同一批专家,所得到的结果用计算机统计排序,可能具有一定的参考价值。而现在每个学科的函评,基本上是按子学科找专家,并且一份申请书只有3-5个专家函审,由于评审的尺度不可能一致,在一起排序,势必会导致差的反而排到良的前面。这才是绝对不公平的!

由于每一份申请只有少数专家评审,有人通过“不合法”的途径,与评审专家沟通,使评审结果不合理地被优化,这是计算机无法鉴定出来了。当然,学科工作人员凭工作经验,能够发现一部分问题,但由于专业的缺陷,不可能完全发现问题,因此,会评就起到最终把关的一道门槛。

基金项目中有一种被称为“非共识的创新项目”,它们的评价排序肯定不会很高,但这些项目确实需要科学基金来资助,就需要一些高层次的专家深入讨论予以鉴别。这也是会评的必要性之一。

二、处理函评意见学科的做法
由于不同子学科领域的学术水平有一定差异,既不能让学术强的子学科包揽所有资助项目,又不能因为子学科弱小得不到基金资助,所有学科在提交评审会的项目时,不可能简单依据计算机的排序,必须要考虑适当照顾所有学科的平衡发展。

不同的子学科的评审专家群中,由于人际关系等问题,也会出现评审不很公正的现象,这也是计算机无法解决的。只有靠学科长期工作,对专家情况有所了解,当然会审专家对评审专家群中的人际关系问题,可能比学科有更深入的了解,对上会项目能够给出更为公正的说明,供专家组来判断是否给予资助。
比如:我们学科有一位专家为了保护自己团队的研究,凡是涉及自己研究领域的申请项目都给予评价比较低的评价,而对其它领域项目评审是相对比较公平的,这就是由会评专家发现并揭示的现象。这也启发学科在以后找函评专家时,要让他回避参与相同类型项目的评审。

三、评审会专家的作用
首先,评审会上有一系列的回避制度,以保证不参杂一些不公正的现象。由于会评专家组一般由11位不同单位、不同子学科专家组成,对于所谓“走后门”的可能性相对几率比较低。

一般情况,参会专家能得到基金委学科的信任,他们绝大多数都比较注意自己的诚信度。学科也努力选择一些在专业和人品方面都值得信赖的专家。当然,我们也发现过有点“自私”的专家,但属于凤毛麟角。出现这样的问题,不一定会影响评审结果,但我们不希望这种现象干扰评审会,下一次评审会就不再邀请这样的专家了。一个“特殊”的专家,在会评的公开场合所作所为,不仅受到基金委工作人员的注视,也同时受到其他评审专家的注视,除非这种不公正的现象操作得太“隐蔽”,否则,是不能过关的。当然,论坛中有一些虫友称“评审会上有一些所谓的不公正现象”,希望大家不要以道听途说为依据,最好向基金委举报,让不公正现象在阳光下被铲除。

我最喜欢的是评审会上对一些有争议的学术问题的讨论,也许大家不一定有共识,特别对于其它子学科的专家也不能完全理解争议的观点,但有一个根据讨论的意见,做出自己进一步判断的过程,而不是仅仅按同行评议意见投出是否资助的意见。

由于参会专家,相对是所谓“大专家”,他们对国内外动态,特别是国内进展有更多了解,对学科把握方向也是一次学习的机会,这些通常在函评中是很难得到的。

在评审会上,专家通过讨论从学术深度进行舍取,这是函审不可能做得那么好的。特别对于一些有争议的项目,有充分的学术讨论,资助失误的可能性会明显下降。

也许没有表述得很清楚,希望大家有什么问题提出来,进一步讨论和交流!

原帖链接:http://muchong.com/t-11850569-1
回复此楼
送人玫瑰,手有余香!
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
回帖支持 ( 显示支持度最高的前 50 名 )

gilonacv

新虫 (正式写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
基本假设是:函评专家坏人不少,会评专家都是包青天。这合乎基本逻辑吗?恐怕很不能得出这样的假设或者论断吧
18楼2020-07-09 22:54:15
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

lihong888

新虫 (小有名气)


小木虫: 金币+0.5, 给个红包,谢谢回帖
我只知道只要找对人函评不是问题 会评也不是问题,函评时本子并不是完全计算机指定,很多人会专空子的,会评时更是完全人说了算

发自小木虫IOS客户端
19楼2020-07-10 08:45:41
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

qhdx

铁杆木虫 (知名作家)


小木虫: 金币+0.5, 给个红包,谢谢回帖
没有会评就没有腐败,会评是腐败的温床

发自小木虫Android客户端
21楼2020-07-10 11:06:47
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

storm1381

木虫 (小有名气)

好文
转发的  斜体  看的有点累


第一次离掌柜这么近
2楼2020-07-09 16:27:54
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

25536251

新虫 (小有名气)

可以发表一篇论文了
4楼2020-07-09 16:43:57
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

daoke

木虫 (正式写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
分析的透彻,说出了会评的理想作用和最初的目的。对大部分面上和青年项目还算合理,不过其他项目,恐怕不适合了。
6楼2020-07-09 17:47:12
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

riman

铜虫 (小有名气)


小木虫: 金币+0.5, 给个红包,谢谢回帖
中国是人情社会,没关系,混个屁

发自小木虫Android客户端
努力
23楼2020-07-10 13:01:29
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

daoke

木虫 (正式写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
引用回帖:
26楼: Originally posted by lihong888 at 2020-07-10 15:14:58
没有公开透明 没有第三方独立监督 永远没有公平平等
...

什么时候,会评也由AI完成,估计就理想化了。
28楼2020-07-10 17:22:15
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

天天向上3035

主管区长 (文坛精英)

优秀区长优秀区长优秀区长优秀版主优秀版主优秀版主优秀版主优秀版主

引用回帖:
2楼: Originally posted by storm1381 at 2020-07-09 16:27:54
好文
转发的  斜体  看的有点累


第一次离掌柜这么近

怕引起误会,以为是原创的,现在改过来了,多谢建议!
送人玫瑰,手有余香!
3楼2020-07-09 16:33:41
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

immaria

铁虫 (正式写手)


小木虫: 金币+0.5, 给个红包,谢谢回帖
送红花一朵
学习了!
掌柜的,时不时会有这样的好贴,感谢1
8楼2020-07-09 19:31:27
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

lsx20131120a

银虫 (小有名气)


小木虫: 金币+0.5, 给个红包,谢谢回帖
引用回帖:
23楼: Originally posted by riman at 2020-07-10 13:01:29
中国是人情社会,没关系,混个屁

你说哪里又不是呢?
35楼2020-07-15 00:48:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
普通回帖

带你看大海

木虫 (正式写手)

送红花一朵
好文,学习!
5楼2020-07-09 17:26:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

dengqunliu

木虫 (知名作家)

享受一下轻松
7楼2020-07-09 17:56:29
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

lining159

银虫 (小有名气)

送红花一朵
真知灼见,拜读了
9楼2020-07-09 19:58:27
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

lamnpeng

木虫 (正式写手)

学习了,感谢!
10楼2020-07-09 20:07:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 天天向上3035 的主题更新
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考博] 南京航空航天大学材料学院招聘科研助理,有机会读博 +38 changkun 2020-08-05 53/2650 2020-08-06 20:46 by 江大才子2017
[论文投稿] 各位大佬,刚提交完稿,系统转换的pdf文档中图片不清楚 +3 独行无疆 2020-08-06 6/300 2020-08-06 19:23 by 小龙哥哥8
[论文投稿] nature chem这个状态好久 +4 矢车菊2012 2020-08-05 4/200 2020-08-06 16:57 by 白鹭凌波
[有机交流] 如何查中国专利 +4 jpingmao 2020-08-06 4/200 2020-08-06 16:42 by Xihui Lu
[精细化工] 工商局管这事不? +5 luyafei414 2020-08-05 7/350 2020-08-06 13:12 by luyafei414
[教师之家] 山东考生459分报考什么大学比较好?谢谢! +6 God_bless 2020-08-06 7/350 2020-08-06 12:27 by shandaBYL
[基金申请] 咨询 博后面上申报的资格 +3 dream7777777 2020-08-05 10/500 2020-08-05 22:56 by 汉斯小木屋
[找工作] 8月份还有投简历的必要吗?要等开学后再投吗 +5 学术民工凯 2020-08-01 8/400 2020-08-05 20:28 by lfei33
[基金申请] 新思维 +7 mayaxue 2020-08-04 7/350 2020-08-05 18:10 by 天天向上3035
[基金申请] 我在这里等你! +6 了却无痕 2020-08-05 8/400 2020-08-05 15:01 by aloesnow
[材料综合] 表面摩擦测试 +5 tongquan 2020-08-05 7/350 2020-08-05 14:44 by xun138800
[论文投稿] 国内C刊投稿,二审中,但是系统中的二审状态栏忽然没有了,这是啥情况。感谢感谢 +5 coachguan 2020-08-03 6/300 2020-08-04 09:31 by coachguan
[基金申请] 博士后基金申请 +6 Vin94 2020-08-02 12/600 2020-08-04 08:37 by sukele
[基金申请] 人生赢家! +6 了却无痕 2020-08-03 10/500 2020-08-03 17:14 by 了却无痕
[考博] 假期联系博导 +5 轩夕佳主 2020-07-31 16/800 2020-08-02 08:25 by 轩夕佳主
[基金申请] 好几个老师挂我名字,以后限项吗 +23 xiandaiqi 2020-07-30 30/1500 2020-08-01 19:20 by yekongdea
[基金申请] 莫名的邮件 (金币-50) +14 mayaxue 2020-07-31 14/700 2020-08-01 14:41 by sunshineSJ
[新药研发] 如何除去3-氟4-氨基苯酚中的对氨基苯酚 +3 lidefeng6656 2020-07-31 7/350 2020-08-01 14:37 by lidefeng6656
[考博] 2020考博终于上岸 +16 小贱同学 2020-07-31 23/1150 2020-08-01 09:49 by 帅就一个字呀
[论文投稿] 自己写的中文论文翻译成英文版可以去发外刊吗? +11 a421083908 2020-07-31 11/550 2020-08-01 09:48 by celine0729
信息提示
请填处理意见