应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 学术交流区 » 基金申请 » 其他 » 如何评判科研人员的水平及其论文影响力？
91/1返回列表
查看: 3111  |  回复: 8
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

zsc78

银虫 (著名写手)

[交流] 如何评判科研人员的水平及其论文影响力？ 已有8人参与

2013-10-22 来源：Nature 作者：Nature

关于科研评价体系的争论，多年来未曾停歇过，尤其是随着近年来唯 SCI 的评价体系出现了各种各样的问题，科学家们也希望能有更公平更有效的评价系统。
如何评判科研人员的水平？
在申请基金、选择导师、合作者和招聘科研人员等多个方面都需要判断科研人员的学术水平。评价科研人员学术水平的金指标是对社会贡献的大小，除了个别纯理论的研究。但是对社会的贡献有时候需要很久才能显示出来，而且有时社会效益评价的主观性很强。在社会效益显示出来之前，评价科研人员的学术水平从高到低有三种层次的方法。
同行评议法
可信指数：五颗星
直接看他发表的文章，根据自己的学识判断其学术价值，这是最准确最可靠的方法。但是要能对别人的文章进行判断需要两个前提条件：一是要求自己和作者是同行，最好是小同行；二是自己的学术水平和作者相比更高，最好是高一个等级，至少是相当，无论如何不能差太远。只有这样，自己才有能力对别人的文章进行评价。你比被评价者水平高的越多，评价就越准确。这也是期刊选择审稿人的依据，所以能被著名期刊选为审稿人、编辑本身就是对其学术水平的认可。对于基础知识尚有欠缺，对选题的重要性、新颖性一无所知的本科生和外行，或知之不多的研究生而言，是无法对一篇文献做出准确的判断的。如果自己不具备评价别人文章的能力，也可以参考别的专家对该文章的同行评价的意见的。同行评价，即使是本领域的权威的评价也不是绝对正确的，只能说是正确的概率很大。爱因斯坦的相对论刚提出来的时候，据说全世界只有三个人能看懂。那么如果用同行评价的方法去评价爱因斯坦，如果请的不是那看的懂的三个人，结果可能就是爱因斯坦的理论是胡扯。为什么？因为他们的水平远不及爱因斯坦。当然爱因斯坦只有一个，如果你不认为自己是爱因斯坦，对于权威的否定，至少要清楚大部分情况下他们是正确的。
发表论文档次查阅法
可信指数：三颗星
SCI 论文用的是国内常说的影响因子，即看期刊的影响因子有多高，国内非SCI 收录的期刊一般也有档次，例如中华牌、中国牌、核心期刊、省级期刊等。一般而言，发表在低影响因子期刊上的论文质量不如高影响因子上的，但是并非全部如此。例如，发表在IF2.5 的一篇论著，如果被引次数是25，而发表在IF5.0 的一篇论文被引只有4 次，那么应该前者水平要高。事实上有很多诺奖获得者的获奖代表作不是发表在nature、science、cell 这些顶级期刊，而是发表在影响因子相对不是很高的期刊上的。这就是为什么被引次数比期刊影响因子更能准确判断学术水平的原因。当然影响因子也有优点：简单。要查一个作者发表的所有论文被引次数一共有多少，是需要一定时间的，尤其是先要确定作者之前一共在哪些单位呆过，不然就容易漏查。
发表论文数量法!
可信指数：一颗星;
是最不可靠的方法，就是看发表论文是数量。由于以前的科研评价体制只重数量不重质量，结果造成了大量的低水平的论文发表，这些论文无论是影响因子还是被引次数都很低，很多是把一篇论文拆开为几篇发表，或者重复发表。所以，那些宣传“发表了XX 篇论文”的说法其实是难以真实的反应作者的学术水平的。
如何评判科学研究的影响力
调整科研评价体系
适用度：有待商榷
英国高等教育局（HEFCE）讨论推行卓越研究框架（REF），替代原有的研究评估制度（REA），以强调科学研究为英国经济和社会发展服务。7 F- g. D+ _1 k5 q9 w
从REA到REF，三项评价指标中前两项即“研究质量”和“研究环境”不变，但是第三项“研究的声誉”将被“研究的经济社会影响”所替代。各项指标的权重有所调整，分别是：研究质量（60%）、研究环境（15%）和研究的经济社会影响（25%）。
英国计划2014年开始执行REF，其中“研究的经济社会影响”（impact）这一指标替代的原来的“声誉”指标，但其比重将从20%开始试行，以后要调整到25%。HEFCE还表示，只有研究质量到达2级或2级以上的研究成果，才有资格进行研究影响的指标的评估。
REF的“研究的经济社会影响”（impact）概念提出以后，受到英国学术界的极大关注。英国学术院（BA）建议比例不宜太高，应设定为15%，其理由是人文艺术学科与理工科不同，其经济社会效益很难衡量。许多科学家对这一概念也提出质疑，认为“研究的经济社会影响”（impact）这一指标操作性不强。
以重大产出为导向
适用度：四颗星. M
中国科学院此前曾宣布，将建立从评价、评估到验收及年度监测的一整套新评价体系，充分发挥评价的导向、诊断、衡量作用。
根据新的评价体系，中科院将组织国内外高水平同行专家和用户专家，对研究进展情况进行诊断评估。中科院还将根据6-7个核心指标和创新能力指数，对研究所进行年度监测，监测指标主要是研究所状态、产出和效益情况。并对中科院宏观布局和发展态势也进行监测。2015年，中科院将根据“重大突破”的标准、人才引进和培养等情况，对研究所任务完成情况进行验收。
中科院目前每年在国际上发表的文章数量虽然不少，但对科技发展的“贡献”却不多。相关人员表示，这一新的评价体系将一改从前“重成果轻应用”的论文、资源导向，引导科学研究向实质性的贡献看齐。
科研评价体系失当导致优秀论文外流
中国科协曾进行过一次问卷调查，在“科技论文外流的原因”一题中，不少学者都选了“外部评价体系方面原因，科技评价、职称评聘、奖励制度等均以外国科技期刊为高水准”这一项。
确实，科学引文索引（SCI）可谓是目前中国科技界时髦的词语之一，也被作为衡量大学、科研机构和科技工作者学术水平的重要尺度，而这种导向在某种程度上导致了国内科研成果和智力资源的流失。
除此之外，我国现有英文科技期刊也存在量少质低的情况。数据显示，我国现有英文科技期刊有230多种，仅占我国科技期刊总量的4.3%。2012年，中国大陆有134种科技期刊被国际著名检索系统 SCI 收录，但被收录期刊的总体水平偏低，平均影响因子和平均被引频次远低于国际总体平均值。
科技界的专家指出，要完善政策环境，制定适当的期刊扶持政策，鼓励科技人员把科研成果，尤其是国家财政支持的科研项目产出的优秀论文，优先发表在国内优秀科技期刊上
为促进科技期刊出版质量和论文发表水平的提高，已有为之努力者。据中国科学技术协会学会学术部副部长刘兴平介绍，从2006年起，中国科协开始实施精品科技期刊工程。截止目前，已资助科技期刊224种772项（次），累计资助金额达9025万元。
回复此楼

» 收录本帖的淘帖专辑推荐

小木虫VIP帖-职场

» 本帖已获得的红花（最新10朵）

shj7074

» 猜你喜欢

» 本主题相关价值贴推荐，对您同样有帮助:
1楼 2013-10-23 04:54:32
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

lizm2010

木虫 (正式写手)
好帖子

[ 发自手机版 http://muchong.com/3g ]
回复此楼
2楼2013-10-23 05:25:22
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

silversh

金虫 (著名写手)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
客观分析，等待实施！
赞一下 回复此楼
3楼2013-10-23 08:40:14
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

guo2070

金虫 (著名写手)
这个要顶
回复此楼
4楼2013-10-23 08:53:14
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

shj7074

新虫 (初入文坛)
送红花一朵
hao11
回复此楼
5楼2013-10-23 10:03:54
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

abazpz

新虫 (小有名气)
这个东西，上有政策，下有对策，中国国情么
赞一下 回复此楼
风雨来时，让我们落下所有的花瓣
6楼2013-10-23 10:58:56
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

huangguanxing

新虫 (正式写手)
★ ★ ★ ★
小木虫: 金币+0.5, 给个红包，谢谢回帖
book2005593: 金币+3, 鼓励参与讨论~ 2013-10-23 17:18:22
上述观点有些值得肯定，但有不少值得商榷！如，第一点，同行评议法，主观因素占一定的比例，具有一定暗箱操作的可能，中国是个人情社会，只要有主观因素掺杂，必然导致一些不公，如当下被抱怨的国家基金（虽然相对最公平），更不用说那些个部门行业基金、973、863等，因此，个人认为同行评议法是明显次于发表论文档次查阅法，可以说和发表论文数量法一样，均存在明显的缺陷；第二点，以重大产出为导向，这个产出是指啥？是指论文？专利？以及其他研究成果？还是这些研究成果的社会效益/经济价值等？看楼主后面的意思是指研究成果所致的社会效益/经济价值等，那么问题就来了，对于很多基础理论研究以及应用基础理论研究，其社会效益/经济价值可能需要几年甚至几十年才能判断出来，所以这个基于研究成果所致的社会效益/经济价值为标准用于基础研究或应用基础研究市基本不具备可操作性的，或者说这样一来助涨了那些出短、快效益的，而用于以专利为主的技术研发等方面的可行性相对较高。个人认为对于基础研究以及应用基础研究是应该以重大产出为导向，但这个产出用论文质量来衡量相对更为合理，论文质量可以用影响因子和年被引次数进行衡量。
赞一下(2人) 回复此楼
7楼2013-10-23 11:08:30
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

ldfbee8219

铜虫 (小有名气)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
还有别的什么方法么
赞一下 回复此楼
8楼2013-10-23 13:11:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

tianyaruo

新虫 (初入文坛)
★
小木虫: 金币+0.5, 给个红包，谢谢回帖
引用也只是部分说明问题，真正的创新不见得看引用。如杨振宁和李政道提出的宇称不守恒理论，第二年就获得了诺贝尔奖，难道诺贝尔委员会是他们的论文被引用了多少次？一般来说，同行专家评议的期刊是比较可靠的。假如一篇论文发在Science上，只被引用了几次，或者没有被引用，而有些论文发在很低档次的期刊上，却引用了上百次，你能说这个论文就比前者创新高？论文的引用次数有些时候只能代表和你同档次的人员的数量。同行公认的高质量期刊是正道。
赞一下(1人) 回复此楼
9楼2013-10-24 10:57:59
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 zsc78 的主题更新
91/1返回列表
普通表情 龙 兔 虎 猫 高级回复 (可上传附件)
信息提示
关闭
请填处理意见
关闭