求真分享 http://blog.sciencenet.cn/u/zlyang 求真务实

博文

[讨论] 为什么改进科技评价的“莱顿宣言”和“旧金山宣言”一出生就死了?

已有 4324 次阅读 2020-2-20 15:00 |系统分类:科研笔记| 莱顿宣言, 旧金山宣言, Leiden, Manifest, 量化

一切真理开始时总是在少数人手里,总是受到大多数人的压力。这是一个规律。

为我国2070年开始的诺贝尔科学奖“井喷”清除障碍、铺平道路!

                                      

[讨论] 为什么改进科技评价的“莱顿宣言”和“旧金山宣言”一出了? 

          

今天,2020-02-20,这么多的“2”啊!人生能有几回搏?

人生能有几回“二”?此时不“二”何时“二”?

先“二2”,后“死0”。

死为休息!再也不累了!!

             

一、莱顿宣言 The Leiden Manifest 的基本内容

   第一,量化的评估应当支持而非取代质化的专家评审

   第二,科研绩效的考量应基于机构、团队、以及个人的科研使命

   第三,保护卓越的本地化的相关研究

   第四,保持数据采集和分析过程的公开、透明和简单

   第五,允许被评估者验证数据和分析

   第六,考虑发表和引用的学科差异

   第七,对个人研究的评价应基于其综合作品的质性评价

   第八,应避免评估指标的不当的具体性和虚假的精确性

   第九,识别认清评价指标对科研系统的影响

   第十,定期审查评价指标并加以改进

   https://weibo.com/2718458921/HFgJh6R8U?type=comment#_rnd1582126412036

          

二、旧金山宣言 DORA 的基本内容

   旧金山研究评估宣言的签署者支持在研究评估中采用以下做法。

   一般建议

   1、不要使用基于期刊的指标(如期刊影响因子),作为单项研究文章质量的替代测度,评估个别科学家的贡献,或者用于招聘、晋升或资助决策中。

        对于资助机构

   2、明确评估项目申请者的科学生产力的准则,并明确强调(特别是对于早期研究者),论文的科学内容比出版指标或发表期刊的身份要重要得多。

   3、为了进行研究评估,除研究出版物外,还要考虑所有研究成果(包括数据集和软件)的价值和影响,并考虑广泛的影响测度,包括研究影响的定性指标,如对政策和实践的影响。

https://catwizard.net/posts/20180220233249.html

   其它内容此处略去。

      

三、[讨论] 科技“量化评价”的兴旺与“莱顿宣言旧金山宣言”的死亡

(1)Enago

   科学知识进展在21世纪达到空前的快速,目前适合的审查人越来越难求。

   即:

   科技分工越来越细,已经找不到“具体的人”,对所在单位的科技研究结果进行合理评价了。

     

(2)同行评议阻碍或扼杀高创新

   同行评审在预测“良好的”论文方面是有效的,但可能难以识别出卓越和(或)突破性的研究。

         

(3)您的看法?敬请赐教!

          

参考资料:

[1] 国际科学编辑,2019-07-26,【你知道吗,关于莱顿宣言】关于#“莱顿宣言”#的十条原则

https://weibo.com/2718458921/HFgJh6R8U?type=comment#_rnd1582126412036

[2] 莱顿宣言 The Leiden Manifesto for research metrics

www.leidenmanifesto.org

https://www.nature.com/articles/520429a.pdf

[3] 旧金山宣言 DORA – The San Francisco Declaration on Research Assessment

https://sfdora.org

[4] Enago英论阁,2020-01-08,申请科研项目如乐透中签?不如随机筛选?

http://blog.sciencenet.cn/blog-681387-1213386.html

   目前适合的审查人越来越难求,成为同行审查制度的重大限制。

[5] 科学网,2015-01-12,科学家分析同行评审有效性(PNAS,2015年报道)

http://news.sciencenet.cn/htmlpaper/201511219413977135306.shtm

   同行评审在预测“良好的”论文方面是有效的,但可能难以识别出卓越和(或)突破性的研究。

   编辑和同行评审者通常、但并不总是会明智地决定哪些手稿应该发表和退稿,并且他们还提出同行评审可能难以识别出非传统和(或)卓越的研究。(来源:中国科学报 张章)

[6] 《科技日报》 2017-05-25,改变科研评估规则,现在是时候了,《自然》总编辑 菲利普?坎贝尔

http://digitalpaper.stdaily.com/http_www.kjrb.com/kjrb/html/2017-05/25/content_370085.htm?div=-1

http://news.sciencenet.cn/htmlnews/2017/5/377413.shtm?id=377413

   2017年05月,《自然》杂志主编坎贝尔(Philip Campbell)先生说:

   如果问问科学家们,他们最引以为傲的研究发表在哪里,他们回答的往往是其他一些不太知名、不太被引用的期刊。

   换言之,《自然》以及其他一些在选择上比较挑剔、又有高影响因子的期刊,仅代表了重要科研文献的一小部分。

[7] 闵超,中国科学报,2018-08-14,短效评价阻碍科学创新

http://news.sciencenet.cn/htmlnews/2018/8/416516.shtm

http://blog.sciencenet.cn/blog-1792012-1116106.html

   新颖的研究被延迟认可

   高度新颖的论文在发表三年以内很少成为高被引的论文。而从发表之后的第四年开始,高度新颖的论文明显更多地成为高被引论文,它们对非新颖论文的优势随着引文时间窗口的增加而增加。并且,对新颖论文的这种延迟认可不仅存在于发表论文的原领域,还存在于原领域以外的领域中。

[8] 周健,2016-09-11,科学面临的七大问题及出路 精选

http://blog.sciencenet.cn/blog-1248178-1002186.html

   同行评议的目的是为了达到出版前淘汰垃圾研究。然而,调查中受访者们表示,这个机制发生了故障。大量的研究和系统评论表明,同行评议并不能可靠地防止劣质研究被出版。

[9] 刘进平,2020-01-30,同行评审(peer review)让科学家既爱又恨

http://blog.sciencenet.cn/blog-39731-1216170.html

   同行评审过程是不一致的和主观的,以至于——用英国医学杂志前编辑理查德·史密斯的话说——这“就象中彩票一样。”

[9] 赵斌,2020-2-7,你的审稿意见也可能要被发表了 精选

http://blog.sciencenet.cn/blog-502444-1217415.html

   发表同行评议报告,肯定有助于读者看到研究人员和审稿者之间是如何进行重要讨论的。现在,Nature开了这个头,未来相信会有更多的杂志来效仿,你的审稿意见也可能要被发表了。

推荐阅读:

[1] 冯大诚,2020-02-19,科学研究和研究论文为何不再神圣? 精选

http://blog.sciencenet.cn/blog-612874-1219222.html

[2] 王立新,2019-03-09,《旧金山宣言》万岁!

http://blog.sciencenet.cn/blog-2999994-1166646.html

   《旧金山宣言》一出生就直接被拉到墓地给埋了!

   墓碑上刻着:伟大的《旧金山宣言》永垂不朽!

[3] 华春雷,2019-02-14,《自然》发文揭开"大科学"背后的沉重真相 

http://blog.sciencenet.cn/blog-2910327-1162214.html

[4] 秦四清,2020-02-19,再谈“早发表晚评价”对科研评价的指导意义 精选

http://blog.sciencenet.cn/blog-575926-1219467.html

[5] 仝泽民,2020-02-04,警惕,高校科研的“脱实向虚 精选

http://blog.sciencenet.cn/blog-707328-1216912.html

相关链接:

[1] 2020-01-22,[学习笔记] 也谈“科学精神”

http://blog.sciencenet.cn/blog-107667-1215260.html

[2] 2019-12-02,[随笔] 科技“同行评议”引发美国《大停滞》?

http://blog.sciencenet.cn/blog-107667-1208480.html

                            

感谢您的指教!

感谢您指正以上任何错误!

感谢您提供更多的相关资料!

                 



https://blog.sciencenet.cn/blog-107667-1219487.html

上一篇:南开大学百年校庆(3):卡片机傻拍2019(224)
下一篇:[资料搜集] 人体表面温度分布图
收藏 IP: 202.113.11.*| 热度|

19 郑永军 秦四清 刘进平 许培扬 季丹 葛素红 李学宽 檀成龙 刘炜 宁利中 朱晓刚 王从彦 仝泽民 梁洪泽 蔡宁 彭振华 华春雷 王立新 苏保霞

该博文允许注册用户评论 请点击登录 评论 (13 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-26 14:00

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部