杜建分享 http://blog.sciencenet.cn/u/adully2010

博文

[转载]《Nature》杂志上的那些“零被引”论文

已有 3282 次阅读 2019-1-25 13:06 |个人分类:政策信息|系统分类:科研笔记|文章来源:转载

【学科发展】《Nature》杂志上的那些“零被引”论文

原创: Juno 


今年1月,诺贝尔奖得主、遗传学家奥利弗•史密斯(Oliver Smithies)去世,享年91岁。1953年,他发表了一篇关于测量渗透压的论文。用他自己的话说,这篇论文“有着从未被引用的可疑之处”。他在2014年德国林道举行的一次会议上对学生们说:“没有人引用过它,也没有人使用过这种方法,”事实上,史密斯的论文比他想象中的受到了更多关注:在论文发表的十年内,有九篇文章引用了它。但他的错误认知是可以理解的,因为许多科学家对未被引用的研究——包括其应用范围和对学术的影响——都怀有错误的印象。


1990年发表在《科学》(Science)杂志上一篇有争议的文章中,提到了一项被广泛重复的估量:有超过一半的学术文章在发表五年后仍未被引用。西雅图华盛顿大学(University of Washington)的信息科学家杰文•韦斯特(Jevin West)表示,科学家们确实对这个问题感到十分担忧。毕竟引文被广泛认为是衡量学术影响力的标准,它不仅可以被人阅读了解,而且对后来的研究也有一定的价值。研究人员担心,高的不被引用率意味着一堆无用或无关的研究。“我无法告诉你有多少人在吃饭的时候问我:‘有多少文献从未被引用过?’”韦斯特说。


事实上,未被引用的研究仍然有其存在的价值。加拿大蒙特利尔大学(University of Montreal)的信息科学家文森特•拉里维尔(Vincent Lariviere)说,更重要的是其实并没有很多文献从来没有被引用过。


为了更好地把握已发表的研究论文中具体有多少“零被引”的作品,《自然》杂志对数据进行深入挖掘以便能够找出到底有多少论文从来没有被引用过(这些方法可以在补充信息中找到)。由于引文数据库是不完整的,因此“零被引”的论文数量很难确定。但很明显的是,在位于宾夕法尼亚州费城的科睿唯安公司的大型数据库Web of Science中的12,000多个期刊组成的核心小组中,零引用论文数量比人们普遍认为的要少得多。


Web of Science数据库的记录表明,只有不到10%的科学文章可能没有被引用。但真实的数字可能更低,因为数据库记录的大量未被引用的论文实际上已经被某个人引用过了。这样的结果并不意味着低质量研究的减少,毕竟仍然有成千上万的期刊没有被Web of Science编入索引。而且科学家用毫无意义的论文填写他们的简历的现象依然存在。对一些未被引用的论文进行仔细研究后发现,尽管这些论文被多数人忽略了,但它们确实被引用过,而且被阅读过。科睿唯安的高级引用分析师戴维•彭德尔伯里(David Pendlebury)表示:“缺乏引用不能被解读为文章毫无用处或毫无价值。”


未经证实的神话


论文“零被引”的研究最早可以追溯到《科学》杂志上发表于1990年和1991年的两篇文章。1990年的文章中指出,1981年至1985年间发表的文章中有55%在其发表后的5年里没有被引用。但这些分析具有一定的误导性,主要是因为他们统计的出版物包括信件、会议摘要和其他编辑材料等文件,这些文件通常不会被引用。如果去掉这些只留下研究论文和文献综述的话,不被引用的比率就会大幅下降。延长五年的截止时间可以进一步降低利率。


2008年,拉里维耶尔(Larivière)及其同事重新审视了Web of Science数据库中呈现的数据。他们表示,不仅“零被引”论文比人们想象的要少,而且未被引用的论文的比例已经持续下降了几十年。《自然》杂志邀请拉里维耶尔和印第安纳大学布卢明顿分校的卡西迪杉本(Cassidy Sugimoto)一起进行详细的文本分析。


包括学术论文和文献综述在内的新的数据表明,在大多数学科中,论文被“零引用”的比例在发表后的5到10年间趋于平稳,尽管每个学科的比例有所不同。在2006年发表的全部生物科学论文中,到今天为止只有4%的“零被引”文章;在化学学科中,这个数字是8%;在物理学科中,数据接近11%。(当研究人员引用自己论文的案例被删除时,这一比例会上升——在某些学科,这一比例会再次上升)。在工程和技术领域,2006年这批科学索引论文的未被引用率为24%,远高于自然科学。拉里维耶尔认为,这一较高的数字可能与许多论文的技术性质有关。这些报告的目的旨在解决具体问题,而不是为其他报告提供铺垫,供其后期深入研究发展。


从整体上看,1900年至2015年底,Web of Science共收录了3900万篇各个学科的研究论文,其中约21%尚未被引用。不出所料,这些未被引用的论文大多出现在鲜为人知的期刊上。几乎所有知名期刊的论文都会被引用。


一个不可能的测量


这些数据只反映了部分情况。但填补文献中的空白是一项不切实际的任务。对论文进行检查是一件难度很大的工作。例如在2012年,布拉格查尔斯大学的生物学家彼得·赫尼伯格(Petr Heneberg)决定对13位诺贝尔奖得主收录在Web of Science中的论文进行研究,以便细查一篇看起来很荒谬的论文。这篇论文声称,约有10%的诺贝尔奖得主的研究成果没有被引用过。他第一次查阅Web of Science数据库的时候发现这个数字接近1.6%。然后在检索谷歌学者的时候,赫尼伯格发现很多其余的论文实际上已经被其他在Web of Science数据库中索引的著作引用过了。但是由于论文中的数据输入错误或者拼写错误而被遗漏了。此外,在Web of Science数据库从未索引过的期刊和书籍中,赫尼伯格还发现了一些额外的引用。在工作了大约20个小时后赫尼伯格准备放弃搜索工作时,他将这“零被引”论文比例又降低了5倍,仅为0.3%。


这些困难就是为什么“零引用”的论文的真实数量无法得知的原因:如此大规模地重复赫尼伯格的人工检查会花费太长时间。不同学科也会因为测量中的这些困难而受到不同程度的影响。例如,Web of Science数据库中显示2006年发表的65%的人文学科的文献尚未被引用过。确实很多人文文献都没有被引用——部分原因是与科学相比,新研究较少依赖于前人的研究。但是Web of Science并没有准确反映这一领域,因为它忽略了许多期刊和书籍。


同样的因素也困扰着国与国之间的较量。Web of Science数据库表明,中国,印度和俄罗斯学者撰写的论文与美国和欧洲的论文相比更容易被忽视。但拉里维耶尔表示,该数据库并没有追踪到很多地区语言期刊,如果将这一因素考虑在内,引用率的差距将会进一步缩小。拉里维耶尔表示尽管有关于绝对数字的警告,但在Web of Science中,“零被引”论文比例的下降是一种稳健的模式。互联网让查找和引用相关论文变得容易得多。(让文章开放获取的权限可能也有推动作用。)但他警告说,不要过度解读这一趋势。他和其他学者在2009年的一项研究中发现,由于科学家发表了更多的论文,并在文章中加入了更多的参考文献,未被引用率正在下降。荷兰莱顿大学(Leiden University)的文献计量学研究员卢多•沃特曼(Ludo Waltman)对此表示赞同。“我不倾向于把这些数据解读为是在保证我们的科学工作更多的是在提供有用的目的。”


沃特曼(Waltman)说尽管有很多论文难以逃脱“零被引”的情况,但是也有很多引用都是相当肤浅或者敷衍了事的。通过沃特曼和拉里维耶尔在Web of Science数据库中的独立计算可以看出,只被引用一两次的论文数量大大超过了“零被引”论文的数量。纽约市马科斯公共与国际事务学院(marx School of Public and International Affairs)的健康经济学家戴利亚•雷默勒(Dahlia Remler)表示,这也可能是学者们互相推托的迹象。她表示:“即便是被高度引用的研究也可能是学者们一起约定好的事情,对任何人都没有好处。”


并非毫无意义


一些研究人员可能仍然倾向于将未被发表的论文视为无关紧要的成果。毕竟,如果它们真的重要——哪怕重要性只有一点点——难道就不会有人提起它们吗?


可能事实并非总是如此。路易斯安那州立大学(Louisiana State University)什里夫波特的植物学家迈克尔·麦克罗伯茨说,大多数学术作品的完成是吸取了远超于其引用文献数量的论文。在2010年的一篇关于引文分析缺陷的文章中,麦克罗伯茨引用了他自己1995年发表的关于在德克萨斯州发现点头棒苔藓(Palhinhaea cernua)的论文。这是该论文第一次也是唯一一次被引用,但其中的信息已被记录在植物图册和大型在线数据库中,使用这些数据库的人依赖于这篇论文和成千上万的植物学报告。大多数人已经使用过这些所谓未被引用的文章的资料,但是它只是显示出没有被引用的状态。


“零被引”的论文不等于没有被阅读过。2010年,纽约市卫生和心理卫生署(Department of Health and Mental Hygiene)的研究人员发表了一项研究,利用软件分析了一项唾液HIV测试中的性能缺陷。几年前,该试剂盒在诊所已经停止使用,不过后来又恢复了使用。作者希望利用诊所的经验作为案例研究,研究是否可以在问题出现时使用该软件分析试剂盒的性能。


未被引用的案例



案例一:漫长的等待



对于任何一位希望自己的论文能够被引用的研究者来说,阿尔伯特•佩克(Albert Peck)的故事是有具有励志性的。艾伯特•佩克(Albert Peck)1926发表的论文《描述玻璃中的一种缺陷》(the kind of defect in glass)在2014年首次被引用。在20世纪50年代,由于制造商研究出了如何制造没有这种缺陷的光滑玻璃,该论文变得多余。但在2014年,英国剑桥大学的材料研究员凯文·诺尔斯(Kevin Knowles)在对该领域进行调查时发现了该论文,因为他的研究工作是利用这些缺陷来漫射光。他现在已经在四篇文章中引用了它,他说:“我喜欢写论文,在写作我可以发现并挑选出晦涩难懂的文章。”



案例二:错过的浪潮



里斯本大学(University of Lisbon)博士生弗朗西斯科·皮纳-马丁斯(Francisco Pina-Martins)在2016年发表了一篇关于解释基因序列数据的论文,他非常肯定这篇论文永远不会被引用。因为文中提到的技术是由生物技术公司454生命科学(454 Life Sciences)开发的,已经过时,而且正在被逐步淘汰。2012年,他将自己的数据分析软件上传到GitHub的代码共享网站上,然后有几篇论文引用了他的数据分析软件。但他说,这项研究花了四年时间才得以发表,主要是因为它涉及到一个同行评审员都不理解的罕见问题。



案例三:死胡同



许多“零被引”的论文都给人带来不愉快的学术体验。2010年,神经科学家阿德里亚诺·切卡莱利(Adriano Ceccarelli)在《公共科学图书馆·综合》(PLoS ONE)上发表了一篇论文,内容是关于网虫黏菌基因调控的。他申请资助继续研究的申请失败了,因此这篇论文也从未被引用过。“你知道研究是怎么进行的——结果证明这是一个盲目的方向,”他说,“我的想法没办法获得资金支持。所以现在我只能教书,等着退休。如果我明天得到资助,我将继续做这项工作。


他发表在《公共科学图书馆·综合》(PLoS ONE)杂志上的论文从未被引用过。但该论文的作者之一、现供职于北卡罗来纳州达勒姆市杜克全球卫生研究所(Duke Global Health Institute)的乔•艾格(Joe Egger)指出,该报告的浏览量超过1500次,下载量接近500次。他说:“这篇文章的目的是改善公共卫生实践,而不是推动科学领域的发展。”


英国卡迪夫大学(Cardiff University)的化学家尼古拉斯•布尔玛(Niklaas Buurma)表示,还有一些文章可能仍未被引用,因为它们产生了一些没有成果的研究结果。2003年,布尔玛和他的同事们发表了一篇关于“等容争议”的论文。“等容争议”是关于在反应过程中,阻止溶剂收缩或膨胀是否有用的争论。从理论上讲,这项具有技术挑战性的实验可能有助于了解溶剂如何影响化学反应速率。但布尔玛的实验表明,化学家并没有从这类实验中学到新的信息。他表示:“我们一开始是为了证明某件事不值得去做,后来我们证明了这一点。”他补充到:“作为一篇完全完全无用的论文,我感到非常自豪。”


奥利弗·史密斯(Oliver Smithies)在林道会议(Lindau meeting)上说,他意识到了自己1953年发表的一篇论文的价值,尽管他认为那篇论文从来没有被引用过。他告诉听众,这篇论文背后的工作帮助他获得了博士学位,成为一名成熟的科学家。从本质上讲,它代表了未来诺贝尔奖获得者的学徒生涯。“我很喜欢这样做,”他说,“我学会了如何做好一个科学研究。史密斯发表的论文中确实有至少一篇没有被引用过的论文。他发表于1976年的一篇文章表示,一种特殊的免疫系统基因位于人类15号染色体上。但该论文的合作者马萨诸塞州波士顿哈佛医学院(Harvard Medical School)的遗传学家拉朱•库切拉帕蒂(Raju Kucherlapati)说,即便这一点也很重要,但还有其他原因。他表示这篇文章是他与史密斯实验室长期合作的开始,最终在老鼠遗传学方面的研究为史密斯赢得了2007年诺贝尔生理学或医学奖。库切拉帕蒂说:“对我来说,那篇论文的意义在于我认识了奥利弗。”


相关链接:

https://www.nature.com/articles/d41586-017-08404-0

翻译 | Juno,同济大学高等教育研究所




https://blog.sciencenet.cn/blog-335532-1159031.html

上一篇:[转载]日本屡获诺贝尔奖的启示
下一篇:美国国家实验室(Natl lab)及其医学与健康领域分布
收藏 IP: 114.255.48.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-29 15:55

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部