• 首页
  • 中国
  • 是不是该放弃使用h指数评价科学家了?

是不是该放弃使用h指数评价科学家了?

2024-06-27 163浏览

说明:本博客与微信公众号“林墨”同步更新,所有内容均为原创,可授权转载请扫码关注“林墨”公众号。

h指数存在缺陷,这些缺陷并不妨碍我们使用h指数评价科学家,但 Ludo 这篇文章指出的缺陷或许让我们思考:我们是不是该寻找新的计量指标了。

高正 / Indiana University & 李江 / 浙江大学

注:图片来源于prattlibrary.cchmc.org

林墨11月27日分享了一篇文章《h指数多高才能评上教授》,文章被广泛关注和转载。对,全世界对科学家的评估都可能参考h指数,因为h指数简单易用,在 Google Scholar 和 Web of Science 等平台上可以快速查询学者的h指数。但是,林墨收到反馈,Ludo(Journal of Informetrics的主编)发表的一篇文章中指出了h指数的严重缺陷,严重到让我们思考我们是不是该寻找替代指标了。

Ludo通过理论上的分析,发现h-index存在着严重的不稳定性,并不能准确反应出科学家水平和科学贡献,这是其一;其二,h-index并没有像其宣称的那样完全独立客观,其本身的计算过程依赖于主观的、经验主义的参数选取。

h-index的参数设定很随意

h-index的计算公式通俗易懂:一名科学家的h-index为h,表明他的h篇文章至少每篇被引用次数为h次,而剩余的文章每篇被引用次数都小于h+1次。

不可否认,h-index的提出避免了科学家科研水平被少数高被引文章左右的问题。然而,它却依然存在着主观参数选取的问题。为什么h-index的定义不是『科学家的h-index为h,表明他的h篇文章至少每篇被引用次数为2*h次,而剩余的文章每篇被引用次数都小于2*h+1次』,或者『h篇文章至少被引用2/h次,而剩余的文章每篇被引用次数都小于(h+1)/2次呢』?目前,并没有完全科学的依据能够说明不同阈值的区别,也没有依据说明当前的参数设定比其他方案更合理。因此,Ludo 认为,h-index的确引入了主观因素。然而,更为可怕的是,目前存在着众多的h-index衍生体都不可避免的存在着相同的问题。

h-index的不稳定性

h-index还存在着*大的不稳定性。优秀的计量指标应该遵循一些原则,Ludo 用三个例子逐一解释了h指数违背了三个原则。

原则一:如果两个科学家在学术表现上的相对进步相同,他们的h-index排序应该不变。

反例:在相同的五年期间,科学家1发表了9篇被引用12次的文章和3篇被引用4次的文章;科学家2发表了7篇被引用15次的文章和3篇被引用5次的文章,那么,科学家1的h-index为9,而科学家2的h-index为7。此时,科学家1的排名应该比科学家2的高。然而,如果两名科学家保持与此前相同的论文发表频率,五年后,科学家1将会有18篇被引用12次的文章和6篇被引用4次的文章;科学家2会有14篇被引用15次的文章和6篇被引用5次的文章。这样一来,科学家1的h-index变为12,而科学家2的h-index变为14。由此可见,虽然两位科学家保持着与此前同样的发表效率,但他们的排名顺序却反转了。

原则二:如果两个科学家在学术表现上的**进步相同,他们的h-index排序应该不变。

反例:科学家1发表了5篇被引用5次的文章和2篇被引用2次的文章,科学家2发表了4篇被引用6次的文章和3篇被引用3次的文章。科学家1的h-index为5而科学家2的h-index为4。因此,科学家1的排序高于科学家2。假如此后两位科学家共同合作了两篇被引用8次的文章。这时,科学家1的h-index仍然为5,而科学家2的h-index变成了6。他们的排名顺序同样发生了反转。

原则三:如果科学家1的排名高于科学家2;科学家3的排名高于科学家4,那么科学家1和科学家3的学术组合的排名应该高于科学家2和科学家4的学术组合。

反例:科学家1和科学家3都分别发表了7篇被引用9次的文章;科学家2和科学家4都分别发表了6篇被引用10次的文章。那么个体而言,科学家1和3的h-index为7,而科学家2和4的h-index为6。但是,科学家1和3的组合的h-index为9,而科学家2和4的组合的h-index为10。由此可见,个体排序和组合排序是相反的。

以上反例显示,h-index的确存在着明显的不稳定性。

h指数的替代方案:高被引论文数量

不同于h-index,高被引文章数量并不存在不稳定性问题。其定义同样通俗易懂:高于给定被引次数阈值的文章数量。可以看出,高被引文章数目能够**的解决以上的三个反例中的问题。并且,由于每篇文章会被分类为高被引论文和非高被引论文,这个评估指标对每篇文章的具体被引次数并不敏感,从而能避免*少数超高被引论文左右学术评价。同时,和h-index相似的是,高被引论文数量对于大量的低被引论文也不敏感,因此其抗差性也很强。

当然,Ludo 也承认,高被引论文数量也存在主观因素(阈值的设定,被引多少次才算高被引),但能有效解决上述三个反例中提到的问题,因此,高被引论文数量仍然优于h-index。

我们认为,定量指标各有所长,也各有所短,指标之间有不同,但很难说一个指标比另一个指标更科学(同理,影响因子及其替代方案之间的关系也是如此)。使用者可以根据偏好选取,但使用每个指标需要深入了解其背后可能存在的问题。

Waltman, L.,& Van Eck, N. J. (2012). Theinconsistency of the h‐index. Journal ofthe Associationfor Information Science and Technology, 63(2), 406-415.

Waltman, L.,& Van Eck, N. J. (2009). A taxonomy ofbibliometric performance indicatorsbased on the property of consistency (No.ERS-2009-014-LIS).