观察 | 英国和意大利基于科研评估的经费分配（3）

观察 |英国和意大利基于科研评估的经费分配（3）

编译 | 贺飞（北京大学）

【按】这几天，教育部第四轮学科评估正在如火如荼开展，各高校如临大敌，丝毫不敢懈怠。因为评估结果今后可能直接与学科建设的经费投入挂钩。5月6日晚，教育部学位与研究生教育发展研究中心发出《关于全国第四轮学科评估补充事项的函》，向高校各学位授予单位说明：根据部分单位和学者提出的一些意见建议，经过对相关问题的审慎研究，学位中心决定，仍沿用上轮的评估方式，暂不增列“A类期刊”指标。这里“A类期刊”实际上是评价科研指标，刚一推出便被一片反对声而搁浅。从今天开始，笔者利用网上的文献资料计划简要介绍一下欧洲高校的科研评估的相关情况，这里选取英国和意大利为代表，前者是长期开展这项工作的国家，而后者近年来也在引入这一评估体系。本文简要介绍一下英国和意大利科研评估的发展历程，包括其实施的成本，将基于绩效分配经费方式同其他经费分配方法进行比较，为我国如何更好地支持高校公共科研，提高经费可问责性，从而*终提升科研生产力提供政策借鉴。

3.2. 意大利的科研评估

2014年，意大利是除英国外的**基于同行评议开展综合大学科研绩效国家评估的欧洲国家，并利用评估结果分配了相当大的一部分公共资源。意大利于2006年首次引入PRBRA，并且在该国称之为Valutazione Triennale della Ricerca (简称VTR)，由Comitatodi Indirizzo per la Valutazione della Ricerca (CIVR)负责完成，因此，意大利是由政府部门负责开展科研评估的。VTR源自于英国的RAE，是一种20个小组的专家评估体系，评估对象是意大利所有大学和研究机构的研究人员的科研质量。该国**次评估的评估时段是2001-03的三年时间。但这次评估结果仅用于分配很小一部分公共经费（自2009年开始大约每年占比为2%）。2010年，CIVR和Comitato Nazionale per la Valutazione del SistemaUniversitario (CNVSU)政府部门负责所有大学评估，合并成立ANVUR，这是一个自2011年5月开始运行的新的国家机构，由其全面负责大学的科研评估。这也是该国自1993年的改革进程的*终一步，意大利通过整合意大利大学，并通过立法来要求大学开展评估。

在CINECA的帮助下,ANVUR开展了新一轮科研评估，也称为VQR。同英国的做法类似，该国将其评估专家组的个数从20个减少到14个。VQR评估该国全部96所大学和38家研究机构中所有签有政府合同的长期职位科研人员，评估其在2004-2010的7年间的科研产出。总计有61,822科研人员提交了他们的代表作用于评估，其中大学中每人提交3件，公立科研机构中每人提交6件。*终提交的成果总数为184,878件（如果每人*大要求提交，总数为194,763件）。这些成果中有大约70%的成果为期刊论文。

同行评议是艺术、人文和大多数社会科学（排除经济学）、土木工程和建筑等学科评估所采用的主要方法。而在自然科学、生物医学、部分工程学科和经济学和统计学等，文献计量则更为普遍，但也有相当比例的结果是靠同行评议(25%到48%之间)。文献计量评估方法中的科研人员产出不需要通过同行评议提交(数据直接采集Web of Science 或 Scopus收录论文)，并通过文献计量算法自动得出结果。如果论文来自上述自然科学、生物医学、部分工程学科和经济学和统计学等四类学科，则利用文献计量方法统计其期刊影响力(Web of Science影响因子和Scopus等价指标)以及截止到2011年12月31日之前的论文总被引用数。如果不在上述四个学科中，则将其论文提交给同行评议。

在意大利的评估结果中，科研产出质量分为四级(表7)，评估主要是根据以下三个标准：学科相关性；新颖性；以及国际化。其中如果所提交的论文的质量*低、有剽窃行为或者不按时提交论文（未按评估要求按时提交其研究成果）的可以得负分。单位科研质量的*终指标(IRFS1)的计算采用质量和数量（权重为50%）、外部研究经费数量（权重10%）、新聘和新晋升人员质量（权重10%）、国际化（权重10%）、博士生和博士后数量（权重10%）、捐赠基金资助研究项目 (权重5%)以及相比于VTR 2001–2003评估的绩效提升(权重5%)的综合公式来进行计算。

表7. VQR打分情况

数据来源：ANVUR，2014

很显然，意大利VQR是经过讨论借鉴了英国REF中所使用文献计量学方法。但VQR其实是一种文献计量和同行评议的混合体，并且较REF更依赖于自动化的文献计量分析。例如，数学和工业工程的专家小组选择在VQR中使用文献计量，而在REF则不选择。VQR方法较REF更为机械。在REF中引用数据被作为附加信息来指导判断，而不是作为自动测度来评价质量 (当然专家小组的判断无疑会受到文献计量指标的左右)。例如，作为试点以及方法确定检验，ANVUR在VQR主要依赖文献计量的领域，曾经随机抽取10%论文样本给两名评审人来进行同行评议。同行评议结果显示两种评估方法的差别(尤其是那种被某种方法评为优秀的)有一定的相关性。但是平均看，文献计量得出的分数要高于同行评议的分数。此外，还有一个有趣的现象，那就是两名评审人之间也有一定的相关性。

英国的REF和意大利的VQR之间的另一个重要差别是，意大利的VQR缺乏公开咨询程序。意大利匆忙引入VQR评估的部分原因是在CIVR的漫长拆解后需要新的评估程序。但由于缺乏利益相关者参与和公众咨询，加上急于执行新的评估系统，导致评估中的一些错误，以致于遭到相当一些人的公开批评和反对，并且也有研究表明其评估结果存在较大的失真现象。

意大利科研经费基于2013 FFO基于绩效的科研分配和VQR评估而集中，但结果显示，意大利系统的结果选择性要明显低于英国。在意大利，2013年有大约63%的基于绩效的资源分配给了前20%的机构，而在英国则为76%。意大利的集中度仅略高于其FFO基本经费(62%)的集中度。意大利和英国这一资源集中度的差别，以及英国的集中度还不断提升是两个十分明显的现象。

4. 英国RAE/REF和意大利VQR的执行成本(未完待续)

（转载请注明出处，联系作者：st69786@tom.com）