【秦开凤】大数据时代期刊评价方法变革

大数据正深刻地改变着期刊生态,也必然会影响到期刊评价和学术评价的方式方法变革。但目前大数据技术应用于学术评价还处在起步阶段,关注度高,讨论的多,实际应用率低,还未能找到切实的大数据期刊评价办法。这里有对大数据评价和传统期刊评价模式认知的误区。一个误区是所谓“大数据迷信”,把大数据当成万能的,希望用大数据评价完全取代传统评价模式;另一误区则是把大数据简单化归结为“定量评价”,并夸大定量评价的局限性,由此主张回归学术共同体评价即同行定性评价。

从“传统”期刊评价模式来看,现行主流的期刊评价模式是依赖于一些专业的期刊评价机构根据某一指数高低而定期或不定期地对期刊所做的排名,简单地说,这种评价模式可以称为“以刊评文”。近几年,业界对这种评价的弊端和不足已有充分认识和广泛讨论,主要观点有转载率的排行所依托数据过于单一,不能全面反映期刊的质量;所依托的影响因子的评价又抹杀了不同学科期刊存在的天然差异,且无法区分是正向引用还是负向引用等。这些批判性的观点还是非常中肯的。但其中还有一种观点完全将这种依托文献计量学的评价简单地归结为量化评价而大加批判,这也是不客观的。定量评价和定性评价本身是不可分割的,总是互相包含。转载率指标作为一个量化数据,反映的是包含了学术共同体成员主观定性的评价结果。即使是原来主要依托影响因子的评价方式,也在试图引入学术共同体的主观评价以改进数据质量。可以说,经过广泛讨论,一些共识已经形成,即科学的期刊评价需要定性评价与定量评价相融合、客观评价与主观评价相融合、专业期刊评价机构评价与学术共同体评价相融合。改进的方向逐渐明确,路径还在探索之中。而大数据的应用从方法上将有效改进原有评价方法上的不足。

大数据可以有效拓展评价主体。原有评价方法中的弊端之一是评价主体单一,以图书情报文献计量专业机构为评价主体,对不同学科专门领域难免“外行”,不能替代学术共同体评价;即使“同行评价”也只能是“小圈子”,数据样本采集范围不够大。评价主体单一性主要忽略了(或无法顾及)期刊受众——论文读者这个最重要最广大的群体。大数据技术可以有效弥补这一不足。一般来说,大数据反映的只是网络上“雁过留痕”的痕迹,而这些痕迹大都来自论文读者。也就是说大数据技术能够将读者纳入评价主体。我们可以通过点击率、下载量、阅读量(不光是被阅读次数,甚至阅读时间都可统计)得出比“引用率”、“转载率”更全面更可靠的论文受关注程度;可以通过关键词查询论文的主要发现、主要观点所引起的话题讨论频次,相关论文发表数量,以及“点赞”、“顶”或“踩”的频次来判断话题的“热度”和学术共同体的正面负面评价。大数据甚至还可以区分出读者是“外行”还是“圈内人”,从而将多元主体的多元评价更完整地呈现出来,使评价更加准确。

大数据可以有效克服“人为”弊端。原有评价方法中存在的另一个主要弊端是评价过程难以避免人情关系、利益交换、行政干预等人为操作因素带来的“水分”,如通过恶性自引或互引提高引用率,以及通过“人情稿”、“关系稿”提升转载率等,最终导致评价结果有失公正。大数据技术可有效识别一些不端行为,如可以通过技术手段甄别出非常规引用的数据从而进行剔除,还可以通过关联技术识别出人为操作的痕迹,扩大的评价主体的网上透明评价可制约小圈子的人情评价等。大数据技术的法宝之一在于数据采样范围之“大”,根据统计误差理论,样本越大则误差越小,再加上人工鉴别,可使期刊评价数据更为有效客观。

总之,大数据时代为期刊评价方法的变革提供了契机,为实现全过程、全数据、全方位的客观评价展现了可能。但可能性不等于现实性,现阶段大数据技术还不可能取代传统期刊评价方式,当务之急是将大数据技术与传统评价方法整合创新。譬如进一步构建期刊编辑、作者、读者、专家和公众之间的交流平台,拓宽沟通渠道,建设不同类型群体的“投票”平台。譬如进一步筛选优化评价指标,将原有“引用率”、“转载率”与“点击率”、“阅读率”、“讨论率”、“优评(差评)率”、“采用率”、“关注度”等科学融合,形成新的有效“影响因子”评价指标。譬如通过跟踪评价,实现实时评价与动态评估的结合,使评价更加合理,经得起历史检验。譬如开发监测软件及时发现违规操作舞弊行为,通过数据库拓展和文献对比工具避免假引错引,等等。

学术评价期刊评价之所以难,是因为见仁见智,评价的目的不同,其要求和方法必然有所不同。学术评价方法始终“没有最好,只有更好”。未经分析处理的大数据本身并不具有“评价”意义。大数据技术纳入期刊评价,归根结底还是人的评价,是人主导的评价。然而,大数据时代人工智能的发展使我们看到,大数据、云计算被应用于期刊评价学术评价的速度会比我们预期的要快,效果会比我们想象的要好。相信不久的将来,大数据期刊评价软件将会问世,届时,“机器评价”可能更加客观、全面、快捷,更接近准确,这为人的主观定性评价提供了有效依据,使期刊评价更为科学合理,期刊发展环境也将得到优化。

（来源：中国社会科学网-中国社会科学报）