【刘益东】外行评价何以可能——基于开放式评价的分析

在许多领域外行评价屡见不鲜，例如，文学评论家评价作家、乐评人评价作曲家、影评人评价导演等，他们可以是伯乐与千里马的关系。在学术界则通常认为必须是同行才能评价，因为学术研究的专业性强、很深奥，外行不懂，不能评价。学术界的金科玉律是“同行承认是硬通货”，同行评议一直是最主要的评价方法。尽管同行评议存在多种缺陷，但国内外的学术界、学术评价界的主流共识仍然认为同行评议是最好的学术评价方法。至于对其缺陷的克服通常从两个方面入手：一是通过对同行评议专家的遴选、评议规范与流程的监管、网络技术及大数据的利用等来完善同行评议本身；二是与文献计量方法结合形成定性与定量相结合的评价方法来完善学术评价方法，特别是后者已经成为国内外克服同行评议缺陷的主流共识和方法。笔者认为，同行评议和文献计量法均存在根本缺陷，即对问世不久的创新性成果难以做出及时、准确的评价，经常出现非共识的评价结果，也因此要“以刊评文”、要以出身是否名校论英雄(反之，对于问世时间较长而经受了历史考验的论文和学者则就不再“以刊评文”、以出身论英雄了)。因此，笔者提出开放式评价法作为同行评议的替代方案。①②开放式评价继承了同行评议的优点，高效合理，而且在此基础上又增加了一些特定条件，使得外行评价成为可能，实现了公众理解科学、公众监督科学以及学术市场的建立健全，甚至引发一场科学革命——云科学革命。③本文主要论述在学术领域里外行评价何以可能的问题。

一、开放式评价法：替代同行评议的新方案

开放式评价面向包括同行在内的学术界与社会，规范展示参评成果，由同行专家、评估专家及相关专家共同组成评议组，用规范确认或依据其他程序进行评价，并公开评价程序和结论。开放式评价包括规范展示、规范确认、规范胜出等环节，其核心是“展示”“定位”“查新”“挑错”“荐优”“比较”“综合”七个要素。评价者为同行专家、评估专家及相关专家，同行专家主要负责挑颠覆性错误，评估专家等主要负责规范认定、查新、定位等其他环节，开放式评价可以做到“通过公开实现公平公正，通过公开实现高效合理”，特别适合评价问世不久的成果。开放式评价比现行的主要评价方法明显优越，现行的主要评价方法是封闭式评价，与开放式评价的对比见表1。

通过表1的对比，可以看出开放式评价的特点。④⑤开放式评价是对所评对象进行规范确认，而非主观评价。由于学者对自己的成果及其价值都认识比较充分，甚至往往会高看自己的成果，而且有规范展示的格式化要求，因此，这种“确认制”通常不会低估成果的价值。规范确认可以避免主观评价造成的种种弊端，公开透明的规范流程又避免了被评成果的自吹自擂，评价结果可重复，不需要回避特定专家。例如，要评价一款产品，规范确认是逐项确认厂家在产品包装上标注的配方，如果全部属实，就该承认该厂家申请的质量等级，而同行评价则是要对配方等的好坏做出评价，结果会因人而异。学术成果获得同行承认、引用、甚至获奖的目的是使其得到更好、更快的广泛传播和应用，规范确认则能够同样实现这一目标，而且可以更有效地让没有颠覆性错误的新成果快速、准确、广泛地推送到用户面前。学术推荐系统、基本参考文献数据库等就是高效实现这一目标的工具。⑥

开放式评价法是程序化的公开，是受控评价，即只要按照公开的评价规范与流程，无论谁来评价都会得到可重复的评价结果。因此，开放式评价的问世犹如受控实验的出现一样，对科学发展将产生革命性的影响，甚至是一场科学革命。

二、开放式评价及其九个特点：使外行评价成为可能

基于开放式评价法及其笔者提出或总结的一些评价与研究的特点，就可以在学术领域里使外行评价成为可能。这种方法可以称之为基于开放式评价的“外行评议法”“外行评价法”或者“公众评价法”“公众评议法”，至于哪种称呼更合适，由实施评价的主体是谁决定。“外行”可以是公众，也可以是不同学科的专家。强调“公众”作为主体时，则是指公众对学术界、科技界的批评、评价。

1.规范展示：突出创新点和突破点。遵从学术规范，在网上展示成果的问题—思路—结论，对于突破性成果还要进一步用突破点四要素加以展示，即①突破什么(学术定论、主流共识、思维定势、研究范式、现行做法、权宜之计、学术僵局。其中之一或几个)；②怎么突破的(问题—突破思路)；③突破的创见(主要结论)；④突破的前景(开拓新域)。突破点四要素体现了既“破”又“立”，“破”“立”结合，前两者是“破”，后两者是“立”。⑦由于学者都强调问题意识，都知道提出好问题、巧思路、新结论的重要性，因此，这种展示最能够突出成果的核心贡献。眼高手低、人多眼尖、网上互动，又使得更多水平不高但是同样有较高鉴别能力的学者可以进行有效的甄别、评价。

2.好问题与巧思路难得易懂，突破性成果难以假冒。好问题与巧思路难得易懂的意思是提出好问题和巧思路很难，但是理解它们却比较容易。例如，阿基米德发现揭露皇冠掺银的方法就是如此，阿基米德一旦想出来、说出来，所有人都能理解、接受。发表突破性成果之后学者往往都津津乐道，愿意公开展示其突破点(至少也乐见他人帮助予以公开展示)，可谓是金子就乐于发光，有突破就愿意分享。对于职业学者来说，是否做出新突破是心知肚明的，因为只有想到、做到，才能说得清楚周到，真正做出了新突破，就很容易填写出突破点四要素，而假冒则很难，就像假冒高难动作而很难不露出破绽一样。

3.规范查新：学术研究是竞争性创新，创新绝非易事。笔者对何谓学术研究进行了重新认识，提出“学术研究是全世界研究者在同一规范和流程的约束下的知识生产和优先权竞争”“规范的研究就是约束条件下的竞争性创意或竞争性创新”“提出新创见要跨越优先权壁垒因此绝非易事”“做出新创见就是战胜或局部战胜或暂时战胜了全世界的同题研究者，问题越重要做出新创见的学者的研究能力就越强”，以此说明创新性与研究能力之间的直接关系，即研究能力越强的学者越会去挑战重要的学术难题。以创新力度为评价的首要标准，可以准确地反映出成果的学术价值、学者的研究能力和学术水平。⑧⑨规范查新就是现行的查新结果与相近的结果共同规范展示(包括网上规范展示)，独创与否，一目了然。竞争性创新这一特点，还可以让公众通过审视学者能否原创性地提出重要问题来判断其能力强弱、水平高低。因为所有学者都强调问题意识，都知道提出好问题的重要性，如果没有提出好问题，就是提不出来而非忽视所致。能否提出新的好问题，就成为甄别学者是否优秀的试金石，好问题难得易懂，所以，外行可以甄别和评价。

4.同行专家负责挑颠覆性错误。同行专家主要负责挑颠覆性错误，发现有颠覆性错误则要在规定的范围内公开地具体指出，并接受回应和修补。有无这样重大错误是很明显的，比评价成果水平高低的主观性要小得多，主观任意的空间较小，容易实现评价的客观公正。

5.研究进展前沿图谱：成果定位一目了然。经过查新、挑颠覆性错误两个环节，通过则确认该成果具有新颖性与合理性，具有学术价值，接下来是要确定该成果的价值大小，也就是细分研究领域的具体定位，通过研究进展前沿图谱可以明确予以标识。细分领域的重要性较易把握，无论是内行还是外行，都可以通过分析该成果在其细分领域的地位和细分领域在学术界的地位来总体把握该成果的价值和意义。

6.荐优比较易于判断。经过上述5个环节，外行也可以做出正确评价。当然，创新性很强的突破性成果不容易得到公认，因此，还可以进一步进行比较分析，请包括同行在内的各界人士推荐与该突破性成果同类、相近且已经得到公认的成果，用同样的格式(突破点四要素)进行并列展示。不怕不识货，就怕货比货，这句俗话揭示了一个不俗的道理：同类比较降低了判断的难度。互联网的一大功能就是货比多家，经过荐优比较，让突破性成果及杰出人才及时胜出。

7.抓大放小，前沿学者特征鲜明。如上所述，外行评价特别适用于特征鲜明的突破性成果，而做出突破性成果者即为前沿学者、学术带头人，因此，外行评价可以高效合理地甄选学术带头人。学术带头人的重要性众所周知，笔者表述为：①只要科技体制机制不是特别差，有一定经费保障，学术带头人的作用就是决定性的；②研究团队、课题组的水平取决于学术带头人的水平，而不取决于团队或课题组中水平最高的学者的水平；③只有学术带头人是名副其实的前沿学者，才可能取得前沿突破，团队或课题组中的其他成员也才可能发挥相应的作用。⑩前沿学者是当下在细分的研究领域内因做出突破性进展而成为最好或最好之一、或至少在学术前沿占有一席之地的学者，该突破性工作得到公认或规范确认。(11)前沿学者因做出突破性进展而特征鲜明，容易识别和评价。前沿学者都有标志性工作和作为学者标识的标志点，都可以进行“学者—标志点”关联展示(如“库恩—范式”“科斯—交易费用”“钱三强—三分裂、四分裂”)。(12)“抓大放小”甄别前沿学者，使之成为学术带头人，自组团队、自主管理，让学术带头人甄选、考核自己团队的成员。“抓大”就是抓学术带头人，“放小”就是把普通学者、青年学者的评价交给学术带头人。任何学者一旦做出前沿突破，就接受开放式评价，可以自立门户，成为学术带头人。

8.伯乐识才避免同行相轻。外行评价成为可能，可成就与学者没有同行关系的学术伯乐，他们不会与学者同行相轻，有积极性及时甄别优秀成果和优秀人才。学术伯乐可以成为学术评论家，可以成为科研项目经理等。学术伯乐这一新职业的出现，可以改善学术生态环境。

9.用户精明，成全优秀人才。真正的高手都喜欢公开透明、公平竞争，而且还喜欢精明懂行的用户，这样才突出自己的竞争优势。迈克尔·波特指出，日本之所以有成功的世界级企业，是因为日本国内挑剔而懂行的用户锻造了企业的竞争力。(13)在高标准、严要求且公开透明的条件下，高手才如鱼得水，优化资源配置才得以实现。反之，鱼目混珠的结果一定是“功夫在学外”者胜出，学术平庸者继续吞噬大量科研经费。高端智库的核心特征是出思想，只有用户重视且能够甄别新思想，智库思想家才如鱼得水，否则建设世界一流智库就是一句空话。

综上所述，在上述条件下外行评价就成为可能。在读图时代、在可视化时代，利用研究进展前沿地图标注五步法即可清楚明了地确认突破性新成果的学术地位。笔者所说的研究进展前沿地图与目前常见的基于引证分析绘制的“科学前沿图谱”不同，因为引证分析在长时间尺度范围内可以大致描绘出科学发展概况，但是不能及时地反映出前沿动态。不少前沿突破性成果是曲高和寡，并非立刻就有众多学者引用跟进，而且引用率也不能准确地反映成果的质量和性质，引用率相同的成果的学术水平可以相差很大。例如，有的突破性成果与跟进补充性成果在引用率方面不相上下，甚至还不如跟进性成果的引用率高，但是两者在学术前沿的地位却大相径庭。研究进展图谱五步法的第一步是确定研究工作所在的细分领域；第二步是勾画该领域研究进展图谱脉络，以系列里程碑式的成果为主线，可兼顾补充次一级的成果，构成学术研究进展图谱(或称之为学术前沿地图)；第三步是呈现学术前沿当前的那些主流理论及成果；第四步是规范展示受评的突破性成果及其突破点四要素，所谓突破就是突破当前的主流理论及成果或相关成果(即突破点四要素中第一要素所包括的七项内容)；第五步是用开放式评价对突破点四要素进行规范确认，同时也可以用基于开放式评价的外行评议法来评价。当然，这套方法可以与人工智能、人机对话、电子服务等结合，实现人工智能化的学术成果与人才的(初步)评价，可用于构建学术推荐系统。

三、以突破双刃剑思维定势研究为例：外行评价何以可能

科技风险研究是一个专业性很强的研究领域，但是如果按照上述基于开放式评价的外行评议或公众评议方法，对于做出突破性进展的研究工作同样可以给出合理的评价。开放式评价具有客观性，评价结果可重复，因此，可以举贤不避亲，自荐同样有效。这里以笔者尝试做出的突破双刃剑思维定势的研究为例予以说明，主要以突破点四要素为核心加以介绍。

1.突破什么？突破了主流共识和思维定势。把科技或技术视为双刃剑是人们长期以来的主流共识和思维定势，但是，双刃剑思维是错误的，因为双刃剑思维有三个特征。一是在态度上接受科技的负面作用，任何事情都有两面性，不要大惊小怪，强调要充分发挥科技的正面作用，让科技最大限度地造福人类，尽量避免负面作用，要扬长避短，但是并没有深入地去分析到底能不能够做到扬长避短，也没有注意到科技正面作用和负面作用能不能够相互抵消，双刃剑实际上成了迁就科技负面效应的一个借口。二是把知识的创造者(铸剑者)与应用者(用剑者)分开，把科技的负面效应的产生归咎于应用者，效果好坏取决于使用知识的人，把人当作解决问题的关键。实际上，许多情况下是知识诱使或迫使人来应用，面对科技，身不由己。知识与应用具有连锁效应，人们根本无法阻止。三是不区分普通负面效应和极端负面效应，许多普通负面效应是可以正负抵消的，而极端正负效应却无法抵消(如核电站与核武器)，不能抵消负面效应的就不是双刃剑，而是单刃斧。这种双刃剑思维是当今社会与科技界的主流共识和主流思维定势，是人们正确认识科技风险的最大障碍。突破双刃剑思维如此重要，以至于无论用何种视角、何种方法、何种理论来研究科技风险，如果不直面双刃剑思维，不彻底批判双刃剑思维，不真正突破双刃剑思维定势，就不可能解决科技风险问题，就不可能实现防范与治理科技风险的目的。突破双刃剑思维是深入研究科技风险的必要条件和必经之路，因为科学家、科研人员、决策者和公众都是用双刃剑思维来思考科技风险的，如果不能说服他们放弃双刃剑思维，用新的思维武装头脑，那么再精妙深奥的理论也无济于事，仅仅是社科学者之间彼此唱和欣赏的理论是不能解决科技风险问题的。(14)(15)(16)

2.怎么突破的？认识的误区必须突破，笔者是通过研究科技风险和科技知识的增长，特别是研究其中一类破坏力极大的科技知识——致毁知识，来突破双刃剑思维模式的。具体讲就是提出“致毁知识”概念，区分尖端科技负面作用与普通科技负面作用，明确三个前提，然后提出并解决一个问题来突破这一思维定势。这三个前提是“尖端科技知识正负效应不可抵消、科技知识增长不可逆、知识与应用具有连锁效应”；提出的问题是“在科技知识增长的同时，能否阻止其中一类破坏力极大的科技知识——致毁知识——的增长与扩散？”这一套问题的意义在于自然条件与知识增长是人类文明演进的两个最基本条件，前者的危机催生了环境保护与可持续发展思潮及运动；后者的危机却远未引起应有的重视。科技知识增长是知识增长的主力，以科技危机为核心的知识危机是更深刻的危机，也是人类面临的最大挑战。笔者研究的结论是在目前世界主流科技发展模式和社会发展模式下，不能够阻止致毁知识的增长、扩散与应用，原因共有26项。致毁知识积累、扩散到一定程度必然会发生毁灭性灾难，而且这种不可逆增长的危险累进方式，使得毁灭性灾难发生的几率越来越大，直到爆发。如果再考虑到恐怖主义，考虑到人们在认识上存在的种种误区，考虑到急功近利的企业和创客(基因玩家等)越来越成为尖端科技的发源地而更加难以监管、控制，就知道人类的处境是何等凶险了。(17)(18)

3.突破的结果。不破不立，突破了双刃剑思维定势，确立了“单刃斧思维”或“致毁知识思维”方式，使人们得以重新认识科技的负面作用及其应对之策。

4.开拓新的研究领域。初步开拓了科技巨风险研究、限时STS、限时科技伦理研究、限时社会风险研究、科技的总体安全观、低危技术、低危经济、粗放式创新、可持续创新、知识安全学、科商管理、科技与商业(STB)以及科技转型、产业转型和社会转型等一系列新的研究领域。(19)

根据上述外行评价的原理，公众借助查新报告就能够做出比较准确的评价，包括三点：一是上述观点是否成立或基本成立，通过阅读分析及网络互动讨论即可完成，因为“难得易懂”“眼高手低”，所以即使外行也可能理解和甄别。二是通过查新确认上述观点是否新颖，查新报告可以由作者本人提供，也可以由第三方提供，也可以由网友提供。如无查新报告，也可以通过网络检索、询问有关专家来初步认定其新颖性，通常提供查新报告是外行评价得以实施的必要条件。三是对其中主要的创新点、突破点进行重点审读和同类比较。这里是对双刃剑思维分析的认定，对是否存在其他学者此前也开展过批评并替代双刃剑思维研究的查新及认定，对提出的一套问题(三个前提与一个问题)及结论的合理性与新颖性进行认定，如果有同类或近似的成果则可以比较哪个更合理、更高明和优先权。笔者对上述主要观点(“致毁知识”概念、有无替代双刃剑思维的方案、一套问题及结论等)进行过查新，已初步确认其新颖性，提出问题的重要性是学者皆知的，所以都会尽力提出好问题，如果没做到，就是“非不为也，实不能也”。问题的高度决定了结论的高度，两者又共同决定了研究成果的高度。因此，问题与结论是有效的比较点。在新颖性得到确认的前提下，包括同行、大同行在内的学界及公众，实际上是可以对这项工作做出判断和评价的。只要把国内外研究科技风险的学者所提出的问题与结论在网上罗列出来加以比较，孰高孰低，一目了然。如果此项工作的新颖性与合理性得到确认，即可认定其在科技风险研究这一细分领域居于学术前沿地位。

四、主要结论与政策建议

同行评议与文献计量因不能合理评价问世不久的成果而存在根本缺陷，故提出开放式评价法予以替代，在此基础上，笔者进一步提出凸显贡献点的规范展示、好问题与巧思路难得易懂与突破性成果及突破点四要素难以假冒、凸显独创性的规范查新、同行专家挑颠覆性错误、研究进展前沿图谱定位一目了然、荐优比较易于判断、抓大放小甄别前沿学者、伯乐识才避免同行相轻、用户精明成全优秀人才9个条件，在这些特定条件下使得外行评价成为可能。利用研究进展前沿地图标注五步法，更能够让突破性新成果的地位一目了然。据此形成了基于开放式评价的“外行评议法”“外行评价法”或者“公众评议法”“公众评价法”(简称“外行评议法”)，对于刚出现的新学科、新研究领域的学术成果及学者，在还没有或鲜有同行的情况下，也可以给予有效的评价。利用互联网、大数据等大IT，使得开放式评价加上这9个条件(1+9)可形成开放式评价与网民监督系统，这不仅可产生学术伯乐这一新职业，更可以实现公众理解科学、公众监督科学，形成由懂行的用户构成的学术市场、思想市场，这也是首次真正建立起学术市场和思想市场，让优秀成果和优秀人才及时竞争胜出。人们常说“是骡子是马拉出去遛遛”，开放式评价及相关分析解决了遛什么、怎么个遛法的问题，甚至只要在网上规范展示突破点四要素、进行“学者一标志点”关联展示，人们就能快速甄别学者的水平。在比较同一领域学者的水平高低时，集中比较他们各自在代表作中提出的问题与结论(而不是比较整部代表作)，是简明易行又比较准确的有效方法。这种新的科研信息公开方式能产生立竿见影的奇效，让优秀成果、优秀人才和学术带头人及时竞争胜出。政策建议是创建学术与创新特区，实行前沿学者负责制，(20)成为深化科技体制改革和创新驱动发展战略实施的突破口。其启动方案是利用开放式评价和外行评议法，明确学术竞争新规则：凡是自认为和被认为做出前沿突破的学者，通过自荐或他荐，利用研究进展前沿图谱标注五步法，规范展示突破性成果及突破点四要素，接受包括同行在内的学术界及社会各界人士的规范确认与评议。此举可以让突破性成果一目了然，让真正做出前沿突破的前沿学者及时胜出。“所谓大学者，非谓有大楼之谓也，有大师之谓也。”我国极力争取建成世界一流大学、世界一流学科，其最核心的特征和最主要的指标只有一个，就是拥有前沿学者的数量。也许，在我国最早建成世界一流大学的是云科学革命形成的网络大学，在那里能够设置教授工作室的每位教授都是作为前沿学者的世界一流教授，他们在互联网上规范展示自己的突破性成果及突破点四要素及其在学术前沿地图上的位置，让同事和学生清楚了解该教授当下在国际学术前沿的地位。(21)

收稿日期：2016-04-19

注释：

①⑥刘益东：《试论超越同行评议的复合型学术评估法》，《自然辩证法研究》，2004年第1期。

②④(11)(20)刘益东：《开放式评价与前沿学者负责制：胜出机制变革引发的云科学革命》，《未来与发展》，2013年第12期。

③刘益东：《从山科学到云科学：即将发生的科学革命与人才革命》，《科技资讯》，2011年第14期。

⑤刘益东：《开放式评价：替代同行评议的新方案》，《甘肃社会科学》，2015年第4期。

⑦刘益东：《设立战略家工作室，创建世界一流思想库》，《科技创新导报》，2014年第14期。

⑧刘益东：《伽利略式的革命：创新点展示评估法与查新识人才引发的人才革命和科学革命》，《时代教育》，2008年第5期。

⑨刘益东：《创新力度：评价学术成果的首要标准》，《科技创新导报》，2009年第36期。

⑩(21)刘益东：《云科学革命：从科学3.0到科学4.0的跃升》，《科技资讯》，2015年第20期。

(12)刘益东：《以突破论英雄，以思想评智库——创建一流智库从甄选一流智库专家开始》，谢曙光主编：《智库评论(第1辑)》，社会科学文献出版社，2015年，第59-86页。

(13)[美]迈克尔·波特著，李明轩、邱如美译：《国家竞争优势》，华夏出版社，2002年，第132页。

(14)(17)刘益东：《人类面临的最大挑战与科学转型》，《自然辩证法研究》，2000年第4期。

(15)(18)刘益东：《智业革命——致毁知识不可逆增长逼迫下的科技转型、产业转型与社会转型》，当代中国出版社，2007年，第142-200页。

(16)刘益东：《跳出双刃剑思维陷阱——研究致毁知识突破科技风险的认识误区》，http://www.casmooc.cn/，微课程，2015年8月。

(19)刘益东：《智业革命——致毁知识不可逆增长逼迫下的科技转型、产业转型与社会转型》，当代中国出版社，2007年，第201-352页；刘益东：《开放式评价与前沿学者负责制：胜出机制变革引发的云科学革命》，《未来与发展》，2013年第12期；刘益东：《试论粗放式创新、致毁创新、可持续创新理论与知识安全学》，《科技资讯》，2014年第9期；刘益东：《致毁知识与科技危机：知识创新面临的最大挑战与机遇》，《未来与发展》，2014年第4期。

(原载《河南大学学报》2016年第5期)