的确,首先,基于高等教育的特殊性,高校办学过程中并非所有活动及其结果都可以作为变量被观测到;其次,源于方式技术和数据的限制,即使被观测到的那些活动及其结果,又未必都能够被形成指标并予以量化;另外,囿于质量的内隐性以及质量标准认知的不统一,那些予以量化的活动及其结果,又并不一定能够完全代表质量。这是高校绩效评价甚至是教育评价的难题,相应地,疑惑也就在所难免。但是,研究遇到难题并不等于所研究的问题不可能得到解决,即使此时不能完全解决,也可以部分解决;即使当下不能够解决到位,也可以逐步逼近完善。事实上,国外同行在研究中也存在类似的困惑,但他们仍然认为,"通过可以观测到的指标,是能够反映出一些关键问题的"[16]。任何关于高校办学质量的判断,如果要不止于一种观念性感觉意见的表达,都必然是能够以数据或事实来说明事物质性本真的思维活动,不存在无数量支撑的抽象式的质量呈现。所以,数量或量化与质量之间并非必然矛盾。 首先,高校办学的质量是建立在数量化的活动积累之上的。当高校自身的发展在缺乏数量的时间积累并达不到一定数量规模的时候,很难奢谈质量。毕竟我们要评价的是现代大学,而不是古老私塾。即使是实施精英高等教育的国外高水平小型大学,也是有上千人规模的支撑,而且办学历史都不短,比如美国1891年建立的加州理工学院,2013-2014学年在校生也达到了2181人。[17]因此,只有当事物活动中的各种要素在数量上不断积累、集聚、增长,才能够有力量引发事物的质量得以生长与显现。一所大学的发展更是如此。高校办学的活动要素无非是人的要素、物的要素、财的要素,分别以教师和学生、基础设施设备、各种经费等为主要活动载体及条件。这些要素如果没有时间积累达不成一定的数量并形成一定规模的时候,现代大学的办学质量就是空谈。正因如此,可以通过对高校办学活动要素的量化,来反观高校的办学质量处于什么样的程度,以及反观高校办学不同方面的质量状况。在这里,无论是以数量作为质量的唯一,或是将数量放逐质量范畴,将两者进行绝对的等同或者割裂,对于高校绩效评价而言都是有误的。 其次,高校办学的质量是可以通过结构化"数量群集"来表达的。质量的表达可以是感知式的定性经验判断方式,这种方式主要是基于大量的现象观察形成高度的抽象概括,属于归纳式的方法论应用。但这种方法的使用存在很大的对象性局限,致使同一个评价主体很难在同一个时刻大量感知到众多对象的发展现状,并从中抽取特点进行概括判断与比较,而且这种感知式的判断往往只能得出模糊性的结论,很难具有准确度。再者,不同的评价主体,由于个人经验的差异性,体现于事物判断的结果就很有可能完全不同,事物质量的评价认同度也难以实现统一。那么,如何把众多需要评价的高校放在相同时刻进行质量的比较呢?这个时候还需要运用质量表达的另一种方式,即结构式的量化判断方式。这种方式主要是基于对质量的观念性理解形成反映质量的指标群集,将这些指标作为观察要素,去聚集观看所要评价的高校并进行比较,属于演绎式的方法论应用。在这种方法中,结构化的数量指标某种程度就是质量的表达,可以说,任何事物的评价都是基于结构化指标的量化而来的。所以,基于一定理念、指导思想、方法论形成的高校绩效评价的指标维度与结构化的指标群,本身就是对高校办学质量的一种表达方式。至于对高校办学质量的理解是否认可,则另当别论。 研究中运用数学工具进行分析,有很多优势,比如严密、科学的逻辑推理和数理及计量分析,使得研究能够得出更有意义的科学结论。在当今大数据时代将万物都以数的方式存在的时候,高校办学绩效评价必须高度重视对数以及数学方法的使用。对高校绩效评价的批判性认识,要消除量化手段与追求质量评价的对立,充分看到数量化绩效指标群集中所暗含的质量内涵与所指。 四、绩效指标可以综合统计学和教育学等多种方式从高校办学活动中选取出来 如果结构化的指标群可以或多或少地反映高校活动的质量,那么,接下来的问题是,这些指标是否能够独立而完整地从牵连复杂的高校整体办学活动中剥离出来,换言之,怎样看待类似高校办学这类教育指标之间的"绝缘性"。 教育评价,包括绩效评价中的一些指标会存在不独立甚至相互包含与交叉的现象,从而影响评价结果的有效性。这种担忧不难理解。首先,我们难以严格区分出归属不同高校职能的办学活动。高校的三大职能相互支撑、相互影响,具有高度的统一性,且三者的分化也多是从理论研究的分析角度进行。事实上,实践中很难严格区分出某种办学活动是纯粹归属于某种职能的活动,甚或根本就不存在绝对单一的职能活动。如同"产学研一体化"思路下的科学研究,其间同时也包含着人才培养和社会服务的活动。即使我们倡导要重视教学,但教学不同样需要并包涵着科学研究吗?只不过称之为教学研究而已。其次,即使在同一类职能的活动中,我们也很难准确分化出单纯指向某种产出的办学活动。高校办学活动所形成的影响或产出确实存在投人效应不清晰、不对应的现象。不论是培养人还是发表科研成果,都无法精准地因果回归于某种特定投人,甚至还可能出现同为投人与产出或者互为投人与产出的活动状况。例如,高校的自筹经费,既可以看作高校办学的投人,以显示高校办学的总体投人规模;也可以看作高校办学的产出,以显示高校通过自身努力所获得的竞争力。所以,在不同的价值取向的导引下,不同指向的绩效评价可以有不同的活动要素划分。凯文(Cave)等人认为,"高校绩效指标可以是序数的,也可是基数的;既可是绝对性的,也可是相对性的;既可是固定的、机械的,也可是一些非正式的如同行或声誉排行等。"[18] 指标的独立性、不重复性的确是关乎评价效果的重要标尺。但高校办学本身存在着的特点,包括活动的职能归属难以严格区分、活动的因果关系难以均指对应、活动的集中指向难以准确细化等,确实存在似乎与统计科学指标要求不完全相符的现实特征。不过,教育类型的评价真的需要在评价指标上做如此精准的科学分化吗?如同教育实验,它始终是一种非自然科学实验,似乎根本不能算作科学实验,但依然为教育研究所需要,依然为社会科学研究所认可,因为任何一种社会科学研究都很难在"绝缘"真实的现实环境下实现其研究的科学性。所以,放置于高等教育领域的绩效评价,与进人教育场域的科学实验活动一样,都抹上了一层非自然科学的人文社会色彩,既要借助自然科学的技术和方法,又不完全达致其精细的要求,从而形成了自己领域的使用特点,这是一切人文社会科学研究中使用自然科学研究方法与技术的普遍难题与普遍解决办法。 在实际操作中,对于高校绩效指标的选取、剥离及其指标之间彼此独立的问题,可以采取一些做法来逐渐予以解决。一是对所有指标的内涵进行充分界定。根据研究需要,分别将指标从高校办学活动中抽离出来,形成类型、层级、范畴、意义、作用、基本指向等方面的相对独立性区分,避免在高校办学活动大格局下的重复。二是对指标的筛选综合采用统计学和教育学方法。评价实践中必然会涉及某些具有教育价值、导向价值的指标,会被基于数据事实的统计学方法判定为重复或不独立而需要删去。所以,属于教育评价的高校绩效评价必须将两类方法综合使用,实现数学意义和教育学意义的评价统合,避免因教育活动独特性所带来的统计学方法误差。三是对于一些确实不易界定或异常模糊且难以操作性的指标,可以寻找替代指标。调查研究中,类似的情况会不时遇到,选择相近的替代指标也能在一定程度上确保研究的科学性。 |