《课程质量评价的选择策略之一：课程效能评价.doc》由会员分享，可在线阅读，更多相关《课程质量评价的选择策略之一：课程效能评价.doc（11页珍藏版）》请在三一办公上搜索。
1、课程质量评价的选择策略之一：课程效能评价摘 要：运用“效能”思想对课程效度进行评估，同时也为课程评估提供了有关的新理念。为得到课程效能的真实情况，需要收集和分析不同类型“效能”评量指标，这些指标包括学生的学习发展现状、学生的学习能力基线、课程实施背景和情境信息、学校教育环境信息等。在研究课程效能的领域里比较常用的几种统计分析方法各有其优缺点。有关人员需了解“效能”评量方法的局限性，以做到有效使用。关键词：课程，效能评价，增值基金项目本文系教育部人文社会科学研究规划基金项目“高校工程实训课程效能评价研究与实践”(项目编号：10YJA880033)、“高等职业教育实践课程效能评价的研究与实践”(项
2、目编号：09YJA880062)的研究成果之一。课程质量评价对当前课程的改革及未来发展有着强大的导向作用。但如何对课程质量进行有效评价一直是个难题。现行的课程评价多是围绕着学生的考试成绩、升学率等指标衡量课程的表现。这种评价“指标”和方法显然有失公允。因为单一的学生考试成绩并不能反映课程质量水平的高低，且不同学生背景和不同学校发展水平对课程质量有很大的影响。这一问题已被广泛的认识到，随着课程改革的进行，评价从关注学生学业的结果测评转为关注学生多方面发展的考量，如发展性评价、综合素质测评等。但这种评价多运用于对学生个体的测评，并未以此对学生发展整体水平做评估，更没有对影响学生发展的主要因素课程做
3、进一步的质量分析。从本质上说，这是一种教学评价，而非真实意义上的课程评价。此外，仅以学生表现的结果无法确切地阐述学校课程是如何提升与保持其所有学生的成就，或者如何有能力长期性地维持一定的水平。目前，许多国家与地区已把课程效能作为课程质量的评估依据，并为政府进行教育决策与制订教育政策提供数据来源1。由于其评价技术的复杂性和多样性，效能评价往往是由专门的评价机构来完成。课程效能评价在我国教育实践中还是较陌生的领域。探讨不同课程或学校课程间“效能”评量结果在地方或区域的差异，可以为政府部门实施课程监控和课程政策制定提供有价值的参考。一、对课程效能评价的认识课程效能评价是指在一定条件下，对课程给学生发
4、展产生影响程度的价值判断。“一定条件”是指对课程实施的“投入”，包括学校的生源质量、教学设施、课程资源等指标。课程效能评价就是在关注课程“投入”条件下，对课程的真实影响效果进行评判，得出输出值，从而判断课程的输入与输出是否匹配，投入的预期效果与实际是否有差距。对效能的理解基于这样两种认识思想：“增值”思想和“净影响”思想。“增值”思想是从经济学的角度来理解，它提出以学生在学校里的进步来衡量绩效。增值就是学生学业在学习前与学习后对比时变化的部分2。增值评价不仅要考虑课程学习完学生的学习结果，还要分析学生学习前的学习基础。它可以较好地解决因起跑线不同带来的评价不公问题。“净影响”思想就是排除了学校
5、课程以外的因素影响获得的“纯”课程影响。3它源于科尔曼(1966)的研究结论，学校课程对学生学业成绩影响是有限的。这种思想认为学生的发展是受多方面因素影响的，除课程教学因素外，还有社会、环境条件和家庭经济状况、父母的学识水平等因素。以“增值”思想理解课程效能评价对课程实施者比较公平，尤其对促进教育的均衡化发展有其独有的积极意义和现实价值，其经常采用的评价技术是功效系数法。但这种认识也有不足，就是忽视了其它因素对学生发展带来的影响。而“净影响”思想，强调对课程效能的评价应重在反映课程本身的表现效果。这种认识较为客观，但这种方法遇到的最大挑战就是影响学生进步发展的因素的复杂性和考量的准确性。目前，
6、许多学者认为，两种思想的结合、互补是较为合理的，既要考虑学生的进步程度，也要对影响学生进步的课程因素进行分析，以此判断课程效能的高低。尽管这种理解在评价技术上较为复杂，但相对较合理一些。二、课程效能评价指标信息课程效能评价应选取哪些评价指标呢？课程对学生学习进步的影响是颇为复杂的过程，既要测量学生在一段时间之内的进步情形，还要收集影响学生进步的课程性信息和非课程性信息，包括学生的背景和相关的情境资料。因此，评测课程表现的“效能”时，需要四部分资料：学生已有和现有的发展水平，背景性因素和条件性因素，每一部分又包含若干指标。不同国家、地区的课程指标选取是不同的，测评重点也有差异。如美国的课程效能评
7、价一般把学生的种族差异、文化背景作为一个重要的影响指标，而日本则把家长的受教育水平作为重要的影响因素。1.学生的现有发展水平学生的现有发展水平是课程效能评价的主要指标。该指标的设定应遵循课程目标，这就要对课程各目标含义有清晰的认识，并依此设计学生是否达成目标的评测工具。这里需要清楚的是，对学生水平的考察不是仅从学生个人的成绩来考察，还应从学生团队与组织层次上考察学生整体学习的状况。因为学生知识与技能的获得不仅仅靠他们自己，还在于跟其他同学的合作。课程效能的评估尤其应当关注学生作为团队一起学习、共同发展技能在团队与组织层次上获得的效能。澳大利亚的Sofo，Francesco就认为，应从学生个人、
8、团队和组织这三个层次上考察课程效能4。除此之外，测量学生发展程度的评估工具必须具备公正性和有充分的信度，应当保证在不同的地区对同一水平学生施测，能得出发展水平一致的结果，也就是测评工具不应当受外部环境干扰。同时，评估工具应具备很好的效度，尽量避免使用那些难以准确、真实地度量出课程给学生进步带来多大影响、并容易引起歧义的测评工具。如主观性试卷的评分可能就颇具争议性，最主要的原因是各个教师评判尺度不尽相同。因此，相对而言，这样的评分工具在课程效能评价中就显得不太适宜。2.学生的已有发展水平从“增值”的含义理解，课程效能评价信息之一应当包含学生在开始进入某门课程之前的学习能力水平的信息。这些已有学习
9、能力水平信息成分和特质的要求条件应与学生的现有发展水平测评的成分和特质要求条件相同，既要能满足“效能”评价的目的，又要有很好的可信度和效度。由于课程的评价涉及的样本数量很大，为了使同一学生的学习基线和学习结果对应、统一，在收集信息时，可以给不同地区、学校、班级以及个人建立不同层级的识别代码，以便在统计不同层级群体或个体信息数据时进行分类、比较和分析。这不仅可以评测单一学生在某一课程学习水平的增长程度，也可以评测某学校的某一课程相对于其它课程的实施效果，或某学校、某地区该课程的整体实施效果与其它地区的课程效果的横向比较，以便发现产生效果水平不同的原因和对课程的质量进行跟踪监控。3.学生背景信息为
10、了能够提供直接与学生在一段时间内之课程学习进步有关的情形，评估课程效能时，应尽可能地区分出那些非学校所能控制的各种背景、情境影响因素，尽管这种区分有一定的困难。我们可以把非学校场所施加的影响，如课外补习班、父母的需求、家庭经济的支持等划分为学生的背景因素。在课程评估中，排除这些影响，以找出单一课程对学生的学习进步施加的影响。如英国的一项研究结果显示，学生的背景特性，诸如家庭社会经济地位、性别、种族、所使用的母语和流动性等，对其学习进步有显著的影响。5研究发现，这些背景因素是从人的出生开始到整个受教育的过程对人施加影响，且有累积叠加效果。另一项研究结果亦支持这一结论，认为家庭教育资源对教育产出有
11、显著影响。6在我国，这类影响因素的存在显的尤为突出。因此，在对学生发展影响因素的统计分析上，研究者就不能仅仅考量选择一项简单且直接的进步结果评量，还应将非学校所能控制的背景因素纳入分析考量之中。这样，则评量更准确、科学，但信息的收集、分析会很复杂、繁琐，因学生的背景因素和影响其发展进步的原因是千差万别、不尽相同的。但这一问题会随着统计样本数量的增多而得以解决，例如某个单一学生特殊背景状况信息可以在一个地区或一个学校众多学生背景数据统计中忽略不计。4.课程条件信息估测课程效能“表现”时，还应将“增值”的课程纯影响因素课程条件信息纳入分析考量范围内。这些因素是学校可控制的，包括课程实施条件、师资水
12、平、班级规模和课程活动场所以及课程的管理组织等。收集这些因素信息，文件资料及访谈的方法是不可缺少的。收集完的信息要经过量化处理。我们最终的目的就是寻找学生学习发展的水平状态与这些课程条件因素信息值的关系，以便对照比较，探讨和阐释造成课程效能差异的潜在原因。课程表现评量所需的资料可用单一届学生为信息收集样本，但要调查课程对学生影响的长期趋势或者课程的“增值”程度，必须至少收集连续三年的同一届学生的初始学习水平和其学习后的发展水平的评量。当然，相应地也要连续收集包括情境背景或课程条件状况等的相关资料信息。如何确保收集、量化的资料的真实性和精确性是课程评价研究面临的困难之一，也是资料收集过程中极为重
13、要的一部分。若资料有错误或缺失，既不可能正确地解释分析结果，又不可能获得准确的“效能”评估值。这些相关的问题将在后面的“课程效能”评价的局限性中作进一步的探讨。为了确保资料收集的真实和精确，其中很重要的一个环节是，课程实施单位地区教育管理部门或学校愿意与评估单位合作提供可靠的资料和信息数据，并组织和协助促进学校从事课程自我评估与改进课程质量。三、数据的处理和分析课程效能评价的数据处理多依赖于统计技术建立统计模型。主要有四种技术方法：第一，典型相关分析。这种方法是通过典型相关因素建立自变量与因变量之间的线性关系模型7。在课程评价中，一般设定课程因素为自变量，学生的现有成绩为因变量，建立两者的线性
14、关系模型，并寻找两类相关变量的典型相关因素；然后计算出所要评估课程的发展水平与总体平均水平的差异，从而综合获得不同课程的效能度。第二，多元回归统计方法。多元回归分析是用来估计因变量实际值与应然值之间的残差值的标准统计技术。在课程效能评价中，一般将课程和学生背景因素作为自变量，将学生的发展水平作为唯一因变量，建立两者的回归方程。依据建立的回归方程，预测出学生应有的发展水平，即应然值，然后用学生的实际水平同用回归方程计算出的应然值进行比较，从而得出课程效能值，即回归残差值。实质上，由多元回归分析而得的“残差值”，就是学生实际发展水平与预测发展水平的差值。这种方法的优势就是能将多种影响因素纳入分析的
15、考量中，如家庭经济基础、父母受教育程度、学校地域的差异等。其不足之处，主要是，统计分析只能从单一层次，或从学生层次、或从课程层次，两者选其一来计算残差值。显然，选择任何一个单因素分析都是不全面的，如选择了学生层次，则将丢失课程信息；如选择课程层次，又丢失了学生的信息。第三，多层分析法。多层分析法是上世纪80年代末期逐步发展起来的。目前，多层分析法在教育管理和教育评价研究中的应用受到越来越多的关注。它弥补了多元回归把不同层次变量纳入同一个回归方程中进行计算而产生较大的统计误差的不足。该方法将不同层次的因素造成的误差分别估算，其结果更准确。1987年，英国学者Willms首次运用多层次分析模型同时
16、评估区、学校和学生三种水平对学生成就的影响，开创了利用多层线性模式对学校效能进行评价的先河。8目前，这项技术工具已为更多的评价研究者所认可，尤其在处理较复杂的、不同水平的变量信息时。此外，该方法的优势还表现在可以计算单一课程效果的统计显著性，并可通过取得连续几届学生的信息状况测评该课程“增值”状况的变化趋势。第四，功效系数法。功效系数法是哈灵顿(E. C. Harrington)在1956年提出的求解多目标最优化问题的方法。它是根据多目标规划的原理，把所要考核的各项指标分成多档次标准，再使用德尔菲法依据影响因素的评估值确定效能评价指标的理想值和满意值。理想值就是在一定时期、条件内，尽最大努力应
17、能达到的最高值；满意值就是在一定时间条件下按较低水平衡量必须达到的数值。然后将这些数值和实际测值通过功效函数转化为可以度量的评价分数，以此对比判断被评价对象实测值处于何种水平。使用功效系数法对课程效能进行综合评价的优势在于，它可以用在单一群体，如一所学校或一个班级的效能评价，并设置了在相同条件下评价指标所参照的指标值范围，减少了单一标准评价而造成的评价结果偏差，又可以实现对课程效能量与质的综合评价。其不足之处在于，由于档次标准的认定有一定的主观性，其评价的精确性不是很高。上述评价技术方法是效能评价中经常用到的，既有依重定量的信息，也有依重于定性资料。需要明确的是，无论何种评价技术都有其优势和不
18、足之处。在实际应用中，可采取多个方法的结合、互补、验证，以尽最大化减少评价的误差。四、课程效能评价的应用与局限性课程的“效能”评量，可以是多面向的，其反映不同意义的课程表现。1.同一学校不同课程的效能比较课程效能评价在实际中多应用于不同课程之间的比较。这类研究中，一些非学校控制的学生学习的影响因素可以作为控制变量予以排除，如家庭、经济、性别等，因为调查的学生是同一对象。但有些因素却不能排除，如师资、教学条件等。国外某些研究显示，对学生在某种课程学习有正面影响的因素在其它课程方面的学习不一定会产生积极的效果。英格兰一项针对初中教育中涉及的主要六种学习课程效能一致性与稳定性的研究，也得出同样的研究
19、结论。9这些相关研究提出了有力的证明，在同样背景条件下，同一所学校中不同课程的效能会存在差异。一所学校中某些课程可能显示其有很高的效能表现，但学校中的其它课程，或者同一课程不同的学习群体、不同的年级群体、甚至不同的授课时间段，其“效能”评估不一定显示一致的表现效果。这也反映了课程的效能是受多方面的影响，其研究也是极其复杂的。为了准确的获得学校课程的表现成效，就应对学校各门课程的效能分别进行评量，如仅以单一课程效能评量来评价某所学校的课程效能，可能无法突显学校在不同课程效能的内部差异。若要研究某类课程长期趋势的表现，就必须调查不同的授课群体在各个学习时间段的学习结果，这样，才能获得复杂的课程效能
20、表现。2.不同区域的同一课程效能比较也有一部分效能评价研究是应用于同一课程在不同地域间的比较。比如，探讨某种课程效能在不同区域的规模、范围和一致性上的差异，或者不同地域(如城乡、东西部)、家庭经济条件和地区教育支持度等对课程表现的影响差别。例如英国的相关研究显示，不同区域学校对学生课程学习的影响是不同的。10包括不同政策环境、人口特征等都会对课程效能产生一定的影响。一项不同国家的数学课程成绩比较研究项目，对17个国家的学生成绩在学校和班级层次上的变动情形进行了调查。11结果发现，即使在同一国家、地区，不同学校间，甚至不同班级间的学生成绩都是有差异的。著名的国际学生评估测试项目(PISA)，就是
21、一种跨域性评价研究。由于跨域性评价研究使用的样本数量很大，这样可以弥补某些影响因素造成的影响误差，从而获得不同地区性课程效能的差异存在的现象，了解形成该现象的潜在原因。效能评价在量化数据和统计方法上也存在着一定的不确定性和局限性。“不确定性”表现在，信息的收集会存在某些测量误差。比如在一特定时间点学生被“测量”的学习水平与该学生真正的学习水平可能会存在一些误差。例如学生在做过类似测验下完成测验所取得的“水平”值与从未见过此类测验题下测验到的“水平”之间是有差异的。再比如对非学校可控制的课程影响因素调查的精确性也有相当的难度，例如家庭经济、社会地位指标，其资料的收集不仅困难、需要较高的人力和物力
22、成本，而且往往无法对其做详细、明确的判定说明。“局限性”体现在，课程效能评量的质量在很大程度上受收集到的资料的品质、分析信度和效度制约的，而非学校所能控制的相关因素不可能全部“测量”到。因为无论何种因素对学生的影响，都有一个累积叠加的过程，这种累积、叠加效应是不容忽视的，而累积、叠加效应的边界的划分却是极其困难的。此外，这些方法的确定是建立在课程的投入和产出之间的线性关系上，但现实是，课程的投入与产出的关系往往更加复杂，不是单一的线性关系。五、我国课程效能评价展望尽管效能评价有其一定的局限性，但它无疑为课程评价向科学化、规范化发展提供一种可能的选择。随着我国教育的迅速发展，课程效能评价的重要性
23、已日益显现出来。目前，我国教育面临最大的困扰就是教育的非均衡化问题一直没有从根本上得到解决，而且有愈演愈烈之势。不仅不同的经济发展区域教育的发展存在差异，即使同一地区中不同的学校、不同的班级、不同的课程，教育资源的投入也存在很大差异。如重点学校投入大于非重点学校，“主流”课程大于“非主流”课程的投入。从目前看，效能评价的运用应该是有可能突破并影响这一困境的一种选择。虽然我国尚未开展关于课程效能的评估，但关于学校效能评估的国际合作项目已经开始涉足。如近年中英合作的对河北省保定市普通高中学校效能评价的项目即是我国教育研究机构与国外研究机构合作项目的成功案例。该项目的主要内容就是持续收集参与项目的各
24、届学生在不同学习阶段之考量结果和其他相关资料，然后有系统地进行“增值”评量与其他相关的分析。12日前，中央教育科学研究所与英国布里斯托大学教育研究院合作，正在我国进行一项学校“效能”评量的试验项目。该项目的目标就是促进我国学校教育质量品质的改善，提升我国教师、教育行政人员的职业能力水平，同时，示范和传播有关教育评价的先进的科学方法和研究的先进技术。鉴于我国的实际情况，收集数据的机制不完善，从一个国家、省(市)进行较大范围的区域性的学校效能评价的条件尚没有完全成熟，还需进一步的努力。目前，我们可以选取某一区域或若干所学校对其课程效能进行评价实践尝试，借鉴国外评估课程“效能”的方法和评量工具，探讨
25、这项方法在我国情境下的运用，并藉此发展现有评鉴学生和学校课程的方法。参考文献：1Slavin, Robert E. and Cynthia Lake. 2008. “Effective Programs in Elementary Mathematics: A Best Evidence Synthesis,” Review of Educational Research, 78 (3), 427-5152Jaap Scheerens, Cees Glas, Sally M. Thomas: Educational Evaluation, Assessment, And Monitoring,
26、 A systemic Approach, Swets & Zeitlinger Publishers, 2003. p304.3汤林春.学校效能评价的尝试J.上海教育科研,2005,(4)4弗兰西斯科.索夫就.课程效能评价以“教育效能与教育评价”为例J.外国教育研究,2005(5).5Thomas. s. (2001), Dimensions of secondary school effectiveness: Comparative analyses across Regions. School Effectiveness and School Improvement, 12(3): 29
27、5-2966Noor Azina Ismail, Ang Guat Cheng. Analysing education production in Malaysia using canonical correlation analysisJ. International Education Journal, 2005, (3).7孙绵涛,关于学校效能评价标准和方法的两点认识,教育发展研究2007/20。8Charles Teddlie, David Reynolds. The International Handbook of School Effectiveness Research M.
28、 2000。9Thomas, S. Sammons, P. Mortimore, P &. Smem, R(1997).Stability and consistency in secondary schools effects on students, GCSE outcomes over 3 years. Schuol Effe timhess and School Improvement, 8, (2): 169-19710Thomas. S. (2001). Dimensions oL Secondary School Effectiveness: Comparative Analys
29、e, Across Regions. Sc/tool Effectivme.,s and School Intyrwemrttt 12(3) .285-32211Scheeren, J, Vermeulen, C &. pelgrum, W(1989),Gencralizibility of Instructional and School Effectiveness lndica-tors Moos, Nation s, luternutivrul Juumul of ucational Re-seuruli, 13, (7): 769-799.12马晓强彭文蓉英萨丽托马斯.学校效能的增值评价一对河北省保定市普通高中学校的实证研究习M.教育研究，2006.(10)，77-83作者： 大连大学工程实训中心 葛斌 辽宁师范大学基础教育课程研究中心 吴志华 来源： 教育科学2012年第01期
