《基于WEB的在线考试新型方案的设计与研究.doc》由会员分享，可在线阅读，更多相关《基于WEB的在线考试新型方案的设计与研究.doc（75页珍藏版）》请在三一办公上搜索。
1、分类编号： 单位代码： 10065 密 级： 学 号： 04206006 研究生学位论文论文题目： 基于Web的在线考试新型方案 的设计与研究 学 生 姓 名： 谢 延 红 申请学位级别： 硕士 申请专业名称： 教 育 技 术 学 研 究 方 向： 远程教育及其网络技术研究 指导教师姓名： 王 志 军 专业技术职称： 教 授 提交论文日期： 2007年3月 摘 要在线考试系统可以帮助考试主管部门实现考试信息和考试流程的系统化、科学化和自动化管理，提高工作效率，减轻命题、组卷、阅卷、统计分析等繁重的工作量。本研究隶属于天津市十一五教育科学规划重点课题“网络环境下教师教育绩效管理模式及智能化支撑平
2、台开发研究”，所做的工作是基于Web的在线考试新型方案的研究、设计与开发。论文共分七章。第一章介绍了本研究的课题背景及意义，通过分析国内外的研究现状，总结出目前在线考试系统普遍存在的问题；第二章对题库建设理论、教育测量理论以及相关的规范和标准做了研究和分析，作为本研究的重要理论依据；第三章介绍了系统实现的一些关键性技术及其在本研究中的应用；第四章论述了在线考试系统的总体设计与构想，在确定总体设计思想的基础上对系统总体特征进行了设计与分析，提出了在线考试系统的体系结构模型，并从功能模型、数据库、系统安全性三个方面描述了系统总体设计。第五章详细阐述了在线考试系统实现过程中的几个关键问题及解决方案的
3、设计与实现；这两章是论文研究的核心内容；第六章介绍了在线考试系统的测试过程及调试步骤；最后总结了本研究的创新点，提出了今后的研究内容与方向。本研究所实现的在线考试系统提供了系统功能模块拆装组合功能,使得系统可以作为一个考试系统独立运行,也可以适用于网络课程生成系统；自动组卷、手工组卷、自测组卷三种试卷策略创建模式交相辉映，可满足不同用户的不同需求；利用CuteEditor简便的实现了多媒体试题的制作，并引入“命题双向细目表”编制试卷蓝图，克服了命题的主观随意性；完备的试卷分析功能，使教师能够全面获取教与学的反馈信息，为新型教学提供依据；系统采用最新Ajax技术，减轻了服务器的负担，改善了用户体
4、验。这是本研究的创新点。关键词：在线考试，测量理论，双向细目表，组卷AbstractThe On-line Test System can help the examination institution manage test information and test process in a systematic, scientific and automatic way, impove the efficiency and lighten the workload of setting paper, generating paper, marking paper, statistical
5、 analysis etc. The study is a part of “Study of Web-based Teacher Education Performance Management Mode and Development of Intellectualized Supporting Platform”, Tianjin 11 Five-Year Education & Science Program Project. It aims to study, design and develop a new solution to the on-line test system b
6、ased on web.The paper consists of seven chapters. Chapter 1 concerns the background and significance of the study. After making analysis of the current situation at home and abroad, common problems in present test system are summarized. Chapter 2 is theoretical framework of this study, discussing th
7、eories of item bank, measure theories and relevant criterions. Then, in the third chapter, some key technologies and their application in the study are introduced. Next two chapters are the core of the paper. The general design and conception of the system are discussed in the forth chapter. Based o
8、n the general design idea, designs and analyses are made about the system characters. A system structure model of the On-line Test System is proposed and the system design is explained in three aspects: function modules, database and system security. Some crucial problems and their solutions are ill
9、ustrated in the fifth chapter. In the sixth chapter, the software test process and debug steps of the system are introduced. The final chapter summarizes the originalities and gives some implication to future study.The On-line Test System fulfills the function of “modules option” to operate indepent
10、ly and it can also be used in Web-based Course Development System. Three modes, automatic, manual and self-test mode of generating papers can meet different needs of users. CuteEditor makes the multimedia item creation easy and using “bilateral table of detailed catalogue” to establish the test pape
11、r blueprint minimizes the subjectivity in setting paper. By comprehensive function of test paper analysis, teachers can obtain the feedback about teaching and learning, which provides guide for future teaching. The latest technology, Ajax, lessens the burden of server and improves user experience. A
12、ll the above are the originalities of the research.Key words: On-line test, Measure theory, Bilateral table of detailed catalogue, Generate Test Paper目录第一章 绪论11.1 课题背景及意义11.2 国内外研究现状和存在的问题21.3 作者所做的主要工作3第二章 在线考试系统理论依据分析52.1 题库建设理论52.1.1 题库的定义与特征52.1.2 题库建设实践程序62.1.3 题库建设理论对本研究的指导72.2 教育测量理论92.2.1 经典
13、测量理论92.2.2 概化理论112.2.3 项目反应理论122.2.4 经典测量理论在本研究中的应用152.3 在线考试系统的相关标准与规范152.3.1 国外资源建设标准代表LOM模型152.3.2 现代远程教育资源建设技术规范162.3.3 测试互操作：信息模型规范172.3.4 相关标准与规范是本研究系统设计的参照目标18第三章 系统实现的关键性技术分析193.1 ASP.NET 2.0新技术193.1.1 服务器控件193.1.2 页面框架203.1.3 服务与APIs213.1.4 ASP.NET 2.0是本研究的技术主体223.2 Ajax新技术223.2.1 Ajax技术简介2
14、23.2.2 Ajax技术工作原理与优势233.2.3 Ajax在Asp.Net2.0中的一种简便实现方式233.2.4 Ajax在本研究中的应用243.3 数据库技术253.3.1 数据库技术基本概念253.3.2 SQL Server 2005263.3.3 数据库技术在本研究中的应用27第四章 在线考试系统总体设计与分析284.1 在线考试系统总体设计思想284.2 在线考试系统特征设计分析294.3 系统软件体系结构模型设计304.4 系统功能模型设计314.5 系统数据库设计334.6 系统安全性设计384.6.1 Web服务器安全策略设计384.6.2 数据库安全设计394.6.3
15、 ASP.NET应用程序安全设计40第五章 系统关键问题及解决方案设计与实现415.1 多媒体试题的制作415.1.1 试题的编制原则415.1.2 多媒体试题的制作425.1.3 CuteEditor的使用方法简析435.2 基于双向细目表的自动组卷策略445.2.1 命题双向细目表445.2.2 组卷参数介绍455.2.3 自动组卷的设计与实现465.3 考生在线测试功能485.3.1 在线考试流程设计485.3.2 考试界面的设计495.3.3 关键功能设计简析495.4 学生评价功能505.4.1 学生相对评价505.4.2 学生绝对评价515.4.3 学生个体内差异评价515.5 试
16、卷分析功能525.5.1 试卷分数集中量分析525.5.2 试卷分数差异量分析535.5.3 试卷分数分布情况分析545.5.4 试卷质量分析55第六章 系统测试与调试586.1 单元测试586.2 组装测试596.3 系统测试596.4 调试60第七章 结束语617.1 本研究的创新点617.2 展望62参考文献63致谢65攻读硕士学位期间发表学术论文情况66攻读硕士学位期间科研情况67攻读硕士学位期间其他奖励情况67附录1 数据操作层事务应用实例68 第一章 绪论1.1 课题背景及意义本研究隶属于天津市十一五教育科学规划重点课题“网络环境下教师教育绩效管理模式及智能化支撑平台开发研究”。作
17、者作为此课题负责人王志军教授的学生有幸参加 “智能化支撑平台网络课程生成系统”子课题组，并承担网络课程生成系统下的在线考试系统和离线作业系统的研发工作。网络课程的开发和设计是课程设计中的新领域、新概念，也是现代远程教育工程建设的核心和重点。所谓网络课程就是通过网络表现的某门学科的教学内容及实施的教学活动的综合，它包括两个组成部分：按一定的教学目标、教学策略组织起来的教学内容和网络教学支撑环境，其中网络教学支撑环境特指支持网络教学的软件工具、教学资源以及在网络教学平台上实施的教学活动1。显然，在线考试作为网络课程的一种重要组成子系统，对良好网络教育支持环境的搭建具有及其重要的意义。现阶段虽然远程
18、教育已经蓬勃地发展起来，但学校与社会上的各种考试基本还是采用传统的考试方式，在这种方式下，通常组织一次考试至少需要经过五个步骤：人工出卷、考生考试、人工阅卷、成绩统计和试卷分析。随着各种考试类型的不断增加和考生数量的不断膨胀，传统考试方式暴露了许多弊端2：（1）出现不必要的重复劳动，造成人力、物力、财力的浪费；（2）人工出卷和阅卷错误率高，难以保证成绩的公平性；（3）存在着考前压题、漏题等不良现象；（4）考试时间难以控制；（5）试卷印刷容易出错，造成不必要的麻烦。显然，传统的考试方式已经不能适应现代远程教育和知识更新的需求，因此开发一套在线考试系统具有重要现实意义：1. 在线考试突破了时空限制
19、。在线考试系统突破了传统考试模式的时间、空间限制，有利于组织大规模异地实时考试，可以满足任何授权的考生在规定的时间段内在任意时间和可用地点参加考试，大大提高了教学内容和考核方式的灵活性。2. 在线考试提高了工作效率。在线考试系统减轻了考试主管部门人员尤其是教师在命题、组卷、阅卷、统计分析等方面繁重的工作量，提高了工作效率。3. 在线考试节省财政开支。在线考试真正实现了无纸化办公，节省了纸张、印刷等考核费用。4. 在线考试更能体现了考核的客观公正性。在线考试采用试题库方式提供试卷来源，考前无任何成套试卷，考试时各考生试卷不完全相同，避免了互相参看导致的不公平成绩。自动阅卷等功能增加了考核的透明度
20、，降低了错误出现的概率和教师主观因素的干扰，更能体现考核的客观公正性。5. 在线考试为考生营造了一个个性化的学习环境。在线考试系统为考生提供了丰富的信息资源，除教师制定的试卷外，考生还可以进行自测练习，根据个人的特点和需求制定自测试卷，为提高自身综合素质打下坚实的基础。6. 在线考试考核形式多种多样。在线考试中添加了传统纸质试卷中极少、甚至无法应用的图片、声音、动画等多媒体形式，能将文字难以描述的东西以多媒体的形式直观的表现出来，有利于考核的准确性和灵活性，减弱考生对考试的抵触情绪。积极适应信息网络化的发展趋势，利用先进的网络技术、数据库技术和人工智能技术，结合当前网络普及化的大好时机，开发一
21、套基于B/S模式的在线考试系统具有深远的意义。1.2 国内外研究现状和存在的问题我国的一些考试机构和学校非常重视在线考试的建设。1990年由国家教委考试中心牵头，召开了国内第一次教育考试题库理论研讨会，探索建立符合我国教育考试实际情况的题库理论和方法3。目前，基于网络的考试主要是面向社会上的培训认证考试和远程教育的考试，开发主流为基于WEB的考试系统。以下介绍几个典型的在线考试系统，以说明国内外的研究现状45。北京师范大学研究开发的基于Web的通用题库系统的两大特点是：（1）集中管理，由统一权威机构进行维护和管理，任课教师没有自主修订权；（2）开放使用，通过网络征集试题和组织测试。全美测评软件
22、系统（北京）有限公司（ATA）是一家提供考试技术和考试内容服务的专业公司，ATA针对中小学信息技术课程定制的校园智能化测试平台E考通，支持广域网和局域网操作，考生可以进行网上的互动练习、课外作业和提问；教师可以进行网上指导、网上批改作业7。鹏博士在线考试系统及题库录入系统是一套基于浏览器的易学易用的产品，该系统包括用户管理、试题管理、智能组卷、网上考试、成绩分析等功能，主要缺点是对试卷、试题的分析不够深入，对题库没有维护功能，不利于标准化考试。科教2000网络考试系统是成都北斗星信息技术发展有限公司推出的多功能辅助教学系统，是一个练习、测试自动化全面解决方案。具有教学题库管理、自动试卷生成、网
23、上测验、网上练习、自动成绩统计等多项功能。但该系统虽对题库进行了扩充，但仍没有淘汰更新机制，也没有将考生从题海战术中解放出来，且分析统计功能较弱8。一些高校及科研单位也开发了各类基于WEB的在线考试系统投入实际应用。一些大规模高校的部分计算机学科，特别是计算机基础学科也在制作和试用在线考试系统进行无纸化考试，如华中科技大学、上海同济大学等5。除研究以上实例以外，作者还采用文献法对在线考试系统的功能设计信息进行调查研究。检索的具体方式是选择中国期刊网中的中国学术期刊全文数据库和中国优秀博硕士学位论文全文数据库，采用关键字“在线考试”共命中146篇，其中期刊124篇，学位论文22篇；采用关键字“在
24、线测评”共命中4篇，其中期刊3篇，学位论文1篇；采用关键字 “网络测评”共命中文章5篇，其中期刊4篇，学位论文1篇。对文章逐一进行查看，共确定文章52篇作为研究对比对象。通过分析案例和研究文献发现目前在线考试已经取得了较大发展,但是还存在着很多不完善的方面,使得在线考试在短时间内难以取代传统的考试方式。现有在线考试系统主要存在着以下问题：（1）题目类型固定，不具备可修改、可扩充性；（2）试题形式单一，缺乏音频、视频、动画等多媒体试题形式；（3）组卷方式形式单一，且科学依据不足；（4）重视考生的考，而忽略考生对试卷的复习与分析；（5）试卷分析功能不足。本研究针对上述问题，在借鉴其它系统优点的基础
25、上并结合教学过程和教学管理中的一些实际情况，提出了基于Web的在线考试新型方案。1.3 作者所做的主要工作经过近两年的调研、设计、编程以及测试，课题组共同合作完成了整个网络课程生成系统的研制工作，作者也如期完成了预定目标-实现了网络课程生成系统中在线考试和在线作业子系统的研发工作。在整个系统开发过程中，作者做的主要工作有：1. 系统开发准备阶段：与课题组成员一起，通过专家访谈、教师用户访谈、网络和文献研究等形式调研国内外网络课程功能模块和网络课程开发现状，制定系统开发计划。2. 系统分析阶段：深入研究考试系统相关的题库和教育测量理论，调查现有各种模式的考试系统，借鉴其优点，弥补其缺点，制定需求
26、计划；然后根据需求计划分析考试系统需实现的功能模块和各种可能的制约因素，从而保证系统的完整性、先进性和可扩展性。3. 系统设计阶段：确定系统的总体设计方案、划分各子系统功能模型，综合考虑各种制约因素，利用有效的技术手段和方法进行各种具体环节设计，包括系统体系结构设计、功能模块设计、界面导航设计、数据库设计、系统安全性设计以及系统关键问题及解决方案的设计等。其中充分考虑考试系统功能模块与网络课程生成系统以及其它子功能模块的数据共享与协调通信等问题。4. 系统开发阶段：依据前面的设计，搭建程序开发运行环境，根据详细设计方案进行程序的编写和调试。5. 系统测试、完善阶段：根据制定的测试计划，依次进行
27、单元测试、集成测试和系统测试，在测试中发现问题，解决问题。同时聘请专家教师对系统进行评价，并根据评价意见与建议不断修改完善系统。第二章 在线考试系统理论依据分析理论和实践是相辅相成、互相促进的，理论指导了人们的实践，而实践又推动了理论的完善与发展。考试系统是一项理论性强，实际意义重大的复杂工程，需要用更多、更实际的理论和方法来指导系统的设计。2.1 题库建设理论题库可以存储试题，又有辅助命题和记录分析考试结果的功能。随着题库规模的不断增大，对组卷的智能化、科学化要求越来越高，并需实时统计出考试结果分析数据，因此题库建设理论显得尤为重要，是在线考试诸多理论中的根本。2.1.1 题库的定义与特征题
28、库是适应考试事业大规模发展，考试过程的科学化、标准化的需要发展起来的，国内外许多教育机构、软件公司都在倾心研究题库。题库（ITEM BANK）是按照一定的教育测量理论，在计算机系统中实现的某个学科题目的集合，是在数学模型基础上建立起来的教育测量工具8。题库的任务是拼制不同测量目的的试卷，是考试系统的基础与根本，因此题库应该满足一定的要求9。1. 题库中的试题技术参数应当齐备，试题质量要有保证。题库的基本组成单位是单个试题，试题的各项参考技术参数必须统一明确，试题质量要有保证，这样便于用户按照一定的科学程序，根据试题的技术参数挑选试题，优化组合成符合一定内容、性质、难度等不同要求的优质试卷，使试
29、卷符合预定的各项质量指标，保证考试的可信性和有效性。2. 题库中题目数量充足，比例结构合理。题量小就难以生成满足特定要求的试卷，也不能满足多次考试的需要。同时题目的比例结构要科学合理，主要指内容范围、能力层次、难易比例、题目类型等方面。否则，题库编制试卷的各种优越性就难以发挥。3. 题库中试题必须按科学原则分类、存储，形成有机整体。试题存储的目的在于使用，只有按科学原则把试题系统的组织起来，才能准确、方便、灵活地检索和调用。为使信息使用时充分发挥在管理学上的优越性，还应使存储的试题有完备的信息，一般，除试题内容、参考答案、评分标准外，还应包括考核的知识点与目标层次，试题技术参数，使用记录等。4
30、. 题库必须是动态的。首先，各门学科都在不断地发展变化，因此各学科题库内容也应不断的更新，需及时添加、修改、删除试题。其次，考生水平也在不断提高，这样试题参数和考核能力层次也会有所变化。所以，题库的动态性不但表现在测试内容的更新上，而且还表现在试题统计特征的变化上。题库内容的动态性保证了它能及时灵活的去为社会需要服务，使考试机构不断积累和扩大命题研究成果。2.1.2 题库建设实践程序题库建设是一项相当复杂艰巨的系统工程，需要各学科专业人员消耗大量的人力物力协同努力才能完成，不经过充分的认证和缺乏理论指导就进行题库建设的行为是盲目的，势必会造成人力物力财力的浪费。题库建设不仅需要教育测量学理论的
31、指导，还要用系统工程的观念去建设和管理，才能保证题库系统的质量。题库建设一般包括以下几个工作阶段91011。1. 试题的编制与汇集试题编制之前首先要有一个成熟稳定的考试大纲，这个大纲规定的考试性质、内容、目标能力层次、难度、题型、分量、权重、考试时间等内容要符合考试的对象和用途。考试大纲是命题的依据，题库中的题目必须根据考试大纲进行征集和编写，题目在学科知识方面无可挑剔。审题是保证试题质量的关键，因此一般要组织专人审查、专家组会审后才能入库。题目的编制和汇集是题库建设的关键，关系到整个题库的质量、试卷的质量以及统计评价的准确程度。此阶段应由学科教学人员和心理与教育测量人员共同协作完成，但主要责
32、任应由学科教学人员负责，由组织人员进行协调。2. 试题统计分析为保证试题的科学性和有效性，所有的试题在有可能的情况下都需经过测试。测试就是把写好的试题拿到与将来考生相一致的样本中试验以获取题目的技术参数，即对每一道试题都有技术分析，并取得统计参数。试题分析可以了解题目是否达到大纲的要求，作为试题筛选的依据。试题分析还可以确定试题难度、区分度等技术参数，这些参数在组卷、试题、试卷的统计评价中有重要的意义。试题的分析还要把试题参数进行等值处理，因为不同测验试卷的题目的各项技术参数是与考生团体有关的。同样的题目，在不同的考生团体中会求得不同的题目参数，即它们在不同的量表之中。题目参数的等值处理就是将
33、所有的试题参数统一到同一个坐标系中，以确保试题参数的可比较性，这样十分有利于题库建设。此阶段应由学科教学人员、心理与教育测量人员以及计算机专业人员协作完成，心理与教育测量人员应居主导地位，由组织人员进行协调。3. 存储建库一般题库的规模都比较大，这就需要采用紧凑、安全、高效的存储方式，设计一个灵活方便的题库生成以及检索修订程序，以便能方便的管理题库。题库中的试题存储时要有“序”，这个“序”既取决于学科体系结构本身又取决于考试性质目的对题库统计特征的要求。题库要采用恰当的标引语言，按照科学的原则与顺序，把试题和应有的信息资料有机地组织起来12。此阶段应由计算机专业人员承担，但仍需心理与教育测量人
34、员的配合，组织人员的协调。4. 动态维护题库具有动态性，应随着学科内容和考生水平的不断发展变化而变化，决不是一成不变的。动态的维护，就是要经常检查试题的思想性、科学性，根据学科内容和考生水平的发展不断的对题库中的试题做相应的补充、修改和删除工作，及时修正试题的各项技术参数。题库的修订要精心规划，严格执行，考试系统在设计题库的结构时就要考虑到以后的修改和扩充需求，使系统在整体框架不变、能保持系统相对稳定的前提下，具有一定的扩展能力。此阶段更需依赖管理人员的组织协调，并在学科教学人员和心理、教育测量人员、计算机专业人员和管理人员这四种人员的共同努力协作下完成。2.1.3 题库建设理论对本研究的指导
35、题库建设是个艰巨的系统工程，整个工作过程必须要有坚实、科学的理论基础。从题库的功能和题库建设的理论依据来看，建立题库不仅涉及教育测量理论，还涉及到多方面的教育教学理论912，对本研究有重要指导意义的理论有：1. 学科体系与教育目标层次分类理论如何划分试题学科体系与目标层次以及如何描述题库中试题考核内容，即题库中的试题是用来测量什么，以及试题之间是如何分类和分层的，是命题与征题规划的基本依据。本研究中，试题认知度技术参数采用布卢姆关于认知领域的教育目标分类，即分为知道、领会、运用、分析、综合和评价六个等级。2. 题型功能与命题技术题型功能与命题技术理论提供了编制试题的原则和方法，也提供了评价题库
36、结构的根本标准，是题库建设理论的一个重要方面。本研究中，一张试卷是由多种题型搭配组成的，如何确定题型及各题型所占比例，如何有效的使用各种题型都是需要考虑的。由于考生解答选择、填空题所需的时间相对较少，即使对于同一内容的试题，也可按照知识和能力的不同侧重点选编不同的试题，变化余地较大。因此本研究利用双向细目表规划试卷蓝图，在一定程度上克服了教师的主观随意性，同时本研究推荐，在试卷中增加客观试题的比重以增加知识和能力的考察面，避免阅卷教师主观因素所造成的评分标准不一致。3. 题目统计分析技术题目分析技术是科学地修订、筛选和调取使用试题的重要理论基础。测验题目是否优良，必须有技术参数来说明，否则就不
37、能科学地进行试题筛选、修订和调取使用工作。因此，本研究中各项技术参数均以列表形式呈现给用户，保证技术参数的全面性。同时根据试题的通过率及时调整试题参数，保证技术参数的科学有效性。4. 测验等值测验等值化的目的是寻找不同测验形式之间的分数转换关系，把不同测验形式上的分数都转换到同一度量系统上。测验等值本身包括两个方面：考生测验分数的等值和试题参数的等值。前者解决考生在不同测验中总分的转换问题，后者解决不同测验上的试题的难度、区分度的对应关系问题。本研究中考生试卷分数采用原始分数和标准分数两种表示方式，使同一试卷内部分数可做相对和绝对评价分析，也使得不同试卷间的分数具有可比性。5. 试题和试卷的拼
38、合及质量评价。本研究中，每次测验后都会自动对测验后的分数进行统计分析，获得符合特定考核目的的统计数据如平均分、标准差、分数分布状态（包括及格率等），以及测量标准误（信度）等。通过这些分析数据来了解考生对教材、教法的适应情况以及由此来诊断教学过程中存在的问题，以便调整教学策略。题库建设与教育理论的联系，还有其他一些方面，即题库建设是学科的综合性应用，当然仍以教育测量、教育统计理论作为主导。2.2 教育测量理论教育测量是根据教育目标的要求，按照一定的规则对教育活动的效果加以数量化测定的过程，主要用于对考生精神特征的测定。教育测量根据测验目标的不同可以分为学业成就测验、智力测验、能力倾向测验与人格测
39、验。学业成就测验即考生学习效果的测验，是关于教学目标的考试13。本研究把“考试”界定为学业成就测验，因此，测量理论完全适用于“考试”这一特殊教育形式。教育测量理论的发展大体经历了两个阶段，20世纪50年代以前是经典测量理论阶段；50年代以后至今是多种理论并存阶段。除了经典测量理论外，概化理论和项目反应也被广泛接受并运用到测量的实践活动中。2.2.1 经典测量理论20世纪20年代开始以真分数理论（True Score Theory）为代表的经典测量理论（Classical Test Theory，简称CTT）逐渐发展起来，并传入我国。20世纪50年代初期，格里克森出版的心理测验理论标志着经典的心
40、理计量学理论的成熟，后来洛德与诺维克合编的心理测验分数的统计理论将经典测量理论推至顶峰。1. 经典测量理论的基本内容911经典测量理论的特点之一就是各种测验的参数须从考生样本中求得，经典测量理论的基础是真分数模型。所谓的“真分数”其数学上的定义为：测量上被试的真分数是观测分数（或说测量实得分数）的期望值。可以用下式表示：TX （21）其中：X为被试在测验上的实得分数，X代表X的数学期望，T即被试的真分数。显然，在此意义上的真分数是不能直接测量得到的，因为据式（21），可将T解释为被试在无数多次独立重复测量上获得的平均观测分数。即： （22）从信息论观点出发，可对真分数作出定性的解释：任何一组信
41、息都包含有真正的信息信号和无关的信息（噪音）。心理与教育测量的目的在于获得被试的真正信息，排除无关信息。测量上，真正的信息称为真分数，无关信息称为误差。因为误差，直接测量而得的观测分数便会在一定范围内波动。经典测量理论的真分数模型对此进行了简单而有效的描述，提出了一系列基本定义和推导。（1） XTE （23）其中，X是被试在测验上的观测分数，T是被试的真分数，E为测量误差。此式定义：观测分数是真分数与误差分数之和。（2） （24）此式定义：真分数与观测分数的各自平均数相等。（3）E0 （25）此式定义：误差分数的期望值为0。（4） （26）此式定义：真分数与误差分数的相关为0。（5） （27）
42、此式定义：不同测验误差之间的相关为0。依据上述的定义，所有有关经典测量理论及方法，所应用的各种公式及定义，均是依据真分数理论的模型推导而来。基本假设、信度和效度被称为经典测验理论的三大支柱，题目分析和标准化是它的方法体系。在上述理论的基础上，经典测量理论建立了一整套质量指标的计算公式，完善了测验的标准化程序，具有很大的使用价值。2. 经典测量理论的优点与缺点经典测量理论的优点在于：（1）以弱假设为基础，这些弱假设条件容易被绝大多数测验数据资料所满足。（2）具有完善的测验理论以及简明的题目和测验统计分析方法，易于掌握和理解。（3）我国的教育工作者在实践中加深了对经典测量理论的认识，形成和完善了一
43、套适合我国国情的具体应用方法和应用原则。经典测量理论的不足主要表现在以下几个方面：（1）经典测量理论的题目参数（如题目难度、区分度）是通过该题的人数的平均得分率和题分与试卷分的相关计算求得的，所以会受到不同考生样本组能力水平的影响。（2）在经典测验理论的条件下，题目参数与考生得分是在不同的基础上分别求得的，所以考生能力的估计会由于测验的改变而改变。（3） 经典测量理论中的严格平行测验假设和误差与真分数不相关，在现实中不可能实现。2.2.2 概化理论概化理论的基本观点形成于20世纪60年代末、70年代初。以克龙巴赫(Cronbach)等人的系列论文和论著的问世为标志，但正式提出这一理论的是Cro
44、nbach等人在1972年出版的行为测量的可靠性一书。1 概化理论的基本内容1015概化理论（Generalizability Theory，简称GT）是经典真分数理论与方差分析相结合的产物，它把因素试验设计、方差分量模型等统计工具应用到教育与心理学，对经典的信度理论进行推广，对于测验的编制、施测过程中的误差控制、测验的评价等提出了一套新的方法。概化理论结合测量的情境关系对经典测量理论中的误差进行分析，考察误差的不同来源，并在一定范围内变动测量的情境关系以分析变动引起误差的相对变化，对误差进行控制，提高测验的信度。概化理论认为，任何测量都是在特定的测量情境下进行的，测量的根本目的并不是为了获得
45、特定条件下的测量结果，而是要以此来推断更广泛的条件下可能得到的测量结果。为此，概化理论给出了几个基本概念：（1）测量目标，即测量所要描述和研究的那个心理特质；（2）测量侧面(facet)，是指影响测量过程和测量结果的各种内外在因素，一个测量侧面就是某一方面的测量条件；（3）测量情境则是由测量目标和测量侧面构成的。我们研究测量问题，主要关心测什么和怎么测，测量目标解决“测什么”的问题，而测量侧面则涉及到“怎么测”。显然测量侧面是测量误差的重要来源，它对测量的信度有重要的影响。用概化理论来研究测量问题时，通常分两步进行：G研究（Generalizability Study，即拓广研究）和D研究（D
46、ecision Study，即决策研究）。G研究的目的是要估计与每个随机侧面相联系的误差的大小，而D研究是在G研究的基础上作出某种决策。具体来讲，G研究只是根据所考查的测量目标和测量侧面确定测量的设计，根据收集到的原始数据借助方差分析对测量情境中的误差进行分析。D研究则是在G研究的基础上，计算概化系数和依存性指标，在最大化概化系数和最小化误差基础上，选择最优测量方案。2 概化理论的优点与缺点与经典测量理论相比，概化理论理论的优点有：（1） 在理论假设上，概化理论扬弃了经典理论的“严格平行测验假设”，将平行测验推广为操作十分方便的随机平行测验，使分析问题的条件较容易得到满足。（2） 在具体方法上，概化理论利用方差分析技术，把测验变异分解成多个部分，每个部分对应于特定的误差来源，更便于测量误差的控制。（3） 在测验设计上，概化理论注重测验的整体设计，不仅能够对各种测量条件下引起的信度变化分别予以考察，而且能够将多种测试条件共同引起的信度变化反映出来。概化理论的缺点有：（1）在基本思想上，概化理论在心理特质多维性测量的研究上觉得力不从心。（2）在计量方法上，由于数据结构的复杂性，方差分量估计有时还会出现负值。（3）在测量应用上，概化理论用于实测数据的事后分析是比较理想的，但用在事先指导时，就要逊色一些。正是概化理论存在着以上一些局限性，所以其优点难以得到
