《搜集教育评价信息的主要方法.ppt》由会员分享，可在线阅读，更多相关《搜集教育评价信息的主要方法.ppt（82页珍藏版）》请在三一办公上搜索。
1、搜集教育评价信息的主要方法,付道明广东省韩山师范学院教育系,第一节 观察法,一、观察法的含义和特点(一)观察法的含义:是指评价者通过自身的感觉器官或借助于一定的科学仪器,有目的,有计划地对教育评价对象的自然活动状态进行系统,深入地观察,以获得评价对象准确客观资料的方法.(二)观察法的特点第一,观察的目的性和计划性.,第二,观察的自然性和真实性.第三,观察的重复性.第四,观察的能动性.第五,观察的凭借性.,二、观察法在搜集评价信息中的作用,(一),能够获得被评对象比较充实,客观的原始资料,为教育评价提供重要依据和前提.第一,观察学生学习,生活,娱乐等各个方面的情况.掌握学生的全面信息,从而作出正
2、确的价值判断.,第二,观察教师的教育,教学活动,帮助我们系统的了解教师的活动,从而为教师的评价提供必要的信息和依据.第三,通过观察学生和教师的情况,有助于建立良好的师生关系.第四,通过观察学校的硬件设施,从而为教育管理部门提供现实依据.,(二)是检验一种教育评价思想和理论是否科学的重要依据.,三、观察法的类型,1.根据观察时是否借助于仪器,可分为直接观察法和间接观察法.2.根据评价者是否直接参与观察对象所从事的活动可分为参与性观察法和非参与性观察法.3.按照观察的范围可分为全面观察法和抽样观察法.,4.根据观察实施的方式可分为有结构观察法和无结构观察法.(1)有结构观察法包括:一,时间取样设计
3、;二,事件取样设计;三,行为核查法.(2)无结构观察法分为实况记录法和轶事记录法两种.,研究案例弗兰德斯课堂观察互动分析法,本观察研究的目的是为了解教师在是否以视频为中心的网络课程进行教学的情况下，师生互动是否存在差异，学生在自主学习、协作学习和探究性学习中是否存在差异。,课堂分析方案 弗兰德斯互动分析对一名学生的观察分析 对学生学习投入状态和非投入状态的观察,该案例摘自华南师范大学2004级教育硕士论文,师生言语互动分析,结论：说明在课堂教学中教师处于“主导”地位。在控制组课堂内，学生主体地位并没有得到真正的体现，而试验组学生的主体地位则得到了较好的体现。由于二者均采用了小组协作的讨论形式，
4、而且教师的教学行为和方法一致，所以我们认为在试验组教学中，以视频媒体为中心的网络课程在引导学生思维、开展小组协作和会话，进而在意义建构方面都起到了关键的作用。,控制组师生课堂言语互动图,试验组师生课堂言语互动图,对一名学生每分钟具体活动的观察分析,控制组观察结果,试验组观察结果,结论：控制组学生“无关活动”出现频率较大，“动手实践”、“讨论”和“阅读”等学习活动较少；被动接受知识的活动如“听”、“写”较为多。因此，从该名学生的具体学习行为分析，我们认为该生处于被动学习的状态，而且容易受到外界干扰。试验组学生的无关活动大大减少交互类活动如讨论、思考等增多，我们认为该生处于较好的学习的状态。,学生
5、学习投入状态和非投入状态分析,控制组学生学习投入状态观察表,试验组学生学习投入状态观察表,控制组学生学习非投入状态观察表,试验组学生学习非投入状态观察表,结论：就投入状态而言，试验组学生好于控制组，进一步对两组目标学生进行分析可以知道：控制组中“与任务无关的闲聊”、“做其他工作”以及“打瞌睡”等学习非投入活动出现较为频繁。在目标学生的学习活动中，非投入活动分别占据了60、70、40、60和50，这表明这五位同学在整个学习活动中处于消极学习的状态。试验组中，“做其他工作”成为出现最为频繁的非投入活动，在观察中每位同学均出现过这种活动，五位同学的非投入活动比例分别为10、20、30、30和10，这
6、表明这五位同学基本处于一个良好的学习状态。,第二节 文献法,一、文献法的含义和种类文献法是指根据评价目的和内容、搜集、鉴别、整理有关评价对象的文字记载或音像记录的材料,从而收集评价资料的方法.教育评价文献根据是否具有原始性可以分为一次性文献和二次性文献两种.,二、教育评价文献信息的来源,1.档案与校历.2.会议纪实.3.教学文案.4.课题成果.5.课程计划.6.学校管理制度.7.学生管理文案.,三、教育评价文献信息的查询,(一)教育评价文献信息查询的途径第一,网络查询.第二,调查访问各地方教育行政部门.第三,调查学校行政办公室和教导处.,(二)教育评价信息的检索途径和方式,1.检索途径第一,题
7、名途径.第二,著者途径.2.检索方式第一,传统的手工方式.第二,计算机查询.,第三节 调查法,一、调查法的含义和特点(一)调查法是指通过问卷、访谈、测验等科学方式,有目的、有计划、系统地收集有关教育评价的信息与资料的方法.(二)调查法的特点第一,调查问题的现实性.,第二,调查的真实性.第三,调查样本的代表性.第四,调查方法的灵活性.,二、调查的一般步骤和要求,第一步,明确的调查目的,确定调查范围及对象.第二步,选择调查方式.第三步,制定调查计划和提纲.第四步,实施调查.第五步,调查资料及数据的处理.,三、问卷调查法,(一)问卷调查法的含义:是指以书面提出问题,由评价对象作答的方式进行搜集资料的
8、方法.(二)问卷调查法的优点和局限1.问卷调查的优点第一,时间的灵活性.第二,问卷法的取样不受限制.第三,调查者和被调查者无须对面接触.,2.问卷调查法的局限第一，如果回收率低,会影响其代表性.第二,可能出现估计作答的现象,影响答卷的准确性.第三,搜集到的资料往往是表面的,还需进一步的分析.,(三)问卷的结构一般包括标题、指导语、问卷的正文等几个部分.(四)问题的形式1.封闭式的问题.包括一,是否式问题.二,单选式问题.三,多选式问题.四,排序式问题.五,划记式问题.六,表格题.,2.开放式问题.(五)问卷的编制程序与设计要求1.编制问卷的程序(六个基本程序)2.问卷设计的基本要求(七个基本要
9、求)(六)问卷调查的实施,案例西北地区远程学习者特征和学习障碍的调查报告,一、西北地区远程学习者特征和学习障碍调查研究的目的意义 为了有效地通过远程教育为的部地区培养本地所需的各级各类人才，构建符合本地学习者特征和需要的远程教育模式，实施卓有成效的远程教学，我们有必要对西部的远程学习者的学习特征和学习障碍进行调查和分析。二、西北地区远程学习者特征和学习障碍调查研究的方法与过程 1样本 研究采用问卷调查的方法，以处于我国西北的宁夏、内蒙古、甘肃和陕西等地的电大的学生为样本总体，采用分层抽样的方式，分别在护理、机电工程、旅游、汉语言、教育技术、财务会计、电视节目制作、法律、服装设计与制作。计算机油
10、用、电子商务、工商管理、英语、小学教育、市场营销、热能动力16个专业中，各随机选择一个班级的学生为样本。抽样调查人数共为475人，回收的有效问卷是408份，有效问卷的回收率为859。,案例西北地区远程学习者特征和学习障碍的调查报告,2、研究过程 研究自2001年3月开始，4月设计问卷的初稿，5月请三位远程教育研究专家对问卷设计和所有项目进行信度论证，经修改后成为问卷的第二稿。6月进行问卷的先行性研究，请12 位宁夏电大的在读学生填写问卷，以了解问卷的内容和文字是否适合宁夏电大的学生，再经修改后定稿。为了增加学生的新鲜感，选择粉红色的纸张来印刷问卷。3、数据处理 问卷的数据输入和分析在2001年
11、11月12日进行，应用的统计软件包是SPSS V10.0版本。,案例西北地区远程学习者特征和学习障碍的调查报告,三、西北地区远程学习者特征和学习障碍调查研究结果的分析 1、远程学习者的特征分析 学生的年龄分布 学生的工龄分布,案例西北地区远程学习者特征和学习障碍的调查报告,2远程学习者的学习动机,案例西北地区远程学习者特征和学习障碍的调查报告,3远程学习者的学习方式,案例西北地区远程学习者特征和学习障碍的调查报告,4远程学习者的学习障碍,案例西北地区远程学习者特征和学习障碍的调查报告,5远程学习者寻求帮助的途径,案例西北地区远程学习者特征和学习障碍的调查报告,6远程学习者对技术资源的了解和使用
12、,案例西北地区远程学习者特征和学习障碍的调查报告,四、西北地区远程学习者特征和学习障碍调查结果的讨论调查研究的结论1、远程学习者的特征与涵义2、远程学习者的学习障碍与策略性建议,四、访谈调查法,(一)访谈调查法是指评价人员或确定的访谈者与评价对象或访谈对象面对面地交谈,从而了解情况,搜集有关评价资料的信息的方法.“访谈”就是研究者“寻访”、“访问”被研究者并且与其进行“交谈”和“询问”的一种活动。访谈法是研究者通过与研究对象进行口头交谈的方式来收集对方有关心理特征和行为数据资料的一种研究方法。(二)访谈调查法的优点与局限,1.访谈调查法的优点第一,具有较好的灵活性和适应性.第二,具有较强的可控
13、性.第三,调查过程具有互动性.,2.访谈调查法的局限第一,需要更多的时间和经费.第二,标准化程度低,难以统计.第三,某些因素影响结果的一致性和真实性.,前者是一种有特定目的和一定规则的研究性交谈，而后者是一种目的性比较弱（或者说目的主要是情感交流）、形式比较松散的谈话方式。两种交谈方式都有自己的交流规则，交谈双方一旦进入交谈关系，便会自动产生一种默契，不言而喻地遵守这些规则。,访谈与日常谈话的区别,访谈的功能,与观察相比，访谈可以了解受访者的所思所想和情绪反应。与问卷调查相比，访谈具有更大的灵活性以及对意义进行解释的空间。与实物分析相比，访谈更具有灵活性、即时性和意义解释功能。,访谈的特点,互
14、动性艺术性科学目的性,(三)访谈调查法的类型,1.根据访谈的人数可以分为个别访谈和集体访谈.2.根据访谈问题的设计可以分为标准化访谈,半标准化访谈和非标准化访谈.3.根据调查者和调查对象接触方式的不同可分为直接访谈和间接访谈.,1、根据访谈内容和过程有无一定的结构,访谈法的类型,结构型访谈（封闭型）非结构型访谈（开放型）半结构型访谈（半开放型）,结构型访谈,是一种有指导性的、正式的、事先决定了的问题项目和反应可能性的访谈形式。,非结构型访谈,是一种非指导性的、非正式的，自由提问和作出回答的访谈形式。,半结构型访谈,A型要求被试自由地回答预定的访谈问题，也可以用讨论的方式作答。B型按有结构的方式
15、回答无结构的问题。,是运用较多的一种访谈形式，是在运用访谈提纲的基础上进行、事先列出所问的问题或交谈的话题。,访谈的类型,2、其他分类标准,根据正式程度，分为正轨型和非正规型。根据接触方式，正规型又分为直接访谈和间接访谈。根据受访者的人数，分为个别访谈和集体访谈。根据访谈的次数，分为一次性访谈和多次性访谈。,访谈问题的设计,1、问题的类型,开放式问题封闭式问题,开放式问题,是在内容上没有固定的答案、允许受访者作出多种回答的问题。具体形式有：,自由回答式言语联想式,封闭式问题,要求访谈对象在事先确定的几个选择答案中选择一个自己认为最适合的答案。具体的形式有：,正误式多种选择法排序法评分法,访谈问
16、题的设计,2、问题的编制,问题要清楚明确文字表述要适合访谈对象的文化程度和知识经验水平注意使每一具体提问都集中在一个单一的变量或问题上提问时的措辞不能流露出自己的偏见。,(四)实施访谈调查的步骤,第一步,设计和制定访谈计划.第二,试行访谈.第三,正式访谈.第四,整理谈话记录.第五,撰写访谈调查报告.,访谈法实施过程与技巧,1、访谈前的准备工作,充分熟悉访谈问卷的内容带齐进行访谈所需要的有关材料尽可能了解访谈对象选择好访谈的合适时间、地点。,访谈法实施过程与技巧,2、接近访谈对象,称呼自我介绍访谈相关事宜（目的、意义、内容、时间、原因）,访谈法实施过程与技巧,3、对付拒绝的技巧4、谈话与提问的技
17、巧5、追问的技巧6、访谈的记录7、访谈的结束与再次访谈,(五)运用访谈法应注意的问题,第一,充分作好访前准备.第二,选择适当的时间,地点和场合进行访谈.第三,访谈者需要由访谈对象的熟人引见.第四,建立一个融洽的氛围.,第五,访谈者要注意提问技巧.第六,要严守保密的原则.第七,认真作好访谈的记录.,五、抽样的基本方法,(一)抽样调查是从全部评价对象中,抽选一部分对总体具有代表性的对象进行调查,并椐此取得反映总体情况的评价资料和信息.(二)抽样调查按照不同的标准分为以下几类1.简单随机抽样,2.分层抽样3.系统抽样4.整群抽样,简单随机取样法,保证总体的每一个对象有同等的被抽取到的可能性，并要求它
18、们之间都是独立的。两种方式：抽签利用随机数字表,先将总体各单位按某一标志顺序排列编号，然后用总体单位数除以样本单位数求得抽样间隔，最后在第一个抽样间隔内随机抽取一个单位作为第一个样本单位，并按抽样距离做等距抽样，直到抽取一个样本单位为止。其抽样误差比简单随机抽样小，但如果总体中存在周期性的波动或变化，就可能出现系统偏差。,系统随机取样法,如:在1000名学生中抽取58名作为样本，步骤如下：编号：1-1000计算抽样间隔：K=N/n=1000/58=17.24决定起抽号：如7号计算抽样号组成样本：X，X+K，X+2K，X+3K X+(n-1)K7 24 41 59 990,先将总体按一定标准分为
19、若干类型(层)，然后根据类型单位数与总体单位数之比率，确定从各类型中抽取样本单位的数量，最后按随机原则从各类型中抽取样本。适用于总体单位数量较多，且内部差异较大的研究对象。,分层随机取样法,如某校初一至高三共六个年级2100名学生，各年级分别有300、400、400、300、400、300人，每一年级即为一个层次。共抽取600名。各年级的比例：14.28%、19.05%、19.05%、14.28%、19.05%、14.28%从每一年级抽取一定单位数：85、115、115、85、115、85再把这六个年级中抽取的单位总数加起来组成样本。,随机取样是先将总体各单位按一定的标准分成许多群，然后随机从
20、这些群中抽出其二群作为样本。样本单位比较集中，适宜于某些特定的研究。如教学实验要求以班为单位进行研究，而不能打乱原有的教学单位。,整群随机取样法,如某校有40个班级，把每一个班当作一个单位，用简单随机抽样法抽出6个班，由这6个班的学生组成样本。通过研究这6个班学生的某方面情况来推论全校学生这方面的情况。,优点：易于组织，节省人力、物力和时间。不足：样本分布不均匀，代表性差，误差因各群间差异较大而较大。,先将总体各单位按一定标准分为若干群，作为抽样的第一级单位，然后再按一定标准将第一级单位分成若干子群，作为抽样的第二级单位，如此类推，在各级单位中依照随机原则抽取样本。即从总体中抽取样本的过程分成
21、两个或两个以上阶段的抽取方法。,多段随机取样法,如将全校分为6个年级第一级从6个第一级单位(年级)随机抽取3个单位，如初二、初三、高二；抽取出来的每个第一级均分为若干个班级-第二级，如初二10个班，初三8个班，高二6个班。从初二4个班，初三3个班，高二2个班。以此类推。,优点：简便易行，节省经费，在总体范围大，单位多，情况复杂情况下，十分有用。不足：抽样误差较大。,第四节 测验法,一、测验法的含义和类型(一)测验法的含义:是指借助各种测试题对人的知识,技能和能力以及某些心理特征进行测量,从而获得评价信息和资料的方法.,(二)测验法的分类,1.按照测验的性质分,可分为成就测验和心理测验.2.按照
22、测验时机分,可分为准备性测验,形成性测验和终结性测验.3.按照试题类型划分,可分为客观性测验和主观性测验.,4.按照测验的标准化程度分,可分为标准化测验和教师自编测验.5.按照解释分数的标准划分,可分为常模参照标准和参照标准测验.,二、编制测验的一般程序和要求,第一,确定测验的目的和用途.第二,明确要测量的学习结果.第三,选择恰当题型,编拟,征集试题.第四,对试题进行质量分析.第五,构成试卷.,三、测验的质量分析,(一)测验项目的难度和区分度1.测验项目的难度是指测验项目的难易程度,通常用答对该项目的人数比例来表示.2.测验项目的区分度是指测验项目对被实际水平的区分能力,可用被试在某项目的总分
23、的相关系数来表示,相关程度越高,区分度就越高.,(二)测验的信度,1.测验的信度的含义信度是指可靠性或一致性程度.测验的信度是指测验结果的可靠性或一致性程度.2.估计测验信度的主要方法(1)重测信度:也叫稳定性系数,是估计测验跨时间的一致性指标.,(2)复本信度:也叫等值稳定系数,是估计测验间跨形式的一致性指标.(3)同质性信度:又叫内部一致性系数,是估计测验内部跨测题的一致性指标.它包括分半法,库理法和克伦巴赫系数法.,3.影响测验信度因素第一,测验长度.第二,测验的难度.第三,测验内容的同质性 第四,被试者差异.第五,评分的客观性 此外,被试者的主观态度,测验内容取样等都有影响.,(三)测
24、验效度,1.测验效度的含义效度是指有效的程度,测验效度是指测验实际测量出所要测量的特质的程度.2.效度的估计方法效度一般分为内容效度,效际关联效度和构想效度.,(1)内容效度及其估计方法内容效度是指测验试题对欲测量内容或行为目标代表性程度.也就是测验内容目标与测验内容目标的一致性程度.内容效度通常采用专家评价的方法以及复本相关的方法.,(2)效际关联效度及其估计方法效际关联效度是以效际为标准来衡量测验是否有效的数量指标,常以测验分数与效际测量值之间的相关系数来表示.效际关联效度的估计方法主要用相关法.,(3)构想效度及其估计方法构想效度是指测验分数能够说明理论构想或心理学的某种结构的程度.构想效度常采用逻辑推理的方法.,3.影响测验效度的因素第一,系统误差.第二,测验本身的因素.第三,测验实施过程中的因素.第四,被试方面的因素.,(四)信度和效度的关系信度和效度的关系通常表现为,测验的信度不高,其效度也不会高,但效度高的测验信度不一定高.,谢谢！,
