《基于牛顿定律材料的多表征认知评价工具的开发.docx》由会员分享，可在线阅读，更多相关《基于牛顿定律材料的多表征认知评价工具的开发.docx（10页珍藏版）》请在三一办公上搜索。
1、基于牛顿定律材料的多表征认知评价工具的开发摘要：学校在认知评价中使用的问题没有按照项目分析并且仅用了一种表征方式。本研究的目的是为Banjarmasin的初中生开发出高质量的基于牛顿定律材料的多表征认知评价工具。本研究专门旨在描述：（1）认知评价工具的效度，（2）认知评价工具的信度，（3）认知评价工具的难度水平（4）基于多表征的认知评价工具的个体识别率。研究中所使用的方法是对Borg&Gall过程模型进行修改的Research&Development（R&D）方法。运用经典公式并通过Rasch应用程序对数据进行分析。本研究的样本是来自Banjarmasin公立14中、公立25中、公立28中的2
2、04名八年级学生。研究结果表明:（1）所开发的认知评价工具的效度被认为有效，（2）所开发的认知评价工具的信度相对可靠，（3）所开发的认知评价工具的难易程度分为两类：非常困难和非常容易，（4）开发的认知评价工具的个体识别率分为三类：需要改进的，可以接受但仍需要改进的，以及可以接受的。由此可见，基于牛顿定律材料的多表征认知评价工具适用于Banjarmasin地区初中八年级学生的学习效果评价。因此，所开发的评价工具可用于教师评价学生对牛顿定律材料的学习效果。介绍印度尼西亚政府2005年关于国家教育标准的第19号条例解释说，每个教育单位对学习过程进行过程、实施、评估和监督，以实现有效和高效的学习。评估
3、的要求在第4章第22条的第1款、第2款中进行了规定：根据必须掌握的能力，使用几种评估手段对教育水平的学习成果进行评估。评估测试的形式包括笔试、观察、实践测试、口语测试、能力测试、作品集、形成性评估、总结性评估、个人或小组作业等（Arifin,2（X）9）。学习结果可以分组分为三个领域：认知、情感和精神运动（ArikUnto,2013）。认知领域是一个由记忆、理解、应用、分析、评估和创造能力组成的领域（NUrbUdiyani,2013）。学习成果的测量可以通过测试来完成。测试可以分为两种:总结性测试和形成性测试。一般来说,测试由几个必须回答的问题组成，以了解学生对概念和材料的理解和掌握程度。这些
4、测试可以用各种各样的表征形式进行，因为基于各种完整的表征形式，可以得到学生对各种表征形式掌握程度的信息（AUlia,2015）o多重表征是一种以各种方式和形式表达概念的方法（YUSUp,2009）o多重表征鼓励形成对信息的理解。多重表征还有助于学生描述问题、描述问题的概述和物理情境并能够指导学生理解信息和知识来解决问题(AStUti,2013)。通过对BanjarmaSin公立14中、公立25中和公立28中的科学科目教师进行访谈，了解学生的认知评估。从访谈中可知，教师使用的认知评估评价工具是来自DinaspendikanKota的评价工具。该评价工具没有对项目进行分析，因此教师不知道所使用评价
5、工具的有效性和质量。从对期中考试题目进行的分析来看，结果显示仅仅使用了Cl至C3级别。认知评价工具只使用单词或描述和一些图片。当给学生不同表征形式的问题时，他们在解决问题时会遇到困难。如果问题没有立即得到解决，就会因为对所给科目中的概念理解程度不高，而影响学习成果。因此，使用多表征有望帮助学生建立对概念的更深层次的理解，这样他们就可以用不同形式的方法解决物理问题，如语言、图像、图形或数学形式。当学生能够用一个与之前不同的表征形式表示一个概念时，它将有助于学生解决物理问题。基于上述描述，有必要开发评估学生学习成果的评价工具。本研究的目的是在Banjarmasin为初中生开发基于多表征的牛顿定律材
6、料的能力认知评价工具。牛顿定律在学习中允许有多种表征形式。文献综述评估是一种系统的方法，包括收集、分析、解释用于得出结论的信息这些活动。在评估中的一些原则是：(a)评估过程是学习过程中不可分割的一部分(b)评估是对现实世界问题的反映，而不是学校世界(C)使用适当的规模，方法和标准来评估(d)它是全面的，涵盖了学习的各个方面。Bk)Om将学习结果分为三种，即认知、情感和心理运动。强调智力能力和技能发展的领域被称为认知。2001年，Anderson和Krathwohl对Bloom的理论进行了修订以便于记忆、理解、应用、分析、评估和创造(GUnaWan&Palupi,2016)。多表征可以解释为通过
7、不同的方式、形式或格式来表达一个概念(AStUti,2013)。物理学习中的表征可以用来最大限度地减少学生在学习物理过程中所经历的困难。多重表征有三个好处，即补充信息、减少歧义和帮助理解(WidianingtiyaS&Fauzi,2015)。使用多表征法的一些重要原因是：多元智力，大脑的形象化，有助于构建其他类型的表征，对定性推理有用，并用于抽象数学表征中的定量推理。在物理学中，可以使用多种类型的表征。这些类型包括：(1)用语言描述来定义一个概念(2)用图像或图表使抽象的东西形象化。在物理学中经常使用的图有运动图、物体自由图、场线图、电路图、光图、波形图和状态能量图(3)用图来解释一个很长的概
8、念(4)用数学来解决定量问题(YUSUp,2009)o项目反应理论(ItemReSPOnSeTheOry,IRT)或通常被称为现代测试理论，是利用项目的答案理论对项目进行审查。该理论是一种利用数学方法将正确回答率与学生能力之间联系起来的理论(FatkhUdin,Bayu&Agus,2014)。与经典的测试理论相比，IRT的主要优势之一是，在IRT的概念中，问题的统计数据，如难度水平、个体识别率是在相同的尺度上测量学生的能力(AlWi,2012)。IRT的优点之一是受试者正确回答项目的概率取决于受试者的技能和项目的特征(Rosidah,2018)oIRT的测试分数与项目的特征相比有一个值，参与者
9、的表现可以通过一组因素来预测(Ridho,2007)。IRT具有基于个体响应模式预测丢失数据的能力(AmeIia&Wati,2018)o方法本研究使用Borg&Gall程序模型的改编的Research&Development(R&D)方法(GaIl&Borg,2003)o本研究采用以下步骤进行：(1)通过分析教师在学习中使用的评价工具的需求来了解潜在的问题，(2)通过对学校教师的访谈来收集数据(3)通过基于多表征的形式进行产品设计，通过调整能力标准，基本能力，和基于KTSP课程大纲的指标开发认知评价工具(4)设计验证提供基于验证者理性思考的产品设计的评估(5)通过改进已经制作的产品和完善产品测
10、试前开发的产品来改进设计(6)通过对学生进行小规模测试，以找出收到的问题和需要省略的问题来进行产品试验(7)通过修正收到的问题来修改产品，使其可以测试使用(8)通过大范围的测试来试用使用，以评估已开发的产品是可行的和具有优势的(9)通过改进已开发的产品，并按照该领域中存在的情况，根据测试的结果来修改最终产品，以便可以知道哪些问题适合使用。本次研究的课题是基于多表征的认知评价工具。研究时间为2017年1月至11月。本研究的数据收集技术采用测试和非测试两种形式。非测试形式采用访谈的方法，测试形式采用验证问卷的方法，并以描述问题的形式进行测试。本研究采用的数据分析方法是，在小规模产品试验中使用经典理
11、论，在大规模使用试验中使用RaSCh模型和项目反应理论。对验证结果的分析是根据对专家和从业人员的评估得出的平均分，并根据标准进行调整(WidOyoko,2009)o表1评价工具可靠性标准Reliability CoeficientCriteria0,80 r0,40 r 0,80r 0,40High Reliability Intermediate Reliability LOW ReIiabiIity验证者的可靠性分析结果满足评价工具可靠性标准。信度准则见错误!未找到引用源。小规模设计试验的结果效度分析计算使用积矩公式与概数。产品试验的可靠性分析结果，与相关标准相适应(RaUImanan&L
12、aurens,2011)。在大规模使用试验后，使用RaSCh程序分析了问题的效度。条目的效度取决于MNSQ值、ZTSD值以及测量结果的相关性。只要MNSQ值、ZSTD值和相关性测量值均没有超出标准范围，就可以说该值是合适的。除了MNSQ值和ZTSD值外，相关性测量值位于0.40.85之间。MNSQ值的标准为0.5MNSQ1.5,ZSTD值的标准为2.0ZSTD+2.0,点测量相关性(PtMeanCOrr)的标准为0.4PtMeasureCorr0,8根据小规模产品试验的结果分析问题的难度等级，可以使用以下公式进行计算基于(Rusilowati,2014)o然后将得到的结果调整为确定的评估方面的
13、标准基于(RUSiIOWati,2014)o在大规模使用试验中，可以使用Rasch建模中的问题测量列包含的Iogit数来分析问题的困难程度。Iogit值越高，说明问题的难度级别越高。这个可以用来解释问题难度水平的标准基于(SUmintono&Widhiarso,2015)个体识别率(DP)指数可以基于(RUSik)Wati,2014)的计算公式计算得到。此外，在产品试验和使用试验中获得的折射率可以使用(RUSik)Wati,2014)的理论解释。结果和讨论基于多表征的认知评价工具的开发过程研究的结果：基于多表征的认知评价工具的制作包括九个步骤。这些步骤的成果已开展如下，潜力和问题：本研究中的潜
14、力和问题与教师制作学生学习成果测试评价工具的能力有关，除了这些问题外，测试评价工具由Cl至C3级别组成，其中大部分使用口头表征。数据收集：本案例通过对BanjannaSin公立14中、公立25中、公立28中的科学教师进行访谈的方式进行数据收集。产品设计：在这一阶段，研究人员开发了一个基于牛顿定律的多表征认知评价工具，包含15个问题。首先要做的是根据材料中的基本能力确定问题的指标。开发的评价工具是描述形式出现的问题，它使用几种表征形式，即口头表达、数学表示、图像、图表和表格。在验证阶段，评价工具设计由两名来自学术界的验证者和一名在其领域内的专家进行验证。每个验证者的分析结果可以在错误!未找到引用
15、源。中看到。表3基于多表征的认知评价工具效度结果AssessmentAspectMeanofAssessmentCriteriaGeneralConstruction3,5VerygoodItemValidity3,7VerygoodMean3,6VerygoodReliability0,68Intermediate基于验证者的仪器验证结果，对总体结构和项目验证进行了轻微修改，取得了成效。专家和从业人员的验证结果显示，总体总分平均为3.6分。平均成绩被纳入非常好的范畴。而获得的信度结果为0.68,属于中等类别。在这个设计改进阶段，研究人员根据给出的评论和建议进行改进。在22名学生身上进行了小规
16、模的产品试验。以多表征描述的形式，给学生的项目数量为15。产品试验效度和信度分析结果如错误!未找到引用源。所示。表4产品试验效度和信度No.CriteriaItemNumber1Invalid-2PoorValidity-3LowValidity-4IntermediateValidity-5HighValidity1,2,3,4,8,10,11,12,13,14,156VeryHighValidity5,6,7,9根据表4可知，有效题为15题，没有无效题。这说明所提出的问题可以用于广泛的试验。表5题目难度等级分析结果NoteItemNumberEasyIntermediateDifficul
17、t1,2,34,5,6,7,8,9,10,11,12,13,14,15设计测试中题目的难易程度分析如表5所示，从得到的结果可以看出题目的难易程度分为两类，即难度中等的题目为3道，难度较高或困难的题目为12道。中等类别包括文字、数学和图像表示的问题，即关于牛顿定律一的问题。困难类别包括文字、数学、表格和图形表示的牛顿定律二、三的问题。从结果来看，表格和图形表示的问题是一个困难的类别问题，因为许多学生无法处理这种表征的问题。一个评价工具难度等级的对比为30%的题目属于简单类，40%的题目属于中等类，30%的题目属于困难类。但是，从结果来看，题目只分为两类，困难类别的题目太多了。根据(ArikUnt
18、O,2013),一个好的问题是一个不太容易或不太困难的问题。太容易的问题不能激发学生解决问题。然而，太难的问题会让学生变得绝望，所以他们没有动力去解决它们(TaUfiq,2015)。个体识别率的分析结果在接下来的产品试验中。表6评价工具个体识别率的分析结果NoteItemNumberOmittedImproved1,2,11,15Acceptedbutneeds3,8,10,12,13,14toberepairedAccepted4,5,6,7,9根据错误!未找到引用源。，可以归纳为三类，即需要改进的问题、可以接受但需要改进的问题和可以接受的问题。这是因为改进过后的问题，能力高的学生可以解决，
19、但能力低的学生无法完成。可以接受但需要改进的问题，能力高的学生和能力低但不能正确完成的学生都可以完成。根据(ArikUnt0,2013),一个好的问题是一个可以区分聪明学生和不聪明学生之间能力的问题。根据评价工具中使用的表征法，可知图像表征的问题是固定的和可以接受但需要改进的，但是其他表征的问题不是这样的。根据从产品试验中获得的分析结果，研究者修改了评价工具，即评价工具中包含的词汇和数字，并丢弃了4个问题。使用试验由大量学生进行。试验在三所公立学校进行，即BanjarmaSin公立14中、公立25中、公立28中，共204名学生。测试题目数量为11项，采用多表征形式。本部分的分析采用rasch方
20、法分析，该方法通过问题的效度、问题的信度、问题的难度以及每个学生解决给定问题的能力来获得。表7评价工具适用性EntryNumberOutfitPt-MeasureCorrelationMNSQZSTD21,302,50,6861,271,80,5851,251,70,6211,160,60,4640,8410,5331,020,20,6670,91-0,60,63100,84-0,80,4180,70-1,70,4690,58-2,40,46110,38-4,10,51Mean0,85-0,7S.D0,281,9由上错误!未找到引用源。可知，从MNSQ、ZSTD.PtmeaSUre相关值可以看
21、出。基于这些标准，似乎所有问题都属于有效类别。这与声明(SUmintOno&Widhiarso,2015)一致，即如果MNSQ、ZSTD和PtMeaSUreCOn同时超出标准，就没有不合适的评价工具。根据(SUmintono&Widhiarso,2015),由MNSQ、ZSTD和PtMeaSUreCOrr组成的评价工具的适宜性值受样本量的影响很大。那么，本研究中的大样本量对研究结果有积极的影响。表8评价工具功能检测ItemnumberProbability10,325620,015630,050540,018150,001060,109170,720080,475890,9690100,449
22、4110,1162项目问题的有效性也可以通过偏倚题的概率值来知道。如果项目的概率值小于5%,这个问题就是偏倚题(SUmintonO&Widhiarso,2015)o根据上面的错误!未找到引用源。，有三个偏倚题，即问题2、4和5。如果发现具有某种特征的个体比具有其他特征的个体在解决该问题时更有优势，则该项目被称为偏倚题(SUmintOno&Widhiarso,2015),表9统计汇总RespondentItemOutfitOutfitMNSQZSTDMNSQZSTDMeanSeparationPerson1,03-0,21,790,93-0,329,04reliabilityCronhach0,
23、761,00alpha,w使用检验的信度可以从错误!未找到引用源。中看出。本研窕获得的学生信度值为0.76,属于中级范畴。所得项目的信度值为1.00,属与很好范畴。而CrOnbaChlalPha值为0.99,属于很好范畴。所以，根据学生的信度值和项目的信度值可以得出学生答案的一致性足够，项目的质量是优秀的。除了学生信度值和项目信度值外，还知道个人分离值为1.79而项目分离值为29.04。分离值越大，在整体学生和项目上质量越好。根据(Azizah,Wati,Salam,fcMahtari,2017),好的测试问题既具有高效度也具有高信度。除了效度和信度的值，项目的难度等级如下。表10项目难度等级
24、DifficultyLevelItemNumberVeryDifficult10,8,9,11Difficult一Easy2,3,1VeryEasy5,7,6,4根据表10可知，题目分为三个等级，36.36%非常难，27.27%非常容易，37.37%非常容易。中等类题目的比例小于易、难类题目的比例。使用图像表征、语言、数学和表格的问题属于非常难的类别。简单类别的问题有语言、数学和图像表征的问题。非常简单类别的问题也包括数学表达、图形、图像和语言表达的问题。从这些结果来看，有图像表示的问题要比其他表示的问题更难。根据(AmaIia&Widayati,2012),如果项目不太容易，也不太难，那么项
25、目是好的。根据错误!未找到引用源。可以看出，项目的个体识别率分为四类，即未使用或丢弃的题目、经过改进的题目、可以接受但需要改进的题目和可以接受的题目。从这些结果可以知道，被删除的题目是一个不能区分能力高的学生和能力低的学生的能力的题目。聪明的孩子或不那么聪明的孩子都能做的问题不是好问题(Akbar,2013)。好问题是只有聪明的学生才能做的问题。表11项目个体识别率分析结果NoteItemNumberOmitted1,2,3Repaired4,5,6Acceptedbutneedsto7berepairedAccepted8,9,10,11除了效度、信度、困难程度和个体识别率之外，还知道学生表
26、征的平均值。学生的多重表征平均分析结果如下所示。表12多重表征的均值QuestionVerbalMathematicalImageTableChartNewtonLawI9,99,39,2-NewtonLawII7,77,77,2-8,2NcwtonLawIII4,243,84-由错误!未找到引用源。可以看出，在牛顿第一定律问题中，学生可以解决最多问题的平均表征是口头表征，其表征值为9.9。在牛顿第二定律的问题中，我们知道，能解决最多问题的学生的平均表征形式为图像表征，其值为8.2。在牛顿第三定律的问题中，能解决最多问题的学生的平均表征是在言语表征，其值为4.2。从所提供的问题总体来看，似乎有
27、更多的学生在解决语言表征的问题，而不是其他表征，对学生来说最难做的问题是问题用图像表征。从这些结果来看，我们知道，图像表征的问题与其他表征的问题相比更加困难。根据对使用测试的分析结果，研究人员改进了评价工具中包含的词汇和数字。最终获得的结果是：删除了5个问题，并产生了一个包含6个问题的最终产品，这些问题配备了网格和参考答案。结论该领域的开发和测试结果表明，基于牛顿定律材料的多表征认知评价工具在Banjarmasin初中八年级学生的学习效果评估中是可行的。这与以下研究结果相符合：（1）本研究开发的评价工具的效度被归类为有效（2）本研究开发的评价工具的信度相对可靠（3）在评价工具上开发的项目的难度级别被分为两类，即4个非常困难的问题和2个非常简单的问题（4）所开发项目的个体识别率分为三类:1种类型是经过改进的，1种类型是可以接受但需要改进的，4种类型是可以接受的。因此，所开发的评价工具可用于教师评价学生对牛顿定律材料的学习效果。
