《研究工具性能的测定.ppt》由会员分享，可在线阅读，更多相关《研究工具性能的测定.ppt（37页珍藏版）》请在三一办公上搜索。
1、研究工具性能的测定,教 学 目 标,掌握信度的概念和分类掌握效度的概念和分类掌握信度与效度的关系熟悉信度测量方法熟悉效度的建立和测量的方法熟悉国外量表翻译的基本步骤,第一节 信度（reliability),一、基本概念定义：使用研究工具所获得的结果的 一致程度或准确程度,信度的三个主要特征,稳定性,内在一致性,等同性,稳定性,用同一工具两次或多次测定同一研究对象，所得结果的一致程度。,内在一致性 组成研究工具的各项目之间的同质性和内在相关性。,等同性 不同评定者使用相同工具同时测量相同 对象时，评定者间的一致程度；或大致相同 两个研究工具同时被用于研究对象，工具间 的一致程度。,二、信度的计算
2、方法,稳定性测量 内在一致性测量 等同性测量 重测信度 折半信度 评定者间信度 Cronbach系数 KR-20值 复本信度,1.重测信度 使用研究工具对研究对象施行第一次测试,间隔一段时间后使用同一工具对同一研究对象进行重测，然后计算两次资料的相关系数，该系数反映研究工具重测信度的高低。相关系数在01之间，越接近1，说明重测信度越高。,重测信度,例：,人格问卷重测数值表,使用重测信度需考虑的问题,1.两次测量之间的间隔时间 第一次测量不对第二次测量造成影响 客观情况未发生改变 2.测量环境的一致 3.工具所测量的变量的性质,2.折半信度(split-half reliability),定义：
3、将一种工具对一群人使用一次，将每个人的结果分数按工具中各项目分成两组，计算两组分数的相关系数。常用来反映研究工具的内在一致性,方法:前后折半法 奇偶折半法缺点:不同的折半方法会导致不同的结果计算：根据重测信度中列出的公式计算r系数，再使用Spearman-Brown公式校正。,折半信度,3.Cronbach系数,计算研究工具中所有项目间的平均相关程度，反映研究工具的内在一致，避免了折半信度计算的缺点。系数值在0-1之间，越接近1，研究工具的内在一致性越好，信度越好。,4.KR-20值,是Cronbach的一种特殊形式，用来反映研究工具的内在一致性。适用于二分制的研究工具，如回答“是”或“否”、
4、“正确”或“错误”。,5.评定者间信度和复本信度,常用于测定研究工具的等同性评定者间信度测量方法：不同评定者使用相同工具同时观察，计算观察者们的观察结果之间的相关系数。复本信度测量方法：将两种不同形式的工具同时对一群对象测试，然后计算两次工具得分的相关系数。,研究工具信度的基本要求,1.通常通过预试验测试研究工具的信度2.报告研究工具的信度时，不仅要报告信度系数，还应报告是何种信度，信度系数是如何计算的。3.一般认为，研究工具重测信度和内部一致性信度系数最小应大于0.7，0.9以上非常好。而评分者信度和复本信度一般应达到0.9以上。,第二节 效度（validity）,定义：某一研究工具能真正反
5、映它所期望研究的概念的程度。计算效度的方法：表面效度 内容效度 结构效度 效标关联效度,1.表面效度(face validity),定义:由评估人根据自己对所要测量的概念的理解，尽其判断能力之所及来断定工具是否恰当。属于一种直觉判断。方法：从表面上检查工具的性质。,缺点:1.对工具的效度用“有或无”反映，未 体现程度。2.缺少实际证据证明工具一定有效。,表面效度,2.内容效度(content validity),定义：根据理论基础及实际经验对工具是否反映了所要测量的变量、包括足够项目而且有恰当的内容分配比例等所作出的判断。有时也称专家效度。方法：从内容上检查工具的性质,实施要求：1.专家人数3
6、-10人，以5人较合适 2.专家的选择应与研究工具所涉及的领域有关 3.两次评议时间最好间隔10-14天,内容效度,3.效标关联效度（criterion-related validity),定义：反映研究工具与其他测量标准之间的关系。分类：同时效度 预测效度,同时效度：测量研究工具与现有标准之间的相关关系。预测效度：测量工具作为未来事情预测指标的有效程度。同时效度和预测效度的主要区别：时间差异,效标效度,4.结构效度(construction validity),定义：反映工具与其所依据的理论或概念框架的相吻合程度。,例：编制一套少年道德品质倾向形成性测验，在编制之前必须了解哪些因素与少年道德
7、品质的形成有关系。然后提出以下几点假设：与家庭因素、居住区和环境、学校教育、结交的朋友有关。根据假设编制一套包括以上四个因素的测验，并检验测验结果，如果结果表明道德品质好的与道德品质差的被试者在这四个方面都有显著差异，说明测验有较高的结构效度。,评价：结构效度是目前最为严谨的一种建立和测量研究工具效度的方法，也是最为复杂的效度研究方法。,结构效度,信度和效度关系,1.信度是效度的必要前提高信度不能代表高效度低信度则可以肯定低效度2.效度是信度的必然保证有效度的工具一定有信度有信度的工具未必有效度,高信度、低效度,高信度、高效度,低信度、低效度,第三节 国外量表的翻译和应用过程的性能测定,翻译和
8、应用国外量表的原则：1.不偏离原文的原意 2.适合中国的文化特点 3.译后的量表具有较好的信度和效度,翻译国外量表的步骤：,1.翻译,两个或多个既熟悉原量表语言又有较好汉语功底的翻译者将国外量表翻译成中文；注意直译与意译结合，使更适合中国文化特点；多个翻译版本进行集体讨论后形成中文版本的量表。,2.回译,请语言功底好、对源量表不知情的一位或多位翻译者将翻译成中文的量表再翻译回去；将原量表与回译后的量表进行细致比较和分析，找出不同的部分，并对中文版的相应内容进行修改；修改后的中文版进行表面效度检验。,3.检译,寻找一定数量的既懂中文又懂源语言的样本对两种语言版本的量表进行作答，计算不同语言版本的量表得分的相关性。相关程度越高，表示两种版本的等同性越好。使用中文版本进行预试验，检测中文版量表的内在一致性，并了解量表文字是否易于理解和符合中国人的表达习惯。,教学目标回顾,掌握效度的概念和分类掌握信度的概念和分类掌握信度与效度的关系熟悉计算信度的方法熟悉建立和测量效度的方法了解国外量表的翻译步骤,谢谢！,
