《工商管理研究方法-效度.ppt》由会员分享，可在线阅读，更多相关《工商管理研究方法-效度.ppt（61页珍藏版）》请在三一办公上搜索。
1、管理研究的效度,工商管理研究方法,南开大学商学院周宝源,2,第一节概 述,3,一、什么是管理研究的效度,在进行科学研究时，最重要的是研究过程各阶段所得研究结论不会遭到质疑。我们最关心的是，研究结论为正确的可能性大小。管理研究的“效度”（Validity）正是描述研究结论为正确的程度。,4,Scientific Researchers Operate at Two Levels,Abstract level Empirical level,5,在进行实证研究时，我们出发点是抽象的概念（Abstract level）我们只能对概念的测量结果展开分析（Enpirical level），并根据分析结果
2、，返回到抽象层面，作出理论上的结论。,6,例如，在研究“传单式广告”的促销效果时，我们设计了一份广告宣传材料，并且统计了广告散发前一些零售店的日销量，以及广告散发一周后，这些零售店的日销量。如果发现这些零售店的日销量显著增加，是否就可以得出结论：“散发广告”对提高日销量有显著作用？不一定！,7,8,9,研究效度的类别,研究的效度（Validity）主要分为三种：构念效度（属于测量的效度）（Construct Validity，简称C.V.）；内部效度（Internal Validity，简称I.V.）外部效度（External Validity，简称E.V.）,10,构念效度,“构念”通常是指
3、抽象的概念。（构念有时也简称概念，但与概念是有一定区别的！）“构念效度”是指理论中的抽象概念在多大程度上在实际研究中成功地进行了操作化，即操作变量在何种程度上体现了它想要体现的理论概念的真正含义。构念效度通常与变量测量质量相联系。注：构念效度一词的翻译较为混乱，还有译作“构建效度”、“建构效度”、“结构效度”等。,11,内部效度,内部效度是指在多大程度上，特定研究样本或在特定研究环境下所得到的研究结论是正确的。,12,外部效度,外部效度是指在多大程度上可以将对特定研究样本和在特定研究环境下所得到的研究结果推广到理论假设中所明确的总体和环境中去。,13,三种效度之间的关系,理论层面,（实证）操作
4、层面,14,三种效度之间的关系,15,三种效度之间的关系,16,下面两节进一步讲解测量的效度和外部效度。至于内部效度，今后还会结合不同研究方法（实验研究方法、调查研究方法）分别论述。,17,第二节测量的效度,18,以前我们曾从“信度”角度讨论了测量的质量。一种测量工具（问卷中的量表）具有较高的“信度”还是远远不够的！,19,信度高的测量，可能是完全无效的。例如，对于人的体重的测量，我们如果拿温度计进行测量，显然这种测量具有较高的信度，但是完全无效的！即便使用磅秤来测量人的体重，如果我们反复使用同一磅秤对同一人实施多次测量，测得的体重几乎都是70公斤，我们称该体重测量工具具有较高的信度，即便此人
5、的真实体重为100公斤。,20,测量效度的概念,测量的效度是指测量工具是否能测出在想测出的结果。测量的效度就在告诉研究者，测量了半天，究竟是不是他想要的，是不是测量值具有较小的测量误差。,21,测量的效度的概念,测量的效度是指在测量中测量在多大程度上反映概念的真实含义，它包括：(1)测量对象是否是所要测量的变量；(2)被测量的变量的结果是否接近真实值。如果二者均一致与接近，则该测量的效度较高。,22,测量的效度本身的概念很简单，但如何决定一个量表的效度却不容易。与信度不同，效度的评价通常考察“高效度的必要条件”来进行的。,23,测量的效度指的是一种操作化方案在何种程度上反映而且只反映希望度量的
6、概念。它反映了理论层次的抽象概念与度量抽象概念的操作变量之间的符合程度。对概念的度量应该是能够量度绝大多数希望反映的概念，而最大程度地避免不希望反映的概念和随机误差的影响。,24,考察测量的效度的必要性,如果抽象概念与它的操作变量之间缺乏一致性，理论也就难以成立和发展。一项研究如果缺乏测量的效度，无论随后的数据分析多么复杂精细，研究的结论也是没有意义的。概念的操作化过程不可避免地会包括一些不应包括的内容，同时又没有把一部分应包括的内容包括进来，因而管理研究在不同程度上都存在测量的效度问题。,25,测量误差的基本来源,概念度量误差的一个基本来源是观测变量对概念内涵反映的不充分和不准确。操作层次的
7、可观测变量是对理论层次的抽象概念的一种表示。实际上，变量不可能只反映它感兴趣的理论概念，也不可能完全体现理论概念。对一个变量的度量即使信度较高，也可能不具有高的构念效度。因为可能是可靠地度量了其它概念，而不是原来希望度量的概念。,26,概念的多操作化定义,27,度量误差来源举例,如果要研究采用多媒体手段教学与学生学习效果的关系，可以设计一种实验，通过考试测度采用多媒体手段与不采用多媒体手段，学生“学习效果”的差别，以检验所提出的假设。学生的学习成绩作为一种操作变量既反映我们希望反映的概念“学习效果”，也会反映不希望反映的概念，如：考试测试了与学习成绩无关的内容：学习兴趣、考试引起的紧张、学生的
8、语言能力和应试经验等，这些都会给测试带来系统误差。另外，度量中还会有随机误差，如阅卷错误、记录错误等。,28,组成构念度量值的成份,在概念域界定清楚的前提下，用操作变量对概念进行度量的结果一般由三部分组成：（1）希望反映的目标概念的内容（真实值）；（2）不希望反映的非目标概念的内容（系统误差）；（3）随机误差。即：X0XTXSXR 其中，X0为度量值；XT为真实值；XS为系统误差；XR为随机误差。,29,效度与信度的关系,对构念的度量效度的评价包括了两个部分：XR和XS。与XR有关的部分称为信度（Reliability，又称信度），指在何种程度上度量避免了随机误差。广义的效度是指操作化定义或测
9、试的结果多大程度上能代表要研究的概念，是指测试结果多大程度上能避免全部误差（XRXS），本身包括信度。狭义的效度是指测试结果多大程度上能避免系统误差 XS，不包括信度。如不加声明通常效度指的是广义的效度。效度以信度为前提，没有信度就没有效度。在假定度量具有高信度的前提下，构念效度主要取取决于系统误差XS。,30,测量的效度的类型,测量的效度有四种类型：表面效度（face validity）内容效度（content validity）校标关联效度（criterion-related validity）构念效度（construct validity）,31,测量质量信度与效度,32,表面效度（fa
10、ce validity）,表面效度是指即测量的结果与我们的共识或我们头脑中印象吻合的程度，通常是由一组专家做出判断，确定一种度量方法是否确实度量了它名义上要度量的概念。表面效度评估是个主观过程，但它通常是效度评价的先决条件。,33,内容效度（content validity）,内容效度指测量工具（量表）是否包括了足够有代表性的项目集来度量应该测量的内容。同时也排除了不该测量的内容。通常是由一组专家做出判断。,34,校标关联效度（criterion-related validity）,校标（criterion）也有译作“标准”、“准则”等。校标关联效度是指测量工具能够像期望的那样，按照某种标准区
11、分出有差异的个体。具体而言，可以分为以下两类：同期效度（concurrent validity）预测效度（predictive validity）,35,同期效度（concurrent validity）,测量工具能够区分出（根据已有可靠的测量工具测出）已知有差异的个体。例如，用一个量表用来测量人们的心理承受能力，已经证明它是有效度的，以它为标准，如果用新的量表测量与它有相同的效果，就说明这个新的量表具有同期效度。,36,某些测量工具其目的就是对某些相关变量（即校标变量）做出预测，如果测量结果能较准确预测相关变量值，则说该测量工具具有预测效度。例如，对新员工“能力考试”是为了预测该员工未来的工
12、作绩效。如果发现在考试成绩与未来工作绩效（根据可靠的绩效测量工具而得的绩效测量结果）之间确实存在较高的相关关系，则该“能力考试”作为员工“工作能力”的测量工具，具有较高的预测效度。,预测效度（predictive validity）,37,构念效度（construct validity）,反映从量表所得结果与当初设计该量表时所依据的理论之间的契合程度。通常用以下两方面来评价：聚合效度（convergent validity）区别效度（discriminant validity）,38,聚合效度（convergent validity）,当用两个不同的测量工具测量同一构念时所获得的分数彼此间高度
13、相关。则称这用于测量该构念的两种测量工具都具有聚合效度。聚合效度反映使用不同方法度量同一概念所得出的度量结果之间的一致性。例如，测量学生的英语能力（构念），有两种测量方法，一是英语六级考试，二是英语上课老师根据学生课上的长期表现的打分。如果两种分数具有较高的相关系数，则说这两种测量方法都具有聚合效度。,39,区别效度（discriminant validity）,如果使用同一测量工具测量（理论上认为）两个不相关的构念时，结果发现这两个构念的实际测量结果确实不相关，那么则称该测量工具具有区别效度。例如，理论上讲，“英语能力”和“数学能力”这两个构念不相关。对于“考试”这种测量工具，如果英语考试成
14、绩与数学考试成绩不相关，则说明，“考试”这种测量工具具有区别效度。,40,信度与效度的关系,信度低，效度不可能高。信度高，效度未必高。效度低，信度有可能很高。效度高，信度必然也高。,41,信度与效度的关系,有信度有效度,有信度但无效度,无信度又无效度,42,影响测量的效度的因素,影响测量的效度的主要因素有：操作化前对构念的不适当界定；操作化过程中操作变量选择的不适当；单一度量项目的偏差；调查过程中被调查者对问题的错误理解；要提高测量的效度，需要对整个研究进行过程控制，在每一个环节注意避免和减少系统误差和随机误差。,43,提高测量的效度的要点,在操作化之前对概念的界定要清楚，这是进行有效研究的前
15、提。采用多项目度量方法，即采用多个变量测量同一构念（用多个问题同时测量一个构念。这样有助于提高测量精度和度量的信度。重视统计口径的统一、数据的可比性、数据收集方法设计和具体实施过程的科学性和严格性，以保证获得高质量的信息。,44,第三节外 部 效 度,45,外部效度,管理研究的根本目的是为了解决人们在经济和社会活动中遇到的管理问题。管理研究面向实践的特点要求研究者尽可能地将其研究结果推广到更加广泛的应用范围。任何理论假设都有其一定的理论背景和前提假定，管理研究中对理论假设的经验研究又都是在一定的研究条件和背景下进行的。因此，管理研究面临着是否可推广（generalizability）、可在多大
16、范围推广的问题。即：能否将在特定研究环境下针对特定研究样本的研究结果推广到理论假设中所确定的主体和环境中去，研究结果所支持的理论可以在多大范围内应用。,46,外部效度（External Validity）,一般来说，研究者在进行研究时，总是希望研究最终的结果能够超越具体的研究背景，而能在更广泛的背景条件下成立，即具有最大的外部效度。外部效度直接影响到社会关系理论的普遍意义和应用范围。,47,48,影响外部效度的主要因素,研究对象的因素所选取的研究样本人群与理论要推广到的整个人群相比所具有的特殊性。背景因素研究背景与理论假设中要推广到的环境之间的差别。时间因素研究时间段与理论要推广到的时间段之间
17、的差别。,49,研究结论可推广的必要条件,理论的初始假设和初始条件应具有合理性，越接近现实，理论才越能具有广泛的应用范围。研究设计应保证研究结论能从具体的研究样本、研究背景推广到理论中的总体和其它背景。通过对不同对象，在不同时间、背景下由不同研究者进行的重复研究，可以验证理论的外部效度。如果不同的重复研究结论具有一致性，将提高人们对研究外部效度的信心，这样的研究也就具有更大的可应用性。,50,研究成果推广的形式,研究成果的推广有两种形式：效果推广（effects generalization）指把经验研究得到的结论直接应用到其它背景下的事件中去，把从样本中得到的结论推广到样本所在的总体中去。理
18、论推广（theory generalization）指的是用研究得到的科学理论来解释在其它背景下发生的事件，与理论推广有关的外部效度涉及到研究理论的应用范围。,51,效果推广的外部效度,与效果推广有关的外部效度涉及研究设计中的抽样方案及其实施。在研究设计中确定抽样方案时，应该明确研究希望推广到的范围，即：理论假设中所涵盖的人群范围和环境。为了提高样本对总体的代表性从而增强研究的外部效度，管理研究必须特别注意抽样方案的设计和实施，特别是抽样方法的选择与样本容量的保证。对于效果推广来说，提高外部效度最有效的方法是随机抽样。,52,53,随机抽样及其优点,随机抽样的基本原理是：如果总体中的每一个成员
19、及其组合都有同样的机会被选入样本，从这一总体中抽取的样本就能够代表总体。随机抽样有多种不同形式。随机抽样有两个优点：第一，随机抽样得来的样本虽然不能完全精确地代表总体，但由于避免了系统偏差，随机抽样的样本比其它类型的样本对总体更具代表性。第二，采用概率论方法可以对样本的精确性和代表性做出估计。,54,相关关系推广的效度,相关关系推广的效度是指在样本数据中发现的两个变量之间的相关关系是否可以推广到总体中，即两个变量相关与否的结论与真实世界在何种程度上一致。从经验数据得到的有关变量间是否存在相关关系的结论有时可能与真实世界的事实不一致，因而是错误的。通常用显著性水平来衡量犯错误的可能。对效果推广的
20、评价，主要是用数理统计理论评价抽样设计和相关关系，并通过改进抽样方案，提高置信水平，来增强研究的外部效度。,55,研究成果的理论推广,由于定性研究不使用随机抽样方法，不能像定量研究那样将从样本中得到的结果推广到从中抽样的人群，定性研究不能使用定量意义上的推广效度的概念。定性研究的目的不是期望通过对样本的研究找到一种可以推广的普遍规律，而是通过对现象进行深入细致的研究，再现其本质。对现象的研究越是深入到本质层面，就越有可能对处于类似情形的人和事起到一种解释的作用。这种解释在定性研究中被称为理论推广。,56,理论推广的效度,由于理论具有一定的抽象性和概括性，从研究结果中提升出来的理论可以对同类具体
21、事物具有一定的解释和论证力。对于理论推广来说，提高外部效度的方法是在不同的时间、背景下对不同的对象群体重复实验和研究。这样的研究可能不是由一个研究者（或研究小组）完成的，而可能是由许多科学家对同一研究课题在不同背景下进行多项重复研究，从而逐步提高研究结果的外部效度。,57,内部效度与外部效度的权衡,管理研究中常会遇到内部效度和外部效度难以兼顾的矛盾。解决上述矛盾的关键在于明确研究的目的，即研究是侧重于发现变量间的因果关系，还是更注重研究结论在现实世界的推广。如果对内部效度的要求高，可以考虑采用人造环境的实验研究，以尽可能地控制对因果关系推断的干扰因素。,58,内部效度与外部效度的权衡,对于实验
22、研究，如果更注重研究结果在现实环境的应用，应该选择现场实验研究。如果要研究的是现实环境中因果关系的应用，可以先进行实验室实验研究（模拟的环境下），在确信具有满意的内部效度后，再进一步通过现场研究检验自然环境下的因果关系，这样可以达到相对较高的外部效度。,59,对管理研究评价标准的认识,效度可以作为评价管理研究科学性的标准。必须注意，效度通常是一个度的问题，而不是非有即无的问题。在管理研究中保证研究的效度是一个不断完善的过程。新的证据可能会引起对原有研究方法的修正，或需要开发出一种新的方法来满足研究的要求。研究就是在这种方法的修正与开发过程中逐步完善，并获得更高的效度的。,60,对管理研究评价标准的认识,不要只把效度看作评价研究工作的标准，更重要的是效度应该成为指导和进行研究工作的观念和思想，这样才能充分发挥包括信度理论在内的效度理论的作用，进行更加科学有效的研究工作。除了评价研究的科学性外，还应重视其它一些指标，包括研究的实际应用价值，研究的资源投入、资源利用的效率等，要重视研究的简单性原则。管理研究中存在的伦理道德问题、研究可能产生的社会影响等，也应该成为研究评价的内容。,61,结 束,
