《《诊断试验的评价》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《诊断试验的评价》PPT课件.ppt（67页珍藏版）》请在三一办公上搜索。
1、第七章 诊断试验的评价,天津医科大学公共卫生学院 谢娟,2023/8/1,2,教学内容,第一节 概述 第二节 诊断试验的评价第三节 提高诊断试验效率的方法 第四节 诊断试验评价的设计,第一节 概 述,2023/8/1,4,一、筛检(screening),定义：在大量表面上无病的人群中通过快速简便的试验、检查和其他方法，去发现那些未被识别的、可疑的病人或有缺陷的人。,2023/8/1,5,筛检的目的与意义,筛检高危人群早发现、早诊断和早治疗研究疾病自然史开展流行病学监测,一级预防二级预防,2023/8/1,6,二、诊断试验(diagnostic test),定义：指应用各种实验、医疗仪器等手段对
2、病人进行检查，以确定或排除疾病的试验方法。各种实验室检查病史体检所应用的各种临床方法仪器诊断,2023/8/1,7,诊断试验评价的意义,1.必须采用流行病学的方法对诊断试验的应用价值进行科学评价；非流行病学评价方法：“正常人”和典型患者之间考核新诊断试验的临床价值2.为临床医生合理选用诊断试验，正确解释其试验结果提供科学依据。,2023/8/1,8,2023/8/1,9,应用筛检的原则,筛检的疾病是一个重大公共卫生问题 有适当的筛检方法有进一步确诊的方法与条件具备有效的治疗或预防方法 该病的自然史明确有较长潜伏期或领先时间 预期有良好的筛检效益,领先时间(lead time)指从筛检发现疾病到
3、该疾病出现症状而被常规方法诊断的这段时间。,2023/8/1,10,筛检试验与诊断试验的区别,第二节 诊断试验的评价,真实性、可靠性及实用性,2023/8/1,12,一、真实性(validity),定义：又称准确度和效度，是指诊断试验所获得的测量值与实际情况的符合程度。评价基本方法：将待评价的试验与公认的最可靠的诊断方法比较，这种公认可靠的诊断方法称为金标准(gold standard)。然后，将受检对象按金标准试验诊断分为有病组和无病组，同时用待评价试验诊断把结果分为阳性和阴性。计算并比较各相关指标。,2023/8/1,13,2023/8/1,14,(一)评价指标,灵敏度(sensitivi
4、ty,Se)假阴性率(false negative rate,FN)特异度(specificity,Sp)假阳性率(false positive rate,FP)约登指数(Youdens index,YI)符合率(agreement rate)预测值(predictive value，PV)似然比(likelihood ratio,LR),2023/8/1,15,灵敏度(Se):实际有病的人正确判为患者的概率。Se=a/a+c 假阴性率(FN):实际有病的人错判为非患者的概率。FN=c/a+c=1-Se特异度(Sp):实际无病的人正确判为非患者的概率。Sp=d/b+d 假阳性率(FP):实际无
5、病的人错判为患者的概率。FP=b/b+d=1-Sp,漏诊率,误诊率,真阳性率,真阴性率,2023/8/1,16,约登指数(Youdens index,YI):约登指数又称正确指数，灵敏度与特异度之和减1，反映了诊断试验发现病人与非病人的总的能力。YI=(Se+Sp)-1=1-(FN+FP)约登指数值于 0l 之间变动，其值愈大，诊断试验的真实性愈好。综合评价真实性的指标，理想的试验应为1。,2023/8/1,17,符合率(agreement rate)：指诊断试验中真阳性和真阴性之和占总受检人数的比例。反映了正确诊断患者与排除非患者的能力，也就是诊断试验结果与金标准结果的符合程度。,2023/
6、8/1,18,预测值：PV是根据诊断试验的结果来估计真正患病可能性大小的指标，包括阳性预测值和阴性预测值。阳性预测值(+PV)：指诊断试验阳性结果中真正患病的比例。+PV=a/(a+b)100%阴性预测值(-PV)：指诊断试验阴性结果中真正未患病的比例。-PV=d/(c+d)100%,2023/8/1,19,似然比(LR)：诊断试验阳性或者阴性的结果分别在患者中出现的概率与非患者中出现的概率之比。说明病人出现该结果的机会是非病人的多少倍。意义：是同时反映灵敏度和特异度的复合指标，不受患病率的影响。阳性似然比+LR阴性似然比-LR,2023/8/1,20,阳性似然比：指真阳性率与假阳性率之比，说
7、明正确判断阳性的可能性是错误判断阳性可能性的倍数。值越大越好。阴性似然比：指假阴性率与真阴性率之比，说明错判阴性的可能性是正确判断阴性可能性的倍数。值越小越好。,2023/8/1,21,(二)有关评价指标的相互关系及其作用,灵敏度和特异度的相互关系Se和Sp是评价诊断试验优劣的基础。Se和Sp是诊断试验本身固有特性，受患病率的影响很小，但受选定的诊断标准(临界值)的影响较大。一般来说，Se升高，Sp就会下降，反之亦然。,2023/8/1,22,选择诊断标准的原则,灵敏度高的诊断试验用于:用于疾病早期诊断;漏诊可能造成严重后果的疾病;有现成的治疗方法。特异度高的诊断试验用于:肯定诊断;误诊会给病
8、人造成严重后果，包括经济负担、精神和肉体上的严重危害等。如果漏诊和误诊同等重要，应将诊断试验的诊断标准定在灵敏度和特异度均较高的位置，一般可把诊断标准定在“灵敏度=特异度”的分界处。,2023/8/1,23,冠状动脉狭窄有很多诊断方法，其中最确切的诊断方法是动脉造影(金标准)。有人提出用分级踏旋器应力试验也即运动试验(系运动后观察心电图变化的一种试验)用作诊断，代替造影。怎样评价这个新诊断方法?要与动脉造影试验作比较。在比较时采取“盲法”的原则。,例,2023/8/1,24,Sketch选取了195人的样本。动脉造影以动脉狭窄75%作为异常，而运动试验以心电图判断异常。,表 在患病率高的男病人
9、组中运动后心电图与冠状动脉造影的比较,例,2023/8/1,25,灵敏度=a/(a+c)=55/104=53%假阴性率=c/(a+c)=49/104=47%特异度=d/(b+d)=84/91=92%假阳性率=b/(b+d)=7/91=8%阳性预测值=a/(a+b)=55/62=89%阴性预测值=d/(c+d)=84/133=63%,2023/8/1,26,上述例子的患病率为53%，在患病率低的人群中，该试验的诊断价值如何呢?,2023/8/1,27,灵敏度=55/104=53%(与前表相同)假阴性率=49/104=47%(与前表相同)特异度=478/520=92%(与前表相同)假阳性率=42/
10、520=8%(与前表相同)患病率=104/624=17%(前患病率为53%)阳性预测值=55/97=57%(55/62=89%)阴性预测值=478/527=91%(84/133=63%),2023/8/1,28,患病率=104/624=17%(前患病率为53%)阳性预测值=55/97=57%(55/62=89%)阴性预测值=478/527=91%(84/133=63%),2023/8/1,29,表 Se和Sp为99%的试验在不同患病率人群中的+PV,2023/8/1,30,表 Se和Sp为99%的试验在不同患病率人群中的+PV,2023/8/1,31,患病率(P)与灵敏度、特异度与预测值的关系
11、,2023/8/1,32,患病率(P)与灵敏度、特异度与预测值的关系,患病率相同时，Se越高-PV越高，更有把握判断阴性结果为非病人；患病率相同时，Sp越高+PV越高，更有把握判断阳性结果为病人；Se和Sp确定后，+PV与P成正比，-PV与P成反比。,2023/8/1,33,2023/8/1,34,(三)受试者工作特征曲线,又称ROC曲线(receiver operation characteristic curve，ROC)，是用真阳性率(灵敏度，Y轴)和假阳性率(1-特异度，X轴)作图得出的曲线，它可表示灵敏度和特异度之间的关系。,2023/8/1,35,ROC曲线的应用,1.应用ROC曲
12、线来确定诊断试验分界值 曲线上距离左上角最短的点所对应的值作为诊断标准。此时诊断的灵敏度和特异度均较好，且误诊率和漏诊率最小。它被用来直观地确定诊断试验的最佳分界值。,2023/8/1,36,2023/8/1,37,ROC曲线的应用,2.比较两种或两种以上诊断试验的诊断价值可将各试验的ROC曲线绘制到同一坐标中，以直观地鉴别优劣，其中曲线顶点与纵坐标顶点最接近者，即为最好的诊断试验。亦可通过分别计算各个试验的ROC曲线下的面积(AUC)后进行比较，哪一种试验的AUC最大，则哪一种试验的诊断价值最佳。AUC值在1.0和0.5之间。AUC越接近于1，说明诊断效果越好；AUC=0.5时，说明诊断方法
13、完全不起作用，无诊断价值。,2023/8/1,38,图 CT扫描与RN扫描诊断脑瘤的ROC曲线（Robert H.Fletcher，1996）,CT扫描对诊断脑瘤的价值大于RN扫描,2023/8/1,39,ROC曲线的优缺点,优点该方法简单、直观，通过图示可观察试验方法的试验真实性。ROC曲线将灵敏度与特异度以图示方法结合在一起，可准确反映某试验方法特异度和灵敏度的关系，是试验真实性的综合代表。与阳性预测值不同的是ROC曲线评价方法与群体患病率无关。,2023/8/1,40,ROC曲线的优缺点,缺点ROC曲线图上显示的不是真正的判断值，实际的分界值通常没有在图上表示出来。研究分析对象的数目也没
14、有在图上表示出来。,2023/8/1,41,二、可靠性(reliability),定义：指诊断试验在相同条件下进行重复操作获得相同结果的稳定程度。又称精确度(precision)或可重复性(repeatability)。可靠性的评价主要是检验测量变异的大小。可靠性高说明试验结果受随机误差的影响小。,2023/8/1,42,(一)影响可靠性的因素,受试对象生物学变异观察者变异试验条件和试验环境变异,2023/8/1,43,(二)评价可靠性的指标,1.定量资料:变异系数 2.定性资料:符合率3.一致性分析:Kappa值,2023/8/1,44,变异系数(coefficient of varianc
15、e，CV),当某试验是做定量测定时，可用CV来表示可靠性。CV测定值均数的标准差/测定值均数100CV比值越小，可靠性越好。,2023/8/1,45,符合率(agreement rate),定义：又称准确度(accuracy)，当某试验做定性测定时，同一批研究对象两次诊断结果均为阳性与均为阴性的人数之和占所有受检人数的比率。用途：符合率可用于比较两个医师诊断同一组病人，或同一医师两次诊断同一组病人的结果。计算公式：符合率(a+d)/(a+b+c+d)100%,2023/8/1,46,诊断试验的一致性分析:Kappa值,Kappa值是表示不同操作者对同一试验结果，或同一操作者不同时间判断同一批结
16、果的一致性强度的指标，该值考虑了机遇因素对一致性的影响并加以校正，从而提高了判断的有效性。,2023/8/1,47,kappa值,kappa值的取值范围为-l1。=1，两医生的判断完全一致。=-1，两医生的判断完全不一致；=0，观察一致率完全由机遇造成；0，观察一致率小于机遇一致率；0，观察一致率大于机遇一致率；0.40.75，为中高度一致；0.75，极好一致性；0.40，一致性差。,2023/8/1,48,真实性与可靠性的关系,真实性与可靠性不是必定相关的:真实性好不一定可靠性也好 可靠性好不一定真实性好 警惕：可靠性虽然很好但不真实的结果。在评价时真实性与可靠性均不可忽略。,2023/8/
17、1,49,三、诊断试验的实用性评价,评价的主要内容包括诊断方法是否简单实用?试验步骤、操作方法、使用仪器及试剂规格、检测对象与注意事项是否具体明确?病人与医护人员是否容易接受?成本效益如何?对病人有无损伤？有无临床推广应用价值?,第三节 提高诊断试验效率的方法,2023/8/1,51,提高诊断试验效率的方法,1.选择患病率高的人群 2.联合试验 平行并联试验(parallel test)系列串联试验(serial test),2023/8/1,52,选择在患病率高的人群应用诊断试验,当诊断试验的灵敏度和特异度不变时，患病率与诊断试验的阳性预测值成正比。选择患病率高的人群，可使新发现的病例数量增
18、加，试验成本下降，其结果使试验的效率提高。临床上通过询问病史、筛查高危人群、职业人群和特殊暴露人群，实行逐级转诊制度，建立专科门诊及专科医院等，其结果都可提高就诊群体的疾病阳性率，因而也提高了试验效率。,2023/8/1,53,1.并联/平行试验（parallel test）当多个诊断试验平行使用时，任何一个诊断试验结果为阳性，则判断为平行试验阳性，只有全部试验结果为阴性才判断为平行试验阴性。可提高Se，降低Sp，减少漏诊率。2.串联/系列试验（serial test）当多个诊断试验系列使用时，前一个试验结果阳性才进行下一个试验，一旦出现阴性结果判断为系列试验阴性，只有全部试验阳性时才判断为系
19、列试验阳性。可提高Sp，降低Se，增加漏诊率。,2023/8/1,54,联合试验,并联试验Se=A试验的SeB试验的Se(1-A试验的Se)Sp=A试验的SpB试验的Sp 串联试验Se=A试验的SeB试验的SeSp=A试验的SpB试验的Sp(1-A试验的Sp),2023/8/1,55,A、B两试验并联时：Se=(1433117)/199100%=82.41%Sp=7599/7641100=99.45%A、B两试验串联时：Se=117/199100%=58.79%Sp=(10117599)/7641100%=99.73%,第四节 诊断试验评价的设计,2023/8/1,57,一、确定金标准,gol
20、d standard指当前医学界公认的诊断或排除某病最可靠的诊断方法。应用金标准可以将个体正确区分为患有某病或不患有某病。因此，在评价新的诊断试验时，必须以金标准为依据。,2023/8/1,58,2023/8/1,59,二、研究对象的选择,病例组：金标准证实的患目标疾病的病例 应该包括所研究疾病的各种临床类型轻、中、重型；典型与非典型；早、中、晚期；病程长与病程短。对照组：用金标准证实没有目标疾病的其他疾病患者，特别是与目标疾病容易混淆的疾病病例。通常不以正常健康人为对照。,2023/8/1,60,三、样本含量的估计,病例组样本含量 对照组样本含量 d为允许误差，一般定在0.05/0.10。S
21、e为灵敏度，Sp为特异度。样本量的估计主要取决于三个参数：灵敏度、特异度和允许误差。,Se,Sp均接近50%,2023/8/1,61,四、确定诊断试验的分界值,分界值(cut off value)又称截断点、阈值、临界点，指划分诊断试验结果正常与异常的标准。均数加减2倍标准差法百分位数法临床判断法ROC曲线法,2023/8/1,62,四、确定诊断试验的分界值,对于诊断试验分界值一般就是正常值的界值。通常，正常者与异常者的测定值总有重叠，无论怎样定标准，总有误诊或漏诊，且直接影响到 Se和 Sp。分界值的确定不是一成不变的，可因不同目的加以调整。,2023/8/1,63,理想的正常人群与糖尿病病人血糖水平分布现实的正常人群与糖尿病病人血糖水平分布,2023/8/1,64,WHO1999年糖尿病诊断标准：空腹血糖126mg/dl,2023/8/1,65,五、与金标准同步进行盲法比较,同步指金标准诊断方法与待评价诊断方法在同时间、同地区、同人群中进行检测。盲法被盲对象 测量者,2023/8/1,66,2023/8/1,67,谢谢,
