《绩效评价常见证据收集方法.docx》由会员分享，可在线阅读，更多相关《绩效评价常见证据收集方法.docx（18页珍藏版）》请在三一办公上搜索。
1、绩效评价常见证据收集方法绩效评价实施过程中常见的证据收集方法有案卷研究、面访、座谈会、问卷调查和实地调研等，具体如下。1、案卷研究案卷研究旨在从现有文档资料中寻找证据。这些文档资料包括项目文件、国家和地方的发展政策和战略、各种相关研究和咨询报告等。案卷研究收集的证据要汇总为一个表格（见表附4-1）o案卷研究要注意对同一指标在不同项目文件中的证据进行核实。例如，对于产出指标，在项目进展报告、完工报告、国际金融组织开展的绩效评价报告（如果有）中均有项目产出的相关证据，评价小组在评价产出的指标时要对这些不同来源的证据进行对比核实，如果不同来源的证据存在差异，则要分析差异原因，并在座谈会、面访、实地调
2、研中进行核查，最后选定使用证据的来源。表附IT案卷研究方法收集证据环境综合整治一期工程项目为例（部分）指标证据证据来源项目目标与项目目标：改善苏州河中华人民共中国国家城的水质，水资源管理及防和国国民经济和社市环境综合洪，从而提高公众健康标准会发展第十二个五治理发展政和生活在苏州河边居民的生年规划纲要策的相符程活质量。关于上海市度“十二五”规划中，党国民经济和社会发中央，国务院更加重视环境保护，面对日趋强化的资源环境约束，树立绿色、低碳发展理念，强调可持续发展能力，提高生态文明水平。国民经济和社会发展第十二个五年计划纲要把环境保护作为国民经济和社会发展的主要奋斗目标之一和提高人民生活的重要内容。
3、展第十二个五年规划纲要行长建议报告项目目标与中国地方城市环境综合治理发展政策的相符程度项目目标：改善苏州河的水质，水资源管理及防洪，从而提高公众健康标准和生活在苏州河边居民的生活质量。上海市十二五规划提出，把强化环保绿化建设，进一步改善生态环境作为城市发展重点。坚持实施节约资源和保护环境基本国策，推动绿色低碳发展，着力推进节能减排、环境保护和生态建设，加快建设资源节约型和环境友好型城市，努力使我们的家园更加生态宜行长建议报告亚洲开发银行对华国别援助战略报告居，实现城市可持续发。坚持防治结合、预防为主，强化污染源头控制，注重环境协同治理，继续滚动实施环保三年行动计划，有效改善环境质量，努力让空气
4、更加清新、让河水更加清澈。加强河道整治和生态修复，实现城乡河道水质稳中有升，全面消除黑臭。并改善空气质量。项目开工的及时性项目预计开工时间：1999年3月项目实际开工时间：1999年12月项目竣工报告亚行完工报告行长建议报告项目预期和实际的实施周期相符程度项目预计实施周期：1999年一季度到2003年三季度项目实际实施周期：1999年二季度到2004年三季度项目竣工报告亚行完工报告行长建议报告亚行贷款项亚行贷款资金计划发生项目竣工报目资金的使用与预算的一致性数：3亿美元2.亚行贷款资金实际发生数：1.615亿美元告亚行完工报告行长建议报告配套资金的使用与预算的一致性配套资金计划发生数：5.76
5、亿美元配套资金实际发生数：52.47亿人民币(增加原因：亚行贷款资金的减少部分由国内配套资金补足)项目竣工报告亚行完工报告行长建议报告项目资金的使用与预算的一致性项目资金计划发生数：86.5亿人民币。项目资金实际发生数：65.87亿人民币。项目竣工报告亚行完工报告行长建议报告资料来源：国际金融组织贷款城建环保项目绩效评价典型案例汇编(2011)注：项目具有多个指标，在此仅列出部分以案件研究方法收集证据的指标作为示例。2、面访面访是评价小组直接走访面访对象，当面听取被调查者意见的证据收集形式。评价小组在开展面访之前要做好准备：一是确定面访对象，二是设计面访问题清单，三是安排面访日程。面访对象面访
6、对象要能为绩效评价提供切实有用的证据，一般包括以下几类人员：(I)项目管理人员，包括政府官员和项目办人员；(2)负责项目实施和运行的人员，如卫生项目中的医院院长；(3)项目受益人，如教育项目中接受培训的小学教师；(4)参与项目设计、实施等的行业专家。设计面访问题清单面访问题清单要以绩效评价框架为基础，针对不同的面访对象设计不同的面访问题。表附4-2以亚洲开发银行贷款苏州河环境综合整治一期工程项目为例，列举其面访问题清单，并说明每个问题的作用。表附1-2面访问题清单环境综合整治一期工程项目为例对象序号问题作用参与项目设计的职能部门领导1.1本项目的设计目标是否适合当时上海市的发展需要？收集评价指
7、标证据1.2本项目的产出与当时中国城市环境保护领域的战略和政策是否相符？收集评价指标证据1.3本项目是否促进了苏州河周边区域经济收集观（苏办）的发展？具体体现在哪些方面？点1.4您认为亚行在项目准备、设计、执行和管理监督中的效率怎样？收集评价指标证据1.5您认为各级政府对项目的组织保障、协调效率如何？收集评价指标证据1.6项目完工后产生哪些显著的社会效果？如提高公众健康标准、人民生活质量、改善环境等。收集观点1.7您认为项目有哪些经验教训（在项目管理方面、在政策理念方面、在制度建设方面、在技术应用方面）和建议总结。收集观点项目实施运行人员（苏建公司）2.1项目设计是否符合当时的需要？主要是针对
8、上海哪些具体问题？收集评价指标证据2.2您认为达到项目的目标，与本项目的设计相比，您认为有无更好的方法和建议？收集观点2.3您认为亚行在项目准备、设计、执行和管理监督中的效率怎样？收集评价指标证据2.4项目是否实现了所有的预期产出？收集评价指标证据2.5项目完工后产生哪些显著的社会效果？如提高公众健康标准、人民生活质量、改善环境等。收集观点2.6您认为项目有哪些好的做法和经验可以借鉴到同类内资项目？收集观点受益群体3.1您是否经历过苏州河综合整治前的黑臭水？河面漂浮垃圾？现在的情况有否有改善？收集观点3.2您以前在苏州河边生活的时候是否闻到过刺鼻的异味？核实证据3.3您对现在苏州河边的水质，空
9、气的质量和绿化数量是否满意？收集评价指标证据3.4您对苏州河环境综合整治一期项目的总体满意度如何？收集评价指标证据3.5您对苏州河边动拆迁安置是否满意？收集评价指标证据3.6您对苏州河综合治理还有什么要求和建议？收集观点3.7你感觉苏州河综合治理前后，变化大吗？具体表现在那几个方面？收集观点资料来源：国际金融组织贷款城建环保项目绩效评价典型案例汇编(2011)面访日程安排面访日程安排应包括面访目的、面访问题清单、被面访人应准备的相关资料、面访时间和地点安排等。评价小组要将面访日程安排提前一周左右发给被面访人，以便他们了解面访的目的、熟悉问题内容、准备相关材料，更有效地开展面访，收集高质量证据。
10、面访要注意以下事项：(1)每次面访时间不宜过长，一般不超过3小时；(2)评价小组要安排专人负责记录；(3)面访要严格按照问题清单进行，避免被面访人过多谈论面访问题之外的内容；(4)如果对被面访人陈述的内容有疑问，评价小组要及时提问进行确认。面访结束后应立即进行记录整理，按照面访问题的顺序汇总成为专栏附4-1的形式。专栏附1-1面访记录举例XX项目面访记录时间：XX年XX月XX日，上午/下午XX点地点：面访对象：评价小组：记录整理人：问题1：被面访人对问题的回答。问题2：被面访人对问题的回答。问题n：被面访人对问题的回答。面访记录和面访人员清单（见表附4-3）应整理归档，作为工作底稿保留。表附1
11、-3面访人员清单序号姓名所在单位职务/职称面访时间面访地点1233、座谈会座谈会是绩效评价中经常使用的证据收集方法。评价小组把有代表性的利益相关方召集起来，围绕座谈会问题清单进行讨论，收集绩效评价所需证据。召开座谈会前，评价小组要做好以下准备工作：（1）确定每次座谈会的次数和参会的利益相关方；（2）设计座谈会问题清单，不同座谈会的问题清单可能会不同；(3)设计座谈会的日程安排，包括召开的程序、时间和地点。表附4-4以亚洲开发银行贷款苏州河环境综合整治一期工程项目为例，列举其座谈会问题清单，并说明每个问题的作用。表附1-4项目座谈会问题清单环境综合整治一期工程为例对象序号问题作用项目实施单位1项
12、目是否按计划时间展开了动拆迁、环境评价、招标采购、项目培训情况等活动实施？收集评价指标证据2项目实施是否顺利？项目计划开竣工日期？和项目实际开竣工日期是否相符？(如提前或延后请说明原因。)收集评价指标证据3原总投资86.5亿人民币，其中亚行贷款3亿美元，后来总投资调整为69.8亿人民币，其中亚行贷款1.65亿美元，请说明调整投资的原因，并提供政府部门关于调整投资的批复。询问原因4项目实施过程中资金到位的情况？收集评价指标证据5亚行在项目准备、设计、执行和管理监督中的效率怎样？收集评价指标证据6你们认为各级政府对项目的组织保障、协调效率如何？收集评价指标证据7苏州河六支流截污工程原计划截流支管全
13、长6.8公里，现实际完成111.41公里，原收集系统管道全长23.9公里，现实际完成54公里，工程量调整的原因是什么？询问原因8底泥疏浚和处置工程取消的原因？询问原因9项目实施机构通过实施该项目有哪些经验和教训？哪些问题应在后期工程中加以改进？收集观点资料来源：国际金融组织贷款城建环保项目绩效评价典型案例汇编（2011）采用座谈会方法应该注意以下事项：（1）座谈会参与人数不宜太多，6-10人比较合适；（2）要尽量保证参加座谈会的人是最合适的人选，他们最好参与过或熟悉项目的设计、实施、运行、管理等，能够为绩效评价提供有用信息；（3）要有专人负责记录，尽量将参会人员提供的信息记录下来；（4）座谈会
14、要严格按照问题清单进行，避免参会人员过多谈论问题清单之外的内容；（5）如果对与会人员陈述的内容有疑问，评价小组要及时提问进行确认；（6）参会人员要签到。对于座谈会收集的证据还要注意提供证据的人数比例，即要注意座谈会参会人员对问题答案是否达成共识。如果未达成共识，应将每个参会人员对问题的回答均记录下来，而采用这类证据时也应谨慎，否则将影响评价的客观性。例如对“项目的目标群体是否公平地享有项目提供的产品和/或服务”这一问题的回答，如果只有一两个参会人员回答“是“，而评价人员采用了这个证据，将严重影响评价质量。如果评价人员要采用没有共识的证据，应在评价报告中说明。每一次座谈会都要做记录，并且应在座谈
15、会结束后立即整理。座谈会的记录整理要按照座谈会问题清单的顺序，并要说明每个问题的答案是否在座谈会上达成一致意见。座谈会记录格式见专栏附4-2。专栏附2座谈会记录格式XX项目座谈会记录时间：XX年XX月XX日，上午/下午XX点地点：（应准确到召开座谈会所在地的最低行政级别名称）记录整理人：问题1：与会代表发言整理问题2：与会代表发言整理问题n：与会代表发言整理附：座谈会名单序号姓名单位职务/职称12座谈会记录和座谈会参与人员清单（见表附4-5）应整理归档，作为工作底稿保留。表附1-5座谈会参与人员清单序号姓名单位职务/职称第1次时间：XX年XX月XX日地点：XX省XX市XX县12第XX次时间：X
16、X年XX月XX日地点：XX省XX市XX县4、问卷调查问卷调查是评价小组直接向被调查者询问以获得数据的方法。开展问卷调查需遵循以下步骤：（1）设计调查问卷。（2）将问卷以直接发放、邮寄或网上填写等形式交由调查对象填写；（3）回收问卷；（4）整理分析并得出结论。问卷问题应根据绩效评价框架设计，主要用于收集衡量绩效评价指标的证据。在设计问卷的过程中应注意以下事项：（1）应先询问被调查者的基本情况；（2）避免系统性问卷偏差，避免诱导性问题，避免不近人情的问题，避免一个问题内含两个以上问题；（3）控制问卷的长度；（4）问卷外观应简洁明了且避免细节性错误。专栏4-3以亚洲开发银行贷款苏州河环境综合整治一期
17、工程项目为例，展示其调查问卷。专栏1-3亚洲开发银行贷款苏州河环境综合整治一期工程项目调查问卷一期工程社会问卷调查个人资料：性别：男（）女（）学历：小学或初中（）高中O大专O本科O本科以上O年龄：3039O4049O5059O6069O7079O居住区域：闸北区（）虹口区O静安区（）普陀区（）黄浦区O长宁区O开始居住时间点：1999年前（）19992004年（）2004年以后O（填选512题内容）职业：公务员O专业技术人员O私营业主O农民（）工人O教师（）自由职业者（）企业职员（）学生（）治理以前搬来的居民选填（14、712题）水质：1）请问您觉得苏州河河水与整治前（1999年前）有何改善？（
18、）A.明显改善B.稍有改善C.没有改善D.略微比以前糟糕E.比以前糟糕许多2）请问您现在是否会在苏州河河面上看到有固体废弃物或漂浮垃圾？（）A.从不看到B.偶尔C.有时D.经常看到E.都是废弃物或垃圾空气：3）请问您现在是否会在苏州河边闻到异味？OA.从不B.偶尔C.有时D.经常E.异味不间断4）请问您对于现在苏州河边的空气质量感到满意吗？（）A.很满意B.满意C.一般D.不满意E.很不满意治理以后搬来的居民选填（512题）5）请问您选择搬到苏州河边居住的最主要原因是什么？A.环境优美B.交通方便C.生活设施配套完备6）请问您在搬到苏州河后的实际生活情况与搬来之前的预期是否一致？A.完全一致B
19、.基本一致C.差不多D.不一致娱乐：7）请问您对苏州河边亲水平台等休闲娱乐景点的数量和设计质量是否满意（）A.很满意B.满意C.一般D.不满意E.很不满意8）请问您是否会去苏州河边散步休闲？OA.天天都去B.经常去C.偶尔去D.不太去E.从来不去生态系统：9）请问您对于苏州河沿岸的绿化建设满意程度？OA.很满意B.满意C.一般D.不满意E.很不满意综合环境：10）请问您对于现在的小区附近的生活环境满意吗？OA.很满意B.满意C.一般D.不满意E.很不满意11）请问苏州河的综合治理后周边的房价涨跌情况如何？OA.涨价很多B.涨了一些C.没有变化D.跌了一些E.跌了很多12）请问通过综合治理后防洪
20、防汛能力是否得到提高？（）A.提高很大B.提高一点C.没有提高D.降低一点E.降低很多公众参与性13）请问苏州河环境综合整治一期工程完工后，您是否有过随意向苏州河内扔东西、吐痰、采摘绿化带内的花卉等不良行为O?A.从未有过B.不太有过C.偶尔有过D.一直有过14）对于别人向苏州河内扔垃圾的行为，您是否会制止O?A.肯定会B.可能会C.不知道D.可能不会E.肯定不会资料来源：国际金融组织贷款城建环保项目绩效评价典型案例汇编（2011）问卷发放应尽可能经济高效。问卷可以直接发放、邮寄或者利用网络问卷平台，也可以多种方式结合使用。发放问卷的时候需考虑是否给被调查者留有充足的考虑时间。问卷应尽可能进行
21、回收，对于样本较小的调查，更需要较高的问卷回收率。通常在没有系统偏差情况下，如果问卷回收量大于100份，得到的数据就是可靠的；如果大于200份，数据就比较完美。问卷调查还需对调查时间有准确的把握，即对于完成整个调查过程有明确的时间概念。首先，需估计从发出到回收问卷的平均时间，并为问卷（因无法回收）再次发放预留足够时间。其次，应在有充分时间保障时开展调查。再次，应明确调查到什么程度即可结束。最后，调查本身应尽可能避开节假日和最忙的季节。对问卷的分析整理应系统地进行。所有回收的问卷应进行编号，相应的问卷信息应按照编号进行整理。在进行数据分析前，要核查反馈的数据是否具有代表性，是否存在系统偏差。5、
22、实地调研实地调研是评价小组到项目实施地进行考察、直接收集证据的方法。开展实地调研要遵循以下步骤：（1）选择调研地点；（2）开发调研问题清单；（3）编写调研日程安排；（4）开展实地调研；（5）整理调研记录。调研问题要根据绩效评价框架来设计，主要用于收集案卷研究、面访和座谈会无法收集的证据。开展实地调研要先明确要考察项目的哪些产出和成效，是否要对当地利益相关方进行面访等。实地调研要形成调研记录，并按调研问题顺序整理成专栏附4-4的形式，作为工作底稿保留。专栏附1-4调研记录格式XX项目实地调研记录时间：XX年XX月XX日，上午/下午XX点地点：（应准确到调研地点的最低行政级别名称）调研小组：记录整理人:问题1：调研记录问题2：调研记录问题n：调研记录评价小组认为的其他重要信息。（以下如有）面访人员清单序号姓名所在单位职务/职称时间123座谈会人员清单序号姓名所在单位职务/职称时间123
