《某省财政支出项目绩效评价操作指南.docx》由会员分享，可在线阅读，更多相关《某省财政支出项目绩效评价操作指南.docx（70页珍藏版）》请在三一办公上搜索。
1、财政支出项目绩效评价操作指南（试行）海南省财政厅2010年8月目录1引言11.1背景11.2目的11.3内容11.4使用42项目绩效评价的基本概念52.1绩效评价的定义52.2绩效评价的原则52.3项目的逻辑模型52.4绩效评价的准则62.5绩效评价的步骤73评价任务的组织93.1评价任务的组织模式93.2评价管理者的职责93.3绩效评价小组94编制评价任务大纲114.1功能114.2编写步骤114.3内容125绩效评价设计155.1前期准备155.2开发绩效评价框架165.3完成绩效评价实施方案276绩效评价的实施306.1证据收集306.2证据整理356.3分析366.4绩效评级376.5
2、形成评价结论、经验教训和建议397评价结果的报告417.1执行摘要的编写427.2主体报告427.3附件477.4与利益相关者沟通477.5形成报告终稿478评价结果的使用和扩散488.1评价结果的使用488.2评价结果的扩散499绩效评价的质量控制509.1高质量绩效评价的特点509.2不同阶段的质量控制50附件53附件1评价任务大纲格式53附件2绩效评价实施方案格式54附件3财政支出项目绩效评价报告格式57II表表 41 评价任务大纲评价任务实施计划模板14表 51 项目基础信息表16表 52 绩效评价框架结构17表 53关键评价问题的适用性20表 54 相关性评价指标开发-以辽宁城市交通
3、项目为例22表 55 效率评价指标开发-以辽宁城市交通项目为例23表 56效果评价指标开发-以辽宁城市交通项目为例24表 57可持续性评价指标开发以辽宁城市交通项目为例25表 58 证据收集方法的优缺点27表 59辽宁城市交通项目省级座谈会问题清单-部分28表 510绩效评价任务分解模板29表 61 案卷研究方法收集证据 以辽宁城市交通项目为例31表 62 面访人员清单32表 63 座谈会参与人员清单34表 64绩效评价表38表 71 项目关键信息43表 72 XX项目绩效评价等级表43图图 11绩效评价操作指南框架3图 21项目逻辑模型6图 51 绩效评价设计流程15图 52 设计阶段绩效评
4、价框架开发流程18图 71绩效评价报告编写流程42专栏专栏 41高质量评价任务大纲的核查问题清单14专栏 51 开发评价指标的原则21专栏 52 辽宁城市交通项目简介21专栏 53 绩效评价证据来源26专栏 61 证据收集的一般规则30专栏 62 面访记录格式32专栏 63 辽宁城市交通项目省级座谈会日程安排33专栏 64 座谈会记录格式34专栏 65 实地调研记录格式35专栏 66 评价结论举例-河北公路发展项目绩效评价39专栏 67经验教训举例-河北公路发展项目绩效评价39专栏 68 建议举例-河北公路发展项目绩效评价40专栏 71 撰写绩效评价报告的要点41专栏 72图、表的编制原则45
5、专栏 73绩效分析格式45IV1 引言1.1 背景2009年6月22日，财政部发布了财政支出绩效评价管理暂行办法（财预200976号）（以下简称办法）。财政支出绩效评价自此有了统一的部门规章。办法对绩效评价的实施和管理提出了明确要求，对绩效评价涉及的各方职责、评价内容、评价指标的确定、评价方法、实施程序、报告撰写和评价结果应用作出了原则性的规定。办法同时指出，各地可据此办法制定切合本地实际的管理办法和实施细则。为此，海南省财政厅参照财政部国际金融组织贷款项目绩效评价操作指南并在开展绩效评价试点的基础上，组织编写了财政支出项目绩效评价操作指南（以下简称指南），用以指导全省各级政府部门开展绩效评价
6、工作。1.2 目的本指南旨在向全省各级政府部门和评价人员开展财政支出项目绩效评价（简称绩效评价 以下如无特殊说明，绩效评价均指的是财政支出项目绩效评价。），提供具体操作指导，从而帮助他们更好地理解、管理和实施评价活动，并提高评价的规范性和质量。本指南有3个主要目的：l 帮助各级政府部门管理人员、项目实施人员和评价人员更好地理解并掌握财政支出项目绩效评价的基本概念、一般准则、方法及其他相关知识；l 帮助各级政府部门有效地开展绩效评价管理工作，并对绩效评价进行质量控制；l 指导评价人员规范地实施绩效评价任务，从而提高绩效评价的质量。此外，本指南还可以作为各级政府部门建立适合本地、本部门实际的绩效目
7、标管理系统的重要参考。1.3 内容本指南包括9章内容。第1章是引言，主要说明指南编写的背景、目的、内容及其使用。第2章是绩效评价的基本概念，主要介绍本指南涉及的定义、评价原则、准则、评价步骤等。第3、4章是绩效评价管理，主要阐述评价任务的组织和评价任务大纲的设计与编写。第5-7章是绩效评价的设计与实施，重点介绍绩效评价的设计、实施和评价报告编写。第8章是评价结果的使用与扩散，介绍如何使用评价结果，如何进行评价结果的扩散。第9章是绩效评价的质量控制。质量控制对于绩效评价非常关键，是评价管理者重要工作之一。质量控制贯穿于绩效评价从设计、实施到撰写报告的全过程。图1-1财政支出项目绩效评价操作指南框
8、架前期准备（准备阶段）确定评价任务确定评价任务的实施模式（第3章）编制评价任务大纲（第4章）评价设计（设计阶段）（第5章）前期准备开发绩效评价框架（核心）形成评价实施方案质量控制（第9章）评价实施（实施阶段）（第6章）证据收集质量控制（第9章）证据整理证据分析绩效评级形成评估结论、经验教训和建议报告结果（报告阶段）（第章）编写报告正文、摘要、附件初稿绩效评价初稿与利益相关者沟通修改形成绩效评价终稿结果使用和扩散（使用和扩散阶段）（第8章）质量控制（第9章）1.4 使用本指南适用于办法中涉及的财政性资金安排的支出项目（以下简称项目 如无特殊说明，以下“项目”均指财政性资金安排的项目。）。本指南的
9、使用者包括各级财政部门及其他政府部门中负责绩效评价管理的人员、参与财政支出项目绩效评价的评价人员、咨询专家及其他相关人员。本指南的内容针对不同使用者的需求进行了编排。第1、2、8章适用于所有使用者阅读和使用，第3、4、9章主要供绩效评价管理者阅读和使用，第5、6、7章则主要供评价人员、咨询专家阅读和使用。当然，我们鼓励使用者阅读完指南的全部内容，以便更好地理解并开展绩效评价工作。42 项目绩效评价的基本概念2.1绩效评价的定义绩效评价的定义是开展项目绩效评价相关各方相互沟通和理解的一个基础。本指南所称的绩效评级，是指财政部门和预算部门（单位）根据设定的绩效目标，运用科学、合理的评价方法、指标体
10、系和评价标准，对财政支出产出和效果进行客观、公正的评价。 2.2绩效评价的原则l 客观、公正原则。应当依据绩效评价准则、关键评价问题等开展评价活动，确保评价结果的真实性。l 科学、规范原则。绩效评价的设计应当具有科学性和可操作性，评价的实施应该遵循规范的程序和方法。l 可靠性原则。绩效评价应该既要报告项目成功的方面，也要报告项目失败的方面。l 目标导向原则。绩效评价以项目目标为导向，重点评价项目目标的相关性、目标实现程度、相对于目标实现程度的效率、以及项目成效的可持续性。l 参与性原则。项目各利益相关者，包括项目管理方、项目实施单位、项目受益群体、有关专家等，要尽可能地以适当方式参与到考评过程
11、中来。2.3项目的逻辑模型财政支出项目的设计都应使用逻辑模型。项目逻辑模型是一种理解从投入到结果之间的因果关系的有效工具。项目逻辑模型包括投入、活动、产出、成效、影响5个关键要素。其背后的逻辑是：对一个项目投入一定的资源，以便其开展必要的活动；至少有一些活动会获得一些产出，比如产品和服务；通过使用这些产出应该会带来某种变化。投入（Inputs）：指用于项目实施的各种资源，包括人力、资金、实物、时间和专业技能等资源。 活动（Activities）：我们所做的。指为实现项目目标而调动和使用各种资源的各项行动和工作，活动可以使用动词来表述（开展、建设、培训、调研等）。 产出（Outputs）：我们所
12、生产的。指通过实施各项活动而产生的产品和服务，是有形的，可计算的。比如为50个人提供了医疗服务，培训了100名小学教师，修建了100公里公路。 成效（Outcomes）：我们为何做。指通过使用项目的产出而带来的短期或中期的直接效果，成效能够被增加、减少、增强、改善或维持。比如新修公路使通行时间缩短，提高了运输效率。设定清晰的成效对于设计和构建结果导向的监测与评价体系至关重要，成效不能直接考核，它必须转化为一组关键指标，这些指标能够提供关于成效是否得以实现的信息。影响（Impacts）：指由成效累积导致的长期的或全面的变化，类似于战略目标。比如运输效率提高降低了运输成本（成效），从而促进了当地经
13、济的发展（影响）。 图2-1以某培训项目为例，解释项目逻辑模型。图2-1项目逻辑模型以某培训项目为例投入活动产出成效影响1.资金2.人员3.物料供应1.培训2.教育3.咨询服务1.服务时数2.完成课程的参加者人数1.技能提升2.态度改变3.新的就业机会1.培训者在5年内比那些没有接受培训的人挣得更多2.接受培训的人的生活水平高于控制组2.4绩效评价的准则本指南采用以下4个评价准则，即相关性、效率、效果和可持续性。2.4.1相关性相关性是指项目目标与政府的发展政策和优先重点、部门/行业发展规划以及受益群体的需求的相符程度。通过对相关性的评价，可以检查项目设计和项目实施是否针对当地的实际需求，解决
14、当地的实际问题。2.4.2效率效率是指资源/投入转化为结果的经济性。效率评价的内容包括项目实施的时间效率、资金使用、在使用既定资源下的产出情况、项目的经济内部收益率（EIRR）。项目实施的时间效率考察项目是否按计划的时间开工、是否在计划实施周期内完工。资金使用考察项目资金的使用是否按照预算执行。在使用既定资源下的产出情况是指项目是否实现了所有的预计产出。项目经济内部收益率是指项目周期内经济净现值累计等于零的折现率，是反映项目对国民经济和社会贡献的相对指标。2.4.3效果效果是指项目目标的实现程度，它也表现为目标群体的受益情况。效果从项目目标实现程度和项目瞄准度两方面进行评价。项目目标是在项目设
15、计时的预计成效，指通过一系列项目活动而要实现的结果，通常表现为对社会、经济、社区、目标人群所产生的积极作用。项目瞄准度是指考察项目成果是否真正地被目标群体享有。也就是说，项目效果的评价不仅取决于项目实现预期目标的程度，也要考察其成果（一般表现为项目提供的产品或服务）是否使目标人群受益。2.4.4可持续性可持续性是指项目完工后持续运行和发挥成效的可能性。它针对保障项目持续运行并发挥成效的各方面因素进行评价，这些因素包括项目管理或运行机构的持续性、项目产出的维护和利用、制度保障等。此外，由于财政部门对项目还款十分关注，可持续性还对项目还款能力进行评价。2.5绩效评价的步骤绩效评价一般包括以下几个步
16、骤，每个步骤的详细内容和做法将在以后各章进行阐述。l 第1步：前期准备前期准备包括确定绩效评价任务和评价组织实施模式（见第3章）、编制评价任务大纲（见第4章）等。l 第2步：评价设计根据评价任务大纲设计详细的评价实施方案，包括开发绩效评价框架、选择证据收集方法、设计面访、座谈会和实地调研等的问题清单、进行人员、时间和经费安排等（见第5章）。l 第3步：评价实施按照设计的方案开展绩效评价，包括证据收集整理、证据分析、形成评价结论、经验教训和建议等（见第6章）。l 第4步：报告评价结果 按照本指南附件3的格式编写绩效评价报告，在此过程中要与利益相关者进行沟通，并将他们的观点和意见吸收到评价报告中来
17、（见第7章）。l 第5步：评价结果使用和扩散项目管理部门利用评价结果，用于解决问题、改进管理或为决策提供依据。财政部门将评价结果与以后年度的预算安排进行挂钩（见第8章）。3 评价任务的组织具体评价任务由财政部门以文件形式下达的年度评价计划确定。3.1 评价任务的组织模式评价任务可以由管理部门（各级财政部门和预算部门）组织实施，也可根据需要委托外部专业机构或专家进行，并与其签订委托合同。无论采取哪种方式，管理部门都应指派一名评价管理者，并要组建合格的评价小组实施绩效评价。3.2 评价管理者的职责评价管理者应为熟悉被评项目的管理人员，应履行以下职责：l 编写绩效评价任务大纲；l 与评价小组进行充分
18、沟通，使其完全理解评价任务大纲的每一项内容；l 为评价活动提供必要的支持和及时的反馈；l 监督评价活动的进展并进行质量控制；l 对评价活动中出现的情况及时做出决策；l 如委托合同需要变更，应与评价小组进行协商；l 检查评价报告初稿是否符合合同和指南的要求；l 对评价报告初稿提出反馈意见；l 确保各利益相关者有机会对评价报告初稿提出意见和建议，并保证这些意见和建议反映在评价报告终稿中；l 促进评价结果的使用和扩散。3.3 绩效评价小组3.3.1 评价小组应具备的知识和技能不管是管理部门自己评价，还是委托外部专业机构或专家评价，都需要成立绩效评价小组。评价小组是进行绩效评价的设计、实施和报告编写的
19、团队。评价小组对于绩效评价尤为重要。它是评价任务能否成功实施的关键因素。虽然绩效评价需要的知识和技能因不同项目而异，但以下列出的知识和专业技能是评价小组必须具备的：l 绩效评价知识和技能：这是一种综合的能力，包括绩效评价理论知识、方法和其他技能，如经济分析、统计分析、社会调查等。l 沟通能力：沟通能力十分重要，它有利于与利益相关者进行友好沟通，促进利益相关者参与绩效评价并提供必要协助，并向不同用户有效地报告评价结果。l 组织协调能力：组织协调能力是保证绩效评价顺利实施的关键，包括组织和调动各种资源、协调评价中不同任务的进展、控制评价任务在规定的时间内完成。l 行业知识：评价小组要熟悉项目所在的
20、行业背景、发展状况、相关政策、专业知识等。l 了解当地情况：因为项目实施的成功与否有时取决于当地因素，所以了解当地社会和文化背景很重要。评价小组还需要了解当地的发展政策、优先重点、以及面临的主要发展问题。如果项目的目标群体还涉及少数民族，还应该了解并尊重他们的生活习俗，以便更好地与他们进行沟通。3.3.2 评价小组的构成评价小组由若干名评价人员组成。评价小组成员不得与项目管理、实施、运行等有利益冲突。并不要求评价小组的每名成员都具备上述知识和能力，允许评价人员各具专长，通过互相补充、互相学习而使整个评价小组具备上述知识和技能，从而胜任评价任务。评价小组必须指定一名评价组长。组长应该具备以下条件
21、：l 具有较为深厚的绩效评价知识和技能；l 熟悉被评项目所在领域的相关政策、技术、管理等知识；l 具有较强责任心。评价组长应履行以下职责：l 负责与管理部门沟通；l 督促并协调评价小组成员的工作并管理日常工作；l 在评价小组出现不同意见时充当协调人；l 确保评价小组按照评价任务大纲实施评价；l 编写评价报告并负责报告最终定稿。114 编制评价任务大纲评价任务大纲（Terms of Reference，TOR）是一个书面文件，它载明评价的目的和范围、评价使用的方法、绩效评价或分析针对的标准、需要的资源、时间安排和评价报告要求。每个项目绩效评价都必须编写一个评价任务大纲。4.1功能评价任务大纲体现
22、了管理部门对绩效评价的要求，是从评价任务组织到评价结果使用与扩散的整个评价活动必须遵循的核心文件。评价任务大纲对于绩效评价至关重要，主要发挥以下4个方面的作用：l 将年度评价计划中的任务转化成可操作的评价工作；l 为评价小组进行具体评价设计和实施提供基础；l 为各利益相关方对评价任务形成共识提供基础；l 为评价管理者进行绩效评价质量控制、核查评价小组任务完成情况提供依据。4.2编写步骤评价任务大纲由评价管理者根据确定的评价任务进行编写，编写评价任务大纲一般包括4个步骤：前期准备、起草评价任务大纲初稿、与利益相关者沟通、形成最终评价任务大纲。4.2.1前期准备编写之前要对项目进行必要的研究和分析
23、，要明确评价目的，熟悉项目目标、特点、实施和完成情况，了解项目实施的社会经济背景，掌握项目现有数据信息情况。4.2.2 起草评价任务大纲初稿在前期准备和估算用于评价的资源（包括经费、人员和时间）等基础上，编写评价任务大纲初稿。4.2.3 与利益相关者沟通评价任务大纲初稿要与项目主管部门、项目实施及运行机构、行业专家等主要利益相关者进行沟通，听取他们的意见和建议。4.2.4 形成最终评价任务大纲在考虑利益相关者的建议和意见基础上，修订完善评价任务大纲初稿，形成最终评价任务大纲。4.3内容高质量的评价任务大纲应该包括以下几部分内容：评价目的、项目描述、评价范围、涉及的利益相关者、关键评价问题、方法
24、、预期成果、评价小组、实施计划、费用与支付、管理部门责任等。4.3.1评价目的评价任务大纲的第一部分要明确评价目的。评价目的要具体写明为什么要开展此项评价，评价结果将如何使用，以及由谁使用。4.3.2项目描述对项目背景、项目目标、项目投入与活动、实施情况等方面进行简要描述，以便评价人员能够迅速了解项目基本情况。l 项目背景：项目实施的国家层面和地方层面的社会经济发展状况，项目所属的领域，所要解决的主要问题，如基本医疗卫生服务不足问题、城市交通发展瓶颈问题、环境污染问题等。l 项目目标：项目的预期产出和成效，如果项目设定了具体目标，还应描述其具体目标。l 项目投入与活动：项目投入金额和构成，为了
25、实现项目目标而设置的项目组成（Components）及其开展的活动（Activities）。l 实施情况：项目的实施周期（从开工到完工），实施地点，实施组织情况。4.3.3评价范围评价范围确定了绩效评价的广度和深度，包括时间范围、地域范围和收益群体范围。评价范围往往与评价目的有关。4.3.4涉及的利益相关者项目往往涉及多个利益相关者，包括管理部门、项目实施机构、项目运行机构、目标群体、社区等。要说明希望他们参与绩效评价的形式。上述描述是为了使评价人员了解项目的利益相关者，并尽可能从他们那里收集到绩效评价的有用信息。4.3.5关键评价问题这部分要列出绩效评价想要回答的关键问题。关键评价问题是针对
26、评价目的，在评价准则基础上进行开发的。本指南列出了12个必须回答的关键评价问题（见第5.2.1节）。管理部门根据需要，可以突出其中若干个问题，或补充其他问题。4.3.6方法描述证据收集可能用到的方法，比如案卷研究、面访、实地调研、问卷调查、座谈会等。不同方法的成本不同，在选择使用何种方法时要考虑绩效评价的预算。具体方法由评价小组进行开发。4.3.7预期成果通过绩效评价管理部门想要获得的成果，如绩效评价报告、评价进展报告及其提交时间。如果评价成果要用于扩散（如研讨会），那么这部分还要描述评价人员在成果扩散中应发挥哪些作用。4.3.8评价小组这部分要描述评价小组所需要的知识、能力和经验，以及其他相
27、关能力，如语言能力；还要描述建议的评价小组人数。4.3.9实施计划这部分说明评价任务将要开展的活动及时间安排，尤其是评价成果的提交时间节点。这里主要列出评价任务实施的关键时间节点和任务负责人，详细的实施计划由评价小组开发。实施计划模板（见表 41）。表 41 评价任务大纲评价任务实施计划模板序号活动描述时间安排负责人1签订任务合同XX年XX月XX管理部门、评价小组2开发绩效评价框架XX年XX月评价小组3形成评价方案XX年XX-XX月评价小组4评价实施XX年XX-XX月评价小组5提交报告初稿XX年XX月评价小组6利益相关者反馈XX年XX月XX管理部门及其他利益相关者7评价报告终稿XX年XX月评价
28、小组 注：如果由财政部门自己开展绩效评价，这个步骤则省略。4.3.10费用与支付这部分说明评价任务的预算费用和支付方式。4.3.11管理部门责任评价任务大纲要写明管理部门在绩效评价中的责任，包括管理部门要提供相关项目文档，为评价小组提供必要的协调，参与绩效评价实施过程中的某些活动，如实地调研、座谈会和讨论，对绩效评价进行质量控制等。由于评价任务大纲对绩效评价的成功实施至关重要，因此在公布最终评价任务大纲之前，管理部门要对其质量进行检查（见专栏 41）。专栏 41高质量评价任务大纲的核查问题清单l 为什么要开展此项评价？l 评价涉及了哪些利益相关者？l 所提出的评价问题是否明确？是否所有问题都能
29、被回答？l 评价任务大纲是否提出了关于评价方法或评价程序的硬性要求？这些要求是否合理？l 是否有足够的资源和时间来完成评价任务？l 在评价实施过程中，管理部门和其他利益相关者将为评价小组提供哪些必要支持？l 管理部门对于评价报告的要求是否清晰？l 评价小组能否根据评价任务大纲深化评价设计和实施评价任务？评价任务大纲格式见附件1。5 绩效评价设计仅仅有高质量的评价任务大纲还不能保证绩效评价的成功实施。因为评价任务大纲由评价管理者负责设计，主要对绩效评价的关键要素进行说明，是绩效评价实施的纲领性文件。但是，绩效评价任务由评价小组负责具体实施，这就要求评价小组要在对评价任务理解的基础上，将评价任务大
30、纲转化为可操作的实施方案，这才能保证绩效评价的成功实施。因此，绩效评价的设计要基于评价任务大纲，并主要满足评价任务大纲的要求。绩效评价设计的主要产出就是绩效评价框架和绩效评价实施方案。绩效评价设计流程见图 51。在绩效评价设计的每个步骤中，评价小组都要与管理部门进行沟通。图 51 绩效评价设计流程前期准备开发绩效评价框架完成评价实施方案l 熟悉项目文件l 与管理部门沟通l 理解评价任务大纲内容l 完成项目基础信息表l 开发评价指标l 选择证据收集方法l 形成绩效评价框架l 评价任务分解l 评价小组分工l 实施时间安排l 设计面访、座谈会、实地调研问题清单、调查问卷等l 形成评价实施方案5.1前
31、期准备前期准备包括尽量收集并熟悉现有的项目文件，与管理部门（或委托方）进行沟通，了解他们的意图并理解评价任务大纲的内容。前期准备要查阅的项目文件包括项目立项文件、项目实施计划、项目进展报告、项目中期检查报告、项目完工报告、项目工作总结等。前期准备要形成绩效评价过程文件之一项目基础信息表（见表 51）。表 51 项目基础信息表一、项目概况项目名称项目类型根据项目预算管理办法对项目的分类填写投资金额其中：中央财政 省级财政 地方配套金额以人民币为单位实施周期按项目完工报告中实施周期填写实施地点按XX省XX市XX县的格式填写项目发展目标按项目立项文件中的目标填写，若项目目标经过调整且经过财政部门同意
32、，还应填写调整后的目标项目组成按项目立项文件中的项目组成简要填写 项目实施单位二、项目背景重点从以下几方面描述项目的背景，但不限于这几点，注意提取关键数据和事实：- 项目的提出针对国家社会经济发展的哪些特定需求？（例如：与相关战略、政策或其他重大项目的关系等）- 项目的提出针对所在行业的哪些关键问题？（例如：解决空白问题、瓶颈问题、还是在现有条件下改进提高）- 确定项目的具体内容以及选择项目实施地点的理由，或有哪些考虑？（例如：该地区最 贫困，或具备实施条件，或估计影响较大等）三、项目目标和活动内容分别简述每一个项目组成部分的目标、投入、产出和实施地点。5.2开发绩效评价框架绩效评价框架是开展
33、绩效评价的核心。绩效评价框架包括评价准则、关键评价问题、评价指标、证据、证据来源、证据收集方法等（见表 52）。表 52 绩效评价框架结构评价准则关键评价问题评价指标证据证据来源证据收集方法相关性llllllllll效率llllllllll效果llllllllll可持续性llllllllll绩效评价框架中的术语解释如下：l 评价准则：即第2章第2.3节提到的相关性、效率、效果和可持续性4个评价准则。l 关键评价问题：用来将绩效评价聚焦于若干有限的关键方面，进而分析和评判准则的工具，一个评价准则下可以有多个关键问题。l 评价指标：定量或定性的因素或变量，是用来衡量成果、反映变化的手段；这里，评价
34、指标是用来回答关键问题的一种工具，一个关键问题下可能有多个评价指标。l 证据：用来对评价指标进行评判的各种信息，包括项目数据、事实、利益相关者观点等。l 证据来源：说明证据的出处，以便评价人员能够收集到所要的证据。l 证据收集方法：绩效评价中用于收集各种证据的手段，如案卷研究、实地调研、面访、问卷调查等。本指南的宗旨是既要为评价人员提供操作性的指导，又要发挥评价人员的积极性和专业技能，根据不同项目特点开发合适的评价框架。基于这种考虑，指南根据4个评价准则设计出12个关键评价问题。这12个关键评价问题是每个项目绩效评价的共性问题，而评价指标留待评价人员根据不同项目具体开发。这样，统一的关键评价问
35、题保证了不同评价都涉及了共同的关键绩效内容，而个性的评价指标则体现了不同项目的特点。如果管理部门还提出了其他的关键评价问题，评价小组可以根据问题的性质归入评价准则当中；如果不能归入，可以放在评价报告第4章需要说明的事项中进行说明。以下按照图 52的流程一步一步介绍如何开发绩效评价框架。图 52 设计阶段绩效评价框架开发流程理解关键评价问题前期准备设计评价指标明确证据及来源选择证据收集方法5.2.1关键评价问题本指南针对每个评价准则共设计出12个关键评价问题，具体如下：相关性相关性包括2个关键评价问题：问题1.1：在评价之时，项目是否符合政府的发展规划、优先发展重点？问题1.2：项目是否针对某一
36、实际问题和需求？问题1.1是评价项目的政策相关性。即项目与当前国家、行业发展战略、优先重点的相符程度。问题1.2是评价项目与面临的问题和需求的相关性。它考察两方面内容。首先，在设计之时项目活动是否针对当时的实际问题。比如某农业发展项目，当时当地农业发展面临的主要问题是农业用水严重缺乏（水源性缺水）需要引水灌溉，那么要评价这个项目设计的活动（比如建设水渠和水库）是否针对了上述问题。其次，在进行绩效评价之时，项目完工后提供的产出是否能够满足当前的需求。仍然以上述项目为例，如果当地农业灌溉问题已经由水源性缺水变成水质性缺水（即引过来的水严重污染而无法用于灌溉），那么项目建设的水渠和水库仍然无法满足当
37、地农业用水需求。这说明项目与当前当地的问题相关性不强。效率效率包括4个关键评价问题：问题2.1：项目是否按照计划的资金预算实施？问题2.2：项目是否按照计划的时间周期实施并完工？问题2.3：项目是否实现了所有的预期产出？问题2.4：项目完工后是否达到预期的经济内部收益率？ 问题2.1是评价项目的资金使用情况。它考察项目资金是否按照预算使用，使用是否节约。对于完工项目，实际投入以项目完工报告中的为准；对于正在实施的项目，实际投入以项目年度进展报告中的为准。问题2.2是评价项目实施的时间效率。它考察两方面内容，一是项目是否按预期的开工时间开工，二是项目是否在计划的时间周期内完工。项目的预计开工时间
38、和预计实施周期以项目评估文件/设计文件或项目实施计划中的时间为准，实际时间以项目完工报告中的为准。问题2.3评价项目产出的实现情况。一般项目会分成若干个组成部分，每个组成部分包括一些具体活动。通过实施这些活动，才能保证项目实现预期产出（如产品、服务、设施等），而通过产出的使用，实现预期目标。这里要评价项目是否按质按量实现了所有预期产出。问题2.4考察项目的经济内部收益率。该问题并非对所有项目都适用。如果项目评估文件或项目完工报告中写明经济内部收益率对该项目不适用，那么绩效评价就不对其进行评价。效果效果包括2个关键评价问题：问题3.1：项目是否实现了预期目标？问题3.2：项目的实际受益者是否是项
39、目的目标受益群体？问题3.1是评价效果最核心的内容。如果项目目标经过修改并且获得财政部门的批准，则应采用修改后的目标。问题3.2是评价项目瞄准度问题，只有项目的实际受益群体是项目计划的目标受益群体，项目的效果才能充分体现出来，也才能说项目实施是成功的。可持续性可持续性包括4个关键评价问题：问题4.1：项目的管理和/或运行机构的设置、人力资源、技术能否满足项目持续运行的需要？问题4.2：项目的产出能否得到持续地提供、维护和利用？问题4.3：项目运行所依赖的政策、制度能否得到持续地实施？问题4.4：项目财务是否可持续？问题4.1考察的是项目完工后，项目的管理机构和/或运行机构能否保证项目的持续运行
40、。问题4.2中的产出是指通过项目实施获得的基础设施、设备、教室、医院等实物产出，以及培训、服务、技术支持等软产出。这个问题考察的是项目产出能否持续地提供、维护和利用，以保障项目持续发挥作用。问题4.3是考察制度或政策对项目持续性的保障程度，比如用水制度对水资源保护和利用项目十分重要，如果用水制度没有得到持续地执行，那么项目的效果也就无法持续。问题4.4是考察项目投入运行后的收支情况或经费保障情况。上述12个关键评价问题是针对一个完工项目而设计的；而对于正在实施的项目有些问题不适用。当然，对正在实施项目的评价，评价小组也可以对其中一些问题进行预测性回答，并说明预测的理由，以提醒管理者注意，采取必
41、要措施保证项目的成功实施。表 53列出了所有关键评价问题，并说明其适用的项目类型。表 53关键评价问题的适用性关键评价问题适用的项目完工项目正在实施项目相关性1.1在评价之时，项目是否符合政府的发展规划、优先发展重点？1.2项目是否针对某一实际问题和需求？效率2.1项目是否按照计划的资金预算实施？2.2项目是否按照计划的时间周期实施并完工？2.3项目是否实现了所有的预期产出？2.4项目完工后是否达到预期的经济内部收益率？*效果3.1项目是否实现了预期目标？3.2项目的实际受益者是否项目的目标受益群体？*可持续性4.1项目的管理和/或运行机构的设置、人力资源、技术能否满足项目持续运行的需要？4.
42、2项目的产出能否得到持续地提供、维护和利用？4.3项目运行所依赖的政策、制度能否得到持续地实施？4.4项目财务是否可持续？ *注：带“”的问题对完工项目和正在实施的项目都适合，带“*”的问题表示对于正在实施的项目可以通过现有的事实和利益相关者的观点进行预测评价，带“*”的问题表示如果项目设计之时对经济内部收益率没有计算，则对该项目不适用。5.2.2开发评价指标评价指标是针对关键评价问题而开发的，评价指标是回答关键评价问题的工具。二者的关系如下：（1）有的关键评价问题包含了多项评价内容，需要用不同的指标加以区分，所以有的关键评价问题会包含若干个评价指标；（2）通过指标收集回答关键评价问题的相关证
43、据，避免收集过多的无关证据；（3）通过指标可以体现具体项目的特点；（4）通过指标能够直观地对关键评价问题进行分析，从而得出关键评价问题的评价结果。评价指标的开发至关重要，它影响到其后证据及其来源的确定、证据收集方法的选择和评价分析等活动。专栏 51列出了评价指标开发要遵循的原则。如果评价指标没有满足这些原则，将会影响到绩效评价的质量，进而评价结果的应用也将大打折扣。专栏 51 开发评价指标的原则开发评价指标的SMART原则：l 具体的（Specific）：指标定义清晰，不产生歧义；l 可衡量的（Measurable）：有确定的评价基准对其进行衡量和分析；l 可实现的（Achievable）：在
44、现实条件下可以收集到相关证据；l 相关的（Relevant）：指标与对应的关键评价问题要相关，能够为管理提供有用的信息；l 时限的（Time-bound）：具有确定的时间范围。下面以辽宁城市交通项目（见专栏5-2）为例介绍评价指标的开发。 在本征求意见稿中使用的案例，将随着研究和试点评价的深入开展而进行完善。考虑到指南的权威性和指导性，最终的指南可能会对案例进行修改，甚至采用新的更加完善和适合的案例。此处仅仅为开发评价指标提供示例。专栏 52 辽宁城市交通项目简介辽宁城市交通项目的发展目标是提高城市交通系统的生产力，促进辽宁省沈阳市、抚顺市和鞍山市的经济和社会发展。具体目标包括：（1）通过扩展高等级道路设施、改善次干道和铁路交叉口、打通断头路和道路拓宽，来改善道路基础设施瓶颈路段；（2）通过建设公交走廊和乘客设施、引进先进公交维护设备，提高公交服务的效率和效果；（3）通过开发先进的、可持续的路面管理系统，改进道路维
