《建设国家重大项目以结果为导向的.ppt》由会员分享，可在线阅读，更多相关《建设国家重大项目以结果为导向的.ppt（39页珍藏版）》请在三一办公上搜索。
1、TA 4581:Developing a National Result-BasedM&E System For Key Projects建设国家重大项目以结果为导向的监测与评估系统Evaluation评估,March 20072007年3月,项目建成35年后领导们想知道：,项目建设的正确吗？项目是否实现预期的运营结果？在运营阶段是否有需改进的方面以优化结果？项目产生的结果是否在项目提交物运行的全生命周期内有持续性？项目是否已经实现了预期的长期影响？我们将来是否应该再实施类似的项目？我们从此项目中学到什么经验教训，这些经验教训如何应用到未来的项目中？,Evaluation 评估,系统地、客观地
2、对项目、大型计划和战略进行评估我们的讨论将限制在项目的范围内；评估包括对可行性研究、设计、实施和结果的评估；评估可在项目实施前，实施中及实施后进行，但我们最常关注的是后评价；仅对选择的主要项目进行深入彻底的评估。,直接结果和长期影响,如果缺乏正式的评估，项目完成后其直接结果和长期影响通常不能进行测量。直接结果评估研究的是项目投入运行后马上可以产生的结果：如财务方面的，使用情况，及其他直观的结果。长期影响评估研究项目所带来的更广泛的经济、社会和环境效果。,项目评估的目的,评估项目的相关性、设计和实施；决定项目所带来的直接结果和长期影响：在财务、经济、社会和环境指标上的影响；包括预期和未预期的影响
3、评估项目结果的持续性：项目所产生的结果是否可持续到将来？服务于将来的项目：其它选择的可能性经验教训,什么时候进行评估,评估的时间取决于想从评估中获得什么：在项目实施之前和实施中的评估更关注项目对需解决问题的相关性，及项目方案及设计能否满足解决原设定问题的初衷。项目在完成后一年内进行评估主要关注的是项目的提交物情况及项目投入运行初期产生的直接结果。在项目建设完成1至3年间的评估主要关注项目所带来的直接结果，同时也可以看作早期的长期影响。项目建设完成3至5年后，评估更关注长期影响。,评估基本内容,相关性项目长期影响和直接结果与国家发展战略的一致性 项目方案和设计满足需求效果实现直接结果的程度效率相
4、关资源转化为结果的经济性及效率可持续性项目资源（人力、组织、制度，财务）是否可以满足项目在其经济周期内持续带来影响产生结果。,后评估,“后”评估目的是为了评价项目所带来的结果 评估的四个准则：相关性效果效率 可持续性,长期影响指标,通过项目提交物的运营持续直接产生相应的结果，这些结果的积累带来更广泛更长期的影响；长期影响指标用于评估。,Impact indicators examples 长期效应举例,数量归于该项目原因的净增就业量质量特殊疾病死亡率的减少量传染病死亡率（例如工程区域婴儿死亡率，与项目建设前相比每个地区至少了xx）财务由项目带来的经济收益例如：因为高速公路项目沿线地区国民生产总
5、值(GDP)的增加。,效果分析,要求分析反应项目的”真实“效果对照“之前”和“之后”“实现的”和“目标设置的”“有项目”和“没有项目”.两种类型：定量定性,之前/之后,时间,实施,项目运营期,结果,其他因素的影响,时间,实施,提交物周期,结果,定量分析使用“反事实”法,将项目受益群体或地区与非项目受益群体或地区的直接结果指标进行比较;要求谨慎设置研究方法；使用实验的、“准实验的”或者“非实验的”设计。,使用反事实法,时间,实施,提交物运营周期,结果,对比组可能从不同的基线开始,时间,实施,提交物运行周期,因为项目原因产生的差别=D2 D1,结果,定量方法,随机实验设计准实验设计非实验设计,随机
6、实验设计,类似医学研究对控制组（非项目）组与实验组（受项目影响）进行比较。实际应用有局限性,随机实验设计,随机将个人或团体分入从项目中受益的“处理”组或不在项目中受益的“控制”组；尽可能从开始就如此分组；两组应该经历相同的项目之外的事件；对各组的直接结果进行测量；两组直接结果之间的差异是因为项目的原因产生的，而其他客观原因对两组差别的影响应该微乎其微。,项目/非项目比较的“准实验”设计,与实验设计的原理相同，但是：没有随机分为控制组和处理组；使用与自然情况相对应的方法分组比较，而非随机分组；要求更多的数据排除二义性的解释。包括：非等价比较设计；时间中断设计；关联设计,非实验方法,使用统计学方式
7、进行模拟包括：propensity score matching，(D2-D1),regression discontinuity design，instrumental variables。需要谨慎避免评价偏见,选择定量方法,需考虑平衡：对结果精准度要求成本实用性,定性分析,一些重要的长期影响可能不易进行定量监测，或更好采用定性评估。有些定性的信息会加深对定量数据的理解。包括：观察有组织的面谈调查（定性的问题）目标群体日志和自我报告专家判断,长期影响定性评估,不使用反事实分析；通过使用定性方法，如过程评审、面谈、调查、二手数据分析，得出推论；虽然没有像定量方法那样严格，但是通常也可提供有用的
8、信息；通过使用深入的定性评估，引进一些复杂情景条件，以增进对定量结果的认识。,定量Vs定性分析,定量分析更权威但是需要投入更多的努力也更严格。虽然有定量数据，但是定性评估仍可对定量的评估起到补充和加强的作用。,评估设计,在项目识别和准备期间决定是否要执行评估明晰评估的目标调查数据实用性选择评估方法组成评估组如果需要收集数据，那么设计和取样形成问卷召集现场工作人员并进行培训预备调查在项目实施期间和之后引入基线和反复调查分析数据汇报结果，与利益相关方进行讨论将评估结果融入将来的项目策划中,评估资源分配,基于评估方法的选择；非常详细的评估研究可能需花费多至100万元人民币;如果从项目启动时就设置好监
9、测系统来收集关于项目结果的数据，则花费要少得多。,实际考虑,对于规模巨大的基建项目长期影响的测量会很困难，因为项目影响到的人群是很大的；有些项目需要更长时间才能产生长期影响。例如：如果投资在交通、水电的商业项目，它们的使用还需重新建立相应的通道或准入，则项目所带来的对经济增长的影响可能会比项目滞后多年。,案例河北公路,评估组设计&监测框架现场数据收集报告总结,评估组组成,评估官员交通经济学家国际人员 交通专家中国国内人员社会经济/移民专家中国国内人员,设计&监测框架,文档评审,亚行项目文件；项目可行性研究（1997,河北省交通工程设计院）项目后评价研究（2004,中国道路建设咨询管理公司）京沪
10、高速公里社会经济评估（2005年3月,河北社会研究院）沧州贫困改善监测报告（2004年4月,河北社会研究院）京沪高速公路移民安置报告（2003年11月,河北社会研究院）项目收入表、现金流、资产负债表（从1998-2013,京沪高速公路管理办公室）组织结构（2006,京沪高速公路管理办公室）收费站的年交通量（高速公路管理办公室）河北年鉴（2005,河北统计局）,现场数据收集,计算5条连接县级道路的车流；60份问卷基于与9个村利益相关方关于县级连接道路影响的面谈；通过高速公路和原104国道，测量道路粗糙度和检查道路；与项目可行性研究报告作者面谈；与项目运营者面谈（办公室领导，财务、维护、法规部门领
11、导，一个收费站领导、处理超载事务部门领导）；与业主面谈（办公室总工程师，项目办公室财务、规划和维护部门，河北省交通厅）；与政府负责农村地区发展相关的官员面谈与河北社会研究院专家面谈；与县级交通部门面谈；与村长面谈；与一所当地小学的教师面谈。,评估的主要内容（直接结果）,相关性：专家评审了关于项目文件、政府和亚行战略及优先排序的文件。效果：实现主要目标的数据：减少了车辆运营成本(VOC)减少交通拥堵；推动城市间交通通行；降低了项目地区的贫困状况。效率：显示效率的数据：经济内部收益率(EIRR).可持续性显示可持续性的数据：项目资产（道路、其它设施）的可持续性；财务可持续性（税收、重新评估财务内部
12、收益率，FIRR）；充足的维护（目前和计划的）人力资源的保证,评估的主要内容（长期影响）,对组织机构的影响定性评估：河北省交通厅(HPCD);京沪高速公路管理组织(JHEMO)对移民造成的影响：定量的对移民影响进行了评测，专家还对安置过程的和监测进行了评审。社会经济影响比较项目地区和非项目地区经济增长情况；评估社会经济影响，包括每户收入、生活质量、使用健康、教育、信用和其他服务的条件、对农业的影响和对妇女及少数民族的影响。,报告,相关性:项目定级为非常相关。项目所有构成高速公路、县级连接公路、村级道路、设备和制度的建设非常相关。效果：项目定级为有效果。项目的基本目的是改善交通效率，减少车辆运营
13、费用，改善现有道路的拥堵，加快城市之间的交通通行，减少项目地区的贫困，所有这些目的都实现了。效率：项目定级为有效率。EIRR 和FIRR值非常高，且与项目批准和项目竣工评估数据相吻合。高速公路和连接道路都定级为有效率。可持续性：项目定级为可持续。对可持续性的评估包括财务资源、组织制度及相关人力资源。高速公路资产和财务的可持续性很高。道路收费能够提供足够的资金保证运营和维护及定期/翻修的费用。全面评估：此项目定级为非常成功。,报告（长期影响）,在组织制度上的影响此项目引入组织的改变，提高了组织的能力。社会经济影响项目的高速公路为重点发展中心和受影响地区的经济和社会发展提供了催化剂。项目的连接道路和村级道路改善了乡村县镇与城市的交通连接，产生了巨大的社会经济影响。经济增长，收入提高，社会发展。环境影响 没有显著的环境影响。,END,
