Оценка воздействия проектов развития на бедность: практическое руководство

Оценка воздействия проектов
развития на бедность

Практическое руководство

Изложенные в настоящем исследовании факты, их трактовка и выводы выражают только точку зрения авторов и
не должны приписываться Всемирному банку и входящим
в него организациям, а также членам Совета исполнительных директоров или тем странам, которые они представляют. Всемирный банк не гарантирует точность данных,
которые приводятся в этой публикации, и не несет ответственности за любые последствия их использования.

Материал публикации защищен законодательством
об авторском праве. Всемирный банк поощряет распространение этой работы и обычно предоставляет разрешение на воспроизведение ее фрагментов.

Разрешение на воспроизведение глав фотокопировальным способом для целей внутреннего или личного использования, а также для целей внутреннего или личного
использования конкретных клиентов или использования
в классах при обучении предоставляется Всемирным банком при условии поступления соответствующего платежа
в адрес Copyright Clearance Center, Inc., 222 Rosewood
Drive, Danvers, MA 01923, USA.; telephone 9787508400, fax
9787504470. Пожалуйста, прежде, чем копировать, свяжитесь с Центром Copyright Clearance Center.

Чтобы получить разрешение на репринтное воспроизведение отдельных статей или глав, пожалуйста, направьте факс с запросом и с указанием полных данных в
Отдел переизданий этого Центра (Republication Department, Copyright Clearance Center), факс: 9787504470.

Все другие запросы, связанные с получением прав и
лицензий, следует направлять В Отдел публикаций Всемирного банка по вышеуказанному адресу или по факсу
2025222422.

Оценка воздействия проектов
развития на бедность

Практическое руководство

Джуди Л. Бейкер

Опубликовано для Всемирного банка

Издательство «Весь Мир» 
Москва 2002

УДК 33
ББК 65.05
Бе 63

Перевод книги на русский язык осуществлен
Московским представительством Института Всемирного банка

Перевод: Войтинский П., Соколова Я.
Научное редактирование и предисловие к русскому изданию: Зимин И.
Глоссарий: Зимин И., Сальников А.
Редактирование и обработка глоссария:
Осадчая О. (Издательство «Весь Мир» )

Оценка воздействия проектов развития на бедность: практическое руководство. / Джуди Л. Бейкер / Пер. с англ. — М: Издательство «Весь Мир», 2002. — 288 с.
ISBN 5777701620

В руководстве рассмотрены и проанализированы практически все существующие на сегодняшний день группы методов Оценки воздействия проектов развития Всемирного
банка и ряда других донорских организаций. Автору удалось обобщить многолетний
практический опыт по Оценке воздействия и на реальных примерах показать оптимальные подходы. Вопросы оценки очень актуальны, так как ежегодно Всемирный банк осуществляет десятки проектов в различных областях и во многих странах мира. Анализ текущих результатов, итоговых показателей и их устойчивости после окончания проекта
позволяет определить его эффективность с точки зрения достижения поставленных целей, получения выгод и окупаемости затрат. 
В конце книги представлен специально подготовленный для русского издания глоссарий, который поможет разобраться в сложной специальной терминологии. Для удобства читателей дается также перечень терминов на английском языке. 
Знакомство с представленными в работе методами будет полезно для специалистов,
участвующих в реализации проектов и в их оценке, для экономистов и государственных
служащих, поскольку созданный инструментарий может широко использоваться при
оценке воздействия проектов, осуществляемых в различных сферах хозяйственной деятельности, а также для преподавателей и студентов.

Все права защищены

Первоначально опубликовано в мае 2000 г. в Соединенных Штатах Америки на
английском языке как Evaluating the Impact of Development Projects on Poverty:
a Handbook for Practitioners / Judy L. Baker. The World Bank. Washington D.C.
(ISBN 0821346970).

Верстка — Издательство «Весь Мир» 
Отпечатано в России

© 2000 Международный банк реконструкции 
и развития/ Всемирный банк
ISBN 5777701620
1818 H Street, N.W., Washington, D.C. 20433, USA

Бе 35

Предисловие. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . VIII
Предисловие к русскому изданию . . . . . . . . . . . . . . . . . . . . . . . . . XI
Выражение признательности. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XV
1.
Оценка воздействия: понятия и методики . . . . . . . . . . . . . . 1
2.
Основные этапы разработки и проведения оценки
воздействия. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.
Применение аналитических методов при оценке
воздействия: анализ конкретной ситуации . . . . . . . . . . . . 51
4.
Примеры удачной оценки воздействия . . . . . . . . . . . . . . . . 81

Приложения

Приложение 1: Анализ конкретных ситуаций. . . . . . . . . . . . 111
1.1.
Оценка выгод для бедных от программы стимулирования
трудовой деятельности: Программа TRABAJAR (Аргентина) . . . 111
1.2.
Действительно ли микрокредиты помогают бедным? Новые
данные на основе показательных программ в Бангладеш . . . . . . 119
1.3.
Программа «Продовольствие за образование»  в Бангладеш:
оценка адресной социальной программы при
децентрализованном включении в нее . . . . . . . . . . . . . . . . . . . . . . . . . 124
1.4.
Оценка деятельности Социального инвестиционного фонда
Боливии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
1.5.
Воздействие активных программ содействия занятости:
Чешская Республика . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
1.6.
Воздействие программы «Кредит с образованием»  на
состояние питания матерей и младенцев: программа
Сельского банка Нижней Пра в Гане . . . . . . . . . . . . . . . . . . . . . . . . . . 141
1.7.
Учебники и результаты тестов: Пример итоговой оценки в
Кении . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
1.8.
Оценка Проекта создания сельскохозяйственной
информационноконсультативной службы в Кении . . . . . . . . 152

Содержание

V

1.9.
Воздействие программы профессиональной
переподготовки на занятость и заработную плату
(PROBECAT) (Мексика). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
1.10. Мексика, национальная программа в области образования,
здравоохранения и питания (PROGRESA): предложение по
оценке. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
1.11. Оценка школьной реформы в Никарагуа: комплексный
количественнокачественный подход . . . . . . . . . . . . . . . . . . . . . . . . 173
1.12. Улучшение начального обучения математике в Никарагуа:
экспериментальное исследование воздействия учебников и
радиопрограмм на успеваемость. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
1.13. Воздействие различных механизмов возмещения издержек
на доступ к медицинским услугам и справедливость их
предоставления в Нигере . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
1.14. Результаты обучения в начальных школах Филиппин:
оценка воздействия четырех экспериментов . . . . . . . . . . . . . . . . 192
1.15. Вьетнам: оценка воздействия проектов по сооружению
сельских дорог на бедность. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

Приложение 2: Типовое техническое задание. . . . . . . . . . . . 203
2.1.
Проект по организации питания и раннего развития детей
в Уганде. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
2.2.
Оценка воздействия Проекта строительства сельских дорог:
базисное обследование 1997 г. во Вьетнаме . . . . . . . . . . . . . . . . . . . . . 226

Приложение 3: Примерный бюджет оценки воздействия
Программы организации школьного питания. . . . . . . . . . . . . . 233

Приложение 4: Показатели воздействия — оценка
Социального инвестиционного фонда Боливии (СИФ). . . . . . 236

Приложение 5: Образец матрицы логической структуры
программы/проекта для составления отчета о завершении
проекта или документа об оценке проекта . . . . . . . . . . . . . . . . . . . . . 242

Приложение 6: Матрица анализа. . . . . . . . . . . . . . . . . . . . . . . . . . 246

Глоссарий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255

Вставки
1.1.
Проблема смещения выборки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
VI

1.2.
Краткий обзор количественных методов, используемых при
оценке воздействия программ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.
Методы оценки стратегии структурной перестройки . . . . . . . . 14
2.1.
Основные этапы разработки и проведения оценки
воздействия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2.
Ключевые моменты при определении информационных
ресурсов для оценки воздействия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.1.
Этапы отбора подобного по склонности (вероятности) . . . . . 64
3.2.
Источники смещения в упрощенной оценке воздействия
PROSCOL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.3.
Применение метода двойных различий . . . . . . . . . . . . . . . . . . . . . . . 71
3.4.
Критерии бедности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.5.
Сравнение бедности при проведении программы и без нее . . . . . . 76

Таблицы
2.1.
Методы оценки и требования к данным . . . . . . . . . . . . . . . . . . . . . . . 36
2.2.
Основной инструментарий сбора данных для оценки
воздействия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.1.
Итоговая таблица: примеры удачной оценки воздействия. . . 83
4.2.
Смета расходов в некоторых оценках воздействия,
проведенных силами Всемирного банка . . . . . . . . . . . . . . . . . . . . . . 99

VII

Несмотря на то, что на программы содействия развитию ежегодно
выделяются миллиарды долларов, о реальном воздействии проектов
на положение бедных известно очень мало. Существует много данных о выгодах экономического роста, инвестиций в человеческий
капитал и создания системы социальной защиты малообеспеченных.
Но приносит ли конкретное мероприятие в данной стране ожидаемую пользу и каково его общее воздействие на население? Можно ли
сделать такую программу или проект более эффективными? Рационально ли расходуются ресурсы? На эти вопросы можно получить ответ лишь посредством оценки воздействия, то есть измерения результатов проведения подобных мер отдельно от остальных возможных внешних факторов.
Многие правительства, учреждения и руководители проектов не
склонны проводить оценки воздействия (impact evaluations), считая
их дорогими, трудоемкими и технически сложными предприятиями.
Кроме того, их результаты (если они оказались отрицательными) могут стать «политически чувствительными». К тому же результаты многих оценок подвергаются критике, так как они проявляются слишком
поздно, не отвечают на поставленные вопросы или не обеспечивают
достаточной аналитической «строгости». Ограниченное количество
и качество данных является еще одной распространенной помехой
при проведении подобного рода оценок.
Тем не менее при условии заблаговременного и грамотного планирования, поддержки со стороны разработчиков стратегии и выделения небольших, в сравнении с общей стоимостью проекта, средств
тщательно проведенная оценка может стать мощным инструментом в
определении обоснованности и действенности программ. Оценка
воздействия особенно важна для развивающихся стран в условиях ограниченности ресурсов, где каждый потраченный доллар должен давать максимальный эффект в деле сокращения бедности. Правильно
собранная информация позволит произвести корректировку недоПредисловие

VIII

статочно хорошо проработанных программ, усилить их положительное воздействие на целевые группы, выявить и свернуть те программы, которые не приносят нужного эффекта. Информация и знания,
приобретенные в ходе изучения воздействия, являются критически
важной составляющей при разработке будущих программ и проектов.
Задача настоящего пособия — предоставить руководителям программ и стратегическим аналитикам инструментарий для оценки
воздействия проектов. Пособие предполагает общее знакомство читателей с основами статистики. В отношении некоторых более сложных статистических методов рекомендуется обращаться к специальной литературе. Глава 1 дает обзор понятий и методов. В главе 2 обсуждаются основные этапы проведения оценки и вопросы, связанные с их осуществлением. Глава 3 иллюстрирует применение различных аналитических методов на примерах рассмотрения конкретных
ситуаций («кейсстади»). Глава 4 включает рассмотрение опыта, полученного в ходе изучения богатого набора позитивных практических
примеров («наилучшей практики») оценки проектов сокращения
бедности. Конкретные ситуации, представленные в приложении 1,
выбирались из широкого спектра оценочной деятельности, проведенной Всемирным банком, другими донорскими организациями,
научноисследовательскими институтами и частными консалтинговыми фирмами. Они представляют разные страны, типы проектов,
методы оценки и характеризуются методологической строгостью. В
приложениях 2–6 также приведены примеры основных компонентов, необходимых при планировании любой оценки воздействия: типовое техническое задание, бюджет, индикаторы воздействия, «логфрейм»  и матрица для анализа воздействий проекта .
Хотя для разных сфер деятельности и для различных групп населения используются сходные методики оценок воздействия, приведенные здесь примеры подходов и конкретных ситуаций относятся в
основном к оценке воздействия проектов, направленных на борьбу с
бедностью. Оценка эффективности этих программ потенциально
охватывает широкий диапазон проектов и вопросов, таких как измерение воздействия программ предоставления малых кредитов на доход домохозяйств, воздействие программы обучения на занятость,
программы школьного питания на посещаемость, или программы
строительства сельских дорог на благосостояние домохозяйств.
Независимо от типа проекта или рассматриваемых проблем каждая оценка воздействия уникальна, поскольку она определяется имеющимися данными, существующим потенциалом для проведения исследования, временны´ми рамками и бюджетом. Наконец, для провеIX

дения качественной оценки, дающей надежные и обоснованные результаты необходимы политическая воля и финансовая поддержка,
тщательное предварительное планирование, участие всех заинтересованных сторон при формулировании целей и выборе используемых подходов, достаточный объем данных, правильное сочетание
количественных и качественных методов, последовательное их применение, а также налаженные механизмы связи, взаимодействия и
обмена информацией (коммуникации) внутри рабочей группы на
протяжении всей работы. 
Мысль о том, чтобы издать данную книгу на русском языке, появилась в ходе учебного курса, который проводился Институтом Всемирного банка в июне 2001 года. Этот курс был предназначен для руководителей из ряда странчленов Всемирного банка, заинтересованных в проведении оценки воздействия проектов и программ. Мы
надеемся, что настоящая книга будет полезна и другим специалистам, предполагающим осуществлять подобные исследования. 

Джуди Л. Бейкер

X

Предисловие к русскому изданию

Книга Джуди Бейкер «Оценка воздействия проектов развития на бедность: практическое руководство» является в России первой монографией, посвященной вопросам оценки воздействия проектов и
программ на снижение бедности. 
Предлагаемая читателям книга прекрасный пример синтеза представленных материалов — общего обзора понятий, методов, этапов
проведения оценки воздействия и вопросов, связанных с их применением при рассмотрении конкретных ситуаций, а также обширной
практики во многих странах мира, включая развитые и развивающиеся. Оригинальность и ценность данной книги заключается в том,
что автор дал возможность  читателям рассмотреть опыт, накопленный в ходе изучения широкого спектра позитивных практических
примеров оценки проектов сокращения бедности. При этом конкретные ситуации выбирались из реального опыта оценочной деятельности Всемирного Банка, других донорских организаций, научноисследовательских институтов и частных консалтинговых фирм
в разных странах и для различных типов проектов. Несомненную
пользу читателю принесет и ознакомление с приведенной в книге
технической документацией — типовым техническим заданием на
проведение работ по оценке, примерами бюджета и используемыми
конкретными показателями, описывающими  воздействие проектов. 
Автор имеет значительный опыт работы в отделе Всемирного
банка, который занимается различными аспектами стратегий по
снижению бедности в разных странах мира. Это позволяет ей удачно
показать в книге, как работают различные методы оценки результатов реализации проектов и программ и представить настоящим и будущим руководителям программ и стратегическим аналитикам полный инструментарий для оценки воздействия проектов.
В книге рассматриваются многие важнейшие вопросы комплексной оценки результатов реализации крупномасштабных проектов.
Этот вид деятельности сейчас бурно развивается, и появляются ноXI

вые направления и области приложения оценки в нашей стране и за
рубежом. В частности, проведенная в России в Новосибирске в
2000 году Международная конференция «Оценка и мониторинг как
инструмент повышения инвестиционной привлекательности социальных проектов», поставила задачу — способствовать формированию профессионального потенциала в области оценки социальных
программ в России, СНГ, Центральной и Восточной Европе путем
продвижения института профессиональной оценки и экспертизы,
повышения квалификации специалистов, занимающихся оценкой и
мониторингом программ, установления профессиональных контактов между участниками и их ознакомления с международным опытом развития профессионального сообщества специалистов по
оценке и мониторингу программ и проектов.
В настоящее время в нашей стране и за рубежом специалистами в
области оценки проектов широко обсуждаются такие  вопросы, как: 

•
методы и механизмы оценки в разных организациях и странах; 
•
влияние оценки на эффективность проектов и программ;
•
потребности и заказчики оценки; 
•
стандарты и этические нормы для обеспечения процессов
оценки;
•
формы и методы продвижения оценки как услуги; 
•
пути формирования устойчивого сообщества профессиональных оценщиков — создание и развитие института оценки.

Думается, что книга Дж. Бейкер дает ответы на многие из этих вопросов применительно к оценке крупных проектов. Автор показывает, что адекватная реалистическая оценка воздействия проектов и
программ имеет важное значение для принятия правильных экономических решений. Значимость мониторинга и оценки трудно переоценить, поскольку речь идет о крупных проектах, о десятках и сотнях миллионов долларов. Учет показателей оценки краткосрочных и
долгосрочных воздействий уже с самого начала проекта просто жизненно необходим. Ошибки стоят слишком дорого.
Большое внимание автор уделяет представлению международного
опыта в данной области, который показывает, что по мере развития
программ качественного государственного управления потребность
в формировании оценочного потенциала будет возрастать, в связи с
важностью этого инструмента как средства сохранения темпа реформирования государственного сектора, поддержания инициатив по
XII