Мониторинг и оценка государственных и муниципальных программ

Может быть, что по темам, близким к теме исследования, уже проводились оценки. При изучении существующих данных нужно обратить внимание на следующее:

- Есть ли тут информация, которая может быть полезной  для вашего исследования?

- Как давно было проведено  исследование? Не устарели ли  его результаты?

- Где проводилось исследование? Можно  ли применить его выводы  к географическому региону вашего  исследования?

- Не упущены ли в  этом исследовании аспекты, важные  для вашего проекта?

- Содержатся ли в исследовании  рекомендации относительно дальнейшего  изучения данной темы? 6

Также активно используются данные статистики. Статистика представляет собой информацию в концентрированной форме, которой часто пользуются государственные учреждения, экономисты.

Статистика часто используется для иллюстрации конкретных утверждений или решений, поэтому всегда нужно осуществлять перекрестную проверку данных статистики.

Другие документы - это могут быть, например, годовые отчеты организаций, статьи в газетах и журналах, записи дебатов, протоколы встреч. При использовании таких материалов нужно помнить, что они были разработаны определенными людьми или организациями с определенной целью и поэтому не всегда правдиво отражают реальную суть вещей.

Основные преимущества и недостатки разных методов сбора данных приведены в приложении.7 Исходя из этих данных, можно сделать вывод о том, что выбор метода должен происходить в зависимости от обстоятельств, целей и задач оценки.

Методы сбора данных будут составлять основу деятельности в ходе реализации оценки.

После того, как исследователь определится с  методами проведения оценки, нужно составить график работ в рамках данного процесса. При этом нужно учитывать, что анализ информации, полученной при помощи методов сбора данных, занимает гораздо больше времени, чем применение самих методов, поэтому необходимо зарезервировать на эту деятельность достаточно времени.

Анализ информации, полученной при помощи качественных методов -неструктурированных наблюдений, фокус-групп и интервью, должен происходить на протяжении всей оценки, а не откладываться только на ее завершающие этапы. Только таким образом можно достаточно оперативно и эффективно  реагировать на новую информацию и перекрестно проводить  проверку данных. Процесс анализа качественных данных состоит из двух этапов: 

1) Анализ предварительных  результатов - должен проходить непосредственно  после начала оценки (например, после  проведения первых наблюдений, первой  фокус-группы, нескольких неструктурированных  интервью). Анализ на данном  этапе  состоит в: формировании ключевых  идей; выяснении слабых мест и  упущений  программы проведения  качественной оценки; выяснении, не  появились ли какие-либо вопросы  или темы, которые ранее не поднимались; соотнесении первых полученных результатов с задачами оценки.

По итогам реализации первого этапа анализа могут быть внесены изменения в план проведения оценки.

2) Анализ основных результатов - анализируются отчеты наблюдателей, расшифровки фокус-групп, неструктурированных  интервью, различных документов.8

Во-первых исследователь должен систематизировать всю полученную информацию по основным вопросам исследования, поскольку ответы на один и тот же вопрос могут находиться в различных частях интервью или наблюдений. Затем исследователь осуществляет сортировку полученных высказываний. Высказывания похожие по направленности и содержанию объединяются в типы, которые интерпретируются исследователем. Таким образом, результатом интерпретации является перечень выявленных типов мнений, отношений, поведений и ситуаций. Исследователь получает возможность провести сравнение между различными исследованными группами людей.

Количественный анализ информации в современных условиях проводится, как правило, с привлечением компьютерной техники и специализированных компьютерных программ. Существуют различные программы обработки и анализа данных. Среди них можно выделить:

- неспециализированные программы  обработки числовых данных - Excel, Access и т.п.;

- специализированные, многофункциональные  пакеты, в которых реализованы  основные способы обработки данных  и математико-статистические методы  анализа, которые повсеместно используются  для анализа данных исследований - SPSS, Statistics, ОСА и т.п.

- специализированные программы  обработки и анализа данных, создаваемые  отдельными организациями для  внутренних нужд.

Таким образом, существует большое количество различных методов сбора, анализа и обработки данных. Выбор определенного метода зависит от обстоятельств  проведения оценки,  от располагаемых средств и от многих других факторов.

 

 

 

1.3.Этапы  процесса мониторинга и оценки  программ

 

Этапы организации процесса оценки той или иной государственной или муниципальной программы:

1) подготовительная работа,

2) проведение оценки,

3) составление отчета,

4) использование результатов  оценки.

Рассмотрим их поподробнее.

Этап №1. Подготовительная работа. Цель оценки ситуации - разработать эффективную программу вмешательства или отдельный ее компонент. Задачи оценки могут быть более конкретно определены в каждом определенном случае, но можно выделить общие задачи оценки ситуации:

1) сбор, анализ и обработка  информации относительно той  или иной проблемы, на решение  которой направлена государственная  или муниципальная программа, с  целью разработки только эффективных  программ;

2) привлечение членов  целевой группы будущей программы  вмешательства и других заинтересованных  лиц к оценке ситуации по  интересующему вопросу и разработке  оптимальных вариантов воздействия;

3) обеспечение поддержки  программы со стороны местных  органов власти, государственных  структур и других частных  заинтересованных лиц;

4) сбор базовой информации, которая может быть использована  для мониторинга и оценки этой  программы в дальнейшем.9

Формирование команды по оценке программы осуществляется также по определенным правилам. Работа по оценке может осуществляться командой, состоящей из 3-10 человек. При подборе кандидатов в команду желательно отдавать предпочтение авторитетным, компетентным людям с различными навыками и опытом работы в данной сфере.

Этап №2 - «проведение оценки». Здесь очень важно использовать основные принципы управления данным процессом - это принципы этики оценки и текущего отчета.

Этические вопросы могут возникать на всех этапах оценки, так как результаты влияют на дальнейшую судьбу программ, а следовательно, и  конкретных людей, которые непосредственно связаны с ними. Именно поэтому все профессиональные ассоциации по оценке разработали перечень этических принципов, которых придерживаются их члены. В частности, Американская ассоциация по оценке10  использует следующие:

- системность в проведении  оценки, которая означает, что оценщики  исследуют данные всех доступных  источников, с целью обеспечить  объективность, беспристрастность  и всесторонность оценки;

- оценки на основе профессиональных  знаний, то есть оценщики должны  владеть теорией и практическими  навыками оценки;

- честность и беспристрастность, что требует равного отношения  ко всем участникам процесса  оценки - представителей заинтересованных  групп оцениваемой программы;

- уважение к лицам, участвующим  в процессе оценки, т.е. соблюдение  тона вежливости, уважения к людям, которые являются источником  информации для оценщиков.

Текущая отчетность о ходе работ представляет собой совокупность следующих элементов:

- уведомление об отклонении  от графика проведения оценки  и утвержденного бюджета;

- информирование о связи  с заинтересованными группами, реагирования  на их предложения по поводу  мер оценки;

- определение новых аспектов  оценки, политических проблем, которые  возникают в процессе работ.11

Факторы, которые необходимо учитывать при проведении оценки:

- отслеживание выполнения  плана оценки необходимо не  только для соблюдения определенного  графика работ, но также и базовых  принципов оценки;

- для управления внешними  консультантами необходимо требовать  от них каждые две недели  информацию о ходе оценки и  проблемы, возникающие в ходе  этой деятельности;

- необходимо обеспечить  постоянную коммуникацию между  органом координации оценки и  всеми заинтересованными сторонами. Реакцию заинтересованных сторон  на предварительные результаты  оценки можно использовать как  ориентир относительно ее достоверности.

Этап №3. Составление отчета по результатам оценки. Отчет по результатам оценки - это обобщающий документ, в котором предоставляют следующую информацию:

- характеристику программы;

- методологию проведения  оценки, данные, полученные в ходе  оценки (содержащие их описание  и конкретные показатели);

- выводы (синтез и анализ  полученных данных);

- рекомендации относительно  будущего оцененной программы;

- выводы, которые могут  быть обобщены и использованы  вне конкретной программы и  касаться вопросов жизнедеятельности  конкретной местности, региона, страны  и т.п..12

Отчет должен быть достаточно детализирован и подробен, чтобы можно было определить уровень качества и тщательности оценки.  Должностные лица и органы власти должны получить достаточно обоснованные данные для принятия конкретных решений о будущем программы.

Полученные в ходе оценки данные - это основа для выработки рекомендаций и, соответственно, дальнейших решений относительно того, нужно ли оставить программу без изменений, внести изменения в ее приоритетные направления, механизмы реализации или прекратить даже ее.

Как правило, структура отчета следующая: содержание, резюме, введение и предварительная информация о программе, управление процессом оценки, методология оценки, полученные данные и их анализ, выводы относительно текущего состояния программы, рекомендованные меры, приложения.13

В резюме отчета содержится краткий обзор основных его элементов, в частности: краткое описание программы; конспект основных данных, полученных в результате оценки, основные рекомендации относительно мер, которые необходимо принять.

Описание программы должно содержать основную информацию о программе, в частности: название программы, государственный приоритет, которому соответствует программа, основные задачи программы, финансовое обеспечение программы, основные бенефициары программы; ключевые заинтересованные стороны.

Объем резюме небольшой, поэтому его тексте можно привести лишь основные (3-5) результаты оценки, а также предоставить лишь ключевые рекомендации относительно будущего программы.

Введение и предварительная информация. В этом разделе нужно предоставить всю необходимую информацию об оцениваемой программе, а также другие данные, необходимые для понимания цели оценки, а именно:

- анализ государственных  приоритетов,  на удовлетворение  которых направлена программа;

- общественное мнение (или  ожидания) по программе;

- подробное описание финансового  обеспечения программы;

- описание бенефициаров  программы.

Управление процессом оценивания. В этой структурной части отчета необходимо описать определенную структуру управления процессом оценки, любые изменения, внесенные в этот механизм в ходе оценки. В частности, необходимо предоставить следующую информацию:

- масштаб, сроки и финансовое  обеспечение процесса оценки;

- организационные единицы, участвующие в процессе оценки;

- внешние ресурсы (данные  о внешних консультантах, их функции, документы, которые они должны  предоставить, оплата труда);

- участие заинтересованных  сторон.

Методология оценки – раздел, в котором необходимо дать описание таких элементов, как инструменты сбора данных, методы анализа и источники данных, характер применяемой выборки.

Полученные данные и их анализ. В этом разделе необходимо дать описание основных данных (результатов), которые были получены в ходе оценки, а также их анализ с подробным толкованием результатов оценки и последствий для программы.

Результативность программы, т.е. представление данных о том:

- насколько достигаются  ожидаемые кратко-, средне- и долгосрочные  результаты программы;

- насколько достигаются  плановые показатели выполнения  программы;

- насколько бенефициары  удовлетворены результатами программы;

- насколько существующая  система отчетности о реализации  программы способствует обмену  информацией внутри органов власти  и с бенефициарами и общественностью.

Эффективность программы, то есть анализ данных, демонстрирует:

1) динамику изменения  себестоимости единицы продукции  программы за прошлый, текущий  и согласно плану на предстоящий  бюджетный год и определения  причин этой динамики,

2) насколько программа  достигает определенных показателей  в установленные сроки и  соответствует  утвержденному бюджету,

3) насколько программе  присуще дублирование организационных  и человеческих ресурсов и  средств, принимаются ли меры  для снижения уровня дублирования,

4) используются ли меры  для увеличения степени интеграции  между целевой программой и  другими связанными программами, какие существуют возможности  для того, чтобы увеличить степень  интеграции.

Общие выводы относительно текущего состояния программы являются общей оценкой текущего состояния программы, опирающиеся на полученные данные и их анализ. В заключении необходимо отметить степень соответствия программы государственным интересам, ее результативности и устойчивости.