Мониторинг и оценка государственных и муниципальных программ

В разделе «рекомендуемые мероприятия описывают мероприятия, которые, по мнению исследователей, необходимо принять относительно будущего программы. Рекомендации должны полностью опираться на полученные данные и их анализ; быть структурированы по задачам (приоритетным направлениям) программы.

Все рекомендации можно разделить на четыре основные категории:

1) Статус-кво. Рекомендация, которая подпадает под эту  категорию, должна содержать неоспоримое  обоснование необходимости сохранять  существующее положение программы, в отличие от перераспределения  ресурсов на другие приоритеты.

2) Совершенствование процесса. Рекомендация по совершенствованию  процесса обычно предусматривает  внесение таких изменений, как  совершенствование отдельных процедур  реализации программы, в частности, например, ее сметы.

3) Внесение изменений  в механизм реализации программы. Рекомендация о внесении изменений  в механизмы реализации может  предусматривать, например, изменения  относительно периодичности и  порядка отчетности по реализации  программы. Также могут быть рекомендованы  меры по изменению организационной  структуры выполнения программы.

4) Прекращение программы. Такая рекомендация должна содержать  обоснованные доказательства, чем  дальнейшая реализация программы  неуместна или невозможна.

Формулировка рекомендаций должна содержать следующие элементы (в случае вариантов 1-3): цель предложенных изменений, порядок внесения изменений, риски, возникающие в связи с изменениями, и управления ими; обоснование рекомендаций (со ссылкой на такие критерии, как соответствие государственным интересам, постоянство программы и т.д.).14

Этап №4. Использование результатов оценки.

Прохождение всех данных этапов оценки программ по существующим правилам, обеспечивает ее эффективность и способность достичь поставленных перед оценщиками целей.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Глава 2. Практические аспекты проведения оценки государственных и муниципальных программ

 

2.1.Планирование  оценки государственных и муниципальных  программ

 

Структура оценки (evaluation structure) — это методическая основа оценочного проекта, которая формулируется в соответствии с его целями и задачами и включает:

а) общую логическую схему оценки;

б) рабочий план реализации проекта, соответствующий выбранной логической схеме.15

Мотивы проведения оценки могут быть очень разными и возникать на различных этапах реализации программы. Стороны, заинтересованные в оценке (заказчики оценки), определяют необходимость и основные задачи ее проведения, а также собирают группу специалистов (своих коллег в случае внутренней оценки и специалистов из других организаций в случае внешней оценки), которые будут проводить оценку.

В роли заказчика могут выступать: коллектив авторов оцениваемой программы, исполнители программы, а также органы, контролирующие исполнение программы.

Исходной позицией формирования оценочного проекта является формирование задания по оценке, которое заказчик ставит перед исполнителями. Для того чтобы работы по оценке были успешными и применялись на  практике,  заказчики и  исполнители  оценки  должны  четко представлять себе, каким образом и для чего будут использоваться результаты оценки.

Задание оценки удобнее всего формулировать в виде вопросов, которые интересуют заказчика и на которые призван ответить оценщик.

Они так и называются — вопросы оценки и могут быть самыми разными.

Например, каковы фактические результаты программы и как они соотносятся с ее целями? Как соотносятся средства, потраченные на выполнение программы, с полученным эффектом? Или просто: выполнены ли все мероприятия, предусмотренные программой? В зависимости от того, на какие вопросы предстоит ответить, оценка будет проводиться по разному и для нее будут использоваться разные методы сбора и обработки информации. Вопросы оценки, таким образом, определяют тип оценки в зависимости от специфики программы и поставленных перед оценщиком задач.

Вопросы оценки обсуждаются с исполнителями оценки. Данная процедура весьма важна в процессе подготовки проекта, поскольку подобное обсуждение часто помогает заказчику более четко сформулировать задание по оценке, а исполнителю — понять, для чего организуется проект.

Бывает, что в результате такого обсуждения принципиально меняются изначально предложенные вопросы оценки и, соответственно, целевые установки всего проекта.

Для того чтобы ответить на вопросы оценки, разумно оценивать не всю программу целиком, а ее отдельные ключевые (согласно заданию) аспекты — параметры оценки, которые и подвергаются прицельному анализу. В качестве параметров оценки могут выделяться, например, результативность программы, эффективность механизма выполнения программы, социально-экономический эффект, оказываемый программой и т.д.

Любая программа — это система практических действий по управлению, которая должна принести реальный, ощутимый эффект. Следовательно, его можно наблюдать и измерять. Поэтому оценивать успешность программ можно, опираясь на вполне объективные количественные критерии. Исходя из этого, параметры оценки выбираются с таким расчетом, чтобы можно было количественно оценить их состояние с помощью доступных показателей — будем называть их индикаторами оценки.

Индикаторы оценки — это ограниченный набор социально-экономических показателей, которые подбираются отдельно под каждый из параметров оценки. Выбор правильных индикаторов для описания того или иного параметра — непростая процедура. Хороший индикатор оценки должен обладать рядом признаков, к которым мы относим следующие:

— измеряемость — индикатор поддается количественному измерению в неизменных единицах;

— обоснованность — индикатор отражает действительно то, что необходимо оценить;

— однозначность — индикатор имеет четкое, общепринятое определение и единицы измерения;

— устойчивость — оценщику доступны временные (динамические) срезы данных по индикатору;

— доступность — данные, необходимые для расчета индикатора, доступны в традиционных источниках информации.16

Получив данные индикаторов оценки, можно приступать к собственно экспертизе программы, точнее, тех ее параметров, которые отобраны для анализа. В частности, в первую очередь напрашивается сравнение фактических показателей индикаторов оценки с критериями успешности программы. На этом стоит остановиться подробнее. Программно-целевой подход к управлению предполагает, что еще на этапе создания программы разработчики должны представлять себе результаты ее выполнения, заранее определить (и желательно в измеряемых единицах), что произойдет, если программа будет реализована полностью и в срок.

Программы, разрабатывающиеся и реализующиеся в настоящее время, чрезвычайно многообразны. Они различаются целевыми установками, механизмами выполнения, глубиной проработки, да и сами мотивы появления тех или иных программ различны и не всегда продиктованы необходимостью перехода к программно-целевому методу17 управления. Соответственно, чем глубже и практичнее программа, тем легче проводить ее оценку. Если при реализации программы проводился качественный мониторинг ее выполнения, составлялась база данных по выполнению тех или иных мероприятий — это также существенным образом облегчает задачу. Однако потребность в оценке, как правило, возрастает как раз от недостатка информации по программе.

Если необходимых для оценки данных по программе нет, то в процессе оценки проводится работа по их сбору, уточнению тех или иных аспектов программы — ее целей и задач, критериев успеха, целевых показателей, индикаторов и т.д.

Если программа четко ориентирована на выполнение и в ней заложены целевые значения тех или иных показателей, то можно перейти к четвертому этапу разработки логической схемы — сравнению целевых количественных установок, заложенных в программе, с фактическими значениями индикаторов. Это дает ответы на вопросы оценки в количественном выражении и позволяет экспертам судить об успехе программы.

После того как выстроена логическая схема оценки, составляется рабочий план реализации оценочного проекта. В плане указывается:

— какая информация необходима для проведения оценки;

— кто и на каких стадиях работы будет привлечен к проведению оценки;

— какими методами и из каких источников оценщик получит необходимые данные;

— кто будет собирать информацию;

— какие методы анализа информации будут применяться;

— сколько времени уйдет на проведение оценки;

— какие ресурсы понадобятся для проведения всех работ по оценке.

В рабочем плане: оговаривается роль в проекте каждой из участвующих сторон, перечисляются конкретные работы, которые необходимо провести (техническое задание), приводится график выполнения мероприятий по оценке, формы и сроки отчетности.18

В оценочной практике различают несколько видов структур оценки.

Выбор того или иного вида предопределяет стратегию сбора и анализа информации, характер работы группы оценщиков, структуру отчета по оценке. Принято выделять экспериментальную, квазиэкспериментальную и описательную структуры оценки.

Экспериментальная структура подразумевает использование групп сравнения: экспериментальной (включающей благополучателей оцениваемой программы) и контрольной (из числа тех лиц или объектов, которые не являются благополучателями программы). Сопоставление индикаторов оценки в обеих группах проводится, как правило, до начала действия программы и после окончания ее реализации. Набор как контрольной, так и экспериментальной группы проводится на основе случайной выборки.

Использовать экспериментальную структуру уместно, когда требуется "взвесить" влияние программы на ее объект или целевую аудиторию путем их сравнения с другими объектами, оказавшимися вне поля воздействия программы.

Например, для реализации городской программы социальной помощи экспериментально выбран один микрорайон города.

По окончании программы появляется возможность выяснить, появились ли качественные подвижки в благополучии горожан, на которых была направлена программа, по сравнению с теми, кто в программу не вошел.

Квазиэкспериментальная структура делает акцент на анализе динамических временных рядов, отражающих состояние объекта воздействия программы. Эта схема часто используется при оценке муниципальных программ, нацеленных на предоставление общественных благ или улучшение социальной среды. Целевой аудиторией таких программ, как правило, является все население города, и сформировать контрольную и экспериментальную группы невозможно, поскольку трудно отделить горожан, пользующихся общественными услугами, от тех, кто ими не воспользовался.

Например, после реализации городской целевой программы по профилактике подростковой преступности невозможно будет найти подростков, которые совершили бы преступление, если бы программа не была выполнена. Аналогичный пример — городские программы в сфере здравоохранения, экологической безопасности. Вместе с тем есть общегородская статистика по подростковой преступности, состоянию здоровья горожан или окружающей среды.

Квазиэкспериментальная структура является наиболее эффективной для проверки причинно-следственных связей, однако существует важное условие ее применимости: наличие динамики данных по обеим группам сравнения до запуска программы.

Описательная структура используется в тех случаях, когда для оценки доступна только качественная информация или требуется быстрая экспертная оценка ситуации. Такая структура по сравнению с другими обладает как преимуществами — возможностью анализа качественной информации (мнения экспертов и благополучателей программы, анализ документации и т.д.), так и недостатками — незначительностью глубины исследования, погрешностями оценок, возрастающими при субъективных экспертных оценках.19

 

2.2. Предложения  по организации мониторинга и  оценки государственных и муниципальных  программ в Российской Федерации

 

Анализ мирового опыта в области программно-целевого управления показывает возможность реализации  нескольких основных вариантов организации процесса мониторинга и оценки государственных и муниципальных программ в Российской Федерации:

1. Децентрализованная модель  организации.

Основные процедуры проводятся непосредственно отраслевыми ведомствами (субъектами бюджетного планирования). Единая методология отсутствует.

Данный вариант не представляется оптимальным по многим причинам. Отсутствие единой методологии и стандартных процедур мониторинга и оценки не позволяет проводить сравнение и рейтингование государственных программ.

Существует ярко выраженный конфликт между интересами ведомств как ответственных исполнителей государственных программ и ведомств как органов мониторинга и оценки. Одним из последствий децентрализованной системы может быть усиление коррупционных рисков. Следует отметить, что международные эксперты, оценивавшие опыт стран, использовавших децентрализованную систему (Австралия после 1996 г., ряд стран Латинской Америки), призвали к большей централизации функций оценки.

2. Функции текущего мониторинга  государственных программ сосредотачиваются  в одном или нескольких органах  исполнительной власти, а функции  стратегического мониторинга –  в Счетной палате Российской  Федерации.

Как указывалось в материалах Счетной палаты Российской Федерации и выступлениях ее руководителей, мониторинг и оценка государственных программ является одним из приоритетных направлений развития Счетной Палаты. Для дальнейшего развития данного процесса Счетной палатой требуется дополнение ряда нормативно-правовых актов. В то же время, представляется, что мониторинг программ  необходимо проводить также в органах исполнительной власти. Функция мониторинга и оценки является неотъемлемой частью цикла стратегического планирования и позволяет создать механизм обратной связи между стратегией и инструментами ее реализации.