Метод экспертных оценок прогнозирования и проектирования

статистическая обработка полученных результатов.

1 - При формировании группы  экспертов основными являются  вопросы определения ее качественного  и количественного состава.

Отбор экспертов начинается с определения вопросов, которые охватывают решение данной проблемы, затем составляется список лиц, компетентных в этих областях.

Непосредственный отбор экспертов осуществляется 4 методами.

1 –документальный

Документальный метод предусматривает подбор экспертов исходя из их социально-демографических характеристик. Эксперты должны обладать определенными научными степенями и званиями, стажем роботы в определенной области, соответствовать требованиями возрастного ценза, иметь опубликованные работы или зарегистрированные изобретения.

Далее каждой характеристике приписываются баллы. Затем баллы суммируются и делят на количество характеристик. И каждый эксперт оценивается в Х баллов.

2- экспериментальный

Предусматривает проверку эффективности работы отдельных экспертов на основе изучения опыта их работы в прошлом. Это означает сопоставление прогнозов и реальных результатов.

Применяется для краткосрочных прогнозов (не все эксперты доживают до даты прогноза).

3-методы голосования.

В данном случае вопрос о соответствии кандидата передается коллективу «выборщиков». 4

Составляется список лиц: Проанализировав литературу по данной проблеме выбирается специалист, имеющий несколько публикаций в необходимой области. К нему обращаются с просьбой назвать еще 10 наиболее известных ученых. Эту процедуру повторяю пока перечень специалистов уже не пополняется новыми фамилиями. Полученный список называют генеральной совокупностью. А потом используют методы голосования.5

3.1. «метод исключения» -состоит  в том, что кандидаты которые  не считаются приемлемыми для  роли экспертов, вычеркиваются «выборщиками».Проходят  лица, набравшие наибольшее число  голосов.

3.2. «кубковый метод» - метод  связан с попарным сравнением  всех кандидатов. Случайным образом  выбираются два кандидата , делают  выбор одного из них голосованием, затем для сравнения подыскивают  нового кандидата и т.д.

3.3. метод Кондорсе. Предполагает выяснять соотношение всех возможных пар кандидатов. ПО каждому кандидату определяется сколько раз он «выиграл», т.е. был и сколько раз «проиграл», т.е. ему предпочли других.

Заполняется следующая таблица. По горизонтали и вертикали располагаются одни и те же кандидаты.

 

Кандидаты	Кандидаты					Количество побед
	1	2	3	4	5
1	х	0	1	1	0	2
2	1	х	1	1	1	4
3	0	0	х	1	0	1
4	0	0	0	х	1	1
5	1	0	1	0	х	2

 

3.4. метод приятелей , т.е. отбор экспертов из числа знакомых

4 – метод самооценки  – каждый эксперт высказывает  мнение о степени своей осведомленности  в той или иной области. Степень  своей компетентности кандидат  измеряет в баллах (по 5- или 10-бальной  шкале).

Для экспертизы обычно подбирается группа 10÷150 человек по одной проблеме. Увеличение числа экспертов хотя и повышает точность прогнозов, но и увеличивает затраты на проведение экспертизы.

2 варианта состава экспертной  группы :

1)из лиц одного ранга, если участники знают друг  друга;

2) из лиц разного ранга, если участники не знакомы  друг с другом

На практике устанавливают mах и min численность экспертной группиы:

● mах численность:

    nmax≤

Ki –компетентность i-го эксперта  по шкале компетентности;

Кmax – максимально возможная компетентность эксперта по шкале;

По 10-бальной шкале, то «0» - если эксперт не знаком с проблемой;

«10» - вопрос входит в сферу узкой специализации;

● min численность:

nmin=

ε – заданная величина изменения средней оценки варианта развития объекта при включении или исключении эксперта.

2. Следующий 2 этап - подготовка  и проведение экспертизы.

Метод «мозговой атаки» применяется для определения возможных вариантов развития объекта прогнозирования.

Метод предполагает реализацию 4-х этапов:

Составление проблемной записки участника (описание причин возникновения проблемной ситуации, возможные последствия возникшей проблемной ситуации, систематизация существующих путей разрешения проблемной ситуации);

Прямая мозговая атака: Генерация идей. Идет выдвижение новых идей. Время выступления 1-2-минуты, отсутствует критика идей, количество идей важнее чем качество.

Продолжительность мозговой атаки – 20 мин – 1 час. Идет запись всех идей.

3. Обратная мозговая атака: Критика имеющихся идей, время  выступления 15-20 минут, каждая идея  обсуждается. Эксперты систематизируют  и ранжируют идеи. Рассматривают  препятствия на пути к реализации  каждой идеи.

4. Составление списка  практически применимых идей.

Метод «Дельфи». Вместо коллективного обсуждения проблемы проводиться индивидуальный опрос экспертов в форме анкетирования. Опрос проводиться в несколько этапов (3-4 этапа).

2 особенности метода:

- анонимность;

- обратная связь: на каждом  этапе используются результаты  предыдущих этапов опроса.

После каждого этапа эксперты знакомятся с итоговой позицией всего коллектива, объясняют причины своего несогласия., пересматривают свои позиции. Поэтапно идет сужение диапазона оценок.

Поэтапный опрос продолжается до тех пор, пока расхождения точек зрения экспертов будет незначительное. Интервал между этапами до 1 месяца.

Недостаток: значительные затраты времени.

После предварительной обработки результатов прогноза, эксперты могут привлекаться для консультаций по недостающей информации, необходимой для окончательного формирования прогноза.

Заключительный этап формирования прогноза с помощью коллективных экспертных оценок: статистическая обработка полученных результатов.

Оценки экспертов могут быть количественными и качественными.

Рассмотрим наиболее распространенные методы обработки качественных экспертных оценок.

- Метод простого ранжирования

- метод задания весовых  коэффициентов

- Метод парных сравнений

- метод бальных оценок

Метод ранжирования – расположение альтернатив развития объекта (факторов, явлений, признаков) в порядке возрастания (или убывания) какого-то общего признака. После ранжирования, проведенного экспертами, проводится стандартизация рангов. Она необходима в том случае, если некоторым альтернативам присвоенный одинаковый номер.6

 

 

1.2. Организация экспертного оценивания

 

Первым этапом организации работ по применению экспертного оценивания является подготовка и издание руководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы: постановка задачи-эксперимента; цели эксперимента; обоснование необходимости эксперимента; сроки выполнения работ; задачи и состав группы управления; обязанности и права группы; финансовое и материальное обеспечение работ.

Для подготовки этого документа, а также для руководства всей работой назначается руководитель экспертизы. На него возлагается формирование группы управления и ответственность за организацию ее работы.7

После формирования группа управления осуществляет работу по подбору экспертной группы примерно в такой последовательности: уяснение решаемой проблемы; определение круга областей деятельности, связанных с проблемой; определение долевого состава экспертов по каждой области деятельности; определение количества экспертов в группе; составление предварительного списка экспертов с учетом их местонахождения; анализ качеств экспертов и уточнение списка экспертов в группе; получение согласия экспертов на участие в работе; составление окончательного списка экспертной группы.

Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

Следующим этапом работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы обработки, силы и средства для проведения обработки.

В процессе непосредственного проведения опроса экспертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответствии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.

Последним этапом работ для группы управления является оформление результатов работы. На этом этапе производится анализ результатов экспертного оценивания; составление отчета; обсуждение и одобрение результатов; представление итогов работы на утверждение; ознакомление с результатами экспертизы организаций и лиц.8

 
Глава 2. Экспертиза в проектировании и прогнозировании.

2.1. Подбор экспертов

 

Для реализации процедуры экспертного оценивания необходимо сформировать группу экспертов. Общим требованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффективность решения проблемы определяется характеристиками достоверности экспертизы и затрат на нее.

Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Использование экспертов как раз и обусловлено тем, что отсутствуют какие-либо другие способы получения информации. Поэтому оценка достоверности экспертизы может осуществляться, как правило, только по апостериорным (послеопытным) данным. Если экспертиза проводится систематически с примерно одним и тем же составам экспертов, то появляется возможность накопления статистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки достоверности. 9Эту оценку можно использовать в качестве априорных данных о достоверности группы экспертов для последующих экспертиз.

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характеристик экспертов.

Определение характера зависимости достоверности от перечисленных факторов является еще одной проблемой процедуры подбора экспертов.

Сложной проблемой процедуры подбора является формирование системы характеристик эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик.10

Еще одной проблемой является организация процедуры подбора экспертов, т.е. определение четкой последовательности работ, выполняемых в процессе подбора экспертов и необходимых ресурсов для их реализации.

Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив зависимость между достоверностью, количеством экспертов и расходами на оплату, группа управления представляет руководству эту информацию и формулирует возможные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего выполнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.11

Следующим этапом работы по подбору экспертов является составление предварительного списка экспертов. При составлении этого списка проводится анализ качеств экспертов. Кроме учета качеств экспертов, определяются их местонахождение и возможности участия выбранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандидатов в эксперты.

После составления списка экспертов им направляются письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления составляет окончательный список группы экспертов.

После составления и утверждения списка экспертам посылается сообщение о включении их в состав экспертной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высылается анкета с необходимыми инструкциями для их заполнения. Сообщением экспертам о включении их в экспертизу заканчивается работа по подбору экспертов.

 

2.2. Опрос экспертов

 

Опрос – главный этап совместной работы группы управления и экспертов. Основным содержанием опроса является:

- постановка задачи и  предъявление вопросов экспертам;

- информационное обеспечение  работы экспертов;

- выработка экспертами  суждений, оценок, предложений;

- сбор результатов работы  экспертов.

Можно назвать три типа задач, которые решаются в процессе опроса:

- оценка качественная  или количественная заданных  объектов;

- построение новых объектов;

- построение и оценка  новых объектов.

При коллективной экспертизе используются следующие основные виды опроса: дискуссия, анкетирование и интервьюирование, метод коллективной генерации идей, или мозговой штурм.