Методы экспертных оценок

  После  составления и утверждения списка  экспертам посылается  сообщение  о включении  их  в  состав  экспертной  группы.  Если  экспертное   оценивание производится  методом  анкетирования,  то  одновременно  с  уведомлением   о включении  в  экспертную  группу  всем   экспертам   высылается   анкета   с необходимыми  инструкциями  для  их  заполнения.  Сообщением   экспертам   о включении их в экспертизу заканчивается работа по подбору экспертов.

 

 

 

 

 

 

3. Опрос экспертов

 

Основным  содержанием опроса является:

  - постановка  задачи и предъявление вопросов  экспертам;

  - информационное  обеспечение работы экспертов;

  - выработка  экспертами суждений, оценок, предложений;

  Главным  в организации опроса является  обеспечение максимума информации  и максимума  творческой  активности,  самостоятельности  эксперта.  Необходимо стремиться довести  до  каждого  эксперта  по  возможности всю информацию, относящуюся к анализируемому явлению, которой располагают как эксперты,  так и  организаторы  опроса,  не  лишая  в  то  же  время  эксперта   творческой самостоятельности и активности.

  Однако  возможности эксперта  по  переработке   информации  ограниченны.  В результате эксперт может принять  решение,  не  используя  всей  информации, имеющейся в его распоряжении. Кроме того,  новая  информация  воспринимается человеком с определенным внутренним сопротивлением и не сразу влияет на  уже сложившиеся   субъективные   оценки.   Отношение    к    новой    информации благожелательнее,  а  восприятие  и  использование  ее  полнее,   если   она представляется в доходчивой, яркой и компактной форме.

  Из  этих психологических особенностей  следует необходимость предоставления экспертам возможностей для фиксации  поступающей  информации  путем  ведения записей,  использования   технических   средств,   а   также   необходимость предварительной  обработки  информации  и  представления  ее   экспертам   в наиболее воспринимаемой форме.

  Необходимо  подчеркнуть  противоречивость  значения   обмена   экспертами информацией, так  как  получение  такой  информации  таит  опасность  потери творческой независимости в построении модели объекта  экспертом.  Разрешение этого противоречия в полной мере невозможно, и при каждой  экспертизе  ее организаторы  должны  находить  разумный  компромисс,  прежде  всего,  путем выбора вида опроса, формы и степени общения экспертов.

  Каждый  из видов опроса имеет свои  достоинства и недостатки  в  построении обмена  информацией  между  экспертами  и  в организации их   независимого творчества.  Выбор  того  или  иного  вида   опроса   определяется   многими факторами, из которых основными являются:

  - цель  и задачи экспертизы;

  - существо  и сложность анализируемой проблемы;

  - полнота  и достоверность исходной информации;

  - требуемые объем и достоверность информации,  получаемой  в  результате опроса;

  - время,  отведенное на опрос и экспертизу  в целом;

  - допустимая  стоимость опроса, и экспертизы  в целом;

  - количество экспертов и членов группы управления, их характеристики.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4. Методы экспертных оценок
1. Методы получения индивидуального мнения членов экспертной группы

 

Методы получения индивидуального  мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести аналитический метод, интервью и методы "Дельфи". Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Метод интервью предполагает беседу прогнозиста с экспертом по схеме вопрос - ответ, в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по разным вопросам.

Аналитический метод предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

Метод "Дельфи", или метод "дельфийского оракула", представляет собой итеративную процедуру анкетного опроса. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.  
           Процедура метода включает несколько последовательных этапов опроса. На первом этапе производится индивидуальный опрос экспертов, обычно в форме анкет. Эксперты дают ответы, не аргументируя их. Затем результаты опроса обрабатываются, и формируется коллективное мнение группы экспертов, выявляются и обобщаются аргументации в пользу различных суждений. На втором этапе вся информация сообщается экспертам, и их просят пересмотреть оценки и объяснить причины своего несогласия с коллективным суждением. Новые оценки вновь обрабатываются, и осуществляется переход к следующему этапу. Практика показывает, что после трех-четырех этапов ответы экспертов стабилизируются.  
           Достоинством метода "Дельфи" является использование обратной связи в ходе опроса, что значительно повышает объективность экспертных оценок. Однако данный метод требует значительного времени на реализацию всей многоэтапной процедуры.

Особенности метода Дельфи:

а) анонимность  экспертов (участники экспертной группы неизвестны друг другу, взаимодействие членов группы при заполнении анкет полностью исключается);

б) возможность  использования результатов предыдущего тура опроса.

Этот  метод помогает предопределить развитие проблемных ситуаций, носящих долгосрочный характер.

 

 

 

2.  Методы коллективной работы экспертной группы

 

 

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.  
Методы коллективной работы включают методы "мозговой атаки", "сценариев", "деловых игр", метод «365», "совещаний" и "суда". 

Суть метода коллективной генерации идей («мозговой атаки») состоит в использовании творческого потенциала специалистов при "мозговой атаке" проблемной ситуации, реализующей вначале генерацию идей , а затем их деструктурирование (разрушение, критику) с выдвижением контр-идей и выработкой согласованной точки зрения. Этот метод был разработан американцем А. Осборном, стремившимся решать проблемы посредством спонтанно возникающих идей. Нечто подобное использовали 400 лет назад индийские мастера Хинду во время своих собраний: запрещались критика и дискуссии, каждый мог свободно выражать свои идеи, оценка делалась позже.

Метод коллективной генерации идей предполагает реализацию следующих этапов. Первый этап связан с формированием группы участников мозговой атаки по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10—15 человек. На втором этапе группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации. Третий этап — этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, тем самым освобождая участников от скованности. Продолжительность «мозговой атаки" — не менее 20 мин и не более 1 ч в зависимости от активности участников. Четвертый этап связан с систематизацией идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей. Этот метод позволяет качественно и достаточно быстро проводить оценку вариантов развития объекта прогнозирования.

Метод "совещаний" ("комиссий", "круглого стола") - самый простой и традиционный. Он предполагает проведение совещания или дискуссии с целью выработки единого коллективного мнения по решаемой проблеме. В отличие от метода "мозговой атаки" каждый эксперт может не только высказывать свое мнение, но и критиковать предложения других. В результате такого тщательного обсуждения уменьшается возможность ошибок при выработке решения. 

 Достоинством метода является простота его реализации. Однако на совещании может быть принято ошибочное мнение одного из участников в силу его авторитета, служебного положения, настойчивости или ораторских способностей. 

Метод "суда" является разновидностью метода "совещаний" и реализуется по аналогии с ведением судебного процесса. В роли "подсудимых" выступают выбираемые варианты решения; в роли "судей" - лица, принимающие решение; в роли "прокуроров" и "защитников" - члены экспертной группы. Роль "свидетелей" выполняют различные условия выбора и доводы экспертов. При ведении такого "судебного процесса" отклоняются или принимаются те или иные решения.  
Метод "суда" целесообразно использовать при наличии нескольких групп экспертов, придерживающихся различных вариантов решения. 

Метод «635» — одна из разновидностей мозговой атаки. Цифры 6, 3, 5 обозначают шесть участников, каждый из которых должен записать три идеи в течение пяти минут. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе — 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

"Деловые игры" основаны на моделировании функционирования социальной системы управления при выполнении операций, направленных на достижение поставленной цели. В отличие от предыдущих методов, где экспертные оценки формируются в ходе коллективного обсуждения, деловые игры предполагают активную деятельность экспертной группы, за каждым членом которой закреплена определенная обязанность в соответствии с заранее составленными правилами и программой. 

Основным  достоинством деловых игр является возможность выработки решения  в динамике с учетом всех этапов исследуемого процесса при взаимодействии всех элементов общественной системы  управления. Недостаток заключается  в сложности организации деловой  игры в условиях, приближенных к  реальной проблемной ситуации. 

Метод написания сценария основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта.

Прогнозный  сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней  дерева целей, приоритеты проблем и  ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые  материалы по развитию объекта прогнозирования.

Сценарий  должен быть написан так, чтобы после  ознакомления с ним стала ясна генеральная цель проводимой работы в свете социально-экономических  задач на прогнозный период.

Он обычно носит многовариантный характер и освещает три линии поведения:

- оптимистическую - развитие системы в наиболее благоприятной ситуации;

- пессимистическую - развитие системы в наименее благоприятной ситуации;

- рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно.

В рамках прогнозного сценария целесообразно  прорабатывать резервную стратегию  на случай непредвиденных ситуаций.