Проблемы и методы экспертного оценивания

          ГОУ ВПО «Уральский Федеральный Университет»                    им.первого президента РФ  Б.Н.Ельцина.

 

 

 

 

                                  Реферат.

              По дисциплине «Системный анализ».

   «Проблемы и методы экспертного оценивания»

 

 

 

 

Преподаватель:                                         Коробов Ю.С.                           

Студент:                                                      

Группа:                                                     

 

 

 

 

 

            

                                    г.Екатеринбург, 2010

                                    Введение

Организация и проведение экспертиз, реализованных  в той или иной форме, отражающей особенности эпохи, народа, традиций и обычаев, должны были обеспечить профессиональную оценку ситуаций и принятие эффективных  управленческих решений. По мере совершенствования и усложнения процесса принятия решений и как мир становился более технологичным, возрастало внимание к экспертным оценкам. Начало становления экспертных оценок - момент создания первых официально описанных и исследованных технологий экспертного оценивания. В частности, появление первых работ, посвященных групповому выбору, определению результата коллективных экспертиз. В этом реферате мы и рассмотрим проблемы, методы, цели и этапы экспертного оценивания.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1. Понятия и цели                                                         экспертного оценивания.

1.1.В бывшем СССР началом создания и использования методов экспертного оценивания можно считать появление в конце 60-х годов работ В.М.Глушкова, Г.М.Доброва, Ю.В.Ершова и др. Однако возможности практического применения экспертных оценок в тот момент были несколько преувеличены, что показали специально проведенные эксперименты.

Однако следствием этого  естественного заблуждения явился и вполне определенный положительный  результат - была осознана необходимость  более тщательного изучения возможностей экспертного оценивания, развития математических методов обработки и анализа  экспертной информации.

Целесообразность практического  использования методов экспертного  оценивания. Экспертные оценки в нашем  понимании - это суждения высококвалифицированных  специалистов-профессионалов, высказанные  в виде содержательной, качественной или количественной оценки объекта, предназначенные для использования  при принятии решений.

Экспертизы бывают индивидуальные и коллективные, однотуровые и многотуровые, с обменом информацией между экспертами и без, анонимные и открытые.

 Многообразие областей  применения делает достаточно  многообразным и гибким используемый  на практике аппарат экспертного  оценивания. Однако опыт показывает, что при реальном использовании  экспертных оценок далеко не  всегда можно уложиться в одну  из широкоизвестных и применяемых схем.

Возникающие на практике задачи нередко оказываются сложнее  традиционных подходов. Настоящая же цель применения технологий экспертного  оценивания - принятие эффективного решения, а не обязательное использование  традиционных схем. Поэтому специалистам - технологам, проводящим экспертизы, важно уметь творчески подойти к их организации и проведению для того, чтобы решить основную задачу - обеспечить адекватную оценку объекта экспертизы, выработать реализуемые и приводящие к цели альтернативные варианты решений, а среди них выбрать самый эффективный и надежный.

Однако творческий подход предполагает профессиональное знание специалистом - технологом принципов  организации и проведения экспертиз, методов получения, анализа и  обработки экспертной информации, анализа  результатов экспертизы. Отсутствие профессионального владения технологиями экспертного оценивания чревато  грубыми ошибками и получением неадекватных оценок, принятием нереализуемых  и неэффективных решений.

 

         

 

 

 

 

 

 

 

 

 

 1.2. Экспертное оценивание — процедура получения оценки изучаемого явления на основе группового мнения специалистов в данной предметной области (экспертов). При этом исходят из предположения, что совместное мнение обладает большей точностью, чем индивидуальное мнение каждого из специалистов. В психологии метод экспертных оценок применяется для анализа профессионально деятельности, для оценки специалистов, для формирования рабочей модели исследуемого явления и т.п.Экспертные оценки при принятии решений в той или иной форме использовались во все времена.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.3.  Цели исследования

Экспертное оценивание предполагает создание разума, обладающего большими способностями по сравнению с  возможностями отдельного человека. Экспертный подход обладает большими возможностями по решению задач, не поддающихся решению обычным аналитическим способом:

1. Выбор лучшего варианта решения среди имеющихся.
2. Прогнозирование развития процесса.
3. Поиска возможного решения сложных задач.

Перед началом экспертного  исследования необходимо четко определить его цель, (проблему), и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

1. Четкое определение условий, времени, внешних и внутренних ограничений проблемы.
2. Возможность ответа на вопрос с доступной человеческому опыту точностью.
3. Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных периметров не рекомендуется задавать более пяти градаций.
4. Эксперты оценивают возможные варианты, не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

 

 

 

 

 

 

1.4. Эксперты - кто это.

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. Помимо опыта, крайне желательно наличие у эксперта профильного образования и педагогического опыта в данной сфере. При подборе экспертов следует учитывать момент личной заинтересованности и пристрастности, который может стать существенным препятствием для получения объективного экспертного суждения. Наиболее распространены методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

1.5. Этапы экспертного оценивания

Процедура экспертного оценивания предполагает согласованность с  другими этапами исследования. Данный метод должен органично сочетаться с другими исследовательскими приемами и соответствовать целям и  задачам проекта. 
В общем виде процедуру можно разбить на следующие этапы: 
1. Определение цели исследования. 
2. Разработка процедуры исследования, определение бюджета. 
3. Подготовка информационных материалов, бланков анкет, модератора процедуры. 
4. Подбор экспертов, специалистов по статистическому анализу и аналитиков. 
5. Проведение экспертизы. 
6. Статистический анализ результатов. 
7. Подготовка отчета с результатами экспертного оценивания.

 

 

 

 

 

 

 

 

 

 

 

 

1.6.  Выбор формы исследования, определение бюджета проекта

Существующие виды экспертных оценок можно классифицировать по признакам:

1. По форме участия экспертов: очное, заочное. (Очный метод позволяет сосредоточить внимание эксперт на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле).
2. По количеству итераций (повторов процедуры для повышения точности) – одношаговые и итерациями.
3. По решаемым задачам: генерирующие решения и оценивающие варианты.
4. По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.
5. По способу обработки мнений экспертов: непосредственные и аналитические.
6. По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5 – 12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.

После выбора метода экспертного  оценивания можно определить затраты  на процедуру, которые включают: оплата экспертов, аренда помещения, канцтовары, оплата специалиста по проведению и анализу результатов экспертизы.

 

 

 

 

 

1.7. Подготовка информационных материалов

Подготовка информационных материалов, бланков анкет, инвентаря  и модератора процедуры. Эксперты, перед вынесением суждения, должны разносторонне рассмотреть представленную проблему. Поэтому, для проведения процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки. Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

 

 

 

 

 

 

 

 

 

 

1.8. Проведение экспертизы.

Проведение процедуры  отличается в зависимости от используемого  метода. Общие рекомендации:

1. Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).
2. Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1.9. Статистический анализ результатов

После получения ответов  экспертов необходимо провести их оценку. Это позволяет:

1. Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты)
2. Оценить ошибку исследования
3. Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы).

Подготовка отчета с результатами экспертного оценивания. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2.   Основные проблемы и методы экспертного оценивания.

 

 

2.1. Одна из самых серьезных опасностей сегодня - опасность непрофессиональных решений и действий. Непрофессионализм - вот причина больших и малых «Чернобылей» в экономике, промышленности, политике.

Основная цель организации  и проведения экспертиз - повысить профессиональный уровень принимаемых решений  за счет использования специально разработанных  и проверенных на практике технологий экспертного оценивания.

Экспертные оценки являются информацией, необходимой при принятии взвешенных обоснованных решений, преимущественно, в сложных ситуациях принятия решений.

Это в полной мере относится  к принятию решений в самых  различных сферах практической деятельности.

Для того, чтобы получаемая экспертная информация была качественной, необходимо выполнение следующих условий:

- наличие экспертной комиссии, состоящей из специалистов, профессионально  знакомых с объектом экспертизы, и имеющих опыт работы эксперта;

 
  - наличие аналитической группы, профессионально владеющей технологией  организации и проведения экспертиз,  методами получения и анализа  экспертной информации;

 
  - получение достоверной экспертной  информации;

 
  - корректная обработка и анализ  экспертной информации.

 

Отсутствие любого из перечисленных  условий ставит под сомнение эффективность  и корректность проводимой экспертизы.

Укажем основные проблемы совершенствования и развития экспертных технологий.

 

 

1. Формирование экспертной комиссии

Одной из центральных проблем  при формировании экспертной комиссии является определение качества эксперта. При формировании экспертной комиссии необходимо предусмотреть возможность  эффективного взаимодействия экспертов, входящих в её состав, с целью  получения полной и адекватной оценки объекта экспертизы.

Следует обратить на реализованную  в автоматизированных системах экспертного  оценивания задачу автоматизированного подбора экспертов для оценки объекта экспертизы с учетом их профессиональных знаний и опыта. При этом может решаться и обратная задача подбора для эксперта объектов, с которыми он профессионально наиболее знаком.

 

2. Организация и проведение экспертиз

Ряд работ посвящен организации  и проведению экспертиз. Это, прежде всего, работы по систематизации многочисленных разновидностей метода Делфи, касающиеся, в основном, совершенствования процедур обмена информацией между экспертами в процессе экспертизы.