Сущность метода экспертных оценок

Введение

 

Эффективность деятельности организаций народного  хозяйства сильно зависит от исследований создаваемых систем управления, их рационального построения и необходимых при этом инвестиций.

Для исследования и оценки эффективности систем управления используются различные экспертные методы.

Сущность экспертных методов, как при решении задач исследования систем управления, так и при использовании их в практике принятия решений в других областях науки, техники, управления, заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Цель моей курсовой работы – рассмотреть экспертные методы в оценке систем управления

Задачи данной работы:

1. Посмотреть в чем состоят экспертные методы;
2. Посмотреть основные этапы проведения экспертизы;
3. Рассмотреть виды экспертных методов;

 

_{1. Сущность  метода экспертных  оценок}

 

Сущность  метода экспертных оценок заключается  в проведении экспериментами интуитивно - логического анализа проблемы, с количественной оценкой суждений и формальной обработкой результатов. Полученное в результате обработки  обобщенное мнение экспертов принимается  как решение проблемы. Комплексное  использование интуиции (неосознанного мышления), логического мышления и количественных оценок с их формальной обработкой позволяет получить эффективное решение проблемы. [14]

Метод экспертных оценок используется для решения  различных сложных неформализуемых проблем. Все множество плохо формализуемых проблем можно условно разделить на два класса.

К первому  классу относятся проблемы, в отношении  которых имеется достаточный  информационный потенциал, позволяющий  успешно решать эти проблемы. Основные трудности в решении проблем  первого класса при экспертной оценки заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом метод опроса и обработки основывается на использовании "хорошего измерителя". Это означает, что выполняются следующие условия:

эксперт располагает  большим объемом рационально  обработанной информации, и поэтому  он может рассматриваться как  качественный источник информации (своего рода "информационный измеритель с небольшими погрешностями");

групповое мнение экспертов близко к истинному  решению проблемы.

Если эти  условия выполнятся, то для построения процедур опроса и алгоритмов обработки  можно использовать теорию измерений  и математическую статистику.

Ко второму  классу относятся проблемы, в отношении  которых информационный потенциал  знаний недостаточен для выполнения указанных условий. При решении проблем этого класса экспертов уже нельзя рассматривать как "хороших измерителей". Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для "хороших измерителей", в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнения остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок обширна и  охватывает неформализуемые проблемы первого и второго классов. Перечислим типовые задачи, решаемые методом экспертных оценок:

составление перечня возможных событий в  различных областях за определенный промежуток времени;

определение наиболее вероятных интервалов времени  наступления совокупности событий;

определение целей и задач управления, с  упорядочением их по степени важности;

определение альтернативных вариантов решения  задачи, с оценкой их предпочтения;

альтернативное  распределение ресурсов для решения  задач, с оценкой их предпочтительности;

альтернативные  варианты принятия решений в определенной ситуации, с оценкой их предпочтительности.

Можно ориентировочно наметить следующие основные этапы  проведения экспертизы, последовательность и содержание которых будут изменяться в зависимости от реальных условий  и ограничений [10]:

формулирование  цели экспертизы;

формирование  группы специалистов-аналитиков;

отбор и формирование группы экспертов;

проведение  опроса;

анализ и  обработка информации экспертов;

синтез объективной  информации и информации, полученной в результате

экспертизы, с целью приведения их в форму, удобную для принятия решения.

Объединим некоторые  этапы и более подробно остановимся  на подготовке, подборе и опросе экспертов.

 

 

_{1.1 Подготовка экспертизы}

К подготовке экспертизы относится первые три  этапа проведения экспертизы. Большое  значение имеет четкое определение  цели (целей) экспертизы.

Основой для  выбора целей экспертизы является описании предыстории и текущего состояния проблемы. Выбор целей и характер экспертизы в значительной степени определяются существом проблемы, предполагаемыми конечными результатами и возможными способами их представления.

После определения  цели (целей) экспертизы формируется группа специалистов-аналитиков, важнейшими задачами которой являются разработка методов опроса, отбор экспертов, проведение опроса, анализ и обобщение информации.

Большой объем, сложность и разнообразие задач, возлагаемых на группу аналитиков, требует включения в ее состав высококвалифицированных специалистов, как в области анализируемой  проблемы, так и в смежных областях деятельности, а также специалистов по экспертным методам - математиков, психологов и социологов.

Группа аналитиков, разрабатывая метод опроса, подготавливает перечень (множество) оцениваемых событий и устанавливает совокупность устойчивых факторов, характеризующих эти события.

Задание совокупности факторов зависит от специфики и  целей экспертизы и может быть выполнено на разном уровне детализации. Можно наметить следующие уровни [8]:

качественное  описание всего множества оцениваемых  событий;

перечень  событий;

описание  устойчивых факторов для каждого  из событий;

выделение числа  различимых уровней для каждого  события;

выделение числа  различимых уровней для каждого  фактора;

писание набора устойчивых знаний факторов для каждого  уровня событий и т.д.

От уровня детализации в существенной степени  зависит достоверность результатов  экспертизы, причем с увеличением  степени детализации согласованность  экспертных оценок, как правило, увеличивается.

Сложной проблемой  процедуры отбора является формирование системы характеристик эксперта, существенно влияющих на ход и  результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения межу людьми, влияющие на экспертизу. Для описания экспертов с точки зрения оценки качества решения проблемы вводятся следующие характеристики: компетентность, креативность, конформизм, аналитичность широта мышления, самокритичность др. Перечисленные характеристики в основном оцениваются качественно.

Компетентность  - это степень квалификации эксперта в определенной области знаний. Достаточно простой и полной является одна из методик, в которой компетентность экспертов оценивается коэффициентом компетенции k. Он вычисляется на основе суждения эксперта о степени своей информативности по решаемой проблеме и указания типовых источников аргументации своих мнений.

Коэффициент компетенции вычисляется по формуле [9]

k = 1/2 (k_а + k_и),

 

k_а - коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице (табл.1);

k_и - коэффициент информативности по проблеме, получаемой на основе самооценки эксперта по десятибалльной шкале и умножения этой оценки на 0,1.

Табл.1. Эталонная таблица коэффициентов аргументации

Источники аргументации	Степень влияния источника на мнение эксперта
	В (высокая)	С (средняя)	Н (низкая)
Проведенный теоретический анализ	0,3	0,2	0,1
Производственный  опыт	0,5	0,4	0,2
Обобщение работ отечественных авторов	0,05	0,05	0,05
Обобщение работ зарубежных авторов	0,05	0,05	0,05
Личное  знакомство с состоянием дел за рубежом	0,05	0,05	0,05
Интуиция  эксперта	0,05	0,05	0,05

 

Эксперту  дается таблица без цифр. Он отмечает, какой источник он оценивает по градациям В, С, Н. После наложения таблицы эксперта на эталонную таблицу подсчитывается количество баллов по всем источникам аргументации. При этом, если k_а = 1,0, то степень влияния всех источников высокая; если k_а = 0,8, то - средняя и, если k_а = 0,5, то учитывается низкая степень источников аргументации. Коэффициент компетентности 0 k 1.

Существуют  подходы к оценке компетентности, основанные на учете апостериорных  данных, т.е. на учете результатов экспертного оценивания.

Креативность - это способность решать творческие задачи. Оценивается на основе суждений, основанных на изучении деятельности эксперта. Конформизм - это подверженность влиянию авторитетов, которая проявляется в неустойчивости собственного мнения. Аналитичность и широта мышления - это способность выходить за рамки сложившихся представлений.

Самокритичность эксперта проявляется при самооценке уровня своей компетенции, а также  при принятии решения по рассматриваемой  проблеме.

К характеристикам  группы экспертов можно отнести: достоверность экспертизы и затраты  на нее.

Достоверность экспертизы зависит от количества экспертов  в группе и количества экспертов. На рис.1 представлен график экспериментальных данных, устанавливающих монотонное возрастание достоверности с увеличением количества экспертов в группе.

 

Рис.1. Зависимость достоверности от количества экспертов

Достоверность экспертизы существенно  зависит от качества экспертов, особенно от их компетентности. Можно утверждать, что достоверность групповой  экспертизы есть монотонно возрастающая функция средней групповой самооценки компетентности, которая определяется как среднее арифметическое значение самооценок группы экспертов.

 

_{1.2 Проведение опроса экспертов}

Проведение  опроса экспертов (анкетирование) является наиболее эффективным и самым распространенным видом опроса. Анкетирование заключается в заполнении экспертами опросных листов - анкет.

Серьезного  внимания требует подбор вопросов (признаков), которые желательно включить в анкету.

Различают три  вида вопросов, по которым дается экспертная оценка:

вопросы, ответы на которые содержат количественную оценку;

вопросы, требующие  содержательного ответа в сжатой форме;

вопросы, требующие  содержательного ответа в развернутой  форме.

Пример такой  группировки вопросов приведен в  табл.2. [11]

Табл.2. Виды и типы вопросов

Вид вопроса	Тип вопроса	Пример
Вопрос, ответ на который содержит количественную оценку	Оценивающий: время наступления  некоторого события вероятность осуществления события количественное  значение прогнозируемой характеристики объекта влияние факторов друг на друга по некоторой шкале	Когда будет создан первый образец объекта? Какова вероятность того, что к 20__г. будет создан объект с заданными характеристиками? Каково  будет максимальное значение прогнозируемой характеристики объекта к 20__г.? Оцените по десятибалльной шкале вклад каждой из рассматриваемых теорий в решении  проблемы
Вопрос, требующий содержательного ответа в сжатой форме	Вариантный (выбирается альтернатива)	Какой принцип использования объекта  является наиболее эффективным для  решения поставленной задачи: А, или В, или С, или …? Какие из перечисленных  ниже изменений в структуре объекта  произойдут, если будет осуществлен  принцип А, или В, или С, или …?
Вопрос, требующий содержательного ответа в развернутой форме	Требующий ответа в виде: перечня сведений об объекте перечня аргументов, которые подтверждают тезис, содержащийся в вопросе	Каковы  характерные особенности объекта? Каковы  ваши доводы в пользу целесообразности развития объекта?

 

Чтобы уточнить содержание анкеты, формулировки вопросов, их последовательность, выяснить, не утомляет ли анкета опрашиваемых, не нужно ли включить дополнительные и исключить "неработающие" вопросы, заменить вопросы, допускающие двойное толкование, проводится ее проверка. Для этого подбираются "разноплановые" эксперты (по стажу работы). Проверка осуществляется в форме личного интервью.