Методы получения количественных и качественных экспертных оценок

Все множество плохо формализуемых  проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информационного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы:

1) эксперт является хранилищем  большого объема рационально обработанной информации, и поэтому он может рассматриваться как качественный источник информации;

2) групповое мнение экспертов  близко к истинному решению проблемы.

Если эти гипотезы верны, то для построения процедур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической статистики.

Ко второму классу относятся  проблемы, в отношении которых  информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении  проблем из этого класса экспертов  уже нельзя рассматривать как  «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку  результатов экспертизы. Применение методов осреднения, справедливых для  «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающееся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка.

Область применения метода экспертных оценок весьма широка. Перечислим типовые задачи, решаемые методом экспертных оценок:

1) составление перечня  возможных событий в различных областях за определенный промежуток времени;

2) определение наиболее  вероятных интервалов времени свершения совокупности событий;

3) определение целей и  задач управления с упорядочением их по степени важности;

4) определение альтернативных (вариантов решения задачи с оценкой их предпочтения;

5) альтернативное распределение  ресурсов для решения задач  с оценкой их предпочтительности;

6) альтернативные варианты  принятия решений в определенной ситуации с оценкой их предпочтительности.

Для решения перечисленных  типовых задач в настоящее время применяются различные разновидности метода экспертных оценок. К основным видам относятся: анкетирование и интервьюирование; мозговой штурм; дискуссия; совещание; оперативная игра; сценарий.

Каждый из этих видов экспертного  оценивания обладает своими преимуществами и недостатками, определяющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное применение нескольких видов экспертизы.

Анкетирование и сценарий предполагают индивидуальную работу эксперта. Интервьюирование может осуществляться как индивидуально, так и с группой экспертов. Остальные виды экспертизы предполагают коллективное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в работе целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.

   При использовании  метода экспертных оценок возникают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация процедур экспертизы.

 

 

Глава 2. МЕТОДЫ ПОЛУЧЕНИЯ КОЛИЧЕСТВЕННЫХ ЭКСПЕРТНЫХ ОЦЕНОК

 

2.1 Непосредственная  количественная оценка

 

Непосредственная количественная оценка используется как в случае, когда надо определить значение показателя, измеряемого количественно, так  и в случае, когда надо оценить  степень сравнительной предпочтительности различных объектов.

 В первом случае  каждый из экспертов непосредственно  указывает значение показателя  для оцениваемого объекта. Это  может быть конкретное численное  значение показателя для оцениваемого  объекта, например стоимость жилой  квартиры; цена единицы продукции,  при которой она может иметь  конкурентоспособный спрос; предполагаемая  емкость рынка; оптимальный объем  производства и т. д.

 Если эксперт затрудняется  указать конкретное значение  показателя, он может указать  диапазон, в котором лежит значение  оцениваемого показателя.

 Во втором случае, когда  оценивается сравнительная предпочтительность  объектов по тому или иному  показателю, количественная оценка, указываемая экспертом, определяет  степень их сравнительной предпочтительности.

 Заранее необходимо  условиться, что, скажем, большее  значение оценки соответствует  более предпочтительному альтернативному  варианту. Иногда количественную  оценку сравнительной предпочтительности  объектов целесообразнее производить  в баллах, используя специально  разработанные бальные шкалы.

 

2.2 Метод средней  точки (метод Больцано)

 

Этот прием рассуждений, вошедший во все учебники математического  анализа и теории множеств, применил впервые чешский математик Больцано («Чисто аналитическое доказательство...», 1817).

Метод средней точки используется, когда альтернативных вариантов достаточно много. В качестве первого и второго альтернативных вариантов целесообразно выбирать наименее и наиболее предпочтительные альтернативные варианты. Значение третьего варианта будет находиться между точками первого и второго вариантов. Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтернативных вариантов.

- формула для нахождения средней точки

 

 

 

2.3 Метод Черчмена – Акоффа (последовательное сравнение).

 

В нем предполагается последовательная корректировка оценок, указанных  экспертами. Основные предположения, на которых основан метод, состоят в следующем:

1. каждой альтернативе a_i ставится в соответствие вещественное неотрицательное число φ(а_i);
2. если альтернатива а_i предпочтительнее альтернативы а_j, то φ(а_i) > φ(а_j); если же альтернативы a_i и а_j равноценны, то φ(а_i) = φ(а_j);
3. если φ(аi) и φ(а_j) - оценки альтернатив а_i и а_j то φ(а_i) + φ(а_j) соответствует совместному осуществлению альтернатив а_i и а_j. Наиболее сильным является последнее предположение об аддитивности (значение величины, соответствующее целому объекту, равно сумме значений величин, соответствующих его частям) оценок альтернатив.

Согласно методу Черчмена – Акоффа альтернативы ранжируются по предпочтительности. Пусть для удобства изложения альтернатива а₁ наиболее предпочтительна, за ней следует а₂ и т.д. Эксперт указывает предварительные численные оценки φ(а_i) для каждой из альтернатив. Иногда наиболее предпочтительной альтернативе приписывается оценка 1, остальные оценки располагаются между 0 и 1 в соответствии с их предпочтительностью. Затем эксперт производит сравнение альтернативы а₁ и суммы альтернатив а₂, ... , a_N. Если a_i предпочтительнее, то эксперт корректирует оценки так, чтобы, в противном случае должно выполняться неравенство.

Если альтернатива а₁ оказывается менее предпочтительной, то для уточнения оценок она сравнивается по предпочтению с суммой альтернатив а₂, а₃, … , а_N-1. После того как альтернатива а₁ оказывается предпочтительнее суммы альтернатив а₂, ..., а_k (k ³ 2), она исключается из рассмотрения, а вместо оценки альтернативы а₁ рассматривается и корректируется оценка альтернативы а₂. Процесс продолжается до тех пор, пока откорректированными не окажутся оценки всех альтернатив.

При достаточно большом N применение метода Черчмена-Акоффа становится слишком трудоемким. В этом случае целесообразно разбить альтернативы на группы, а одну из альтернатив, например максимальную, включить во все группы. Это позволяет получить численные оценки всех альтернатив с помощью оценивания внутри каждой группы.

 

 

 

 

 

 

 

2.4 Метод лотерей  (метод фон Неймана – Моргенштерна).

 

Согласно этому методу, для любой тройки альтернативных вариантов а_х, а₂, а₃, упорядоченных в порядке убывания предпочтительности, эксперт указывает такую вероятность р, при которой альтернативный вариант а_g равноценен лотерее, при которой альтернативный вариант а_х встречается с вероятностью р, а альтернативный вариант а_b — с вероятностью 1 — р.

 

 

Глава 3. МЕТОДЫ ПОЛУЧЕНИЯ КАЧЕСТВЕННЫХ ЭКСПЕРТНЫХ ОЦЕНОК.

3.1 Экспертная  классификация  

Этот метод целесообразно  использовать, когда необходимо определить принадлежность оцениваемых альтернативных вариантов к установленным и  принятым к использованию классам. Эксперт в соответствии с имеющейся  у него информацией об оцениваемом  объекте и используемой им оценочной  системой определяет, к какому из классов  оцениваемый объект принадлежит.

Он может быть использован  и тогда, когда конкретные классы, к которым должны быть отнесены оцениваемые  объекты, заранее не определены. Может  быть заранее не определено и число  классов, на которые производится разбиение  оцениваемых объектов. Оно может  быть установлено лишь после завершения процедуры классификации.

Если эксперту необходимо отнести каждый из альтернативных вариантов  к одному из заранее установленных  классов, то наиболее распространена процедура  последовательного предъявления эксперту альтернативных вариантов.

В соответствии с имеющейся  у него информации об оцениваемом  объекте и используемой им оценочной  системе эксперт определяет, к  какому классу оцениваемый объект принадлежит.

Если проводится коллективная экспертиза, то результат экспертной классификации, указанные каждым из экспертов, обрабатываются с целью  получения результирующей коллективной экспертной оценки.

 

3.2 Метод парных  сравнений

 

  Данный метод является одним из наиболее распространенных методов оценки сравнительной предпочтительности альтернативных вариантов. При методе парных сравнений эксперту последовательно предлагаются пары альтернативных вариантов, из которых он должен указать более предпочтительный. Если эксперт относительно какой-либо пары объектов затрудняется это сделать, он вправе посчитать сравниваемые альтернативные варианты равноценными либо несравнимыми. После последовательного предъявления эксперту всех альтернативных вариантов определяется их сравнительная предпочтительность по оценкам данного эксперта.

Этот метод разработан Луи Терстоуном и впервые был  использован для ранжирования преступлений по степени серьезности и для  ранжирования различных национальностей  по предпочтительности с точки зрения дружеских отношений.

 

 

 

3.3 Ранжирование  альтернативных вариантов.

 

Метод ранжирования состоит  в том, что эксперту предлагается присвоить числовые ранги каждому  из приведенных в анкете факторов. Ранг, равный единице, приписывается  наиболее важному, по мнению эксперта, фактору, а ранг, равный двум, присваивается  следующему по важности фактору и  т.д.

 Ранжирование удобно  применять в следующих ситуациях:

1. когда необходимо упорядочить какие-либо объекты во времени или пространстве;
2. когда нужно упорядочив объекты в соответствии с каким-либо качеством, но при этом не требуется его точное измерение;
3. когда какое-либо качество в принципе измеримо, однако в настоящий момент не может быть измерено по причинам практического или теоретического характера.

Порядковая шкала, получаемая в результате ранжирования, должна удовлетворять условию равенства  числа рангов N числу ранжируемых  объектов. Иногда возникает ситуация, когда эксперт затрудняется провести четкое разграничение между некоторыми факторами. В этом случае вводятся так  называемые стандартизованные или  связанные Ранги.

При большом числе оцениваемых  факторов их "различимость", с  точки зрения эксперта, уменьшается. Поэтому число факторов не должно быть более 20, а наибольшая надежность процедуры ранжирования обеспечивается при n < 10

 

3.4 Метод векторов  предпочтений

 

Этот метод чаще используется при необходимости получения  коллективного экспертного ранжирования. Эксперту предъявляется весь набор  оцениваемых альтернативных вариантов  и предлагается для каждого альтернативного  варианта указать, сколько, по его мнению, других альтернативных вариантов превосходит  данный.

Эта информация представляется в виде вектора, первая компонента которого – число альтернативных вариантов, которые превосходят первый, вторая компонента – число альтернативных вариантов, которые превосходят второй, и т.д.

Если оценивается 10 альтернативных вариантов, то вектор предпочтений может выглядеть так: (3,7,0,4,8,6,1,9,5,2).

Если в векторе предпочтений каждое число встречается ровно один раз, то экспертом указано строгое ранжирование альтернативных вариантов по предпочтению.