Методы оценки решений

 

Vj max – максимальный вес в баллах (предел шкалы) j-той характеристики;

 

n — общее количество характеристик компетентности в

 

λ — вес ячейки, подчеркнутой экспертом в шкале самой! в баллах;

 

Р — предел шкалы самооценки эксперта в баллах.

 

В тех случаях, когда эксперты знакомы с деятельностью и знают уровень компетентности друг друга, можно использовать метод взаимной оценки компетентности. Для этого каждого і – эксперта (і =1,2,,m) просят оценить компетентность других экспертов l =1,2,..., m (l ≠ i) по некоторой шкале, например, от 1 дo 5. Взаимные оценки компетентности представляются в виде квадратной матрицы ||bli||, столбцом i которой являются оценки, данные i-тым экспертом всем другим экспертам. Диагональные элементы в ||bli||, принимаются одинаковыми для всех и равными любому неотрицательному числу (обычно нулю). Вектор коэффициентов компетентности экспертов К={К1\К2,....,Кm} определяется решением векторного уравнения.

 

 

где Кi, — максимальное действительное собственное число матрицы ||bli||. То есть решение является собственным вектором матрицы ||bli||.

 

По данным взаимной оценки компетентности экспертов можно выявить конфронтацию между экспертами, коалиции экспертов. Конфронтация обязательно исказит действительную компетентность экспертов, и в этих случаях метод взаимной оцени компетентности использовать нецелесообразно.

 

Перечисленные методы оценки компетентности являются «внешними» по отношению к проводимой экспертизе, т. е. результат оценки компетентности К={К1\К2,....,Кm} являются входной информацией для обработки результатов экспертного опроса в данной экспертизе.

 

Установить оптимальную численность группы экспертов довольно трудно. Однако разработан ряд формальных подходов к решению этой проблемы. Один из них основан на установлении максимальной и минимальной границ численности групп исходя и двух условий: высокой средней компетентности групп экспертов и стабилизации средней оценки прогнозируемой характеристике.

 

Первое условие используется для определения максимальной численности группы экспертов nmax:

 

 
 

 

где Ki — компетентность i-того эксперта;

 

С — константа;

 

Kmax — максимально возможная компетентность по используемой шкале.

Это условие предполагает, что если имеется группа экспертов, компетентность которых максимальна, то среднее значение их оценок можно считать истинным. Для определения константы используется практика голосования, т. е. группа считается избранной, если за нее подано 2/3 голосов присутствующих. Исходя из этого, принимаем, что С =2/3. Таким образом, максимальная численность экспертной группы устанавливается на основании неравенства:

 

 
 

 

Далее определяется минимальная численность экспертной группы nmin посредством использования условия стабилизации средней оценки прогнозируемой характеристики, которое формулируется так: включение или исключение эксперта из группы незначительно влияет на среднюю оценку прогнозируемой величины:

 

 
 

 

где B— средняя оценка прогнозируемой величины (в баллах), данная экспертной группой;

 

B’ — средняя оценка (тоже в баллах), данная экспертной группой, из которой исключен (или в которую включен) один эксперт;

 

Bmax— максимально возможная оценка прогнозируемой величины в принятой балльной шкале оценок;

 

E— заданная средняя ошибка вследствие включения (исключения) эксперта.

Величина средней оценки наиболее чувствительна к оценке эксперта, обладающего наибольшей компетентностью и поставившего наибольший балл при В<Вmax и минимальный при В >= Bmax/2. Поэтому для проверки выполнения условия предлагается исключить из группы одного эксперта.

 

Таким образом, по представленным формулам можно получить оценочные значения максимального и минимального числа экспертов в группе. Окончательная численность экспертной группы формируется на основании последовательного исключен малокомпетентных экспертов с учетом условия (Кмах-К)< η, η — заданная граница допустимого отклонения компетентное і-того эксперта от максимальной. Одновременно в группу мог включаться новые эксперты. Численность группы устанавливаться в пределах nMIN<n<nMAX .

 

Кроме рассмотренных процедур, в методах коллективных: экспертных оценок используется подробный статистический анализ экспертных заключений, в результате которого определяются качественные характеристики группы экспертов. В соответствии этими характеристиками в процессе проведения экспертизы качественный и количественный составы экспертной группы корректироваться.

 

При статистической обработке результатов экспертных нок в виде количественных анкетных данных определяются статистические оценки характеристик и их доверительные границы статистические оценки согласованности мнений экспертов пример, среднее значение прогнозируемой величины определяются по формуле:

 

 
 

 

где Bi — значение прогнозируемой величины, данное i-тым:

 

n — число экспертов  в группе.

 

Коэффициент вариации оценок, данных экспертами

 
 

где  – среднеквадратичное отклонение.

При обработке результатов экспертных оценок по относительной важности объектов (например, при определении рейтинга коммерческих банков) среднее значение, дисперсия и коэффициент вариации вычисляются для каждого оцениваемого объекта. Кроме того, вычисляется коэффициент конкордации, показывающий степень согласованности мнений экспертов по важности каждого из оцениваемых объектов, и коэффициенты парной ранговой корреляции, определяющие степень согласованности мнений экспертов.

 

Для этого производится ранжирование оценок важности, данных экспертами. Каждая оценка, данная i-тым экспертом, выражается числом натурального ряда таким образом, что 1 присваивается максимальной оценке, а n — минимальной. Если все оценки различны, то соответствующие числа натурального ряда есть ранги оценок i-того эксперта. Если среди оценок, данных i-тым экспертом, появляются одинаковые, то этим оценкам назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда.

 

Сумма рангов, назначенных экспертами объекту j=1,2,... m (m — число исследуемых объектов), определяется по формуле:

 

где Rij ранг оценки, данной i-тым экспертом j-тому объекту.