Способы установления валидности
методики
Существуют три основных
способа установления валидности методики.
I. Оценка
содержательной валидности.
Содержательная валидность
- степень соответствия содержания заданий
методики той реальной деятельности, в
которой проявляется измеряемое в методике
свойство. Частным случаем содержательной
валидности является так называемая очевидная
(лицевая или фейс) валидность - степень
соответствия методики ожиданиям оцениваемых.
Для большинства методик считается важным,
чтобы для участника оценки была очевидна
связь между содержанием процедуры оценки
и той реальной деятельностью, которая
является объектом оценки (профессиональная,
учебная, семейная и т.п.).
II. Оценка
конструктной валидности.
Конструктная валидность
- это степень обоснованности того, что
методика действительно измеряет заданные
и при этом научно обоснованные конструкты.
Существуют, как минимум, две стратегии
установления конструктной валидности.
Подход первый — «конвергентная
валидизация» — это проверка ожидаемой
связи результатов конкретной методики
с показателями других методик, измеряющих
сходные характеристики. Например, если
для измерения какой-либо черты существует
несколько методик, целесообразным было
бы провести эксперименты по хотя бы двум,
и тогда при обнаружении высокой положительной
корреляции их результатов между собой
можно говорить о валидности. Основной
целью конвергентной валидизации является
определение того, будут ли оценки теста
варьироваться в соответствии с ожиданиями.
Подход второй — «дивергентная валидизация»
(англ.). Проверка валидности
здесь заключается в том, что тест не должен
измерять никакой черты, с которой он теоретически
и не должен быть связан.
III. Оценка
критериальной валидности.
Критериальная валидность
- это определенная статистическими методами
степень соответствия результатов методики
и определенных заранее внешних критериев.
В качестве подобных критериев могут выступать:
независимые от результатов
методики непосредственные меры исследуемого
качества (такие как уровень достижения
в какой-либо деятельности, степень развития
способности, выраженность определенного
свойства личности и т.д.),
показатели социально- или оргазизационно-значимых результатов деятельности (ключевые показатели эффективности (КПЭ или KPI), успеваемость, устойчивость семейных отношений и т.п.)
Одним из видов критериальной
валидности является т.н. "прогностическая"
валидность. Этот вид валидности используется,
когда методика призвана давать определенный
прогноз поведения человека. Соответственно,
если прогноз оправдывается с течением
времени, это говорит о том, что методика
является прогностически валидной.
8 ПСИХОЛОГИЧЕСКАЯ ДИАГНОСТИКА
Для проведения прагматической
валидизации методики, т. е. для оценки
ее эффективности, действенности, практической
значимости, обычно используется независимый
внешний критерий — показатель проявления
изучаемого свойства в повседневной жизни.
Таким кри терием может быть и успеваемость
(для тестов способностей к обу чению,
тестов достижений, тестов интеллекта),
и производственные достижения (для методик
профессиональной направленности), и эф
фективность реальной деятельности —
рисование, моделирование и т. д. (для тестов
специальных способностей), субъективные
оценки (для тестов личности).
Американские исследователи
Д. Тиффин и Е. Мак-Кормик, прове дя анализ
используемых для доказательства валидности
внешних кри териев, выделяют четыре их
типа [по 31):
1) критерии исполнения (в
их число могут входить такие,
как коли чество выполненной работы,
успеваемость, время, затраченное на обучение,
темп роста квалификации и т. п.);
2) субъективные критерии
(они включают различные виды
ответов, которые отражают отношение
человека к чему-либо или к
кому-либо, его мнение, взгляды, предпочтения;
обычно субъективные критерии
получают с помощью интервью,
опросников, анкет);
3) физиологические критерии
(они используются при изучении
вли яния окружающей среды и других ситуационных
переменных на организм и психику человека;
замеряется частота пульса, давле ние
крови, электросопротивление кожи, симптомы
утомления И т. д.);
4) критерии случайностей
(применяются, когда цель исследования
касается, например, проблемы отбора
для работы таких лиц, которые
менее подвержены несчастным
случаям).
Внешний критерий должен отвечать
трем основным требованиям: он должен
быть релевантным; свободным от помех;
надежным.
Под релевантностью имеется
в виду смысловое соответствие диагностического
инструмента независимому жизненно важному
критерию. Другими словами, должна быть
уверенность в том, что в критерии задействованы
именно те особенности индивидуальной
психики, которые измеряются и диагностической
методикой. Внешний критерий и диагностическая
методика должны находиться между собой
во внутреннем смысловом соответствии,
быть качественно однородны ми по психологической
сущности. Если, например, тест измеряет
индивидуальные особенности мышления,
умение выполнять логические действия
с определенными объектами, понятиями,
то и в критерии нужно искать проявление
именно этих
умений. Это в равной
степени относится и к профессиональной
деятельности. Она имеет не одну, а несколько
целей, задач, каждая из которых специфична
и предъявляет свои условия к выполнению.
Из этого вытекает существование нескольких
критериев выполнения профессиональной
деятельности. Поэтому не следует проводить
сопоставление успешности по диагностическим
методикам с производственной эффективностью
в целом. Необходимо найти такой критерий,
который по характеру выполняемых операций
соотносим с методикой. Если относительно
внешнего критерия неизвестно, релевантен
он измеряемому свойству или нет, то сопоставление
с ним результатов психодиагностической
методики становится практически бесполезным.
Оно не позволяет прийти к каким-либо выводам,
которые могли бы дать оценку валидности
методики. Требования свободы от помех
вызываются тем, что, например, учебная
или производственная успешность зависит
от двух переменных: от самого человека,
его индивидуальных особенностей, измеряемых
методиками, и от ситуации, условий учебы,
труда, которые могут при внести помехи,
«загрязнить» применяемый критерий. Чтобы
в какой-то мере избежать этого, следует
отбирать для исследования такие группы
людей, которые находятся в более или менее
одинаковых условиях. Можно использовать
и другой метод. Он состоит в корректировке
влияния помех. Эта корректировка носит
обычно статистический ха рактер. Так,
например, производительность следует
брать не по абсолютным значениям, а в
отношении к средней производительности
рабочих, работающих в аналогичных условиях.
Когда говорят, что критерий должен иметь
статистически достоверную надежность,
это означает, что он должен отражать постоянство
и устойчивость исследуемой функции.