Многомерные и факторные эксперименты: общий обзор

Работа состоит из  1 файл

Скачать документ  Открыть документ 

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ.doc  

—  199.00 Кб       

Знаменитый  английский статистик Р. Фишер первым обосновал возможность применения несколько иного подхода к  планированию полевых экспериментов, лабораторных экспериментов с неполным контролем, а также квазиэкспериментов (о последних речь пойдет позднее). Этот подход основан на целенаправленном использовании законов случая и теории вероятности. Он требует введения в планирование эксперимента принципа рандомизации.         

Рандомизация – это стратегия случайного распределения субъектов по различным условиям (режимам) эксперимента и экспериментальным группам.        

Воспользуемся в качестве иллюстрации тем же простым примером психофизического опыта, которым пользуется сам Фишер при обсуждении роли принципа рандомизации в планировании эксперимента.       

Представим  себе, что некая леди взялась угадать, в какие четыре из восьми чашек  чая с молоком сначала налили молоко, а в какие – чай. Экспериментальная гипотеза состоит, таким образом, в том, что испытуемая обладает описанной способностью различения. Если воспользоваться простейшей формулой из комбинаторики, то общее число способов выбрать четыре чашки из восьми равно числу размещений А:       

Иными словами, если бы испытуемая не обладала способностью отличать «молочно-чайные» чашки от «чайно-молочных» и прибегла к случайному угадыванию, то вероятность правильно определить 4 чашки составила бы 1/70 (из 70 существующих различных способов выбрать 4 чашки из 8 лишь один является правильным). Говоря точнее, при достаточно длинной серии испытаний частота правильных ответов приближалась бы к 1/70. Если же частота правильных ответов существенно, с точки зрения избранного статистического критерия, превышает частоту случайного угадывания, то мы вправе сделать вывод о том, что интересующая нас специальная способность действительно существует.        

Однако  описанная схема испытания явно не соответствует тем требованиям, которые предъявляются к уровню контроля над переменными и изоляции основного эффекта в лабораторном эксперименте. Возможные угрозы валидности наших статистических выводов носят довольно очевидный характер. Во-первых, мы не обладаем никакими средствами прямого измерения зависимой переменной –способности вкусового различения. Правильные угадывания – это лишь косвенные индикаторы такой способности и могут отражать влияние «посторонних» переменных, даже превосходящее основной эффект. Если, например, во все чашки, в которые сначала было налито молоко, был добавлен сахар, ясно, что все они будут безошибочно опознаны. Статистические выводы о значимости окажутся, таким образом, невалидными, т. е. не имеющими отношения к нашей экспериментальной гипотезе (хотя и подтверждающими конкурентную гипотезу о способности распознавать сладкий вкус). Систематическое постороннее влияние, составляющее угрозу валидности статистического вывода, может носить и другой характер: «молочные» и «чайные» чашки могут отличаться друг от друга толщиной, температурой, цветом. Чтобы устранить перечисленные угрозы валидности и нивелировать возникающие систематические смещения, экспериментатор должен использовать принцип рандомизации, т. е. обеспечить случайный порядок предъявления стимулов-чашек и их оценки, определяемый, например, с помощью таблицы случайных чисел или жребия. В идеале и отбор испытуемых для каждой серии опытов, и распределение уровней независимой переменной между чашками («молоко-чай» или «чай-молоко») должны основываться на законах случая.        

При планировании конкретного экспериментального исследования описанные принципы находят  воплощение при разработке плана, или схемы, эксперимента, определяющего порядок предъявления испытуемым (или их группам) различных уровней (условий) независимой переменной для адекватной проверки экспериментальной гипотезы 8.    

3. Основные  экспериментальные  планы с контрольной  группой и рандомизацией

В социологии, психологии и других поведенческих  науках особую роль играет использование  принципа рандомизации при распределении испытуемых по группам. В эксперименте с неполным контролем или в полевом эксперименте, происходящем в естественных условиях (т. е. в условиях школьного класса, промышленной организации, городского района и т. д.) часто нужно доказать не только наличие ожидаемого эффекта в результате некоторого воздействия, но и отсутствие того же эффекта в тех случаях, когда воздействия не было. Например, исследователь, изучающий воздействие просмотра антивоенных фильмов на изменения установок студентов, случайным образом отбирает из некоторой совокупности студентов экспериментальную группу, которой будет показан антивоенный фильм, а также контрольную группу, которой он продемонстрирует нейтральный фильм, никак не связанный с изучаемыми установками.        

Использование контрольной группы позволяет устранить некоторые важнейшие угрозы валидности эксперимента. Во-первых, если бы исследователь отказался от использования контрольной группы и ограничился тестированием, т. е. измерением установок «до-после» просмотра, то обнаруженные изменения в уровне установок можно было бы приписать влиянию на испытуемых самого по себе факта участия в эксперименте. Испытуемые, возможно, осознавали, что они отобраны для важного исследования и стремились некоторым образом соответствовать своей роли и оправдать некие гипотетические «ожидания» экспериментатора. Описанная угроза валидности широко известна и для нее существует несколько обозначений. В психологическом тестировании и экспериментальной психологии это называют «эффектом морской свинки» или «мотивом экспертизы». Иногда применяют термин, возникший в медицине, где при клинических испытаниях новых фармакологических средств и методов лечения часто наблюдают «эффект плацебо», т. е. заметное улучшение статуса у многих участников контрольной группы, в которой вместо реального воздействия использовались индифферентные средства и нейтральные врачебные манипуляции. В социологии самое популярное обозначение систематического смещения, возникающего из-за реакции испытуемых на ситуацию эксперимента – это «хоуторнский эффект».       

В так называемых хоуторнских экспериментах (по названию промышленного предприятия в Чикаго) исследовались организационные и социально-психологические факторы, влияющие на производительность труда. Исследователи обнаружили, что эффект роста производительности труда в бригадах сохранялся даже при отсутствии собственно экспериментального воздействия. Предположительной причиной этого явления был рост группового самосознания у участников эксперимента.        

«Хоуторнский  эффект»9 – это угроза валидности, связанная с особенностями экспериментальной группы.       

Еще одна угроза валидности выводов, которую  позволяет преодолеть описываемый план эксперимента, также связана с особенностями групп, а именно – с процессом отбора для участия в эксперименте. Если бы мы отказались от предварительного тестирования и случайного распределения испытуемых по экспериментальной и контрольной группам, мы совершили бы методическую ошибку, весьма характерную для любых экспериментов с добровольцами. Очень часто исследователи отбирают испытуемых для участия в специальной программе обучения или в новаторском организационном проекте, основываясь на изъявленном ими желании, а затем сравнивают результаты, показанные участниками оцениваемой программы, с результатами какой-либо другой доступной группы (или даже случайной выборки из соответствующей генеральной совокупности), не участвовавшей в такого рода программе. Однако такое сравнение некорректно: само по себе желание участвовать в эксперименте часто свидетельствует о изначально более высокой мотивации, осведомленности или интеллекте. Эти факторы сами по себе, или взаимодействуя с главной независимой переменной, могут объяснить значимые различия в результатах, показанных экспериментальной группой. В только что описанном примере сравнение группы добровольцев, пожелавших посмотреть антивоенный фильм, с прочими студентами, может вести к завышенной оценке воздействия просмотра, если добровольцы изначально проявляют больший интерес к политическим проблемам. Лишь случайное распределение добровольцев по контрольной и экспериментальной группам при соблюдении «непрозрачности» такого распределения для всех испытуемых (участники обеих групп должны считать, что они подвергаются некоторому экспериментальному воздействию) позволяет судить о роли независимой переменной Х в возникновении межгрупповых различий10.       

Вышеописанные угрозы валидности связаны преимущественно с особенностями групп, проявляющимися на стадии отбора или в ходе эксперимента. Однако рандомизация позволяет справиться и с некоторыми угрозами валидности, исходящими от переменных внешнего окружения, фона. К фоновым относятся, в частности, «возможные влияния времени года или событий, возникающих на институциональном уровне», а также факторы естественного развития – «все те биологические или психологические процессы, которые независимо от конкретных внешних событий систематически изменяются с течением времени»11. Испытуемые взрослеют, обучаются, устают, улучшают свои результаты при повторных тестированиях и т.п., что может сказываться на их результатах. Однако если такие посторонние влияния не оказывают избирательного воздействия только на членов экспериментальной группы, они будут вносить вклад лишь в случайную ошибку, а не в систематическое смещение. Иными словами, они будут с равной вероятностью распределены между случайным образом отобранными участниками контрольной и экспериментальной групп.       

Систематическая угроза валидности, связанная с фоновыми факторами, может все же возникнуть и при использовании рандомизации и контрольной группы. Это происходит тогда, когда фоновые факторы  взаимодействуют с независимой переменной (или некоторыми ее уровнями). Природу такого взаимодействия легко понять на примере исследования, в котором изучается влияние тревожности, возникающей в ситуации неопределенности, на успешность решения сложных задач. В такого рода экспериментах для создания ситуации неопределенности и повышения реактивной тревожности (независимые переменные) часто используют неясные инструкции, косвенные негативные оценки действий испытуемого, высказываемые лицами, проводящими эксперимент (типа «Ну-ну, посмотрим, как Вы сможете это использовать»), а также предварительные серии, где испытуемому приходится решать заведомо неразрешимые задачи. Разумеется, всем этим воздействиям (X) подвергаются лишь члены экспериментальной группы. Если испытуемые – это студенты, которым в силу случайного стечения обстоятельств через неделю предстоит сдавать экзамены, или сотрудники подразделения фирмы, ожидающие скорой переаттестации, то эти факторы «фона» будут взаимодействовать с независимыми переменными, не только суммируясь с ними, но и усиливая их эффект. Негативные подкрепления, получаемые в ходе эксперимента, будут восприниматься значительно острее накануне экзаменационной сессии или переаттестации, а связанная с этими событиями фоновая тревожность и неопределенность будет взаимодействовать с тревожностью и неопределенностью, создаваемыми преднамеренно.       

Оценить чистый эффект взаимодействия с помощью  сравнения с результатами контрольной  группы вышеописанным способом в  данном случае невозможно, так как  взаимодействие фоновых смещений с основным эффектом происходит лишь там, где имеет место экспериментальное воздействие X. В контрольной группе приближающееся неприятное событие также может повлиять на результаты итогового замера или даже обоих замеров, но оно не будет взаимодействовать, «перемножаться» с воздействием независимой переменной (такое взаимодействие можно описать в более точных терминах, однако это требует введения некоторых статистических понятий). Для оценки величины взаимодействия фоновых смешивающих переменных с основным эффектом нужны более сложные экспериментальные планы. Некоторые из них будут обсуждаться ниже.       

Иногда  имеет смысл воспользоваться  упрощенным вариантом описанного плана с рандомизацией и контрольной группой, а именно планом с рандомизацией без предварительного тестирования (RTC), который схематически выглядит следующим образом:

R      Х      О1 R                                       

 О2       

Привлекательность этого плана заключается прежде всего в его экономичности. Если при распределении испытуемых между группами и уровнями воздействия использовалась истинная вероятностная процедура16, то проведение предварительного тестирования – как в плане RT1-2C – лишь увеличивает стоимость эксперимента, не оказывая существенного влияния на качество получаемых данных. По сути, правильно осуществленная рандомизация (R) – это наилучшая гарантия отсутствия изначального смещения между группами (т. е. равенства исходных средне групповых значений зависимой переменной О в контрольной и экспериментальной группах). Кроме того, в широкомасштабных социологических исследованиях, а также в прикладных исследованиях в области педагогики и социальной работы, проведение и предварительных, и повторных измерений зависимой переменной (политических установок, криминального поведения и т. п.) часто неосуществимо либо ведет к возникновению реакции на саму процедуру тестирования. Если, к примеру, мы изучаем влияние участия в предвыборной групповой дискуссии на последующую поддержку политических партий, то предварительное измерение политических установок может повлиять на активность опрошенных в ходе самой дискуссии и их последующие установки.        

Можно заключить, что план RTC предпочтителен всегда, когда нежелательно повторное предъявление весьма специфичных по содержанию и схожих по форме тестов, вопросов, измерительных процедур. Иными словами, этот план заслуживает широкого применения в социологических и оценочных исследованиях. Кроме того, он является самым приемлемым средством проведения так называемых методических экспериментов, в которых оценивается эффективность различных видов опроса, способов заполнения и форматов анкет и т. п. (примером такого методического эксперимента является описанное в главе «Массовые опросы» исследование Бредберна и Судмана, в котором эффективность метода «случайного ответа» сравнивалась с эффективностью использования данных административной статистики). План RTC использовался, в частности, в одном из практически ориентированных социальных экспериментов по совершенствованию системы правоохранительных и пенитенциарных учреждений, проводившихся в США в 1960-70-е гг.       

В 1961 г. Федеральное бюро пенитенциарных учреждений США начало трехлетний эксперимент, целью которого было изучить воздействие поддерживающего консультирования и специальных реабилитационных программ на поведение мальчиков-подростков, находящихся в исправительных учреждениях. Местом проведения эксперимента стала специальная школа-колония для несовершеннолетних правонарушителей.

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ.doc