Современная типология педагогических тестов

Современная типология педагогических тестов

Самара 2000

Джефри Вялфорд, Великобритания (перевод и адаптация к отечественной терминологии - Кузнецов В. Г., к. п. н.)

Теория и практика современного педагогического тестирования имеет не более чем столетнюю историю. Развитие психологии и педагогики с конца XIX века до начала первой мировой войны было тесно связано со становлением тестовых технологий. Социальные и научные условия конца XIX и начала XX веков заставляли педагогов и психологов рассматривать результаты тестирования с точки зрения сравнения относительных способностей испытуемый, что стало со временем называться нормативно-ориентированным подходом к интерпретации результатов тестирования.

Когда индивидуальные баллы интерпретируются по отношению к подготовленности самого экзаменующегося на данной области содержания, а не сравниваются с результатами других экзаменующихся из группы, то в этом случае говорят о критериально - ориентированном подходе к тестированию [3, 6].

Идея критериально - ориентированного тестирования и сам термин появились в 60-е годы нашего столетия. К этому времени нормативно-ориентированное тестирование развивалось уже более полувека. Начиная с 70-х годов, критериально - ориентированные тесты получили всеобщее признание и стали широко применяться в сфере образования и профессиональной аттестации кадров.

Они получили в настоящее время широкое применение в образовании, индустрии и вооруженных силах США, Великобритании, Голландии, Японии и в других развитых странах. Они обеспечивают пользователей тестов ценной информацией, причем отличной от той, которая может быть получена в результате проведения нормативно-ориентированных тестов.

Критериально - ориентированные тесты или как их еще называют domain-referenced tests (тесты, ориентированные на область содержания) и mastery tests (квалификационные тесты) используются во многих образовательных учреждениях развитых стран и решают различные задачи.

За последнее время стало обычным для государственных образовательных институтов определять совокупность знаний, умений и навыков, которые студенты должны усвоить, чтобы перейти с одного курса на другой или чтобы получить соответствующий диплом. В России эта совокупность получила свое воплощение в создании государственных образовательных стандартов. Использование критериально - ориентированных педагогических тестов, основанных на государственных образовательных стандартах, для итоговой и поэтапной аттестации студентов является чрезвычайно перспективным.

Одно изсамых важных приложений критериально - ориентированных тестов - это сертификация и лицензирование в сфере профессиональной деятельности. В США, например, стало весьма распространенным явлением, когда профессиональные организации устанавливают аттестационный экзамен в виде критериально - ориентированного теста (или батареи тестов), который испытуемые должны успешно пройти, чтобы получить возможность практики в выбранной сфере профессиональной деятельности. Многие из этих профессиональных организаций применяют критериально - ориентированные тесты для повторной сертификации испытуемых. Типичный профессиональный экзамен, основанный на критериально - ориентированных тестах, измеряет знания, умения и навыки, необходимые для профессиональной деятельности, а результаты тестирования интерпретируются по отношениюк минимальному установленному стандарту оценивания.

Понятие нормативно-ориентированного и критериально - ориентированного педагогического теста

В настоящеевремя существует два основных подхода к разработке тестов для конкурсного, а также профессионального отбора, и для аттестации учащихся и специалистов: нормативно - ориентированный и критериально - ориентированный. Эти два подхода различаются навсех этапах разработки с момента выбора содержания до момента интерпретации результатов.

Самая общая их характеристика заключается в следующем [3].

Нормативно - ориентированный подход (по-английски norm-referenced) позволяет сравнивать учебные достижения (уровень подготовки, уровень профессиональных знаний и умений) отдельных испытуемых друг с другом.

Критериально - ориентированный подход (по-английски criterion-referenced) позволяет оценивать, в какой степени испытуемые овладели необходимым учебным материалом

Для аттестационного контроля уровня обученности более привычной и естественной является задача, решаемая в рамках критериально - ориентированного подхода. Тем не менее, в процессе тестового контроля оба подхода важны необходимы.

Тесты измеряют степень усвоения учебного материала овладения необходимыми знаниями, умениями и навыками уровень профессиональной квалификации кадров. В результате измерения степень проявления какого-либо свойств испытуемых выражается в тестовом балле, представляющем собой определенное число. Тестовые баллы располагайте на специальных шкалах, выбранных разработчиками.

Нормативно-ориентированные педагогические тест используются для того, чтобы получить надежные и нормально распределенные баллы длясравнения тестируемых.

Критериально-ориентированные педагогические тесты применяются для того, чтобы интерпретировать результат тестирования в соответствии уровнем обученности испытуемых на хорошо определенной области содержания.

Хотя различия нормативно-ориентированных и критериально-ориентированных тестов существенны,они имеют много общего. С первого взгляда на сам тест, довольно трудно определить какой из этих двух типов имеет место. Он используют те же формы тестовых заданий и подобные инструкции для испытуемых.

Первое различие - это цель создания теста. Нормативно-ориентированные тесты составлены специально для того, чтобы получить возможность сравнения испытуемых в той области содержания, для которой тест предназначен. Для этого используются нормативные или стандартные шкалы.

Критериально-ориентированные тесты составлены для того, чтобы аттестовать результаты испытуемого в соответствии с областью определенных знаний, умений и навыков. Результаты критериально-ориентированного тестирования могут быть использованы для:

1.       оценки итогового уровня обученности испытуемого, соответствия этого уровня государственным образовательным стандартам или программе обучения;

2.       отбора студентов, достигших необходимого уровня обученности, в том числе и профессиональной компетенции;

3.       оценки эффективности программы обучения в том или ином учебном заведении.

Результаты критериально-ориентированного тестирования также могут быть использованы для сравнения между собой уровней подготовки студентов, однако в этом случае можно получить сравнительно низкую надежность, если распределение баллов однородно и имеет малую вариацию.

Второе различие этих двух типов тестов состоит в уровне детализации области содержания. От разработчиков обоих типов тестов обычно требуется формирование спецификации его содержания. Создатели критериально-ориентированных тестов должны, в типичных случаях, подготовить значительно более детализированную спецификацию содержания,чем составители нормативно-ориентированных тестов. Это необходимо для того, чтобы пользователи теста были уверены в адекватной интерпретации тестовых баллов.

Третье различие лежит в плоскости проведения статистической обработки результатов тестирования. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев для этого типа тестов применяются специальные нормативные шкалы. Каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе. Если для индивидуального балла данного испытуемого процентильный эквивалент равен 75, то это означает, что у 75% тестируемых из нормативной группы результаты тестирования были такие же или хуже. Обработанные индивидуальные баллы по результатам критериально-ориентированного тестирования не относятся к какой-либо нормативной группе или выборке испытуемых. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается в шкале процентов.

Четвертое основное различие лежит в плоскости технологии анализа и отбора тестовых заданий. В нормативно - ориентированных тестах статистические показатели тестовых заданий (уровень трудности и различающая способность) играют важную, а часто определяющую роль в отборе заданий. В общем случае задания со средним уровнем трудности и высокой различающей способностью имеют больший шанс быть отобранными для использования в тесте этого типа, таккак они вносят существенный вклад в вариацию индивидуальных баллов студентов. Надежность теста, в общем случае, будет выше, если вариация тестовых баллов увеличится. Напротив, в критериально - ориентированных тестах статистические характеристики (уровень трудности и различающая способность) заданий не является основной причиной для их включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий в критериально - ориентированный тест - это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм критериально - ориентированных тестов и для выбора оптимального стандарта оценивания.

Эти два типа тестов различаются и по методам конструирования, и по особенностям применения. Однако, основным критерием для разделения тестов на нормативно- и критериально - ориентированные является подход к интерпретации тестового балла.

Существует и ряд других важных различиймежду ними. Характерные особенности этих двух типов тестов можно свести в таблицу 4.2.

Нормативно-ориентированные тесты

В большинстве тестовых программах за рубежом использовались и используются в настоящее время различные виды шкалированных (обработанных) баллов. В практике массового педагогического тестирования существует более или менее стандартный набор шкалированных баллов, которые информируют пользователей теста об относительных способностях испытуемых [3, 4, 5, б].

К таким шкалированным (обработанным) баллам относятся: процентильные эквиваленты; стандартные линейные шкалы; стандартные нормативные шкалы и другие виды педагогических шкал [4]. Шкалированные баллы помогают пользователям тестов получить информацию о позиции экзаменуемого по отношению к хорошо определенной группе, определенной специфической выборке испытуемых.

Эта специфическая выборка испытуемых часто называется нормативной группой, и так как обработанные баллы ориентированы на баллы в нормативной группе, они называются нормативно-ориентированными баллами.

В основе нормативно-ориентированной интерпретации лежит сопоставление индивидуального тестового балла данного студента с баллами, полученными другими испытуемыми. Самый простой способ провести нормативно-ориентированную интерпретацию тестового балла состоит в том, чтобы сообщить, сколько процентов учащихся из учебной группы, в которой проводилось тестирование, выполнили тест хуже (получили болеенизкий балл) и сколько процентов выполнили тест лучше (получили более высокий балл). Однако при такой интерпретации возникает следующая трудность: оценка индивидуальных учебных достижений оказывается зависимой от уровня подготовленности всей группы студентов, в которой проводилось тестирование. Гипотетически преодолеть эту проблему можно было бы следующим образом [13]: протестировать всю популяцию, для которой разрабатывался тест, и сравнить индивидуальный балл с полученными результатами. Под популяцией понимается все множество учащихся, которые обучаются данной дисциплине и по данное программе. Если тест разрабатывается для применения в каком-либо одном учебном заведении, то в популяцию включают все учебные группы, обучающиеся по одной программе. Если тест разрабатывается для применения в рамках регионе или страны, то популяция принимает весьма внушительные размеры. Протестировать такое количество испытуемых практически невозможно. Поэтому, чтобы получить информацию с том, как выполнили тест все испытуемые, прибегают к формированию так называемой выборке стандартизации. Это специально подобранная группа испытуемых, которая адекватно репрезентирует популяцию, для которой разрабатывается этот тест. В выборке стандартизации пропорционально представляются все возрастные, социальные и другие группы испытуемых, из которых состоит популяция. Результаты проведения теста на образованной таким образом выборке называются тестовыми нормами. Отсюда происходит термин "нормативно-ориентированное тестирование". По нормам судят с том, как выполнили бы тест все испытуемые, для которых он предназначен. Если выборка стандартизации адекватно репрезентирует популяцию, то, сопоставляя индивидуальный балл с нормами, можно получить оценку уровня учебных достижений испытуемого по сравнению с уровнем учебных достижений других учащихся. Такая оценка уже не зависит от группы, в которой проводилось тестирование [3, 4].

Педагогические тесты, специально разработанные для того, чтобы провести нормативно-ориентированную интерпретацию, называются нормативно-ориентированными тестами.

Нормативно-ориентированные тесты имеют свою специфику, связанную с их основной задачей - дифференцировать испытуемых. При разработке этого типа стараются добиться высокой вариативности тестовых баллов. Если большинства испытуемых получает только низкие, или только средние или только высокие баллы, то труднее установить между ними различия. Если же вариативность баллов высокая (встречаются и низкие, и средние, и высокие баллы), то дифференцировать испытуемых легко. Нормативно-ориентированные тесты разрабатываются таким образом, чтобы распределение баллов было близко к нормальному. Математические методы, применяемые при конструировании и оценке нормативно-ориентированных тестов, рассчитаны на модель нормального распределения и основываются в основном на корреляционном анализе [4, 5].

Нормативно-ориентированный подход чрезвычайно полезен, когда необходима информация об испытуемом, связанная с его относительными способностями или относительной обученностью по сравнению с другими испытуемыми. Естественно, потенциальная ценность интерпретации нормативно-ориентированного подхода зависит и от соответствия нормативной группы целям тестирования, и от чистоты и тщательности, с которой была составлена нормативная группа.

Для того чтобы определить способности абитуриента по математике очень важно знать, что нормативная группа является репрезентативной для всей группы абитуриентов. Иногда для принятия важных решений необходимо ориентироваться на более специфическую нормативную группу. Например, нормативная группа абитуриентов на инженерные специальности будет более подходить для интерпретации относительной способности абитуриента на инженерные специальности по результатам нормативно-ориентированного тестирования,чем просто, нормативная группа всех абитуриентов.

Отметим основные недостатки нормативно-ориентированного подхода к педагогическому тестированию. Для большинства педагогических тестов необходимо знать гораздо больше об испытуемом,чем дает нормативно-ориентированный подход. Например, для некоторого абитуриента мы получили 65 процентильных эквивалентов в результате тестирования. Это означает, что данный абитуриент ответил на задания данного теста не хуже, чем 65% испытуемых из всей, достаточно большой нормативной группы. Но мы не знаем,какие именно понятия усвоены данным абитуриентом, икакие задачи он может решать. Требовалось ли в данном тесте от данного абитуриента только легко запоминаемых для решения алгоритмов, или от него требовалось творческое решение, творческий подход для решения заданий. Более того, мы незнаем, какую долю от всей программы твердо усвоил данный испытуемый. Подобного рода вопросы становятся важными тогда, когда намеченное использование теста выходит за рамки определения относительных способностей экзаменующегося. Определение относительных способностей абитуриентов может быть важным для конкурсных экзаменов, но после проведения учебного процесса в течение некоторого времени, преподавателям необходимо узнать какого вида понятия каждый студент усвоил, и какие типы задач может решать данный студент, фактически какую долю от изученного материала он усвоил.