Современная типология педагогических тестов

Критериально-ориентированные тесты

Существует, однако, и подход отличный от нормативно-ориентированного, когда обработанные баллы интерпретируются по отношению к подготовленности самого экзаменующегося на данной области содержания, а не сравнительные способности с другими экзаменующимися из нормативной группы. В этом случае говорят о критериально-ориентированном подходе [3,4].

Такие тесты называются критериально-ориентированными. Однако педагогический тест может при специальной технологии составления и интерпретации предоставлять как нормативно-ориентированную, так и критериально - ориентированную информацию для пользователей.

В литературе существует много определений критериально-ориентированного теста. Авторы используют этот термин различно, поэтому необходимо однозначно определить критериально - ориентированный подход. Каждый вид критериально-ориентированного теста составлен для того, чтобы интерпретировать результаты тестирования по отношению к определенной области содержания. Эта интерпретация может совершаться различными способами, которые зависят от цели тестирования. Определение теста должно служить базисом для установления границ данной концепции. Критериально-ориентированный тест - это такой тест, который намеренно составлен, чтобы производить педагогические измерения и напрямую интерпретироваться в терминах точно определенного стандарта. Данные педагогические измерения производятся путем выбора репрезентативного набора тестовых заданий на соответствующей области содержания. Критериально-ориентированные тесты специально составлены таким образом, чтобы обобщить результаты индивидуальных баллов относительно точно определенного домейна или области содержания [3]. Причем тестовые задания могут включать как проверку содержания, так и проверку навыков и умений. Домейн, или область содержания называются хорошо определенными, если совершенно ясно, какая категория тестовых заданий потенциально принадлежит данной области содержания. Основное использование критериально-ориентированного тестирования - это определение статуса испытуемого по отношению к некоторому количеству тестовых заданий выбранных, или с определенной области содержания, причем таким образом, который позволяет пользователю теста сделать заключение об учебных достижениях испытуемого. Таким образом, хорошо определенная область содержания является необходимым, но недостаточным условием критериально-ориентированного тестирования.

Часто можно встретить довольно узкие определения, подразумевающие только один из видов критериально-ориентированных тестов. Более широкие определения нередко страдают неточностью формулировок. В работе [3] приведено определение, которое, пожалуй, наиболее точно раскрывает сущность и специфику этого типа тестов.

«Критериально-ориентированный педагогический тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и навыков, которые должки быть усвоены учащимися».

Мы будем называть областью содержания теста тот полный объем знаний, умений и навыков, которые должны быть усвоены студентами в результате определенного курса обучения и овладение которыми измеряется критериально-ориентированным тестом. Выполнение критериально-ориентированного теста описывается, как правило, в терминах содержания учебной дисциплины. Например, результаты проведения теста позволяют судить о том, какую долю области содержания освоил студент, какие задачи и какого уровня сложности может решать испытуемый, и т.п.

Два основных вида критериально - ориентированных тестов

В литературе по тестологии (или педагогическим измерениям) выделяют два основных вида критериально - ориентированных тестов, отличающихся друг от друга по ряду характеристик. Установившихся названий для этих видов на русском языке пока не существует. В зарубежной литературе терминология окончательно также еще не установилась. Критериально - ориентированные тесты намеренно составляются таким образом, чтобы аттестовать уровень индивидуальных достижений студентов по отношению к заранее определенной области содержания. Принципиальный интерес при их разработке представляет строгая и точная спецификация области содержания теста. Это необходимо для того, чтобы увеличить до максимального уровня обоснованность интерпретации индивидуальных баллов студентов [З, 4, 6]. Именно акцентированное внимания на области содержания (по англ. - domain) внушило некоторым исследователям идею наименования таких тестов как domein-referenced, что можно перевести как «тесты, ориентированные на область содержания».

Создание заданий для теста, ориентированного на область содержания, требует более детальных и точных правил. Для этого требуется точная и строго определенная спецификация области содержания теста. Этот тип критериально - ориентированных тестов предназначен для оценки доли от полного объема учебного материала, которую усвоил испытуемый. В зарубежной литературе его обычно называют domein-referenced test. Мы будем называть этот тип критериально - ориентированных тестов термином: тесты, ориентированные на определенную область содержания. Предполагается, что в результате обучения учащиеся должны приобрести определенную сумму знаний, умений и навыков, которая является областью содержания теста и условно принимается за 100 процентов. Уровень учебных достижений каждого испытуемого можно выразить в проценте от полного объема области содержания теста. Для итогового контроля наиболее естественно применять именно этот тип тестов.

На практике существует и другой тип критериально - ориентированных тестов. Называются такие тесты mastery tests, то есть «тесты на мастерство» или «квалификационные тесты» [З, 4]. Они применяются для определения в группе испытуемых квалифицированных и неквалифицированных (masters and nomasters) в какой-то области. Эмпирическая процедура анализа тестовых заданий в данном случае рекомендована для того, чтобы определить «чувствительность» тестовых заданий к различию между обученными и необученными испытуемыми.

Этот вид используется для классификации испытуемых и разделения их на группы на основании заранее выбранного стандарта оценивания (критериального балла). Чаще всего такие тесты используются для разделения испытуемых на две группы: усвоивших и не усвоивших необходимый навык на базе определенной области содержания. Иногда происходит деление на большее количество групп. Например, на тех, которые полностью овладели навыком, и на тех, которым лучше закрепить его, а также на группу учащихся, которым надо начать изучение материала с самого начала. Для отнесения к определенной группе испытуемый должен достичь необходимого минимального стандарта оценивания. Этот стандарт устанавливается разработчиками теста и является критерием, на основании которого принимается решение относительно испытуемого. В тесте данный стандарт выражается определенным количеством правильно выполненных заданий. Важными элементами разработки таких тестов являются: методы установки стандарта оценивания квалификации по результатам тестирования, оценка уровня ошибки этого стандарта, определение последовательности принятия решения о квалификации или о недостаточной подготовке студента [4].

Многие ученые [З, 4, 5] отмечают, что термин "критериально-ориентированное тестирование" является неудачным. Он создает впечатление, будто существует некий критерий, с которым сопоставляются результаты тестирования. Одно из заблуждений относительно критериально-ориентированного тестирования, это неправильное понимание того, что данный термин означает использование так называемого критерия или "критериального (проходного) балла". Критериально - ориентированное тестирование не всегда требует наличия проходного балла, хотя для определенных практических приложений при данном виде тестировании могут потребоваться так называемые стандарты оценивания или проходные баллы. Такой критерий, а точнее стандарт оценивания, в самом деле, используется, но его наличие не является обязательным. Ошибочная трактовка критерий, как уровня подготовленности является одним из заблуждений относительно критериально - ориентированного тестирования. Это неправильное понимание того, что данный термин означает использование так называемого "проходного балла". На самом деле критериально - ориентированное тестирование не обязательно требует наличия проходного балла, хотя для определенных практических приложений при данном типе тестировании могут потребоваться так называемые стандарты оценивания. Дело в том, что пользователь теста может использовать или установить проходной балл для любого теста – критериально - ориентированного или не критериально - ориентированного. Если просто установить 80% правильно решенных заданий как "проходной балл" для любого теста, это не означает автоматически, что вы используете хорошо определенную область содержания и описываете результаты тестирования по отношению к этой области содержания. Способность самого теста давать данную информацию об испытуемых, то есть давать статус испытуемых по отношению к данной области содержания и делает тест критериально - ориентированным, а не тот факт, что вы использовали проходной балл или другой критерий оценивания.

Существует и другое заблуждение, а именно о связи критериально - ориентированного теста с критериальной интерпретацией педагогического измерения. Иногда тест составляется таким образом, чтобы прогнозировать статус испытуемого для другого теста, или для других педагогический измерений, таких как экзамены, зачеты и т.д. Например, некоторые тесты, такие как широко известные SAT-I и SAT-II, составлены для того, чтобы помочь предвидеть, прогнозировать учебные успехи абитуриентов в университетах США [4]. Та переменная величина, которая определяется для данного прогноза, называется критериальной величиной. Таким образом, итоговые оценки студента в университете являются критериальным измерением для вступительного теста. Данное педагогическое исследование, например тест SAT, проводится для того, чтобы установить полезность, обоснованность и фактически критериальную валидность самого вступительного теста, как прогностического теста установления статуса испытуемых, по отношению к критериальной переменной. Использование термина "критериальный" в данном случае отличается от использования этого же термина в связи с критериально-ориентированным тестированием.

Таблица 4.1

Характерные особенности нормативно-ориентированных и критериально-ориентированных тестов

Рекомендуемая литература

1.       Аванесов В. С. Основы научной организации педагогического контроля в высшей школе. Учебное пособие. - М.: Исследовательский центр, 1989 – 167 с.

2.       Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс. 1976 – 495 с.

3.       Berk R.A. Criterion-referenced measurement: The state of art. Baltimor, MD: Johns Hopkins University Press, 1980.

4.       Educational measurement (Ed. by Linn R.) N.Y. Macmillan, 1989 – 610 с.

5.       Edcational Testing Service. Standards for quality and fairness. Prinston, NJ. 1987.

6.       Keeves J.P. (Ed.) Educational Research, Metodology and Measurement: An International Handbook. Oxford, Pergamon press, 1988.

Тест Кэттела (16PF - Form C)

Вам будет задан ряд вопросов, на каждый из которых Вы должны выбрать один из трех предлагаемых ответов, - тот, который в наибольшей степени соответствует Вашим взглядам, Вашему мнению о себе.

Обязательно отвечайте на все вопросы подряд, ничего не пропуская. Не нужно много времени тратить на обдумывание ответов. Давайте тот ответ, который первым приходит Вам в голову. Отвечать надо приблизительно на 5-6 вопросов за минуту. Заполнение всего опросника должно занять у Вас около получаса.

Возможно, некоторые вопросы покажутся вам неясными или сформулированными не так подробно, как Вам хотелось бы. В таких случаях, отвечая, старайтесь представить "среднюю", наиболее обычную ситуацию, которая соответствует смыслу вопроса, и на основе этого выбирайте свой ответ.

Старайтесь не прибегать слишком часто к промежуточным, неопределенным ответам, типа "не знаю", "нечто среднее" и т.п.

Отвечайте честно и искренне. Не стремитесь произвести хорошее впечатление своими ответами Здесь не может быть ответов "правильных" или "ошибочных". Люди различны, и каждый может высказать свое мнение. Ваши ответы должны соответствовать действительности - в этом случае Вы сможете лучше узнать себя.

1. Я думаю, что моя память сейчас лучше, чем была раньше.

a) да b) трудно сказать с) нет

2. Я бы вполне мог жить один, вдали от людей.

a) да b) иногда с) нет

3. Если бы я сказал, что небо находится "внизу" и что зимой "жарко", я должен был бы назвать преступника:

a) бандитом b) святым c) тучей

4. Когда я ложусь спать, я:

a) засыпаю быстро b) нечто среднее c) засыпаю с трудом

5. Если бы я вел машину по дороге, где много других автомобилей, я предпочел бы:

a) пропустить вперед большинство машин b) не знаю

c) обогнать все идущие впереди машины

6. В компании я предоставляю другим шутить и рассказывать всякие истории. a) да b) иногда c) нет

7. Мне важно, чтобы во всем, что меня окружает, не было беспорядка.

a) верно b) трудно сказать c) неверно

8. Большинство людей, с которыми я бываю в компаниях, несомненно, рады меня видеть.