Методы тестирования в ИСУ

Особым методом  исследования систем управления, наиболее популярным в современных условиях и, пожалуй, достаточно эффективным  является метод тестирования.

Тест  – это стандартизированные методики психо-диагностики, представляющие собой серию относительно коротких испытаний, с помощью которых определяется уровень развития псих. Свойств, необходимых теоретических знаний, практических умений и навыков и других личностных характеристик 

Процедура разработки тестов 

    Для тестов учебных достижений  существуют общие правила и  этапы разработки:

1. Определение целей тестирования

2. Определение  ресурсных возможностей разработчиков 

3. Отбор содержания  учебного материала

4. Конструирование  технологической матрицы и ее  экспертиза

5. Составление  тестовых заданий и их экспертиза

6. Построение  выборки для апробации заданий  и тестов

7. Компоновка  заданий для апробации

8. Апробация  тестовых заданий

9. Определение  и расчет показателей качества  тестовых заданий

10. Отбраковка  заданий и составление теста

11. Апробация  теста

12. Определение  и расчет показателей качества  теста

13. Составление  окончательного варианта теста

14. Стандартизация  теста

15. Нормирование  теста

16. Оснащение  теста

     Рассмотрим  каждый этап подробнее:

1. Определение целей тестирования: В разных образовательных учреждениях разные ситуации, традиции, возможности учащихся и преподавателей по созданию новых или использованию готовых тестов, поэтому определение целей тестирования происходит с учетом организационного контекста. На этом этапе происходит описание усвоенного или не усвоенного учебного материала и оценка обучающегося относительно набора характеристик достаточного для достижения результата.

2. Определение ресурсных возможностей разработчиков:  Ориентация на экспертное оценивание, проведение работ по определению перечня и объема учебных задач, критерия достижения необходимого уровня подготовки. Специалисты необходимы для экспертизы учебного материала.

3. Отбор содержания учебного материала: Отбирается материал, который касается ограниченной тематики.

4.  Конструирование технологической матрицы и ее экспертиза: Форма представления отбора содержания образования для конструирования тестов достижений) и/или спецификации варианта теста, экспертиза матрицы и спецификации.  Сложность матрицы ограничивается выбранным для оценки критерием.

5. Составление тестовых заданий и их экспертиза: Это отдельный этап и по времени и организационно. Возможная доработка заданий, не прошедших экспертизу. Методика независимой экспертизы представляет собой обычно  стандартный вариант оценки заданий по двум критериям: сначала эксперту необходимо дать свой ответ на вопрос (решить задачу), а затем оценить его по двум характеристикам - сложность и качество. Надо отметить, что компетентность эксперта все же влияет на оценку им качества и сложности тестового задания. В диссертации А.А.Чумакова «Методика конструирования тестов профессиональных достижений с использованием интепнет-технологий»  было показано, что те задания, на которые эксперт давал неправильный ответ, оценивались им, как низкокачественные. Этот факт можно объяснить тем, что на те вопросы, на которые эксперт не может дать однозначного ответа или же просто угадывает его, он склонен называть низкокачественными., т.е. по отношению к оценкам вопросов, на которые эксперт не дает правильного ответа, работают защитные механизмы самооценки, а вот по отношению к вопросам, где эксперт отвечает уверенно . оценочная стратегия (установка) оказывается более либеральной (менее строгой).

6. Построение выборки для апробации заданий и тестов: Требования к объему и балансу выборки относительно мягкие, определяемые требованиями отработки качества тестовых заданий.

7. Компоновка заданий для апробации: Определяется способом предъявления.

8. Апробация тестовых заданий: Проводится для отработки содержания заданий.

9. Определение и расчет показателей качества тестовых заданий.

10. Отбраковка заданий и составление теста: Отбираются задания, максимально покрывающие обследуемую область критерия. Сложные и простые задания включаются в тест.

11. Апробация теста: Предварительное тестирование стратифицированной выборки испытуемых для определения соответствия теста его целям и априорным характеристикам. Апробация есть необходимый этап для создаваемого теста перед его широким использование

12. Определение и расчет показателей качества теста

13. Составление окончательного варианта теста.

14. Стандартизация теста: Комплекс процедур и мероприятий, позволяющий создать для всех испытуемых равные условия.

15. Нормирование теста: Процесс получения количественных или качественных характеристик инструментария, на основе сравнения с которыми можно дать оценочное суждение.

16. Оснащение теста: Издание в буклетной или электронной форме со всеми сопутствующими инструктивными материалами. 
 
 

Популярность  метода тестов объясняется  следующими главными его достоинствами:  
1) Стандартизация условий и результатов. Тестовые методики от-носительно независимы от квалификации пользователя (исполнителя), на роль которого можно подготовить даже лаборанта со средним обра-зованием. Это не означает того, что для подготовки комплексного за-ключения по батарее тестов не надо привлекать квалифицированного специалиста с полноценным высшим психологическим образованием.  
2) Оперативность и экономичность. Типичный тест состоит из серии заданий, на выполнение каждого из которых требуется, как пра-вило, не более 30 сек., а весь тест занимает, как правило, не более часа; тестированию одновременно подвергается группа испытуемых, следо-вательно происходит значительная экономия времени на сбор данных.  
3) Количественный дифференцированный характер оценки. Дробность шкалы и стандартизованность теста позволяет рассматри-вать его как "измерительный инструмент", дающий количественную оценку измеряемым свойствам. Тест позволяет хорошо дифференциро-вать испытуемых на полюсах шкалы - отличать просто способных от очень способных и талантливых, а среди отстающих отличать небезна-дежных от совершенно неподготовленных. Количественный характер тестовых результатов дает возможность применить хорошо разрабо-танный аппарат психометрики, позволяющий оценить, насколько хо-рошо работает тест на данной выборке испытуемых в данных условиях.  
4) Профессионально сделанный тест состоит из заданий опти-мальной трудности. При этом средний испытуемый набирает примерно 60 процентов из максимально возможного количества баллов. Это дос-тигается за счет предварительных испытаний - пилотажа. Если в ходе пилотажа становится известным, что с заданием справляется половина из обследуемы, то задание признается удачным и его оставляют в тес-те.  
5) Возможность компьютеризации. В данном случае это не про-сто дополнительное удобство, сокращающее живой груд квалифициро-ванных исполнителей при массовом обследовании. В результате ком-пьютеризации повышаются все параметры тестирования. Специально подчеркнем, что компьютеризация - это мощный инструмент обеспе-чения информационной безопасности (достоверности диагностики). Выбор заданий, предлагаемых конкретному испытуемому, может про-изводить из такого банка сама компьютерная программа прямо в ходе тестирования, и предъявление испытуемому определенного задания в этом случае является таким же неожиданным для испытуемого.  
6) Психологическая адекватность. Это важнейшее психологиче-ское следствие оптимальной сложности. Наличие в тесте большого ко-личества кратких заданий средней трудности дает многим испытуемым шанс "зацепиться", поверить в себя, активизировать психологически оптимальную установку "на преодоление". А если заданий много, и часть из них явно начинает "поддаваться" (испытуемый уверен, что он с ними справится), человек в процессе тестирования ободряется и на-чинает "бороться" за максимальный результат. Свойство оптимальной сложности важно для теста тем, что оно не только обеспечивает изме-рительную (различающую) силу тесту. Недостаток стресса (в случае легкого теста), а тем более избыток (в случае трудного) искажают ре-зультаты измерения. Этого, как правило, совершенно не понимают ор-ганизаторы наших конкурсных экзаменов, пытающиеся в случае высо-кого конкурса дать абитуриентам задачки посложнее ("на засыпку") - создается избыточный стресс, который не дает возможности проявить себя людям, подготовленным хорошо, но обладающим пониженной стрессоустойчивостью.  
Определенные недостатки метода тестов являются продолжени-ем его достоинств:  
1) Опасность "слепых" (автоматических) ошибок. Слепая вера низкоквалифицированных исполнителей, что тест должен сработать правильно автоматически.  
2) Опасность профанации. Внешняя легкость проведения тестов прельщает людей, которые оснастившись тестами непонятного качест-ва предлагают свои услуги вся. В результате все проблемы предполага-ется решать с помощью 2-3 тестов - "на все случаи жизни". К количе-ственному тестовому баллу приклеивается новый ярлык - заключение, создающее видимость соответствия диагностической задаче. Ходовой пример - повальное использование клинического теста MMPI для от-бора кадров в нашей стране.  
3) "Потеря индивидуального подхода, "стрессогенность". Тест - самая общая "гребенка", под которую подгоняют всех людей. Возмож-ность упустить уникальную индивидуальность нестандартного челове-ка (тем более ребенка), довольно вероятна. Это чувствуют сами испы-туемые, и это их нервирует - особенно в ситуации аттестационного тестирования. У людей с пониженной стрессоустойчивостью возникает определенное нарушение саморегуляции - они начинают волноваться и ошибаться в элементарных для себя вопросах.