Контролирующие программы, их классификация по видам контроля и по методу формулирования ответов. Вероятность угадывания ответов

1. Типы тестовых заданий по блоку «знания»:

• вопросы альтернативные (требуют ответа да - нет);
• вопросы с выбором (ответ из набора вариантов);
• вопросы информативные на знание фактов (где, когда, сколько);
• вопросы на знание фактов, имеющих формализованную структуру (в виде информационной модели или схемы знаний);
• вопросы по темам, где имеются однозначные общепринятые знаковые модели: математические формулы, законы, предикатные представления, таблицы;
• вопросы, ответы на которые можно контролировать по набору ключевых слов;
• вопросы, ответы на которые можно распознавать каким-либо методом однозначно.

2. Типы тестовых заданий по блоку «навыки»:

• задания на стандартные алгоритмы (альтернативные да - нет, выбор из набора вариантов);
• выполнение действия.

3. Типы тестовых заданий по блоку «умения»:

• задания на нестандартные алгоритмы (альтернативные да - нет, выбор из набора вариантов);
• выполнение действия.

Выбор типов тестов определяется:

• особенностями инструментальных тестовых программ (тестовыми оболочками);
• особенностями предметной области;
• опытом и мастерством экспертов.

Анализ результатов компьютерного тестирования уровня подготовленности обучающегося позволяет выработать рекомендации прогностического характера по совершенствованию преподавания учебных дисциплин.

ПРИНЦИПЫ СОСТАВЛЕНИЯ ТЕСТОВ

Поскольку в настоящее время для контроля широко используются тесты, то они должны удовлетворять определенным требованиям, так как случайно подобранный набор заданий нельзя назвать тестом:

1. Надежность – заключается в обеспечении устойчивости результатов многократного тестирования одного и того же испытуемого.
2. Валидность – адекватность целям проверки:
2. содержательная валидность теста – соответствие теста содержанию контролируемого учебного материала;
3. функциональная валидность теста – соответствие теста оцениваемому уровню деятельности.
3. Определенность – понимание каждым учеником того, что он должен выполнить, какие действия совершить, какие знания продемонстрировать.
4. Простота – формулировка заданий и ответы должны быть четкими и краткими. Показателем простоты является скорость выполнения задания.
5. Однозначность – задание должно иметь единственный правильный ответ – эталон.
6. Равнотрудность – при составлении тестов в нескольких вариантах равнотрудность определяется стабильностью результатов по вопросам во всех вариантах одного и того же задания.

Самым лучшим можно считать тест, в котором заложено широкое содержание, и оно охватывает более глубокие уровни знаний.

Разработчики тестов должны придерживаться следующих принципов:

1. тест должен быть восприимчив к угадыванию тестируемым;
2. тест должен соответствовать целям тестирования;
3. нужно определить значимость проверяемых знаний в общей системе знаний;
4. должна быть обеспечена взаимосвязь содержания и формы теста;
5. тест должен быть восприимчив к невнимательности и ошибочным действиям тестируемого;
6. тестовые задания должны быть правильными с точки зрения содержания;
7. должна соблюдаться репрезентативность содержания учебной дисциплины в содержании теста;
8. тест должен соответствовать уровню современного состояния науки;
9. содержание теста должно быть комплексным и сбалансированным;
10. содержание теста должно быть системным, но, вместе с тем, вариативным.

ТРЕБОВАНИЯ К ПРОГРАММАМ ТЕСТИРОВАНИЯ

Проводить качественное тестирование без применения специальных средств практически невозможно из-за большого объема данных, который необходимо переработать преподавателю:

1. Во-первых, необходимо подготовить большое число вариантов тестов с неповторяющимися вопросами, а подготовка теста – весьма трудоемкий процесс.
2. Во-вторых, оценка результатов тестирования, особенно при использовании статистических методов, достаточно сложна.

Ввиду чрезвычайно высокой трудоемкости написания программ такого рода на языках программирования и высоких требований к программистской квалификации разработчиков, они часто разрабатываются с использованием программных оболочек автоматизированных учебных курсов, имеющих свой язык программирования, интерфейс, рассчитанный на разработчика-непрограммиста.

Для решения этих проблем используются программные средства, которые дают возможность преподавателю оперативно составлять множество вопросов по теме (курсу) и оценивать результаты тестирования. Поэтому неотъемлемым компонентом учебного процесса является пакет интерактивных компьютерных контролирующих программ. Именно благодаря этому компоненту обеспечивается контроль знаний обучаемых.

Для создания тестов постоянно разрабатываются и совершенствуются специальные инструментальные программы-оболочки, позволяющие создавать компьютерные тесты путем формирования базы данных из набора тестовых заданий. Важным свойством программ-оболочек является наличие возможности передачи результатов и протокола тестирования какому-либо статистическому пакету для дальнейшей обработки.

Инструментальные программы, позволяющие разрабатывать компьютерные тесты, можно разделить на два класса: универсальные и специализированные. Универсальные программы содержат тестовую оболочку как составную часть. Специализированные тестовые оболочки предназначены лишь для формирования тестов.

Рассмотрим основные признаки, которыми должен обладать современный программный комплекс тестирования:

1. свойство универсальности заключается в абстрагировании от содержания, уровня сложности, тематики, типа и предметной направленности отдельных тестовых заданий. Подобная стандартизация позволяет не прибегать для создания каждого очередного теста и обработки его результатов к услугам программистов, а, освоив определенную систему, наполнять ее содержательную часть по различным дисциплинам на основе общих принципов;
2. свойство модульности обеспечивается наличием независимых, но взаимосвязанных компонентов (подсистем): создания теста, мониторинга результатов, проведения тестирования;
3. свойство централизованности. Данные в контролирующей системе должны храниться централизованно на удаленном сервере. Доступ к данным осуществляется через локальную сеть;
4. свойство защищенности. Контролирующая система должна разграничивать права пользователей по типичным ролям для предотвращения доступа тестируемых к правильным ответам теста, возможности изменения теста и т.п.;
5. свойство адаптивности. Контролирующая система может обладать возможностью настройки на проведение диагностирования с применением различных моделей диагностики для получения результатов, определённых ведущей идеей диагностирования;
6. автоматическая обработка результатов теста. В контролирующей системе должна проводиться математическая обработка результатов тестирования, в частности, расчет трудности заданий теста.

Требования к системам тестирования:

1. интуитивно понятный пользовательский интерфейс;
2. обеспечение возможности ввода разнообразных форм ответов;
3. унифицированность формата подготовки тестовых материалов, данных;
4. простота подготовки тестовых материалов;
5. режимы работы тестовой системы: локально независимый, сетевой;
6. статистическая обработка и сохранение результатов работы пользователей;
7. предоставление пользователю возможности отсроченного рассмотрения результатов работы в системе;
8. другие возможности.

Классические тестеры представляют собой перечень вопросов по какой-либо теме или дисциплине. Каждый вопрос выводится на экран с предложением выбрать один из вариантов ответов, предлагаемых здесь же. После каждого ответа предлагается следующий вопрос, а по окончании теста студенту выводится сообщение о результатах тестирования: количество набранных баллов и оценка либо краткая характеристика.

В начале любого теста дается краткая инструкция по выполнению задания, например: "Выберите правильный ответ", "Введите в свободном поле ответ" и т.п. Если задания представлены в одной форме, инструкция пишется один раз для всего теста. Если же тест включает различные задания, то перед каждым новым заданием пишется новая инструкция.

Текст задания, как правило, пишется прописными буквами или жирным шрифтом для того, чтобы зрительно сразу же отделить само задание от вариантов ответа.

Текст заданий и ответов компьютерных тестов необходимо делать кратким и лаконичным. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смысла задания. Полностью должны исключаться повторы слов, малопонятные, редко употребляемые слова, а также неизвестные учащимся символы, иностранные слова, затрудняющие восприятие смысла.

Одно из важных требований при тестировании – наличие заранее разработанных правил выставления баллов. В общем случае применения тестов за правильный ответ в каждом задании дается один балл, за неправильный – ноль. Сумм всех баллов, полученных студентом, дает число правильных ответов. Но существуют и другие, более сложные схемы оценивания, например, рейтинговые.

Тест любого уровня усвоения содержит задание и эталон. Эталон – это образец правильного и последовательного выполнения задания.

Тесты оформляют в виде «окон» или «страниц», содержащих только один тест или билетов, в которые включено несколько тестов.

ФОРМЫ ВОПРОСОВ И ОТВЕТОВ ПРИ ТЕСТИРОВАНИИ

Формы вопросов

При тестировании используется четыре формы вопросов:

1. закрытая;
2. открытая;
3. установление соответствия;
4. установление последовательности.

Наиболее распространена закрытая форма, при которой на поставленный вопрос предлагается несколько альтернативных ответов. Задания могут содержать ответы, из которых учащийся должен выбрать один или несколько. Эталон такого теста представляет собой соответственно один или несколько правильных ответов. Оформленные таким образом тесты называют выборочными.

Вопрос в открытой форме представляет собой выражение, которое необходимо дополнить. Данная форма может иметь в задании разнообразные виды информации: словесный текст или формулу (уравнение), чертеж (схему) или график, в которых пропущены составляющие существенную часть слова или буквы, условные обозначения, линии или изображения элементов схем. Получив задание, учащийся должен воспроизвести в памяти и заполнить пропущенные места («пропуски»), а также выполнить другие указания, содержащиеся в задании.

В третьей форме предлагается два множества, и элементам одного множества требуется поставить в соответствие элементы другого множества.

В четвертой форме необходимо установить правильную последовательность предлагаемого списка слов или фраз.

Контролирующая, обучающая и комбинированные программы (контролирующая с элементами обучения, контролирующие игровые, моделирующие с элементами контроля и т.п.) следует разрабатывать с учетом рекомендаций педагогической кибернетики: дидактические программы должны обладать определенным “интеллектом”.

Для повышения корректности теста контролирующая программа должна понимать различные синонимы правильных ответов, проводить синтаксический и семантический анализы ответов обучаемых, различать технические (орфография, ошибки клавиатурного набора) и существенные ошибки, анализировать местонахождение ошибки, может задавать дополнительные вопросы с целью уточнения оценки.

В современных инструментальных системах реализованы следующие методы сравнения эталонного ответа с ответом обучаемого:

1. Анализ по ключевым словам. Этот метод анализа достаточно прост и универсален. Эталонный ответ, заранее введенный преподавателем, используется в качестве ключа, который сравнивается с ответом обучаемого на протяжении всей строки. Ключом может быть один символ, слово или группа слов.

При использовании ключевых слов можно достичь достаточно хороших результатов. Но применять метод надо достаточно осторожно, так как возможности распознавания смысла с его помощью ограничены. Недостаток ключевого поиска выражается в том, что ответ не распознается при перестановках внутри ключа.

2. Синтаксический анализ с использованием символов частичной обработки ответа обучаемого. Этот метод анализа целесообразно использовать в том случае, когда требуется выполнить сравнение не по ключу, а по жесткому эталону. Лишний символ должен считаться ошибкой, пробелы не игнорируются. Выполняется как бы прямое (посимвольное) сравнение посимвольного ответа с эталоном. При совпадении всех символов ответа с символами эталона вырабатывается признак «верно».