Контролирующие программы, их классификация по видам контроля и по методу формулирования ответов. Вероятность угадывания ответов

Однако при работе обучаемых с курсом могут возникнуть ситуации, когда необходимо, с целью более корректного толкования смысла ответа, сделать некоторые отступления от правил прямого сравнения. В подобных ситуациях метод синтаксического анализа предусматривает средства частичной обработки ответов обучаемого.

Символы частичной обработки ответа (спецсимволы), включенные в эталон ответа, позволяют исключить, игнорировать в ответе обучаемого один или несколько символов (слов) при сравнении с эталоном. Все остальные символы, отличные от символов частичной обработки, в тексте обучаемого должны следовать в том же порядке, что и в эталоне ответа.

3. Логический анализ. Логический метод анализа дает возможность формирования ответа в свободно-конструируемой форме. В данном случае ответ может представлять собой фразу или предложение, в котором порядок слов строго не определен. В словах могут игнорироваться окончание или другие части.

Основным отличием данного метода анализа от анализа по ключевым словам является то, что исключается необходимость перечисления всех возможных последовательностей ключевых слов при рассмотрении многословных ответов, так как логический метод позволяет с помощью одного эталона проанализировать несколько вариантов ответов. Цель этой деятельности – преодоление чрезмерной жесткости ответов обучаемого, что является общим недостатком многих контролирующих программ.

Формы ответов

Контролирующие дидактические программы должны быть открытыми системами, для того чтобы их можно было легко модернизировать. Важной характеристикой контролирующих дидактических программ является возможность автоматического анализа ответа обучаемых. Интеллектуальная контролирующая дидактическая программа дает возможность анализировать ответы разных типов:

• выборочный: простой или множественный;
• инъекционный: ввод с клавиатуры;
• последовательный;
• соответствие;
• указательный.

Выбор формы ответов на вопросы зависит от:

• цели тестирования;
• содержания теста;
• технических возможностей;
• уровня подготовленности преподавателя в области теории и методики тестового контроля знаний.

При вопросах с выборочным ответом простого типа (рисунок 1) обучаемому предлагается задание (вопрос) и набор (меню) готовых ответов, из которых он может сделать выбор правильного, по его мнению, ответа (утверждения).

 

Рисунок 1. Пример ответа простого выборочного типа с единственным правильным вариантом

 

Такой вариант задания наиболее удобен для машинной реализации, так как ЭВМ анализирует лишь номер, по которому легко определяет правильность ответа. На первый взгляд задания с выборочным ответом имеют ряд недостатков: обязательное предъявление верного ответа, возможность его угадывания, а значит, ограничение мыслительной деятельности обучаемого. Эти недостатки существенно снижаются путем правильного, творческого и остроумного применения различных принципов составления таких заданий.

Вероятность угадывания правильного ответа сводится к минимуму следующими простыми приемами:

• повторением аналогичного по смыслу вопроса в нескольких различных формах;
• увеличением числа элементов для выбора (при выборе из пяти ответов простого выборочного вопроса вероятность угадывания равна 0,2);
• увеличение числа верных ответов до двух или до нескольких пар; подбирать ответы в заданиях необходимо таким образом, чтобы они были правдоподобными и равнопривлекательными.

Задания с ответами выборочного множественного типа (рисунок 2) являются промежуточным и связующим звеном между заданиями с выборочным простым ответом и инъекционным. Он составляется из частей, предложенных преподавателем.

 

Рисунок 2. Пример ответа множественного выборочного типа с несколькими правильными вариантами

 

Эта форма используется для заданий по составлению определений законов, теорем, стандартных формулировок и т.д. В верный ответ входят не все элементы задания, и порядок их выбора не является жестким. Вероятность угадывания в вопросах с таким видом ответов значительно ниже чем в вопросах с ответами простого выборочного типа, где только единственный правильный вариант.

Задания с ответом инъекционного типа (рисунок 3) являются наиболее предпочтительными для автоматизированного обучения и контроля. Они позволяют слушателю общаться с компьютером на естественном языке, имитируя диалог обучаемого и преподавателя. Задания с таким ответом наиболее сложны для обучаемого, так как полностью исключают возможность угадывания и требуют значительной умственной работы перед вводом в компьютер ответа, набираемого на клавиатуре в свободной форме. В то же время резко возрастает сложность деятельности преподавателя – автора курса – по формированию автономных ответов для анализатора инструментальной системы.

 

Рисунок 3. Пример ответа инъекционного типа (ввод с клавиатуры)

 

В вопросах с ответом последовательного типа необходимо указать правильную последовательность перечисленных элементов (рисунок 4). Вероятность угадывания ответов в этом случае низка.

 

Рисунок 4. Пример ответа последовательного типа

 

При ответах на вопросы с типом ответа соответствие тестируемый должен правильно соотнести данные в обоих множествах (рисунок 5).

При этом лучше всего включать во множества разное количество элементов, чтобы было труднее подбирать ответы угадыванием. Также не все элементы из большего множества должны соответствовать элементам из малого – это еще больше увеличит качество теста.

 

Рисунок 5. Пример ответа типа соответствие

 

Самым интересным заданием теста является вопрос с ответом указательного типа (рисунок 6). Особенно актуальны такие вопросы при обучении тем специальностям, где во время изучения требуется наглядность: врачи, автомеханики, слесари и др.

 

Рисунок 6. Пример ответа указательного типа

Перечисленные формы компьютерного представления тестовых заданий не исчерпывают их многообразия. Многое зависит от мастерства и изобретательности эксперта по тестированию. При создании тестов важно учитывать многие обстоятельства, например, личность тестируемого, вид контроля, методику использования тестов в учебном процессе и т.п.

ВЕРОЯТНОСТЬ УГАДЫВАНИЯ ОТВЕТОВ

Вероятность угадывания правильных ответов теста во многом зависит от формы тестового задания.

Так, в наиболее часто использующихся вопросах закрытого типа, где имеется выбор вариантов ответов, вероятность угадывания обратно пропорциональна количеству ответов: при четырех вариантах она составляет 25%, при пяти – 20% и т. д. В альтернативных заданиях с двумя вариантами (Да/Нет или Верно/Неверно) вероятность угадывания правильного ответа достигает 50%. Поэтому в тестах достижений применять такую форму не рекомендуется.

Весьма высока вероятность угадывания правильного ответа и при некорректных формулировках, когда в самом задании или в вариантах ответов содержатся явные или скрытые подсказки.

В тестовых заданиях на упорядочение списка и на конструирование ответа из имеющихся блоков как варианте этой формы вероятность угадывания правильного ответа стремится к нулю.

В вопросах открытого типа, когда испытуемому рекомендуется самостоятельно впечатать ответ, вероятность угадывания также стремится к нулю, однако задания этого типа для компьютерного тестирования малопригодны, т. к. в них имеется ограничение на ответ. Тестовая система должна автоматически распознать ответ испытуемого и сравнить его с шаблоном правильного ответа. В качестве шаблона рекомендуется использовать число или одно-два коротких слова. В случае, когда в качестве ответа на вопрос открытого типа необходимо ввести целую фразу, задание требует проверки преподавателем «вручную».

Важно, чтобы все вопросы были независимы друг от друга и имели правдоподобные дистракторы (неправильные варианты ответов). Также необходимо рассчитать время, достаточное только для того, чтобы тестируемый прочитал вопрос с экрана компьютера и указал правильный вариант или варианты, но недостаточное для логического анализа дистракторов.

ДОСТОИНСТВА И НЕДОСТАТКИ ТЕСТИРОВАНИЯ

Достоинства тестирования

Компьютерный контроль имеет ряд преимуществ перед традиционными формами контроля.

Преимущества для педагога:

• предоставление возможности педагогу оперативной проверки знаний большого количества обучающихся по разным темам, выполнению заданий по дисциплине в комплексе;
• освобождение педагога от выполнения повторяющейся трудоёмкой и рутинной работы по организации и проведению массового контроля, высвобождение времени для творческого общения с учеником и совершенствования своей профессиональной деятельности;
• реализация возможности увеличения индивидуальной работы педагога и обучающегося.

Преимущества для обучающегося:

• повышение объективности контроля и исключения субъективных факторов (усталость педагога, его эмоциональность или плохое настроение, отсутствие или недостаточность времени для личного общения, другое);
• обеспечение индивидуальности прохождения процедуры контроля, что также повышает достоверность результатов оценки подготовленности;
• получение оперативной, достоверной информации о знаниях, полученных в процессе обучения, и о готовности самого обучающегося к восприятию нового материала;
• обеспечение доступности прохождения обучения и контроля;
• выбор самим обучающимся конкретного режима работы в компьютерной среде, соответствующего его начальному уровню подготовленности, умению сосредоточиться, выбор своей траектории обучения и контроля, что позволит рационально использовать время работы в системе;
• подача апелляции при несогласии с результатами проведенного контроля (возможность предложить свой вариант ответа на поставленный вопрос и рассмотреть совместно с педагогом несоответствие своего ответа и предлагаемого системой);
• предоставление возможности обучающемуся самопроверки усвоения материала в том режиме работы, в котором ему удобно (сетевой режим доступа к контролирующим системам и измерительным материалам);
• доступность и равноправие всех участников процедуры контроля;
• получение полной и достоверной информации о результатах своей работы на разных этапах обучения;
• возможность неоднократного повторения процедуры обучения и контроля, что способствует развитию навыков самостоятельной работы, самооценки и самоактуализации.

Недостатки тестирования

Одним из недостатков тестового метода контроля знаний студентов является то, что создание тестов, их унификация и анализ – это большая кропотливая работа. Чтобы довести тест до полной готовности к применению необходимо несколько лет собирать статистические данные, хотя бы с потоком студентов 100-120 человек.

Возможно возникновение и других трудностей. Довольно часто встречается значительный субъективизм в формировании содержания самих тестов, в отборе и формулировке тестовых вопросов, многое также зависит от конкретной тестовой системы, от того, сколько времени отводится на контроль знаний, от структуры включенных в тестовое задание вопросов и т.д.

Также существенным недостатком тестового контроля является то, что он не способствует развитию устной и письменной речи учащихся. Некоторые учебные элементы предметов, отнесенных к гуманитарным, тестировать неудобно.

Другим недостатком тестирования является то, что в ходе его проведения преподаватель не может оценить мыслительную деятельность и глубину познания обучающегося. Помимо этого при проведении тестирования достаточно велика вероятность угадывания ответов, которая обратно пропорциональна количеству предложенных вариантов ответа. Таким образом, с помощью тестов невозможно дать гарантию того, что учащийся действительно обладает знаниями.

 

 

ЗАКЛЮЧЕНИЕ

В настоящее время в сфере образования активно используются контролирующие компьютерные программы. Тестирование широко используется в учебных заведениях для тренировочного, промежуточного и итогового контроля знаний, а также для обучения и самоподготовки учащихся.

Для всех этих видов контроля может быть использовано тестирование как один из элементов образовательных технологий, нашедший широкое распространение в последнее время. С помощью программного тестирования можно проверять знания, навыки и умения.

Самым лучшим можно считать тест, в котором заложено широкое содержание, и оно охватывает более глубокие уровни знаний. Одно из важных требований при тестировании – наличие заранее разработанных правил выставления баллов.

Для создания тестов постоянно разрабатываются и совершенствуются специальные инструментальные программы-оболочки, позволяющие создавать компьютерные тесты путем формирования базы данных из набора тестовых заданий. Тест любого уровня усвоения содержит задание и эталон.

При тестировании используется четыре формы вопросов: закрытая, открытая, установление соответствия, установление последовательности. На их основе разрабатываются типы ответов, которые зависят от цели тестирования и других факторов: выборочный (простой или множественный), инъекционный (ввод с клавиатуры), последовательный, соответствие, указательный. Перечисленные формы компьютерного представления тестовых заданий не исчерпывают их многообразия.