Матемаико-статистические методы исследования в педагогике

                                                       Введение 

     Целью  любого  педагогического  эксперимента  является  эмпирическое  подтверждение или  опровержение  гипотезы  исследования  и/или  справедливости  теоретических  результатов,  то  есть обоснование того, что предлагаемое педагогическое воздействие (например, новые содержание, формы, методы,  средства  обучения и  т.д.)  более  эффективно (или,  возможно, наоборот  – менее  эффективно). Для этого, как минимум, необходимо показать, что, будучи примененным к тому же объекту (например –  к  группе  учащихся),  оно  дает  другие  результаты,  чем  применение  традиционных  педагогических воздействий.

     Для  этого  выделяется  экспериментальная  группа,  которая  сравнивается  с  контрольной  группой. Различие эффектов педагогических воздействий будет обосновано, если две эти группы, первоначально совпадающие по  своим характеристикам, различаются после реализации педагогических  воздействий. Следовательно,  требуется  провести  два  сравнения  и  показать,  что  при  первом  сравнении (до  начала педагогического эксперимента) характеристики экспериментальной и контрольной группы совпадают, а при втором (после окончания эксперимента) – различаются.

     Так как объектом педагогического эксперимента, как правило, являются люди (учащиеся, учителя, сотрудники и руководители органов управления образованием и т.д.), а каждый человек индивидуален, то говорить о совпадении или различии характеристик экспериментальной и контрольной групп можно лишь в чисто формальном, статистическом смысле. Для того, чтобы выяснить, являются ли совпадения или  различия  случайными,  используются  статистические  методы,  которые  позволяют  на  основании данных,  полученных  в  результате  эксперимента,  принять  обоснованное  решение  о  совпадениях  или различиях. Общий алгоритм использования статистических критериев прост: до начала и после окончания эксперимента на основании информации о результатах наблюдений (характеристиках членов экспериментальной и контрольной группы) вычисляется эмпирическое значение критерия (алгоритм выбора статистического критерия и формулы для вычислений приведены ниже). Это число сравнивается с известным (табличным) числом – критическим значением критерия (критические значения для всех рекомендуемых нами критериев приведены ниже). Если эмпирическое значение критерия оказывается меньше или равно критическому, то можно утверждать, что "характеристики экспериментальной и контрольной групп  совпадают  с  уровнем  значимости  0,05 по  статистическому критерию …  (далее  следует  название использованного критерия: Крамера-Уэлча, Вилкоксона-Манна-Уитни, хи-квадрат, Фишера)". В противном  случае (если  эмпирическое  значение  критерия  оказывается  строго  больше  критического) можно  утверждать,  что "достоверность  различий  характеристик  экспериментальной и контрольной групп по статистическому критерию … равна 95%". Следовательно,  если характеристики  экспериментальной и контрольной  групп до начала  эксперимента совпадают с уровнем значимости 0,05, и, одновременно с этим, достоверность различий характеристик  экспериментальной  и  контрольной  групп  после  эксперимента  равна  95%,  то  можно  сделать вывод,  что "применение  предлагаемого педагогического воздействия (например,  новой методики обучения)  приводит  к  статистически  значимым (на  уровне  95%  по  критерию …)  отличиям  результатов". 
 

Типовые задачи анализа данных в педагогических исследованиях. 

Предположим, что имеется экспериментальная  группа, состоящая из N человек, и контрольная группа, состоящая из M человек (где N и M – целые положительные числа, например, N = 25, M = 30). Допустим, что в результате измерения одного и того же показателя с помощью одной и той же процедуры измерений были получены следующие данные: x = (x1, x2, …, xN) – выборка для экспериментальной группы и y = (y1, y2, …, yM) – выборка для контрольной группы, где xi – элемент выборки – значение исследуемого показателя (признака) у i-го члена экспериментальной группы, i = 1, 2, …, N, а yj – значение исследуемого показателя у j-го члена контрольной группы, j = 1, 2, …, M. Число элементов выборки называется ее объемом – например, объем выборки x равен N, а объем выборки y равен M.

В зависимости  от того, в какой шкале – шкале отношений или порядковой шкале – производились измерения, получаем следующие два случая. Шкала  отношений. Если  измерения  производились  в шкале  отношений (время,  число  и  т.д.),  то {xi} и {yj} – положительные, в том числе – натуральные, числа, для которых имеют смысл все арифметические операции.

Рассмотрим  пример. Пусть имеется экспериментальная группа, состоящая из 25 человек (N = 25), и контрольная группа, состоящая из 30 человек (M = 30), и измерение заключается в определении уровня знаний путем проведения теста, включающего 20 задач. Примем, что характеристикой учащегося (признаком)  является  число  правильно  решенных  им  задач.  Результаты  измерений  уровня  знаний  в  контрольной и экспериментальной группах до и после эксперимента приведены в таблице 1, строки которой  соответствуют  членам  групп (отдельным  учащимся).  Например,  первый  учащийся  контрольной группы до начала эксперимента правильно решил 15 задач, а третий участник экспериментальной группы после окончания эксперимента правильно решил 12 задач, и т.д. Результаты  эксперимента могут быть получены и в порядковой шкале (или переведены из шкалы отношений в порядковую), поэтому рассмотрим представление данных в порядковой шкале. 
 
 
 

Таблица 1

Результаты  измерений уровня знаний в контрольной  и экспериментальной группах до и после эксперимента

 
 

Порядковая  шкала. 

 Если  использовалась порядковая шкала  (шкала рангов) с L градациям (например,  в  пятибалльной школьной шкале  L = 5),  то  будем считать,  что {xi}  и {yj}  – натуральные числа, принимающие одно из L значений. Для простоты можно считать, что множество значений (баллов) есть множество чисел от единицы до L. Тогда характеристикой группы будет число ее членов, набравших заданный балл. То есть, для экспериментальной группы  вектор баллов  есть n = (n1, n2, …, nL),  где nk – число членов экспериментальной группы, получивших k-ый балл, k = 1, 2, …, L. Для контрольной группы вектор баллов есть m = (m1, m2, …, mL), где mk – число членов контрольной группы, получивших k-ый балл, k = 1, 2, …, L. Очевидно, что n1 + n2 + … + nL = N,   m1 + m2 + … + mL = M. Пусть в рассматриваемом примере (в котором (N = 25, M = 30) выделены три уровня знаний (L = 3): низкий (число решенных задач меньше либо равно 10), средний (число решенных задач строго больше 10,  но  меньше  либо  равно  15)  и  высокий (число  решенных  задач  строго  больше  15).  Сформируем  в

компьютерной  программе Microsoft Excel для Windows таблицу 2, в которой указаны верхние границы диапазонов.  

Таблица 2

Переход от шкалы отношений к порядковой шкале

 

     Поставим в соответствие уровням знаний (низкому, среднему и высокому) баллы – 1, 2 и 3. Вычислим на основании данных  таблицы 1, например,  сначала для контрольной  группы до начала  эксперимента число ее членов, получивших балл, принадлежащий тому или иному диапазону: m1 = 9 (то есть, 9 членов  контрольной  группы  до  начала  эксперимента  продемонстрировали  низкий  уровень  знаний), m2 = 14, m3 = 7. Результаты8

 занесем  в таблицу 3. 

Таблица 3

Уровни  знаний членов контрольной группы до эксперимента

 

     Для  каждого из  столбцов  таблицы  1 по  аналогии  с   таблицей  3  определяем  распределение   членов экспериментальной и контрольной  групп по уровням знаний и  получаем таблицу 4.

Таблица 4

Результаты  измерений уровня знаний в контрольной  и экспериментальной группах до и после эксперимента

 
 

     Таблица 4 построена по таблице  1 введением диапазонов значений числа правильно решенных задач,  попадание  в  которые  считалось  соответствующим  уровням  знаний. Отметим,  что  при  подобном переходе от шкалы отношений к порядковой шкале  часть информации  теряется  –  в  рассматриваемом примере  одному  и  тому же  уровню  знаний  соответствуют  несколько  различных  чисел  правильно  решенных задач. Следовательно, труднее становится устанавливать совпадения и различия характеристик исследуемых объектов. Поэтому, рекомендуется использовать  всю имеющуюся информацию,  то  есть, если при измерениях использовалась шкала отношений, то и обрабатывать данные следует в этой шкале.

     Однако, во многих случаях на практике измерения производят в порядковой шкале (например, оценивают знания в баллах), и результаты эксперимента сразу имеют вид таблицы типа таблицы 4. Поэтому для  задач  анализа  результатов измерений, произведенных  в шкале  отношений,  будем  считать,  что данные эксперимента имеют вид таблицы 1, а для задач анализа результатов измерений, произведенных в шкале порядка, будем считать, что данные эксперимента имеют вид таблицы 4. 
 

Типовые задачи анализа данных. 

     Завершив описание используемых в качестве примера исходных данных, отметим, что с точки зрения их анализа можно выделить три типа задач:

-описание данных (компактное и информативное отражение результатов измерений характеристик исследуемых объектов);

-установление  совпадения характеристик двух групп;

-установление  различия характеристик двух  групп (например, экспериментальной  и контрольной).

Два типа шкал (отношений и порядка) и три  перечисленные типа задач анализа  данных позволяют выделить шесть  базовых (типовых)  задач,  приведенных  в  таблице  5 и условно обозначенных "задача 1.1" – "задача 2.3". Например, задача 1.1 заключается в описании данных, измеренных в шкале отношений и т.д.  

Таблица 5

Типовые задачи анализа данных

 

Перечисленные шесть  задач являются базовыми по следующим причинам. Во-первых, они включают большинство (порядка 90 %) задач анализа данных, встречающихся в экспериментальных исследованиях по педагогическим наукам. Во-вторых, они сформулированы для простейшей схемы организации  педагогического  эксперимента  –  когда  состояние  исследуемых  объектов  описывается  одним показателем и измеряется два раза – до начала и после завершения воздействия. Сделаем пояснение для других случаев.

     Если возникает многокритериальность (объекты описываются одновременно по нескольким критериям),  то  описание  и  сравнение  экспериментальной  и  контрольной  групп  по  каждому  из  критериев может производиться независимо в рамках одной из базовых задач. Аналогично, если возникает динамика (то есть, состояния объектов измеряются более чем два раза), то описание и сравнение групп может производиться несколько раз независимо (в каждый момент времени) в рамках одной из базовых задач 1.1-2.3 (см. таблицу 5). Если же  у исследователя имеется желание  сразу  анализировать одновременно несколько  групп (в динамике)  и/или  несколько  показателей,  то  необходимо  применение  статистических  методов  многомерного анализа. Их описание выходит за рамки настоящей работы, ознакомиться с ними можно в публикациях, перечисленных в упомянутой во введении работе автора. Рассмотрим методы решения типовых для педагогических исследований задач анализа данных.  
 

Алгоритм  выбора  статистического  критерия. 

Поясним,  как  следует  выбирать  статистические критерии, то есть приведем алгоритм выбора статистического критерия – процедуру принятия решения относительно того, какой статистический критерий использовать в той или иной ситуации. В первом приближении  этот  алгоритм  чрезвычайно прост:  если  данные получены в результате измерений  в  шкале отношений,  то  следует использовать  критерий  Вилкоксона-Манна-Уитни (ВМУ), если в порядковой шкале, то критерий x².

Возможные модификации  этого правила принятия  решений (учитывающие  большее  число  факторов) приведены на рисунке 1. Во-первых, необходимо определить какая шкала измерений используется – отношений или порядковая. Для шкалы отношений следует решить, состоит ли решаемая задача в обнаружении различия средних значений (математических ожиданий). Если – да, то можно использовать критерий Крамера-Уэлча (описание методик применения всех упоминаемых статистических критериев приведено ниже). Если же следует обнаружить произвольные различия характеристик выборок, то следует использовать критерий Вилкоксона-Манна-Уитни или критерий x².

Если  число различающихся между собой значений в сравниваемых выборках велико (более десяти), то целесообразно использование критерия Вилкоксона-Манна-Уитни.

     Если число различающихся между собой значений в сравниваемых выборках мало (менее десяти), то, произведя группировку результатов измерений (то есть, перейдя от шкалы отношений к порядковой шкале – см. выше пятый раздел), можно использовать критерий x².

     Далее, аналогично рассуждая, если объем выборок мал (N, M £ 50), то следует использовать критерий Вилкоксона-Манна-Уитни (при малом числе различающихся  значений в этом случае можно использовать и критерий x²).

Если  объем  выборок  велик,  то,  опять же  с  помощью  группировки  результатов  измерений,  имеет смысл использовать критерий x².

Рис. 1. Алгоритм выбора статистического критерия 

     Для  порядковой  шкалы  в  случае,  когда  число  градаций (различных  баллов)  больше  либо  равно трем, используется критерий x², если же применялась дихотомическая шкала,  то можно использовать либо критерий x², либо критерий Фишера.