Меню
Главная
Авторизация/Регистрация
 
Главная arrow Техника arrow Новые методы математического моделирования динамики и управления формированием компетенций в процессе обучения в вузе

Аналитическое исследование математико-статистической обработки тестовых структур для оптимизации их основных характеристик

Тестирование должно проводиться в определенных условиях, по стандартизированным правилам с целью получения наиболее достоверных эмпирических данных с дальнейшей их обработкой и интерпретацией. Стандартизация данного способа оценки уровня знаний обучающихся связана с предоставлением правильного инструктирования, выбора оптимального времени; несоблюдение их может снизить достоверность получаемых результатов тестирования. Следовательно, в процессе проведения тестирования необходимо точно отвечать процедурам стандартизации, выполняя, в том числе, незначительные требования, отмечать любые возникшие нестандартные условия, влияющие на процесс, а также учитывать их при интерпретации полученных результатов. Также тестируемому предоставляется инструкция, где представлены правила проведения данного контроля знаний и характеристика тестового задания.

Таблица 7.1

Тестовое задание матричного типа

Основное

множество

А

Вспомогательные

множества

Б

В

г

д

(11

6i

В1

Г1

Д1

“2

б2

в2

Г2

А2

аз

бз

Вз

Аз

а 4

б4

Полигон частот

Рис. 7.1. Полигон частот

Тестовое задание представляет собой матрицу, состоящую из п множеств, одно из которых основное, а другие вспомогательные, описывающие свойства и признаки элементов основного множества (табл. 7.1). Необходимым является правильно идентифицировать все представленные элементы для получения максимального балла.

После сбора полученных результатов необходима математикостатистическая обработка данных [154]. На первом этапе формируется матрица тестовых результатов, где данные представляются в наиболее удобной для дальнейшей их интерпретации форме, при этом необходимо установить меру оценки знаний тестируемых по приведенным заданиям, воспользуюсь известной системой шкалирования. Наиболее распространенным является дихотомический тип оценки знаний, т. е. за каждый правильный ответ тестируемый получает 1 балл, а за неправильный ответ или пропуск задания — 0 баллов, также существуют шкалы 5-балльной, 10-балльной, м-балльной систем. В некоторых ситуациях необходимым является анализ каждого из вопросов и установления уровеня сложности для задания возможных максимальных баллов в случае верного ответа. Оценочные баллы регистрируются в таблицу, которая в дальнейшем редактируется исключением тестируемых однозначно невыполненных тестов (сложность теста не позволяет выявить уровень обученности) и однозначно выполненных (излишняя легкость, не позволяет выявить уровень обученности). На следующем этапе вычисляются баллы для каждого тестируемого, что в итоге представляет собой их индивидуальный балл. В дальнейшем упорядочивается матрица расположением тестируемых по возрастанию их индивидуального балла. Данные преобразования позволяют представить полученные эмпирические данные в графическом виде. Эмпирические данные могут быть интерпретированы в форме полигона, гистограммы, сглаженной кривой, для этого необходимо преобразовать матрицу, упорядочив результаты эксперимента (несгруппированный ряд, ранжированный ряд, частотное распределение, сгруппированное частотное распределение) [155]. Полигон частот в соответствии с рис. 7.1 представляет собой график распределения зависимости тестовых баллов с частотой появления балла в группе тестируемых (матрица — частотное распределение, сгруппированное частотное распределение).

Гистограмма — это последовательность столбцов, опирающихся на единичный интервал, высота которых определяет частоту полученных баллов, причем она может быть построена как для несгруп- пированного ряда, так и для сгруппированного. В случае представления одного распределения наиболее часто предпочтение отдают именно данному способу изображения эмпирических данных, так как он наиболее прост для визуального восприятия. Для представления нескольких распределений используют полигоны частот [155].

Одним из этапов исследования тестовой структуры на эффективность (качество) с помощью матиматико-статистической обработки эмпирических данных, полученных в результате тестирования, является оценка мера центральной тенденции, которая определяет точку группировки значений приведенного распределения, моду — значений, встречающихся наиболее часто. Среднее выборочное (арифметическое) представляет собой совокупность значений, обобщая индивидуальные особенности составляющих распределения, при этом уравнивая отдельные значения рассматриваемой величины. Данные характеристики позволяют оценить качественный уровень составленной тестовой структуры, учитывая, что тест, обеспечивающий нормальное распределение эмпирических данных (индивидуальных баллов), соответствует наиболее высокому уровню. Нормальное распределение унимодально и симметрично, т. е. половина результатов находящаяся ниже уровня положения моды совпадает с другой половиной, а мода и среднее значение равны. При этом несоответствие на практике распределения полной симметрии приводит к смещению моды относительно среднего значения. В малых выборках мода и среднее значения теряют стабильность, однако причиной этого может стать и некорректно подобранная трудность заданий тестовой структуры [155].

В процессе исследования теста важными являются описательные характеристики, определяющие меру изменчивости в группе данных и позволяющие выявить различия в структуре тестов, что указывает на их качество, в частности, если исследуемые композиции имеют одинаковые средние значения. Отдельные значения индивидуальных баллов могут быть тесно сгруппированы около среднего балла либо, наоборот, сильно удалено от него, тогда необходима оценка распределения, характеризующая вариацию, т. е. изменчивость баллов по тесту. Для изучения степени рассеяния отдельных значений около среднего используют такие показатели, как размах, дисперсия, стандартное отклонение. Размах определяет расстояние, в пределах которого изменяются все значения показателя в распределении, однако данную характеристику используют достаточно редко из-за приближенного значения. Размах не зависит от степени изменчивости промежуточных значений (значения расположенные между крайними значениями в распределении баллов по тесту), кроме того, крайние значения индивидуальных баллов, как правило, ненадежны, так как содержат значительную ошибку измерения, в связи с чем наиболее удачной мерой считается дисперсия. Она определяется как средний квадрат отклонения каждого значения показателя от среднего арифметического в распределении и отражает меру неоднородности результатов по тесту. При этом низкое значение дисперсии говорит о слабой дифференциации тестируемых по уровню подготовки, в случае относительно высокого значения данной описательной характеристики полученные результаты тестирования определяют искаженный вид распределения, существенно отличающийся от нормального. Стандартное отклонение равно корню квадратному из дисперсии и также характеризует меру изменчивости распределения. Оно является крайне полезной мерой вариации для случая нормального распределения баллов тестируемых [154, 155].

Для оценки меры симметрии и островершинности кривых распределения используют такие характеристики, как асимметрия и эксцесс. Асимметрия представляет собой степень отклонения распределения наблюдаемых частот выборки от симметричного распределения, характерной для нормальной кривой. В случае положительной асимметрии основная часть значений индивидуальных баллов находится в правой части от среднего значения, что характерно для достаточно легких тестовых структур; если асимметрия имеет отрицательное значение, то тест излишне трудный. При этом с помощью полученных данных возможным становится исследование несбалансированности теста по уровню трудности в процессе отбора тестовых заданий, при этом сбалансированный тест имеет нормальное распределение индивидуальных баллов. Эксцесс позволяет исследовать графическую интерпретацию (полигон частот, гистограмма) на островершинности или плоскость, причем он применим лишь к унимодальным распределениям; если распределение бимодальное, то его необходимо определять в области каждой моды. Бимодальность распределения указывает, что одна группа тестируемых справились с большинством легких заданий, а другая — с большинством трудных, что определяет недостаточность заданий средней трудности, позволяющие выровнять распределение баллов, приблизив его к нормальному виду [154, 155].

Для исследования показателей связи между результатами тестируемых по отдельным заданиям теста используют корреляцию, означающую связь между явлениями и процессами. Важным на данном этапе является выбор вида и формы показателя, так, связь между двумя наборами данных можно представить графически с помощью диаграммы рассеяния. Ковариация используется для выражения степени соответствия между наборами данных. Для повышения сопоставимости оценок показателей связи по выборкам с различной дисперсией используют коэффициент корреляции Пирсона, получаемый при делении ковариации на стандартное отклонение. Для оценки связи между результатами выполнения двух заданий теста используют коэффициент <р, получаемый в результате преобразования коэффициента корреляции Пирсона.

Важной характеристикой тестовой структуры является валидность, которая может быть оценена с помощью коэффициента бисе- риальной корреляции. Он используется, если один набор значений распределения задается в дихотомической шкале, а другой — в интервальной [154].

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >
 

Популярные страницы