Исследование математических моделей современной теории тестов

Современная теория создания тестов Item Response Theory (IRT) основана на математико-статистических моделях измерения и используется для оценки латентных параметров тестируемых и параметров отдельных заданий тестовой структуры [145]. Теория IRT способна предоставить решения для многих актуальных задач педагогического измерения, получить наиболее полную информацию о полученных в результате тестирования эмпирических данных, создать новые корректно составленные тестовые структуры и изучить наиболее объективно параметры характеризующие качество данного теста.

Преимущества IRT заключаются именно в устойчивости и объективности оценок параметров, определяющих качество подготовки тестируемых, в устойчивости и объективности оценок параметра трудности заданий, их независимость от свойств выборки тестируемых, а также в возможности измерения значений параметров тестируемых и отдельных заданий теста в пределах одной интервальной шкалы. В процессе углубленного анализа результатов тестирования и параметров теста важным является соотнесение уровня знаний тестируемого с мерой трудности отдельного задания теста. Используя возможности теории IRT, можно предсказать вероятность правильного выполнения заданий теста тестируемым в выборке до проведения тестирования, определить уровень сложности и эффективность отдельных заданий теста.

Известны три основные модели, описывающие дифференцирующую способность тестовых композиций, среди которых однопараметрическая Раша, двухпараметрическая А. Бирнбаума, трехпараметрическая А. Бирнбаума [155].

Так как разработанная методика понижения коэффициента случайной идентификации основана на преобразовании трехпараметрической модели А. Бирнбаума, учитывающая эффект случайной идентификации в двухпараметрическую, где данный эффект стремится к минимуму, то целесообразно представить данные модели подробнее.

Среди логистических функций различают также двухпараметрическую модель А. Бирнбаума, позволяющую с высокой достоверностью оценить параметры теста, а следовательно, повысить надежность и валидность теста. Так, условная вероятность правильного выполнения j-го задания теста г-м тестируемым с различными значениями 0 в случае двухпараметрической модели А. Бирнбаума выглядит следующим образом:

где в — уровень подготовки тестируемого; 8j — уровень трудности теста; а: вводится для 2-го параметра j-ro задания теста.

В случае геометрической интерпретации 1-й параметр 8j является характеристикой положения кривой j-го задания относительно оси в. С крутизной кривой задания в точке ее перегиба связан 2-й параметр aj, таким образом, в соответствии с рис. 7.2 его значение прямо пропорционально тангенсу угла наклона касательной к характеристической кривой задания теста в точке в — 8j, что указывает на то, что более крутые кривые соответствуют большим значениям aj, а для пологих aj —> 0.

Для выявления роли параметра а, в процессе дифференциации знаний тестируемых в группе проведем сравнительный анализ характеристики качества теста, для этого рассмотрим приведенные на рис. 7.3 три характеристические кривые заданий одинаковой трудности (88i — 828я)> но разной крутизны.

Характеристичес- Рис. 7.3. Характеристические кривые

Рис. 7.2. Характеристичес- Рис. 7.3. Характеристические кривые

кая кривая j-го задания теста трех заданий одинаковой трудности

Для анализа и сравнения лучше рассмотреть кривые 1 и 3. Кривая 1 обладает большой крутизной, следовательно, значение аг достаточно велико, в отличие от нее кривая 3 пологая, что указывает на то, что ад -» 0. Для тестируемых с уровнем знаний в и 02 > которые расположены на оси 0 в разных областях относительно точки перегиба кривых, т. е. () < /3, 02 > /3, вероятности правильного решения 1-го задания теста существенно различаются, т. е. Р{в2) 3> Р {(h)- Для 3-го задания вероятности правильного решения примерно одинаковы, т. е. Р%{@2) ~ /з(0|)• Следовательно, если aj —> 0, тогда тестируемые с разным уровнем знаний способны правильно решить j-e задание примерно с одинаковой вероятностью, что указывает на его бесполезность в процессе дифференциации тестируемых в группе. Также бесполезными оказываются задания с aj < 0, так как их способны решить с большой вероятностью тестируемые даже с низким уровнем знаний. Сокращение заданий, не соответствующих требованиям, приводит к повышению важных характеристик тестовой структуры, таких, как надежность и валидность.

Параметр aj представляет собой дифференцирующую способность j-го задания теста и может быть представлен в виде так называемого точечно-бисериального коэффициента корреляции, который выражает связь между результатами ответов на данное задание с индивидуальными баллами выборки испытуемых:

где хср j — среднее значение индивидуальных баллов испытуемых, правильно ответивших на j-e задание; жср — среднее значение индивидуальных баллов всей выборки испытуемых; Sx — стандартное отклонение индивидуальных баллов всей выборки испытуемых.

Теоретически —оо < aj < +ос, практически далеко не все эти задания могут быть включены в тест.

Проведенный анализ позволяет выделить задания с наиболее высокой эффективностью и определить границы интервала для значений параметра а, что является важным этапом в процессе генерации сложной тестовой композиции.

Трехпараметрическая модель Бирнбаума используются в тестах закрытой формы для учета фактора угадывания, так при анализе эмпирических данных полученных в результате тестирования отмечено достаточно большое отклонение исследуемых результатов от характеристических кривых заданий теста, которое привело к изучению влияния эффекта угадывания правильного ответа на достоверность эмпирических результатов выполнения теста.

Вероятность правильного решения /-го тестируемого на j-e задание теста в случае использования трехпараметрической модели А. Бирнбаума имеет вид

где параметр Cj характеризует вероятность правильного ответа тестируемых на j-e задание теста при полном отсутствии знаний -э —оо). Параметр Cj определяется количеством ответов к закрытым заданиям теста.

Характеристическая кривая j-ro задания теста в случае трехпараметрической модели

Рис. 7.4. Характеристическая кривая j-ro задания теста в случае трехпараметрической модели

Если сравнивать кривую с воображаемой характеристической кривой задания, имеющей ту же точку перегиба, но нижней асимптотой является ось в (Cj 0), как показано на рис. 7.4, то можно заметить, что наличие третьего параметра Cj делает характеристическую кривую более пологой, тогда эффект угадывания снижает дифференцирующую способность заданий теста, снижает точ-

ность оценок параметров в и /3.

Рассмотрим обобщение модели Г. Раша и А. Бирнбаума, учитывая возможность угадать правильное решение ро, дифференцирующую способность тестового задания cij и возможность нарушения (искажения) процедуры тестирования С (параметр, характеризующий различные нарушения процедуры тестирования и обработки результатов: подсказки, списывание, уровень строгости эксперта и т. д.). Соотношения однопараметрической модели Раша (математическая связь между вероятностью решить задание трудности /3 учащимся с уровнем подготовленности 0 и параметрами в, в) и моделей Бирнбаума, можно обобщить и представить в виде

Здесь Р — ро — вероятность успеха (с учетом вероятности угадывания) (вероятностью решить задание трудности /3 учащимся с уровнем подготовленности в) 1 — ро вероятность не угадать правильный ответ; а — коэффициент дифференцирующей способности задания.

Эффект случайной идентификации снижает дифференцирующую способность заданий теста, а также точность оценок уровня знаний тестируемых и степень трудности самой тестовой композиции.

Задача теста, используемого в качестве оценки уровня знаний, т. е. дифференциации обучающихся, состоит в том, чтобы свести выявленный коэффициент к минимуму (Cj —> 0).

Наиболее сложными для определения Cj являются задания на соответствие, поскольку их структура не является строго заданной и может быть чрезвычайно сложной и разнообразной. Задача понижение влияния данного эффекта в оптимальных тестовых композициях матричного типа остается актуальной и нерешенной до настоящего времени.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >