Оценка качества модели в IRT-подходе

В отличие от классической теории тестов 1RT является опровергаемой моделью. Конкретная IRT-модель может подходить или не подходить определенным тестовым данным, т.е. шкальная модель может неадекватно описывать или предсказывать полученные диагностические данные. В связи с этим использование IRT-моделей подразумевает оценку подгонки модели данным [25].

Если построенная IRT-модель шкалы хорошо подогнана к данным, то в полной мере проявляются уникальные достоинства IRT-подхода: оценка психологических особенностей испытуемых носит объективный тест-независимый характер, а параметры диагностических пунктов независимы от группы испытуемых. Другими словами, качественная подгонка модели IRTк данным обеспечивает инвариантность оценок измеряемого конструкта и характеристик диагностических пунктов. Инвариантность указанных параметров обеспечивается тем, что информация о тестовых пунктах включается в процесс оценки психологического конструкта, а информация о выраженности конструкта у испытуемых — в процесс оценки характеристик пункта [25].

Оценка качества модели в IRT-подходе проводится различными статистическими методами и складывается из следующих компонентов [25]:

• валидности предположений модели в отношении тестовых данных;

  • • инвариантности оценок пунктов и конструкта;
  • • точности прогнозов модели в отношении реальных и, если необходимо, симулированных тестовых данных.

В основе оценки качества IRT-модели лежит анализ того, насколько хорошо построенная модель объясняет или прогнозирует ответ на конкретный диагностический пункт. Такой анализ проводится для каждого пункта.

Оценка инвариантности модели

Инвариантность (неизменность) оценок в модели определяется следующим методом. Пункты теста или шкалы разделяются на две группы. В каждой группе пункты должны иметь различную трудность в наиболее широком диапазоне. Далее испытуемые отвечают на пункты. Для каждого испытуемого определяется оценка выраженности конструкта по двум группам пунктов. Затем эти оценки попарно представляются в виде графика. График должен представлять собой прямую линию с наклоном, равным 1, и пересечением с координатными осями в нулевой точке. Смысл этой процедуры состоит в том, что ожидаемая оценка конструкта для каждого испытуемого не должна зависеть от выбора группы диагностических пунктов. Определенный разброс оценок возможен вследствие ошибок измерения. Однако в случае инвариантности наклон графика должен быть равен 1, а пересечение — 0. В противном случае гипотеза об инвариантности должна быть отвергнута [25].

Проверка прогностичности модели

Проверка прогностичности построенной модели основана на анализе остатков. После выбора модели и оценки параметров пунктов и конструкта делается прогноз относительно ответов различных групп испытуемых. Прогнозные показатели сравниваются с фактическими данными [25].

Математически величина остатка определяется по формуле

где i'jj — разница между фактически полученной вероятностью ключевого ответа группы испытуемых и ожидаемой вероятностью для этой группы, / относится к пункту, j — к группе испытуемых; Pjj — вычисленная доля правильных ответов; Е(Р^) — ожидаемая доля правильных ответов [25].

На практике континуум выраженности конструкта разбивается на 10-15 интервалов равной длины. Важно, чтобы интервалы были не слишком широкими или узкими. Каждый интервал включает определенное количество испытуемых, имеющих примерно равный уровень выраженности конструкта. Ожидаемые оценки в интервалах могут быть получены одним из двух способов [25].

  • 1. В каждом интервале выбирается центральное значение и используется как репрезентативное значение для всего интервала. На основе этого значения рассчитывается ожидаемая вероятность.
  • 2. Определяется вероятность правильного ответа для каждого испытуемого, включенного в интервал, затем среднее значение всех вероятностей используется как ожидаемая оценка.

Величина остатка может оцениваться с помощью статистических тестов, например кси-квадрата Q1 Иена.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >