АНАЛИЗ РОТИРУЕМЫХ БУКЛЕТОВ

Используйте набор выборочных данных PILOT2jjwi выполнения упражнения. Ключ к тесту для теста приведен в рабочей тетради Excel ItemDataAllTests на листе PILOT2.

Дизайн с использованием ротируемых буклетов позволяет проводить тесты с большим числом заданий путем группирования заданий в различные тестовые буклеты. Учащимся предъявляются тесты с использованием различных буклетов, так чтобы ни одному отдельно взятому учащемуся не предъявлялись все задания. Помимо начальных спецификаций анализа, остальные этапы последовательности действий проводятся аналогично этапам, описанным в пошаговых примерах выше.

ЗАГРУЗКА ДАННЫХ

Анализ начинается с последовательности действий Анализ данных ответа. В интерфейсе данных по ответам экзаменуемого выберите файл с выборочными данными PILOT2. Такие данные представляют дизайн из трех буклетов, предъявляемых 712 респондентам. Файл с данными содержит всего 107 переменных, включающих 99 заданий. Не все задания включаются в каждый буклет. Подобная ситуация может возникнуть, если координационный комитет по национальной оценке требует, чтобы тест был достаточно длинным для охвата достаточно обширной учебной программы. Для снижения усталости учащихся каждому из них должен быть предъявлен буклет, содержащий подмножества заданий. В данных, показанных на рис. 11.1, третий столбец содержит переменную BOOKLETID. Эта переменная принимает значения 1, 2 или 3, обозначающие буклет, предъявляемый учащемуся. Дополнительно к алфавитному указателю ответов на задания и кода пропущенных ответов 9 (не показаны на рисунке) часто появляется значение 7. Оно указывает на то, что определенное задание не было включено в буклет, предъявленный соответствующему учащемуся. Например, данные на рисунке показывают, что буклет, выданный учащемуся PILOT2STDID = 2, не содержал задание МАТНС2058. Код 7 рассматривается как не включенное задание и не влияет на результаты теста учащегося. Нажмите Далее» для продолжения.

В интерфейсе загрузки данных по заданиям загрузите данные по заданиям PILOT2 из файла ItemDataAllTests.xls. Таблица PILOT2

РИС. 11.1

Ответы учащихся, данные PILOT2

содержит 99 записей и четыре переменные. (Обратите внимание, что МАТНС2047 характеризуется следующими значениями: Key = С, Level = 1,00 и Content = действия с числами).

Подтвердите корректность загрузки данных по ответам и данных по заданиям и нажмите Далее» для перехода к спецификациям анализа.

СПЕЦИФИКАЦИИ АНАЛИЗА

В ячейке Выберите код (необязательно) выберите PILOT2STDID. В спецификациях Укажите отсутствующее лечение (необязательно) в ранее приведенных примерах, ячейка в столбце Неправильный отмечалась галочкой, только когда данные были пропущены. Ввиду использования тестовых буклетов с ротируемым дизайном вы должны включить в таблицу Укажите отсутствующее лечение (необязательно) код не включенных данных для указания того, что

РИС. 11.2

Спецификации анализа, ротируемые буклеты, данные PILOT2

1АТАРадеЗ/10

некоторые ответы не нужно включать в оценку. Отметьте галочкой значение 7 в столбце Менее чем, как показано на рис. 11.2. Когда значение 7 будет встречаться в данных по ответам для конкретного учащегося, анализ заданий и тестов (IATA) проигнорирует такое задание так, чтобы оно не повлияло на результаты учащегося. Аналогично учащиеся с кодами ответов 7 для задания не повлияют на оценку статистических показателей или параметров для такого задания.

После введения спецификаций анализа нажмите Далее» для продолжения; анализ начнется автоматически. Поскольку время вычисления больше зависит от числа тестовых заданий, чем от числа учащихся, анализ займет больше времени, чем в предыдущих пошаговых примерах.

РЕЗУЛЬТАТЫ АНАЛИЗА ЗАДАНИЙ

Когда IATA завершит анализ, результаты отобразятся, как показано на рис. 11.3, где левая таблица была прокручена вниз для отображения задания МАТНС2003, которому был присвоен предупредительный символ. Результаты указывают на то, что настоящее задание имеет более слабую связь с уровнем подготовки; вероятность верного ответа 0,61 обычно характерна для учащихся безотносительно их уровня подготовки. IATA предполагает, что такая слабая связь может быть результатом неясных требований, которые обычно связывают с неэффективными дистракторами. Когда учащиеся не понимают требования к заданию или когда ни один ответ не кажется им однозначно верным, они пытаются угадать верный вариант ответа. В правой стороне интерфейса таблица анализа дистракторов отображает данные, лежащие в основе данного сводного обзора, показывающие, что вариант D является единственным дистрак-тором, который вызывает желаемое поведение. (Пустой столбец под заголовком Omit является напоминанием о том, что код 7 не может влиять на оценку.) Для того чтобы задание МАТНС2003 не могло повлиять па точность результатов анализа, снимите галочку, стоящую около названия задания в столбце Use и нажмите Анализ для обновления результатов.

Результаты анализа заданий, данные PILOT2, МАТНС2003

После просмотра результатов анализа продолжайте выполнять этапы анализа, описанные в предыдущих главах. Спецификация и интерпретация остальных задач последовательности действий преимущественно аналогичны представленным в предыдущих пошаговых примерах.

Если в предъявлении тестов используются несколько тестовых буклетов, содержащих различные наборы заданий, IATA может провести анализ размерности, только если в различных буклетах повторяется значительное число заданий. Например, с тремя блоками тестовых заданий (А, В, С) и тремя тестовыми формами (1,2, 3), тестовая форма 1 должна содержать блоки A/В, тестовая форма 2 - блоки В/С, а тестовая форма 3 - блоки С/А. Поскольку блоки являются полностью ротируемыми, в них не будет изолированных заданий. Напротив, если тестовая форма 1 содержит блок A/В, тестовая форма 2 содержит блок А/В, а тестовая форма 3 содержит блок В/С, то блок С изолирован от блока А и, следовательно, корреляции между заданиями в блоке А и блоке С невозможно оценить. Если у вас есть изолированные блоки заданий и вы хотите провести анализ размерности, вы должны удалить изолированные задания из анализа или провести анализ размерности по каждой тестовой форме отдельно. Однако как только появится достаточно подтверждений того, что объединенный набор заданий оценивает единственную размерность, вы можете включить все задания в анализ для оценивания параметров и IRT-баллов.

Если ротация является сложной, общий принцип для достижения успеха заключается в том, чтобы убедиться в том, что ни одно тестовое задание не включено только в один буклет. Если какое-либо задание все же оказывается включенным только в один буклет, оценивание параметров такого задания может содержать повышенные ошибки выборки, поскольку оценки будут связаны только с конкретными заданиями в таком буклете и с учащимися, которым был выдан такой буклет. Поскольку число буклетов, в которые включено задание, увеличивается, точность параметров оценивания для такого задания также увеличится.

Повторение этапов анализа, описанных в предыдущих главах с данными PILOT2, предлагается в качестве самостоятельного упражнения. Для справки, результаты данных по заданиям данного пошагового анализа включены в файл ItemDataAllTests.xls, рабочий лист ReferenceP2.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >