АНАЛИЗ ЗАДАНИЙ С ДИФФЕРЕНЦИРОВАННОЙ ШКАЛОЙ БАЛЛОВ

Используйте набор выборочных данных PILOT2PartialCredit для выполнения упражнения. Ключ к тесту для теста приведен в рабочей тетради Excel ItemDataAllTests на листе PIL О T2PartialCredit.

Как и в сценариях национальной оценки, описанных в предыдущих главах настоящей книги, эта пошаговая инструкция продолжает разработку тестового инструмента с введением этапов анализа для тестовых заданий, требующих короткого ответа, которые оценивались с использованием дифференцированных ответов. Помимо начальных спецификаций анализа для последних четырех заданий в PILOT2 (см. ниже) остальные этапы последовательности действий аналогичны процедурам, описанным в предыдущих пошаговых примерах. Такой пошаговый анализ фокусируется на уникальных требованиях, предъявляемых анализом заданий с дифференцированными ответами (см. Anderson and Morgan 2008).

ЗАГРУЗКА ДАННЫХ

Анализ начинается с последовательности действий Анализ данных ответа. В интерфейсе данных по ответам экзаменуемого выберите файл с выборочными данными PILOT2PartialCredit. Такие данные содержат 111 переменных и 712 респондентов. Данные представляют дизайн из трех буклетов по 103 тестовых задания, аналогичных заданиям, используемым в анализе сбалансированных тестовых буклетов с ротируемым дизайном в гл. 11, с дополнением четырех заданий с дифференцированными ответами. За выполнение каждого из таких заданий учащимся могли быть поставлены оценки 0, 1, 2 или 3 в зависимости от качества ответа. Анализ заданий и тестов (IATA) выдаст статистические показатели для любого значения оценки больше 0. Дополнительные задания называются MATHSA001, MATHSA002, MATHSA003 и MATHSA004. Нажмите Далее» для продолжения.

В интерфейсе загрузки данных по заданиям загрузите данные по заданиям PILOT2PartialCreditwt файла ItemDataAUTests.xls, как показано на рис. 12.1, на котором панель данных была прокручена вниз до конца. Четыре нижних строки файла содержат данные для заданий с дифференцированными ответами. Оценочный ключ для таких заданий содержит информацию, требуемую для присвоения различных числовых оценок различным кодам в файле ответа, в зависимости от качества ответа учащегося. В этом примере оценочный ключ от-

РИС. 12.1

Ключи ответов к заданиям и метаданные, данные PILOT2

Н 1А1АРаде2/10

ражает ручное оценивание каждого задания: коду 1 дается оценка 1, 2 - 2 и 3 - 3. Для значения 0 оценка не указывается. Если код ответа не указан в ключе ответов и не рассматривается как пропущенный, ему будет присваиваться оценка 0.

Подтвердите корректность загрузки данных по ответам и данных по заданиям и нажмите Далее» для перехода к спецификациям анализа.

СПЕЦИФИКАЦИИ АНАЛИЗА

Поскольку указанные данные практически идентичны тем, что использовались в гл. 11, используйте те же спецификации анализа. В ячейке Выберите код (необязательно) введите PILOT2STDID, а в секции Укажите отсутствующее лечение (необязательно) отметьте галочкой значение 7 в столбце Менее чем, как показано на рис. 12.2. Обратите внимание, что все оценки для заданий с дифференцированными ответами также появляются в таблице значений задания.

РИС. 12.2

Спецификации анализа для ротируемых буклетов с заданиями с дифференцированными ответами, данные PILOT2

После введения спецификаций анализа нажмите Далее» для продолжения; анализ начнется автоматически. Поскольку время вычисления больше зависит от числа тестовых заданий, чем от числа учащихся, анализ займет больше времени, чем в предыдущих пошаговых примерах.

РЕЗУЛЬТАТЫ АНАЛИЗА ЗАДАНИЙ

Когда ТАТА закончит проводить анализ, результаты покажут, что задание МАТНС2003 является проблематичным (рис. 12.3). Удалите задание из анализа, сняв галочку, стоящую около названия задания в столбце Use, и нажмите Анализ для обновления результатов. ТАТА спросит, следует ли повторно откалибровать задания с дифференцированными ответами; для продолжения нажмите Да.

В левой таблице на рис. 12.4 вы можете увидеть строки, которые были автоматически созданы ТАТА для каждой оценки каждого задания с дифференцированными ответами. Для строк, представляющих

РИС. 12.3

Результаты анализа заданий, данные PILOT2, МАТНС2003

Функция ответов на задания с дифференцированными ответами, данные CYCLE2, MATHSA001, оценка = 2

оценки заданий с дифференцированными ответами (где столбец Name содержит символ @, после которого следует целое число), статистические показатели оцениваются, как если бы каждый балл был единственным верным/неверным заданием, где верный ответ является любой величиной оценки, большей или равной выбранному баллу. IATA создаст дополнительный набор статистических результатов для каждого балла дифференцированных ответов, обеспечиваемой оценочным ключом для задания. Например, для задания с дифференцированными ответами, имеющим ненулевые оценки 1 и 2, легкость задания для оценки 1 (НазваниеЗадания@1) будет описывать пропорциональную долю учащихся, получивших оценку 1 или выше, а легкость задания для оценки 2 (НазваниеЗадания@2) будет описывать пропорциональную долю учащихся, получивших оценку 2.

Обратите внимание, что в таблице анализа дистракторов на рис.

12.4 MATHSA001@2 использует коды 2 и 3 в качестве ключей ответов; для MATHSA001@l коды 1, 2 и 3 использовались бы в качестве ключей ответов. Показатель легкости задания всегда выше для более низких оценок задания, поскольку они включают всех учащихся, которым были поставлены более высокие оценки. Например, на рис. 12.4 выделены результаты для MATHSA001 с выбранной оценкой 2. Для этого задания оценка 1 (MATHSA001@l) характеризуется PVal (легкостью задания) 0,90, оценка 2 (MATHSA001@2) - PVal 0,77, а оценка 3 (MATHSA001@3) - PVal 0,45.

Хотя статистические показатели описывают каждую оценку отдельно, функции ответов на задания (IRF) для заданий с дифференцированными ответами отражают тот факт, что учащемуся может быть поставлено только одно значение оценки. IRF для задания с дифференцированными ответами представлено в качестве набора характеристических кривых категорий заданий (ICCC), по одной для каждой оценки задания. Когда выбрана строка, соответствующая конкретной оценке, график иллюстрирует ICCC выбранной оценки жирным шрифтом. На каждом уровне подготовки ICCC выражает вероятность того, что респонденту' с определенным уровнем подготовки будет поставлена определенная оценка с исключением всех прочих оценок. Как показано на рис. 12.4, с увеличением уровня подготовки вероятность значения каждой оценки сначала увеличивается, затем уменьшается, когда результаты учащихся приближаются к более высоким значениям оценок.

Хотя к анализу IRF для задания с дифференцированными ответами не применяются какие-либо простые правила, целесообразная схема присвоения баллов дифференцированных ответов обычно учитывает, что каждое значение оценки будет иметь наибольшую вероятность быть выбранным на определенном уровне подготовки. Например, первому значению оценки для MATHSA001 был присвоен предупреждающий символ. ICCC указывает на то, что вероятность присвоения оценки 1 не выше, чем любой другой оценки на любом уровне подготовки. Значение оценки 2 для MATHSA001, проиллюстрированное колоколообразной кривой с пиком около -0,5, является наиболее вероятным значением оценки для всех учащихся с уровнем подготовки ниже среднего. Такие результаты указывают на то, что значение оценки 1 не дает полезной информации, поскольку7 оно статистически неотделимо от значения оценки 2. Для большинства заданий с дифференцированными ответами самая высокая категория обычно является самой полезной. Так происходит, потому что человеческие маркеры обычно способны четко идентифицировать полностью верные или полностью неверные ответы, но менее способны четко отделять степени частичной правильности ответов.

Одной из основных задач анализа заданий с дифференцированными ответами в рамках пилотного тестирования является определение того, все ли значения являются полезными и как улучшить процесс оценивания. Например, если категория оценки (например, 1) характеризуется низкой вероятностью присвоения, существуют две основные возможности: либо ни один респондент не дал (или очень мало респондентов дали) ответ, соответствующий оценке, либо оценщики не могут идентифицировать, какие ответы должны быть отнесены к такой категории оценки. В первом случае ответы, связанные с оценкой, должны быть объединены со смежной категорией оценок (например, с помощью слияния баллов 1 и 2 в единую категорию оценки 1 или 2). Во втором случае проблема может быть решена путем проведения более интенсивного или стандартизированного обучения оценщиков. Таким образом, хотя результаты заданий с дихотомической оценкой относятся в основном к авторам заданий и разработчикам тестов, результаты анализа частичного присвоения баллов также должны быть сообщены группам, ответственным за оценивание тестовых буклетов учащихся.

После просмотра результатов продолжайте выполнять этапы анализа, описанные в предыдущих главах. Спецификация и интерпретация остальных задач последовательности действий преимущественно аналогичны представленным в предыдущих пошаговых примерах. Единственное различие заключается в спецификации, необходимой для заданий с дифференциальными ответами в интерфейсе выбора заданий IATA.

Для осуществления надлежащего выбора заданий с частичным присвоением баллов вы сначала должны вручную включить все оценки заданий с дифференциальными ответами. Этого можно добиться через проставление галочек на оценках задания и последующего подсчета каждого значения оценки в качестве отдельного задания при введении общего числа заданий. Так, если вы хотите выбрать 10 заданий, и одно из таких заданий является заданием с дифференциальными ответами с двумя категориями оценок, вы должны указать выбор 11 заданий и вручную предварительно выбрать значения оценки желаемого задания с частичным присвоением баллов. Повторение этапов анализа, описанных в предыдущих главах с данными PILOT2, предлагается в качестве самостоятельного упражнения.

Для справки, результаты данных по заданиям пошагового анализа включены в файл ItemDataAUTests.xls, рабочий лист ReferenceP2PC.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >