СПЕЦИАЛИЗИРОВАННЫЕ МЕТОДЫ IATA

В этой главе описано использование четырех специальных приложений IATA. Каждый интерфейс был подробно охарактеризован в предыдущих главах книги. В первых трех разделах этой главы представлен обзор трех последовательностей действий, которые используют файлы данных IATA в качестве основных вводимых параметров. Они наиболее целесообразны, когда данные по ответам учащихся уже были проанализированы, а параметры тестового задания определены. Эти последовательности позволяют провести анализ, используя параметры задания без повторного анализа начальных данных по ответам учащихся. Возможность проводить анализ, используя данные по заданиям, полезна в случаях, когда данные по ответам учащихся недоступны (например, по причинам безопасности или в случае, когда возможность передачи данных ограничена), но параметры задания доступны для чтения в таких источниках, как методические отчеты и небольшие таблицы данных. В последнем разделе параметры якорных заданий из ранее проведенной национальной оценки используются для анализа данных по ответам учащихся из последующего оценивания, которое содержит много заданий, общих для обеих оценок.

Так как основные интерфейсы ТАТА, используемые для оценивания таких функций, уже были описаны в предыдущих главах, в на стоящей главе мы уделим основное внимание этапам, характерным для каждого из следующих разделов, без описания полного процесса.

СВЯЗЫВАНИЕ ДАННЫХ ЗАДАНИЯ

Как было показано в гл. 13, параметры связывания рассчитывались в той же последовательности действий, что и анализ ответов на задания. Однако на практике эти два действия могут происходить в разное время. Министерство образования, например, может проводить предварительную национальную оценку {CYCLE1) в первый год и последующую национальную оценку (CYCLE2) на пятый год, а затем осуществлять или поручать осуществление связывания, используя оценивание параметров заданий из двух таких исследований в шестом году. Аналитики могуч’ использовать константы связывания, рассчитанные IATA, и обновлять данные CYCLE2, вводя новые связанные оценки и параметры. По новым оценкам можно определить степень изменения уровня достижений учащихся между первым и пятым годом.

Для связывания данных по заданиям с применением указанного подхода у вас должны быть общие якорные задания из двух различных исследований данных национальной оценки. Для рассматриваемого примера будут связаны результаты национальных оценок CYCLE1 и CYCLE2. Они содержат 25 общих заданий. Процесс аналогичен последовательности действий при Анализе данных ответа при связывании, описанной в гл. 13.

Данные первой национальной оценки (CYCLEI) были проанализированы в гл. 10. Прежде чем осуществлять связывание двух оценок, следует проанализировать данные CYCLE2, следуя процедурам, описанным в гл. 10. Их краткое описание представлено ниже:

  • 1. Выберите Анализ данных ответа.
  • 2. Загрузите данные учащихся CYCLE2 (2484 записей).
  • 3. Загрузите данные по заданиям (53 записи).
  • 4. Выберите 9 для отображения пропущенных данных, оцениваемых как некорректные, и используйте стрелки выпадающего меню, чтобы выделить значения для выборки и весовой коэффициеитдля CYCLE2(страница 3/10 LATA). Вспомните, что дополнительные числовые значения (0, 1,2, 3), расположенные в столбце значений, представляют собой оценки за задания с дифференцированными ответами.
  • 5. Не удаляйте никакие задания в интерфейсе анализа заданий (страница 4/10 IATA).
  • 6. Пропустите анализы размерности теста и дифференцированного функционирования заданий, а также функции «Тест размерность», «Разностная резервная копия элемента работы», «Масштаб просмотра и настройки масштаба», «Выбор элементов» и «Стандартов производительности» (страницы 5/10-9/10 IATA) для целей данного упражнения.
  • 7. В заключительном интерфейсе (страница 10/10 IATA) для подтверждения корректного выполнения анализа выберите Scored из выпадающего меню и прокрутите таблицу до конца. Первый учащийся в списке (CYCLE2STDID) получил IRTScore 2,58 за выполнение теоретического задания, Percentile составил 99,37, TrueScore 93,26.
  • 8. Сохраните полный набор результатов как CYCLE2_UNLIN-KED.xls.

Завершив анализ данных CYCLE2, выберите в главном меню Связывание данных элемента. Выполните следующие этапы:

1. Загрузите файл с данными учащихся из текущих результатов оценивания (в текущем примере - CYCLE2), которые будут привязаны к результатам предыдущего оценивания (в текущем примере - CYCLE!). Данные должны содержать переменную, называемую IRTScore. Однако при связывании результатов, которые были изменены, убедитесь, что переменной, содержащей пешкалироваппый IRT-балл, присвоено имя IRTScore1. Для этого примера используйте файл данных под названием CYCLE2_UNLINKED.xls и загрузите таблицу под названием Scored. (Первый учащийся в списке, CYCLE2STDID = 1, получил IRTScore 2.58 и Percentile 99,37 в конце записи.) Нажмите Далее».

  • 2. Загрузите параметры задания, рассчитанные на основе текущих или самых последних результатов оценивания (страница 2/5 IATA). Данные таблицы должны отображать названия заданий, а также параметры IRT. В этом примере для связывания результатов CYCLE2 со шкалой CYCLE1 загрузите таблиц)' Itemsl из файла CYCLE2_UNLINKED.xls. Таблица содержит параметры заданий национальной оценки CYCLE2. Эти данные также доступны в таблице ReferenceC2 файла выборочных данных IATA ItemDataAUTests.xls. Первое задание в списке МАТНС1008 имеет следующие величины: Key = A, Level = 3, а = 0,58, b = 0,20. Нажмите Далее».
  • 3. Загрузите параметры заданий результатов более раннего оценивания CYCLE1 (страница 3/5IATA). Файл должен содержать названия заданий и параметры IRT. В рассматриваемом примере для объединения результатов CYCLE2 с расчетами CYCLE1 загрузите таблицу' Referenced из файла ItemDataAUTests. xls. Первое задание в списке, МАТНС1005, имеет следующие значения: Key = В, Level = 3, а = 0,63, b = 0,21. Нажмите Далее».
  • 4. Нажмите Расчет для вычисления констант связывания IRT (страница 4/5 IATA). Две константы связывания Location и Scale описывают линейное преобразование, которое переводит шкалу' IRT CYCLE2n шкалу IRT CYCLE1. Проверьте качество связи особенно для любых заданий со специфическими связанными функциями ответов на задания (IRF). В рассматриваемом примере большинство заданий отображают надежные связи, отмеченные зелеными кругами. Проверьте проблематичные задания; они отмечены предупреждающими символами (желтый ромб или красный треугольник). Исследуйте графики отдельных заданий, особенно голубые пунктирные линии ошибки. Удалите любое задание из списка для оценивания связывания (слева), которое стабильно больше 0,05 (справа) в диапазоне от -2,0 до +2,0 (на оси уровня подготовки). Если обнаружено более чем одно проблематичное задание, удалите их по очереди. Пересчитывайте константы связывания после каждого удаления, нажимая Обновление. Удаление не большого количества проблематичных заданий может быть достаточным для улучшения расчета связей по оставшимся заданиям. Напротив, удаление большого числа заданий может улучшить статистические оценки, но и одновременно снизить общую валидность связи. Примените константы связывания к параметрам заданий и тестовым баллам. В рассматриваемом примере константы местонахождения и шкалы, рассчитанные с использованием полного набора общих заданий, равны 0,106 и 0,988, соответственно. Константы могут быть использованы для перевода IRT-балла из оценки CYCLE2 в шкалу IRT-баллов оценки CYCLE1 путем умножения IRT-балла CYCLE2 па 0,988 и прибавления 0,106. Эти константы связи показывают, что тестовые баллы в CYCLE2 слабее варьируют и немного выше в среднем, чем баллы CYCLE1. Нажмите Далее».
  • 5. Обратите внимание, что связанными параметрами а и b для МАТНС1008 являются 0,58 и 0,20 соответственно. Связанные параметры описывают статистическое поведение каждого задания CYCLE2 на шкале CYCLE1. Эта информация может быть полезной в случае, когда группа по национальной оценке хочет установить стандарты или разработать новый тест, используя объединенный набор заданий. Далее мы обсудим, как выполнить эти две функции, используя только данные по заданиям. Сохраните результаты анализа (страница 5/5 IATA).
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >