РАЗРАБОТКА И НАЗНАЧЕНИЕ СТАНДАРТОВ ВЫПОЛНЕНИЯ

Установление стандартов выполнения (например, нижний, базовый, опытный и продвинутый уровни или уровни 1, 2, 3) является важным шагом в обеспечении доступности результатов национальной оценки для различных заинтересованных лиц. Задача установления стандартов выполнения в гл. 10 была описана как относительно несложная операция. Однако на практике она обычно требует итеративной работы, включающей экспертизу содержания заданий и статистических результатов. Сюда входит использование множества источников данных (например, таких, как персональный учебный план), многие из которых, возможно, не имели отношения к сфере анализа данных и статистики. Анализ данных по ответам должен быть полностью завершен до начала процесса установления стандартов. Экспертная комиссия должна использовать заключительные параметры заданий в осуществлении этой деятельности.

Последовательность действий Разработка и назначение стандартов выполнения в IATA позволяет использовать результаты из предыдущих анализов для облегчения процесса установления стандартов. В настоящем разделе стандарты пороговых значений установлены для данных CYCLE1 с использованием параметров заданий из оценки CYCLE1. Для выполнения этой последовательности действий необходимо завершить анализ данных по ответам и сохранить результаты в таблицах Itemsl и Scored. Если данные не были сохранены, повторите анализ, описанный в гл. 10. С точки зрения разработки стандартов выполнения, предпочтительно, чтобы параметры заданий и IRT-баллы были загружены в IATA. Однако баллы используются только для справочных целей при приближенной оценке пороговых значений, и анализ может быть проведен только с помощью параметров заданий без загрузки IRT-баллов. Изучите распределение баллов по пороговым уровням для определения доли учащихся, относимых к каждому уровню подготовки. Установление стандартов, как уже упоминалось ранее (см. описание метода закладок в гл. 10), является итеративной процедурой и включает в себя просмотр тестовых заданий экспертами по составлению учебных программ и опытными учителями в разрезе предоставляемых статистических аргументов. Как обсуждалось ранее, цель установления стандартов заключалась не в обосновании существующих делящих точек и не в подгонке данных к ранее установленным уровням подготовки, а в определении наиболее эффективных уровней подготовки и связанных с ними делящих точек па основании доступных заданий. Может понадобиться несколько циклов анализа и обсуждения для установления пороговых уровней. После того как пороговые значения будут определены, загрузка IRT-баллов в IATA облегчит добавление уровней подготовки непосредственно в результаты оценивания учащегося.

Для завершения этой последовательности действий выполните следующие этапы. Обратите внимание, что этапы 1-4 могут повторяться несколько раз до окончательного завершения установки пороговых значений.

  • 1. Выберите последовательность действий Разработка и назначение стандартов выполнения в главном меню. Первая стра ница (страница 1/4 IATA) потребует от вас загрузки оцененных данных по ответам учащихся. Этот этап является опциональным, так как установление стандартов на основе экспертизы можно осуществить только с использованием данных параметров заданий. Если оцененные данные учащихся доступны, они могут дать информацию о практической ценности предложенного набора делящих точек, позволяя вам рассчитать долю учащихся, которая попадает в каждый предложенный уровень подготовки. Однако оцененные данные учащихся будут полезны только после того, как основные итерации процедуры установления стандартов будут завершены.
  • 2. Так как определение делящих точек не было завершено, нажмите Далее» для перехода к странице 2/4 ТАТА.
  • 3. Загрузите файл данных по заданиям, содержащий параметры IRT и предварительно заданный уровень для каждого задания. В рассматриваемом примере результаты, используемые в таблице данных по заданиям Itemsl, IATA формирует автоматически. (Данные идентичны данным из Referenced в ItemDataAUTests.xls.') Примите к сведению, что каждое задание имеет предварительно заданный уровень выполнения. Нажмите Далее».
  • 4. Выполните процедуры установления стандартов по методу закладок, описанному в гл. 10, которые включают в себя установку' значения вероятности ответа (RP), сохранение данных закладок и использование таких данных для облегчения анализа тестовых заданий учителями, специалистами по составлению учебных программ и иными участниками образовательного процесса. Обратите внимание, что на практике вы можете экспериментировать с множеством значений RP, обычно в границах от 0,50 до 0,80. В процессе установления стандартов выполнения присвоение уровней заданиям может (и, вероятно, будет) изменяться в процессе обсуждений с группой по национальной оценке. Возможно, вам потребуется повторить этапы 1-4 несколько раз с использованием метода закладок до тех пор, пока участники процесса установления стандартов не убедятся, что согласованные пороговые значения облегчат полную интерпретацию результатов оценивания.
  • 5. После того как соглашение между участниками экспертной группы, ответственными за установление стандартов выполнения, будет достигнуто, повторите этапы 1-4, убедившись, что на этапе 1 данные IRT-баллов учащихся были загружены. Для рассматриваемого примера загрузите данные учащихся CYCLE1 с IRT-баллами, которые должны быть сохранены еще в конце гл. 10 (страница 1/4 IATA). Когда IATA сохраняет результаты учащихся, IRT-балл содержится в переменной IRTScore, которая находится в таблице данных SCORED. Эта изменяемая величина содержит баллы, которые IATA рассчитала напрямую из параметров заданий без применения какого-либо изменения шкалы или связывания. После загрузки данных прокрутите ответы учащихся вниз до индивидуальных заданий (страница 1 /4 IATA) для просмотра индивидуальных баллов IRT. (Второй учащийся в списке, CYCLE1STDID, имел IRT-балл 1,764). Введите окончательные делящие точки в столбец Threshold в правом нижнем углу экрана (страница 3/4 IATA). Убедитесь путем сравнения вертикальных делящих точек с областью распределения баллов, что каждый уровень подготовки содержит подлежащую включению в отчет пропорцию учащихся. В случаях, когда в самые высокие или самые низкие уровни подготовки попадает незначительное число учащихся, для целей составления отчета рекомендуется объединить смежные уровни подготовки. По желанию, пороговые значения оцененных данных можно применить посредством интерфейса стандартов выполнения, нажав кнопку7 Добавить уровни. Нажмите Далее».
  • 6. Сохраните результаты (страница 4/4 IATA), используя отличительное имя файла, например NAMPerfStand. В общем случае сохраняйте все таблицы, содержащие измененные данные. Сюда входят таблица PLevels, обновленная новыми пороговыми значениями, таблица Itemsl, которая может включать новые присвоенные заданиям уровни, и таблица Scored, содержащая уровни выполнения тестов учащихся.
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >