Наименование заданий

В программе национальной оценки важно присвоить уникальное название каждому заданию (см. Anderson and Morgan 2008; Freeman and O’Malley 2012). Все виды статистического анализа, проводимые в отношении тестовых заданий, должны быть четко привязаны к названию или подписи задания. Если задание повторяется в нескольких циклах национальной оценки, оно должно сохранять одно и то же название в файлах с данными для каждого цикла. Например, задание по математике, впервые использованное в 2009 г., может назваться М003, что указывает на то, что это было третье задание, включенное в тест в 2009 г. Если то же задание используется в тесте в 2010 г., оно должно также называться М003 безотносительно его положения в тесте. Наименование заданий по положению в тесте может привести к путанице при повторном использовании заданий. По этой причине присвоение постоянных названий тестовым заданиям при их первой разработке будет более уместно, чем присвоение названий при их первом использовании в оценивании.

Использование постоянных названий также облегчает процесс связывания результатов различных тестов. Когда программа IATA оценивает статистические связи между тестами, она сопоставляет задания в процессе связывания с использованием названий заданий. Если название задания относится к различным заданиям в двух связываемых тестах, результаты такой связи будут неточными. Хотя задания могут быть переименованы для облегчения процесса связывания, проще сохранять уникальные названия заданий с самого начала, что обеспечит меньшее число ошибок.

Переменные, резервируемые IATA

В процессе анализа данных по ответам IATA рассчитывает множество рабочих или выходных переменных. Названия таких переменных ограничены и не должны использоваться в качестве названий тестовых заданий или переменных анкет. Переменные, которые IATA включает в файл с данными оцениваемого теста, перечислены в табл. 8.1.

ТАБЛИЦА 8.1

Переменные, генерируемые или используемые IATA для описания уровня подготовки и результатов выполнения теста учащегося

Название оценки

Описание

ВесХ

Дизайн весового коэффициента для данных, используемых в анализе (если не указан, значение равно 1 для всех учащихся).

Пропуск

Данная переменная указывает число не включенных заданий в тест для учащегося.

Процентный балл

Процентный балл представляет число заданий, на которые учащийся ответил верно, выраженное как процент от общего числа заданий, предъявленных учащемуся (не включенные данные по ответам).

Процентная ошибка

Это ошибка измерения для процентного балла. Данная оценка специфична для каждого учащегося; ее значение зависит от процентного балла и числа заданий, на которые ответил учащийся.

Процентиль

Процентильный ранг (число между 0 и 100) описывает для каждого учащегося процентную долю других учащихся с более низкими баллами.

Необработанный балл Z

Необработанный балл Z - это процентный балл, преобразованный таким образом, что его среднее значение становится равным 0, а стандартное отклонение - 1 в рамках выборки.

Z-балл

Представляет собой нормально распределенный эквивалент процентильного балла. Ее также называют баллом колоколообразной кривой. Если распределение необработанного Z-балла зависит от распределения процента корректных баллов, то распределение Z-балла обычно имеет более совершенную форму колокола.

IRT-балл

IRT-балл представляет собой приближенную оценку уровня подготовки учащегося. Такая оценка обычно имеет среднее значение 0 и стандартное отклонение 1. Она облегчает процесс обобщения за пределами конкретной выборки, поскольку учитывает статистические свойства тестовых заданий3.

IRT-ошибка

IRT-ошибка представляет собой ошибку измерения для IRT-балла.

IRT-асимметрия

Асимметрия приближенной оценки уровня подготовки показывает, будет ли тест измерять лучше нижнюю или верхнюю границу уровня подготовки учащегося, лучше оценивает тест. (Например, простой тест может точнее оценить, достигли ли учащиеся минимального уровня подготовки, но может не дать точной оценки более высоких уровней подготовки.)

IRT-эксцесс

Эксцесс приближенной оценки уровня подготовки описывает степень точности оценивания для определенного уровня ошибки. (Например, для двух оценок с одинаковой ошибкой измерения та оценка, у которой эксцесс больше, будет более точной.)

Истинный балл

Является приближением к процентному баллу, рассчитываемому на основе IRT-балла. Он более предпочтителен, чем необработанный процентный балл, поскольку учитывает различия между заданиями в ошибке измерения. Этот балл рассчитывается как среднее значение вероятности верного ответа на каждое задание с учетом IRT-балла учащегося и параметров тестовых заданий.

Уровень

Эта переменная представляет собой оценивание уровня подготовки учащегося, присвоенную на основании процедур установления стандартов. (Если процедуры оценки стандартов не проводятся, всем учащимся по умолчанию присваивается значение 1.)

Примечание: IRT = современная теория тестирования.

а. Дополнительные опции шкалирования IRT доступны в расширенных функциях IATA; обратитесь к руководству по установке на прилагающемся CD-диске.

Помимо исключения таких конкретных названий, избегайте использования названий, содержащих символ @. Он используется для обработки заданий с дифференцированной шкалой ответов (далее - дифференциальные ответы), представляющих собой тестовые задания, имеющие более одной возможной ненулевой оценки.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >