ВЫБОР ОПТИМАЛЬНЫХ ТЕСТОВЫХ ЗАДАНИЙ

До настоящего момента мы выбирали тестовые задания в процессе анализа данных по ответам учащихся. Однако Министерство образования может вполне обоснованно потребовать, чтобы определенный набор заданий из уже проведенного оценивания был доступен для будущего оценивания. Запрос может быть направлен после проведения анализа данных по ответам учащихся и завершения всего цикла действий по национальной оценке. Разработчики тестов и аналитики могут определить и выбрать якорные задания из предыдущего оценивания без обращения к средству для локализации и анализа всего списка данных по учащимся из рассматриваемого оценивания. Такие якорные задания сформируют ядро или, по крайней мере, основной компонент измерителя для нового оценивания, к которому будут добавлены новые задания. Якорные задания будут использоваться для связывания результатов нового оценивания с результатами существующего оценивания. Для высокой точности тестирования и стабильной связи между двумя тестами якорные задания должны обеспечивать максимально возможную точность в рамках ожидаемого диапазона уровней подготовки учащихся. В таком случае выбор задания потребует только существующих параметров заданий из ранее проведенного оценивания.

Следующее упражнение демонстрирует, как выбирать оптимальные задания для связывания двух оценок, используя результаты оценивания параметров заданий, сохраненные из анализа данных предыдущего оценивания.

  • 1. Выберите функцию Выбор оптимальных тестовых элементов в главном меню.
  • 2. Загрузите файл данных по заданиям, таблицу Referenced из файла ItemDataAUTests.xls в папке IATA на ваш рабочий стол (страница IATA 1 /3). Данные должны включать названия заданий и параметры IRT, а также содержать информацию об Level и Content задания. (Первым заданием в списке (заданием с самым маленьким номером) должно быть МАТНС1005, со следующими значениями: Key = В, Level = 3, а = 0,63 и b = 0,21.) Нажмите Далее».
  • 3. Для того чтобы обеспечить максимально полезные результаты для выбора заданий, определенное их число должно быть равным общему числу заданий в файле данных. Поскольку таблица данных по заданиям Referenced содержит 50 заданий, для выборки должны быть заданы 50 заданий. IATA сформирует таблицу, в которой все доступные задания ранжированы по их пригодности для измерения учащихся в заданных нижних и верхних границах. Нижние и верхние границы описывают приблизительные процентильные ранги исходной выборки, на которой задания были откалиброваны (0 представляет студентов с самой низкой успеваемостью, а 100 - с самой высокой). В общем случае придерживайтесь установленных по умолчанию значений 2 и 98. Однако если предполагается, что распределение уровней подготовки среди студентов в новой национальной оценке значительно отличается от ранее проведенного оценивания, нижние и верхние границы могут быть отрегулированы для минимизации возможности включения слишком легких и слишком сложных заданий. Например, если вы ожидаете, что новая генеральная совокупность учащихся будет иметь более высокий уровень подготовки, чем исходная, откорректируйте нижний пороговый балл до величины х больше двух, для того чтобы показать, что учащийся с самой низкой успеваемостью из новой генеральной совокупности должен иметь балл, эквивалентный уровню учащегося в х-м процентильном ранге исходной генеральной совокупности. Это действие снизит вероятность выбора необоснованно лег-

РИС. 14.1

Выбор оптимальных тестовых заданий, данные CYCLE1

S«»D«U

lb* Herrw

*

с

level

Content

Key A|

Q|mAT»

1 33

017

000

4

Uncertainty

P

Й МА Г НС 1065

1 (М

?03S___________

ОДО

2

1 •>. ,-rfonty

A

у; мат нс юзе

!оо?

014

000

2

SUpr erxj

°

< МАТ НС 1015

0*0

-003

000

2

Measurement

0

V МАТ н21045

одв

[ООО___________

000

Мumber tnaMedqo

A

** МАТ к? 1025

?0 78

ООО

1

Shape end Specs

C

< МАТ —Д01'

[одо

рОиОВ

000

3

Uncertmnfy

c I

< МА1- :юг:

005

054

ООО

3

Humber KnoMedge

в

MAI’«'21041

0 77

041

000

1

Uncertainty

c

* МАТмСЮ»

[ОТУ

[имё

000

3

Humber knowledge

0

UATHC105*

0W

040

000

4

Humber knoMadge

0

< 'ДАТ — .10'

082 _______

048

ООО

4

Meesuremant

Id___________________* 1

И МАТнСЮИ

|о,м

0 72

ООО

4

Measurement

b_

V МАТИС 1027

д**

0 73

!0О0

4

Humber knowledge

c

У МАТ НС 1052

0 56

|аю

ООО

3

Humber UkWcOq»

A

0 70 0 25

0 00

[•

i ~ к. - -

П * 1

ких заданий для повой генеральной совокупности. Введите название, например AncItems50, в поле Имя выделенного элемента и 50 для общего числа заданий. Нажмите Выбор элементов. IATA сформирует таблицу с содержанием уровня х для 50 заданий (страница LATA 2/3). Нажмите Далее». Обратите внимание (страница IATA 3/3), что МАТНС1029 имеет следующие значения: а = 1,33, b = 0,17, Level = 4 и Key = D (см. рис. 14.1).

4. Нажмите Сохранить данные. IATA присвоит таблицам выбора заданий префикс CustomTest с уникальным именем, определенным для каждого действия по выбору заданий. В таком случае файл данных из 50 заданий будет сохранен с другими данными IATA как CustomTestAncItems50.

Вы можете экспериментировать с числом выбранных заданий, пользуясь интерфейсом (например, выбрать 30 или 40 заданий). Присваивайте разные названия каждой выборке заданий (в поле Имя выделенного элемента), если хотите сохранить результаты.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >