СРАВНЕНИЕ ОЦЕНОК

Используйте набор выборочных данных CYCLE2 для выполнения этого упражнения. Ключ к тесту для теста приведен в рабочей тетради Excel ItemDataAUTests.xls на листе CYCLE2.

Общие задания используются для связывания шкал оценки данных CYCLE2 современной теории тестирования (IRT) и соответствующих шкал, используемых для данных CYCLE1. Связанные результаты используются для шкалирования баллов и применяют стандарты пороговых значений.

Правительственные органы и иные лица часто заинтересованы в определении динамики успехов учащихся во времени. Интерес к смене стандартов особенно важен во время пересмотра учебной программы или существенного реформирования системы (например, изменения уровня финансирования). Правительственные органы также могут быть заинтересованы во влиянии на уровень достижений учащихся резкого роста приема в школы, вызванного внедрением таких программ, как «Образование для всех» или «Инициатива по ускорению реализации», теперь известной как «Международное партнерство в сфере образования». Имея сильную связь, баллы из программ национальной оценки могут быть сопоставлены с ранее проводимыми оцениваниями, что позволяет сделать вывод о том, произошло ли одновременное изменение в достижениях учащихся (см. Mislevy 1992).

Связывание результатов тестов может быть полезно и в иных ситуациях. Дополнительно к сравнению результатов по циклам национальной оценки распространенными являются следующие сценарии. Страна с несколькими образовательными юрисдикциями может создать отдельный тест для каждой юрисдикции, включающий содержание учебной программы, специфичное для каждой юрисдикции. Если тесты для различных юрисдикций включают общие задания, их оценки могут быть использованы для сравнения результатов по юрисдикциям. Связывание тестов может использоваться также для сравнения результатов национальной и международной оценки, если национальная оценка включает задания, ранее использованные и откалиброванные в международном исследовании. Например, если страна ранее участвовала в Международном исследовании тенденций в математическом и естественнонаучном образовании, включение определенного числа заданий TIMSS в последующую национальную оценку может помочь определить, изменились ли результаты с момента проведения этого исследования. В рамках настоящего сценария процедура связывания будет использовать национальные параметры заданий TIMSS в справочном файле с данными по заданиям, которые были оценены с использованием данных по ответам учащихся конкретной страны. Процедура связывания также может помочь идентифицировать способы сравнения результатов национальной оценки одной страны с результатами других стран по TIMSS. В этом случае справочный файл с данными по заданиям должен включать параметры заданий TIMSS, которые были оценены на основе международных данных TIMSS.

Пошаговый пример, приведенный в настоящей главе, описывает методы, необходимые для реализации цикла в программе национальной оценки. После запуска программы вам потребуется выполнять эту последовательность действий для обеспечения соответствия и сопоставимости интерпретаций результатов нового цикла оценивания, которые получают заинтересованные лица, с интерпретациями, полученными в первом цикле. Данные CYCLE2 в настоящем примере представляют второй цикл национальной оценки, следующий за первым циклом, CYCLE1, который был проанализирован в гл. 10. Связь

Последовательность действий анализа данных по ответам со связыванием

между этими двумя оценками возможна, поскольку тест CYCLE2 содержит несколько якорных заданий, которые также присутствовали в тесте CYCLE1. Такая связь позволит вам осуществлять мониторинг изменений, происходящих со временем в результатах учащихся. Если различные циклы оценивания связаны с общими для тестов заданиями, постоянные уникальные названия заданий помогут отследить, какие задания используются в каждом цикле оценивания для целей связывания.

В настоящей главе основное внимание уделяется интерфейсам и спецификациям, которые отличаются для рассматриваемой последовательности действий. Для получения более подробной информации об общих интерфейсах последовательности действий обратитесь к предыдущим главам.

В главном меню нажмите на первую опцию Анализ данных ответа при связывании для входа в последовательность действий анализа, как показано на рис. 13.1. Для этой последовательности потребуются данные по ответам, заданиям (ключи ответов) для анализируемых данных по ответам и справочный файл с данными по заданиям, используемый для закрепления связанных результатов.

ЭТАП 1: НАСТРОЙКА ПАРАМЕТРОВ АНАЛИЗА

Последовательность действий начинается с того же этапа начальной загрузки данных, что и анализ данных по ответам.

  • 1. В первом интерфейсе последовательности действий загрузите данные по ответам из файла CYCLE2.xls в папку с выборочными данными IATA. Такие данные включают 2484 записи и 61 переменную. Первый случай характеризуется следующими значениями: SchoolID = 2; Sex = 2; SchoolSize = 21; и Rural = 0. Нажмите Далее ».
  • 2. Во втором интерфейсе загрузите соответствующие данные по заданиям. Открывая файл ItemDataAUTests.xls, убедитесь, что выбрана таблица CYCLE2. Она содержит 53 записи и четыре переменные, включая три задания с дифференцированными ответами. МАТНС2047 характеризуется следующими значениями: Key = С, Level = 1,00 и Content = действия с числами. Нажмите Далее ».
  • 3. Используйте новый интерфейс загрузки данных, который не использовался в предыдущих пошаговых примерах. Интерфейс потребует файл, содержащий справочные данные по заданиям. Они содержат параметры IRT а, b и с (в соответствующих случаях), которые были оценены на основе референтной выборки, например в предыдущем цикле национальной или международной оценки.

Файл со справочными данными по заданиям должен содержать информацию хотя бы по некоторым из них, включенных в текущую национальную оценку. Для этого примера используйте результаты, полученные из анализа файла с данными CYCLE1. Результаты представлены в папке с выборочными данными IATA в файле ItemDataAUTests.xls на листе Referenced (результаты из упражнения в гл. 10 также могли быть сохранены). При открытии файла убедитесь, что выбрана таблица Referenced. Эта таблица, содержащая 50 записей и 11 переменных, включает статистические результаты, описывающие все задания из первого цикла национальной оценки. Такие справочные данные показаны на рис. 13.2. В примере национальной оценки тест CYCLE2 включает 25 заданий, имеющих параметры задания в справочном файле с данными по заданиям CYCLE1. Важно сохранять названия заданий по всем файлам с данными, поскольку IATA сопоставляет задания в процессе связывания с помощью названий.

Обратите внимание, что этот файл также включает несколько полей данных, которые были рассчитаны во время анализа CYCLE1 дополнительно к переменным а, b и с (например, Level, Content,

Справочные данные по заданиям из CYCLE1 для связи с данными CYCLE2

1АТАРадеЗ/12

Name

Key

Level

Cortert

Dea

PVai

P8e

a

b

e

Loadrig

МАТИС 1005

В

3

I Meae-ren-ert

055

045

044

063

021

ООО

044

МАТИС 1006

А

3

Number kno

058

042

0 47

071

0 34

ООО

0.47

МАТНС1007

С

4

Agetraand

054

035

046

071

067

ООО

0.46

МАТНС’008

А

3

Shape and S

0.50

0.45

0.40

0.54

0.25

0.00

0.39

МАТИС 1009

А

3

| Number kno

052

038

044

066

056

ООО

0 44

МАТИС 1012

В

2

Mees_rerrwl

053

063

044

068

?0 59

ООО

0.44

МАТНСЮ14

А

4

Measurerert

0.60

0.28

0.53

0.97

0.82

0.00

0.54

МАТИС1015

D

2

Measjerert

066

051

054

090

?003

ООО

054

МАТНС1016

D

2

ILbcedanty

041

054

0 35

044

?0 22

ООО

033

МАТНС1017

С

3

Lhcelanty

0.65

0.51

0.52

0.85

?0.03

ООО

0.53

МАТИС 1018

D

4

Meas_rereri

061

031

054

098

0 72

ООО

0.55

МАТНСЮ20

В

3

Number kno

063

041

052

085

034

ООО

053

МАТНС1024

D

4

Shape and S

0.48

0.38

0.40

0.55

0.60

ООО

0.39

МАТИС 1025

С

1

ГShape and S

057

070

051

090

?0.78

ООО

0.51

Discr, PVal, PBis и Loading). Эти переменные можно оставить в файле с данными, однако они не используются в анализе связывания. Хотя справочные данные по заданиям содержат информацию для всех 50 заданий теста первого цикла, только информация для 25 заданий, которые являются общими с тестом второго цикла, используется для оценки связи.

После загрузки всех трех файлов с данными нажмите Далее» для перехода к интерфейсу спецификаций анализа (страница 4/12 IATA). Спецификации анализа сходны со спецификациями для данных CYCLE1. Введите или выберите следующую информацию в интерфейсе спецификаций анализа и нажмите Далее» для завершения анализа и просмотра результатов:

переменная идентификации учащегося - CYCLE2STDID;

весовая переменная - CYCLE2Weight;

ответы с кодом 9 оцениваются как неверные.

Переход к интерфейсу анализа заданий (страница 5/12 IATA) автоматически запустит анализ. Проблематичные задания в данных отсутствуют. При просмотре обратите внимание, что, хотя задания с дифференцированными ответами имеют несколько возможных оценок, некоторые из них по-прежнему будут «легкими» заданиями, где многие респонденты достигают высочайших оценочных категорий (например, MATHSA004). В свою очередь другие могут быть «сложными» заданиями, в которых относительно малое число респондентов достигают высоких оценочных категорий, например MATHSA005 (рис. 13.3).

Для просмотра результатов анализа размерности теста и проведения любого анализа дифференцированного функционирования заданий (DIF), которые могут дать интересные результаты по имеющимся демографическим переменным (местонахождение, гендерный признак, язык), продолжайте выполнять этапы последовательности действий, аналогичные описанным в предыдущих главах. Хотя мио-

РИС. 13.3

Результаты анализа заданий для данных CYCLE2, MATHSA005, оценка = 1

гие задания отмечены предупредительными символами для одного или нескольких анализов DIF, для целей настоящего примера делается допущение, что все эти задания адекватны. После просмотра анализа DIF нажмите Далее» для перехода к интерфейсу связывания.

ЭТАП 2: СВЯЗЫВАНИЕ ОБЩИХ ЗАДАНИЙ

Нажмите Расчет с левой стороны интерфейса (рис. 13.4). В результате автоматически будет выбрана и отображена таблица из всех 25 заданий, которые являются общими для справочных данных по заданиям и новых данных текущей национальной оценки. В таблице заданий первый столбец Use указывает, будет ли задание включено в оценку связывающих констант (по умолчанию включаются все задания, которые встречаются в справочных и новых данных). Столбец L содержит суммарный диагностический символ для каждого задания; установленный по умолчанию предупреждающий символ (желтый ромб) обновляется после того, как IATA рассчитает результаты связывания. Самым эффективным способом использования данного интерфейса будет сначала рассчитать результаты для всех заданий, а затем изучить диагностическую информацию для идентификации и удаления любых заданий с аномальными результатами. Повторяйте эти два этапа до момента достижения стабильной связи.

Нажмите кнопку Расчет для оценки связывающих констант и анализа статистического качества связи. По окончании расчета IATA выдаст сводную информацию о качестве связи в виде графика справа и обновит суммарные диагностические символы в таблице с заданиями слева (рис. 13.4). На графике отображены три линии: сплошная, пунктирная и точечная. Сплошная и пунктирная линии отображают характеристические кривые теста (ТСС). ТСС теста суммируют статистическое поведение всего набора заданий, обеспечивая информацию, аналогичную предоставляемой функцией ответов на задания (IRF). В идеале связанные и референтные ТСС должны быть идентичны (если видима только одна линия, значит, скорее всего, две другие идеально накладываются друг на друга), это указывает на то, что отличия в размере и изменчивости между связыРезультаты связывания общих заданий, CYCLE2 и CYCLE1

вающей и референтной шкалами учитываются по отображаемому диапазону уровней подготовки. Точечная линия отражает абсолютное различие между двумя ТСС, выраженную в виде пропорциональной доли общего тестового балла. Величина различия обычно меняется по диапазону уровней подготовки, а значит, связь может быть нестабильна для всех диапазонов баллов. Для диапазонов баллов с большими различиями связанные результаты не будут оцениваться в одной шкале с референтными данными и, соответственно, не будут сопоставимы. Однако если среднее различие невелико (например, < 0,01), ошибка может считаться ничтожной.

Целевая кривая (сплошная) представляет тестовые задания CYCLE1 (см. рис. 13.4), а связанная кривая (пунктирная) представляет тестовые задания CYCLE2 после связывания. Увидеть обе кривые на рисунке сложно, поскольку целевая и связанная ТСС практически идентичны, что также подтверждается кривой ошибок, имеющей постоянное значение приблизительно около нуля по всему отображенному диапазону уровней подготовки*.

Под графиком оцененные константы связывания отображены в двух текстовых полях. Константа местонахождения корректирует данные по различиям в величинах начальных шкал новых данных (текущая национальная оценка) и референтных данных (более ранняя оценка), а константа шкалы корректирует отличия в изменчивости шкал. В целом эти две константы могут интерпретироваться совместно, так что деление любого значения, выраженного в строке шкалы IRT CYCLE2 (например, IRT-балл учащегося из текущих результатов анализа) с помощью константы шкалы и прибавления константы местонахождения, обеспечит прямую сопоставимость связанного результата с оценками по шкале IRT CYCLE2. Такая сопоставимость означает, что после применения связывания шкал любые остаточные различия между результатами CYCLE1 и преобразованными результатами CYCLE2 представляют отличия в результатах выполнения теста, а не различия самих тестов.

В таблице заданий слева (см. рис. 13.4) диагностические символы обновляются после расчета для указания любых потенциально проблематичных связей на уровне заданий. Связанное задание является проблематичным, если связанная с ним IRF существенно отличается от референтной IRF. Нажатие на любое задание в списке заданий позволит вам просмотреть результаты функции связывания, применяемой к каждому тестовому заданию. Как и со сравнением ТСС для теста в целом, связанная IRF задания должна быть схожа с целевой IRF2. Даже если результаты для теста в целом кажутся очень хорошими, функции связывания могут не работать надлежащим образом для некоторых заданий. Однако на уровне заданий возникают большие ошибки выборки, поэтому различия между IRF обычно проблематичны, только если ошибка между связанной и референтной IRF составляет более 0,053 (см. пример для МАТНС1052 па рис. 13.5).

Типичная ситуация, приводящая к тому, что индивидуальное тестовое задание начинает проявлять своеобразное поведение, возникает, когда конкретная содержательная область, измеряемая

Результаты связывания общих заданий, CYCLE2 и CYCLE1, МАТНС1052

IATA Раде 8/12

связанным заданием, используется как основа для образовательных вмешательств между двумя периодами тестирования (например, повышенный акцент на использовании конкретной формы графиков по математике или на аспекте грамматики в языке). Поскольку результаты выполнения такого определенного теста вероятнее всего улучшатся своеобразным образом, константы связывания, оцененные для всех заданий вместе, не будут учитывать конкретные изменения для задания между первым и вторым предъявлением теста.

Задание МАТНС1052, отмеченное предупреждающим символом, является подходящим примером этого явления. Результаты для этого задания показаны па рис. 13.5. Хотя константы связывания кажутся успешно откорректированными по местонахождению задания (т.е. сложности задания по отношению к рассматриваемой выборке), некоторые разрывы между двумя линиями все же возникают, в особенности на более высоких уровнях подготовки. Целевая и связанная IRF отличны друг от друга, а точечная линия (внизу), выражающая различие между данными двумя функциями, доходит до значения 0,08, но в основном меньше 0,05. Такие различия являются несущественными, и в большинстве практических ситуаций величина ошибки не является проблематичной.

Если различия между7 целевой и связанной IRF будут значительными для того, чтобы вызвать проблему7 (например, если они стабильно больше 0,05 по всей ширине диапазона уровней подготовки), соответствующее задание должно быть удалено путем снятия галочки с ячейки рядом с названием задания в столбце Use и нажатия Расчет. Хотя одно или два задания могут быть удалены без исследований по установлению валидности, при удалении многих заданий из оценки связывающих функций валидность связи может ослабеть, поскольку якорные задания могут не отражать в достаточной мере заданный баланс содержания. Помните, что валидность связи зависит как от статистической стабильности заданий, так и от состоятельности представления содержания в двух рассматриваемых оценках. Если статистический анализ результатов предполагает, что некоторые задания должны быть удалены из связи, такая рекомендация должна быть доведена до сведения координационного комитета по национальной оценке перед принятием решения. Чем меньше число заданий, являющихся общими для двух связываемых оценок, тем слабее связь. В случае рассматриваемого примера результаты указывают на очень стабильную связь. В итоге команда по проведению национальной оценки может быть уверена, что тест, используемый в текущем оценивании (CYCLE2), уместен для мониторинга изменений уровня достижений учащихся с момента проведения предыдущего оценивания.

Два элемента управления под связывающими константами - выпадающее меню и кнопка Обновление - позволяют вам применять связывающие константы напрямую к результатам текущего анализа. Ознакомьтесь с результатами анализа в заключительном интерфейсе (страница IATA 12/12) последовательности действий анализа. Для применения констант к параметрам задания в текущих результатах (страница IATA 8/12) выполните следующие этапы:

1. Выберите Itemsl в выпадающем меню внизу.

2. Нажмите Обновление. IATA добавит связанные параметры заданий, шкала которых теперь представляет шкалу, установленную параметрами задания CYCLE1, в таблицу Задания! в результатах анализа. Связанные параметры задания будут идентифицированы как а_связь и Ь_связь. IATA сообщит о завершении обновления результатов.

Для обновления расчетных IRT-баллов в текущих результатах выполните следующие этапы:

  • 1. Выберите Scored в выпадающем меню.
  • 2. Нажмите Обновление. IATA добавит переменную оценки, которая называется LinkedScore, в оцененную таблицу в результатах анализа. Данный балл выражен по шкале, установленной параметрами задания CYCLE1.

После обновления результатов Iteml и Scored нажмите Далее» для продолжения.

ЭТАП 3: ПЕРЕШКАЛИРОВАНИЕ СВЯЗАННЫХ РЕЗУЛЬТАТОВ

Если вы применили константы связывания к таблице с оцененными данными, как описано в этапе 2, интерфейс IATA Изменить масштаб и Установка шкалы (страница 9/12 IATA) включит название LinkedScore в выпадающее меню в верхнем левом углу. Выберите LinkedScore для отображения графических и статистических сводных данных для связанных результатов CYCLE2, выраженных по шкале, которая установлена справочными данными по заданиям CYCLE1. LinkedScore в рассматриваемом примере имеет среднее значение 0,10 и стандартное отклонение 1,07. Обратите внимание, что результаты по умолчанию могут отображать сводные статистические показатели для результатов по переменной PercentScore; для отображения корректных результатов по переменной LinkedScore выберите ее с использованием выпадающего меню.

Для перевода связанного IRT-балла в шкалированный балл, который можно сравнить с переменной NAMscore, полученной в ходе анализа данных CYCLE1, выполните следующие этапы:

  • 1. Введите NAMscore в текстовое поле под подписью Добавить новый показатель масштаба.
  • 2. Введите 100 (значение, изначально установленное для данных CYCLE!) в ячейку Задать отклонение св.
  • 3. Введите 500 (значение, изначально установленное для данных CYCLE!) в ячейку Укажите среднее.
  • 4. Выберите опцию Изменить масштаб. Данная опция обеспечит сохранение новым шкалированным баллом связи, оцененной в предыдущем интерфейсе.
  • 5. Нажмите Расчет. IATA создаст новый шкалированный балл и отобразит распределение и показатели описательной статистики, как показано на рис. 13.6. Среднее значение 510,36

РИС. 13.6

Результаты тестов CYCLE2, выраженные по шкале CYCLE1 (NAMscore)

указывает на то, что результаты текущего года показывают улуч-шение на 10,36 пунктов по сравнению с предыдущей оценкой.

Поскольку текущая последовательность действий используется для операций связывания, IATA автоматически выдаст новый шкалированный балл с использованием связанного IRT-балла. При наличии соответствующих связанных заданий процедура связывания IATA смогла выдать баллы NAMscores для двух отдельных оценочных процедур, которые могут быть сравнены между собой, так как они рассчитаны в одной шкале.

После добавления нового шкалированного балла к результатам нажмите Далее» для продолжения.

ЭТАП 4: НАЗНАЧЕНИЕ СТАНДАРТОВ ВЫПОЛНЕНИЯ

Большая часть задач в последовательности действий Анализ данных ответа со связыванием выполняется аналогично задачам из предыдущих последовательностей действий. Анализ выбора заданий на странице 10/12 IATA может быть проведен в качестве самостоятельного упражнения. Однако стандарты пороговых значений обрабатываются иным образом. После первой национальной оценки установление стандартов должно осуществляться исключительно с помощью опыта валидизации. Периодический пересмотр пороговых значений будет полезен для определения необходимости установления новых стандартов выполнения (например, если качество образования улучшается). Однако установление новых пороговых значений для уровней подготовки обычно должно совпадать со значительными политическими изменениями, например с реформированием образовательных программ.

При входе в интерфейс Разработка и назначение стандартов выполнения в IATA (страница 11/12 IATA) вы можете использовать два источника параметров задания для направления процесса установления стандартов: задания, используемые в текущей оценке (Jtemsl), или референтные задания, использованные в предыдущей оценке (Items2). Данные источники параметров заданий доступны в выпадающем меню над таблицей слева. Сводные статистические показатели, описывающие параметры задания и пороговые значения, приведены в таблице в нижнем правом углу в соответствии с выбранным источником параметров задания. Сводные статистические показатели, отображаемые при входе в интерфейс, описывают оценки из текущих данных (CYCLE2) в таблице Itemsl. Настоятельно рекомендуется использовать источник Itemsl, выбранный по умолчанию, поскольку таблица Items2 содержит все задания, используемые для получения текущих результатов тестов.

Установление стандартов должно осуществляться, только если: а) процедура установления стандартов не была уже выполнена в предыдущем цикле оценки; б) есть причины подозревать, что стандарты пороговых значений изменились в том смысле, что нормативные ожидания в отношении видов навыков или качества обучения могли измениться со временем.

Обратите внимание, что результаты выполнения тестов учащимися отличаются от стандартов выполнения. Например, результаты выполнения тестов учащимися могут повышаться, если учащиеся лучше сдали тесты, но стандарты пороговых значений могут при этом ухудшаться, если заинтересованные лица имеют заниженные ожидания в отношении того, что представляет собой «приемлемое» выполнение. Повторение процесса установления стандартов с использованием различных наборов параметров может помочь определить, являются ли стандарты стабильными по оценкам. Если стандарты стабильны, повторение процесса установления стандартов с использованием различных наборов заданий будет давать сходные наборы пороговых значений. При повторении любых процессов установления стандартов помните, что параметры задания в таблице Itemsl относятся к распределению уровней подготовки в текущей оценке до применения любого связывания, а параметры задания в таблице Items2- к распределению уровней подготовки в предыдущей оценке. Для сравнения пороговых значений, полученных в результате анализа различных источников параметров заданий, примените константы связывания (например, как показано на рис. 13.5).

Поскольку результаты выполнения улучшились по сравнению с данными CYCLE1, средние значения параметра задания Сбудут ниже, чем для данных CYCLE1 для заданий, классифицируемых на том же уровне. Однако вы не должны оценивать новые пороговые значения в текущей последовательности действий, поскольку стандарты пороговых значений были изначально установлены и определены в анализе данных CYCLE1. Следующие пороговые значения (установленные в рамках первой национальной оценки) используются для этой национальной оценки:

  • • Уровень 4: 0,95;
  • • Уровень 3: 0,35;
  • • Уровень 2: -0,25;
  • • Уровень 1: -0,85.

Примените стандарты пороговых значений к данным CYCLE1 путем ручного ввода пороговых значений в столбец Threshold таблицы, как показано на рис. 13.7, и нажатия кнопки Добавить уровни. Для

РИС. 13.7

Определение стандартов выполнения, данные CYCLE2

обновления данных пороговых значений сначала откорректируйте вероятность ответа с использованием скользящего регулятора в центре интерфейса; в результате IATA создаст таблиц)7 со значениями по умолчанию, которые могул’быть заменены значениями, присвоенными из пошагового анализа CYCLE1. Затем переменная Level будет добавлена в таблицу с данными учащихся Оцененные. Хотя спецификации стандартов выполнения не меняются на основании последовательности действий, данный интерфейс, как и интерфейс шкалирования, распознает использование последовательности действий связывания и распределит учащихся по уровням на основе связанного, а не необработанного IRT-балла.

Полученные в результате проведения такого пошагового анализа данные по заданиям включаются в файл ItemDataAUTests.xls на лист ReferenceC2.

ПРИМЕЧАНИЯ

  • 1. Для получения более интересных результатов с большей ошибкой повторите рассмотренный анализ с результатами PILOT 1 и PILOT2 в качестве самостоятельного упражнения. Помните, что для достижения цели минимизации ошибок в процессе связывания связанные тесты должны иметь достаточное число якорных заданий и достаточно крупный размер выборок для получения точных статистических показателей.
  • 2. Если у вас есть данные по ответам из обеих оценок, вы можете провести более чувствительный анализ, исследуя DIF в последовательности действий «Анализ данных по ответам» по комбинированным файлам с данными по ответам с использованием идентификатора исходных данных в качестве переменной DIF. Полученные IRT-баллы будут автоматически связаны, однако их интерпретация в шкале любого из тестов будет невозможна, кроме случаев, когда параметры задания закреплены.
  • 3. Единственное исключение возникает только при использовании заданий с высокой дискриминативностью. Значительные различия (например, где линия ошибки более 0,05) между функциями IRF обычно указывают иа наличие проблем. Если такие различия возникают только в отношении небольшого диапазона уровней подготовки (например, по диапазону менее 0,4 точек шкалы уровня подготовки - две отмеченные точки на предполагаемой оси х графика), они не окажут неблагоприятного воздействия на качество связи.
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >