Разработка и исследование оптимальных тестовых композиций матричного типа

Рассмотрим вопросы, связанные с адекватным преобразованием текста, представленного в различных источниках, в тестовые композиции и с оценкой возможных потерь информации.

Существующие источники информации можно подразделить на две основные группы. К одной из них относятся первичные источники, обладающие высокой информационной емкостью (публикации в журналах, патенты другие виды научных изданий), к другой — вторичные, переработанные, упрощенные, адаптированные для различных условий (учебники, учебные пособия, конспекты лекций и другие документы).

Если проводить аналогию с радиотехническими системами, то первая группа представляет собой генераторы информации (сигналов), а ко второй — относятся преобразователи (по аналогии, например, с первичными измерительными и другими видами преобразователями) информации, в число которых может входить несколько каскадов. При этом цепь должна заканчиваться выходным устройством, которое отображает соответствующую информацию. Этим элементом в учебном процессе является обучающийся (студент).

При переходе обучающегося в процессе познания от одного источника информации к другому внутри одной или различных групп существует вероятность появления нового знания. Для расчета вероятности появления нового знания предложим метод применения известной формулы Байеса [157], полагая, что Р(А) — 1 (априорная вероятность гипотезы А), т. е. знание, полученное обучающимся в процессе познания на основе источника информации, является «новым» относительно его базы начальных знаний. Задача состоит в определении полноты и информативности знания относительно выбранного источника.

Пусть событие, связанное с изучением первичного источника, характеризуется вероятностью

где Р(А | В) — вероятность появления нового знания А при наличии информации источника В Р(А U В) — вероятность правильного выбора источника информации В при условии истинности нового знания в рамках исследуемой области, т. е. информация, представляемая источником В (первичные и вторичные источники), является достаточной для истинности нового знания Л; Р{В) — вероятность выбора источника информации В. Тогда равенство

может выступать в качестве условия появления нового знания А.

Проведем оценку уровня информативности, т. е. сравнительную характеристику уровней полученного знания А относительно различных источников информации В_х, В-2, источников информации одной или различных групп (В, В-2) относительно появления нового знания А с помощью соотношения (7.4):

Из полученных формул (7.6) уровень информативности (Ubj) источника Bi по отношению к возникновению нового знания А

Аналогично

Из полученных формул (7.7), (7.8) уровень информативности источников (jBi, В₂) по отношению к друг другу

Таким образом, необходимо перейти на функционирование учебного процесса, направленного на работу с высокими уровнями информативности .

На современном этапе развития тестовых технологий достаточно важным является создание оптимальных условий при формировании тестовых композиций для наиболее корректного решения поставленной задачи. Рассмотрим критерий оптимальности, используя формулы из теории Байеса. Для тестовых композиций матричного типа используется понятие уровня соответствия, при этом возможны две ситуации: полное и неполное соответствие элементов множеств.

В первом случае каждому элементу вспомогательного множества должен ставиться в соответствие элемент основного множества, при этом важную роль играет принцип максимального соответствия. С помощью теоремы Байеса вероятность решения задачи может быть представлена формулой

где Р{А | В) — вероятность распознавания элементов основного множества А при наличии элементов (признаков) вспомогательного множества В Р(А U В) — вероятность верного распознавания при установлении соответствий между элементами множеств А и В при условии истинности элементов множества Л; Р(В) — вероятность выбора элементов (признаков) вспомогательного множества В, причем Р(В) — P(bi j Ь'2,... b_m), Р{А) = 1, так как выбор элементов основного множества является первым этапом в разработке тестовых композиций матричного типа, от которого разработчик использует при подборе элементов вспомогательных множеств В. Второй случай характеризуется наличием невостребованных элементов вспомогательного множества, при этом полученная вероятность (7.10) будет уменьшаться в связи с появлением дистракторов (неинформационных признаков).

Генерируемые тестовые структуры могут содержать два, три и п множеств.

В первом случае вспомогательное множество В должно быть достаточным для распознавания элементов основного множества Л, при этом вероятность полного соответствия элементов определяется из формулы (7.10):

Во втором случае возможны три ситуации, не учитывая случай некорректного составления:

1) одно из множеств (В) является достаточным, другое (С) — избыточным, дополняющим достаточное множество, и при этом формула (7.11) имеет вид

2) оба множества (В. С) являются достаточными, при этом формула (7.12) имеет вид

• множества В, С являются взаимодополняющими, при этом

формула (7.13) имеет вид

В третьем случае количество вспомогательных множеств может быть неограниченным, при этом задания должны быть составлены так, чтобы вероятность решения поставленной задачи была равна 1

при абсолютных знаниях тестируемого в рамках заданной области:

Если имеется несколько вспомогательных множеств (В, С), то можно оценить их уровень информативности, т. е. сравнительные характеристики уровней распознавания элементов множества А с помощью различных вспомогательных множеств В, С по отношению к основному множеству (Л) с помощью выражения

Из формул (7.16) уровень информативности (Ub) вспомогательного множества В по отношению к основному множеству А

Аналогично

Из формул (7.17), (7.18) уровень взаимной информативности

вспомогательных множеств В, С

В следующем подразделе представлены разработка и интерпретация логистических моделей.

Построение и правила формирования структур с произвольным числом событий и признаков на основе логистической модели

Используя традиционные понятия логистики в тестовых технологиях, предлагаем методику построения тестовых композиций различного уровня трудности [158], которая включает следующие этапы: выделение объектов исследования в соответствии с рассматриваемой областью; определение перечня наиболее значимых категорий для данных объектов и их возможного диапазона изменений; ранжирование признаков (свойств), входящих в составленный перечень и выделение наиболее значимых для исследуемых объектов;

оценка модели на достаточность, избыточность признаков, установление соответствий построением траекторий с дальнейшем определением уровня информативности цепочек необходимого для обеспечения корректности схемы.

В общем случае матричная структура тестовой композиции на соответствие имеет вид:

где «„ — элементы основного множества А, п — 1,2,...; bj, Ck, di, ..., fm — элементы вспомогательных множеств В, С, D,..., F соответственно, j — к — i — ... — то = 1,2,..Jj — К к — I, — М_ш — 0,1,2,... — число востребованности элемента.

Для таких структур авторами сформулированы правила, необходимые для интерпретации сложных логистических схем. Ниже приведены 5 из 12 правил.

• 1. Каждому элементу основного множества ставится в соответствие единственный элемент другого множества, т. е. справедливо однозначное соответствие элементов сопоставляемых множеств.
• 2. Число элементов в вспомогательных множествах может быть

равным, большим или меньшим числу элементов в основном множестве: n — j — к = i — га, или n > j,n > k,n > г,... ,n > т, или n < j,n < k,n < < т.

• 3. Отдельные элементы вспомогательных множеств могут быть востребованы для соответствия элементам основного множества один и более раз, т. е. элементы вспомогательных множеств не являются дистракторами.
• 4. При наличии дистракторов в вспомогательных множествах необходимо корректировать неравенства, указанные в правиле 2, так как появятся невостребованные элементы в вспомогательных множествах.
• 5. Вспомогательное множество В является достаточным, если bj — a_n, J ф 0, .J — di = ? ? ? = Jj — 1, и каждому элементу основного множества a_n ставится в соответствие только один элемент вспомогательного множества bj.

Авторами разработан комплекс тестовых композиций по направлению 210100 «Электроника и микроэлектроника». На рис. 7.5 на примере тестового задания «ЛБВ, ЛОВ -О или -М типа в генеТаблица 7.2

Тестовое задание «ЛБВ, ЛОВ -О или -М типа в генераторном или усилительном режиме»

Раздел

Рис. 7.5. Логистическая схема несимметричной структуры тестового задания, представленного в табл. 7.2

раторном или усилительном режиме» (табл. 7.2) представлена логистическая схема.

Обобщенная логистическая схема на рис. 7.5 обладает наиболее полной информацией об изучаемых распознаваемых устройствах и позволяет анализировать с позиций достаточности и избыточности характеристик, что лучше детализирует материал и способствует расширению возможности идентификации устройств, используя различные сочетания множеств.

Использование логистических правил для разработки логистических схем позволяет выделить следующие возможности в тестовых технологиях: создание интегрированной эффективной системы управления информационными потоками; определение наиболее правдоподобных соответствий между объектами и информационными потоками; контроль за отдельными данными об объектах для обеспечения передачи наиболее полной и достоверной информации; развитие навыков анализа и синтеза; управление операциями движения по траекториям с выявлением наиболее коротких и информативных цепочек взаимосвязей (принципы достаточности и избыточности).