МОДЕЛИРОВАНИЕ ОБРАЗОВАТЕЛЬНОЙ СИСТЕМЫ НАКОПЛЕНИЯ ЗНАНИЙ ДЛЯ ПРОГНОЗИРОВАНИЯ И УПРАВЛЕНИЯ КАЧЕСТВОМ ПОДГОТОВКИ СТУДЕНТОВ НА ОСНОВЕ ТЕХНОЛОГИИ ФОРСАЙТА

Колдаев В. Д.

Национальный исследовательский университет Московский государственный институт электронной техники, г. Москва

Процесс интеграции отечественной системы высшего профессионального образования в международное образовательное пространство привел к необходимости непрерывного совершенствования качества и эффективности системы образования, обновления его содержания и методологии, реализации инновационных подходов и технологий, введения международных нормативов материально-технического обеспечения образовательного процесса, разработки единой внешней и внутренней системы контроля и оценки знаний студентов. Подтверждением этого факта является формирование общероссийской системы контроля и оценки качества обучения (ОСОКО), соответствующей европейским стандартам, позволяющей эффективно управлять проводимой образовательной политикой.

Одним из методов, позволяющих получать объективную образовательную информацию, является тестовый контроль. Структурные элементы такой системы оценки качества обучения представляют собой совокупность взаимодействующих объектов различной природы, обладающих явно выраженным си стемным свойством - ориентацией на измерения и измеримость. Основанный на теории педагогических измерений тестовый контроль позволяет путем многофакторного и многомерного анализа статистических результатов учебных достижений выявить отражение качества процесса в атрибутах результата, дать количественные показатели результатов учебного труда не только студентов, но других субъектов образования (преподавателей, управленцев и др.). Логика оценки при этом задастся на основе использования математических моделей конструирования педагогических измерителей и использования методов статистической обработки результатов [2, 4].

Направления более полного использования результатов педагогического тестирования связываются нс только с необходимостью оценивания качества образования, но и с возможностью выявления характеристик личностного развития обучающихся, качества учебного процесса и образовательных систем. Педагогическое тестирование, измеряя когнитивный компонент образования в количественных показателях, позволяет в какой-то мерс сравнивать и сопоставлять различных субъектов образования по отдельным качественным параметрам, оценивать некоторые характеристики обучающихся, такие, как гибкость мышления, упорство, собранность, целеустремленность, мобилизация на достижение результата, развитие компетенций, навыки самоорганизации, самоподготовки и целеполагания при обучении и аттестации.

Одной из форм контроля и оценки знаний студентов является балльно-рейтипговая система (БРС), которая определена объектом изучения формирующейся науки - педагогической квалиметрии (рис.1).

Работа на семинарах

Реферат, доклад, эссе и др

Внеаудиторные .мероприятия

Посещение занятий

  • 1-й рубежный контроль
  • 2-й рубежный контроль

Итоговое тестирование

Задания из профессионально ориентированного блока

Задания из общеобразовательного блока

Задания из социокультурного блока

5

Творческая исследовательская деятельность

Рисунок 1. Модель реализации балльно-рейтинговой системы контроля

Формы и методы реализации БРС отражены в трудах О.В. Боева, Л.Н. Давыдовой, Ф.Х. Киргуевой, А.Л. Суржикова, А.Ф. Цахоевой, П.С. Чубик и др. Вопросы диагностики знаний на основе БРС с использованием тестовых измерителей рассмотрены в исследованиях Л.С. Гребнева, Н.А. Зинченко, Е.Н. Лебедевой, А.А. Макарова, Л.А. Серебряковой, С.Р. Сакаевой и др. В условиях перехода на многоуровневую систему высшего профессионального образования в педагогической практике возрастает потребность в технологиях конструирования педагогической квалиметрии для оценки качества знаний студентов (В.С. Аванесов, С.С. Андреев, В.П. Беспалько, А.И. Котов, Е.Н. Лебедева, А.Н. Майоров, Л.И. Хомина, О.Ф. Шихова и др.). Однако работы, посвященные непосредственно изучению квалимстричсского подхода к диагностике уровня знаний студентов вузов, пока единичны (Б.Г. Литвак, Т.А. Сниги-рсва, А.И. Субстто, Ю.К. Чернова), причем технология квалимстричсского образования как педагогическая проблема практически не разработана.

Квалимстричсский подход, базирующийся на концептуальных положениях теории педагогических измерений, массовости и независимости процедур тестирования, методах математической статистики и педагогического интерпретационного анализа, может обеспечить строгость, четкость и упорядоченность сведений о подготовленности и степени развития студентов. Расширяющиеся объемы независимого тестирования студентов и выпускников вузов включают все большее число субъектов образования в новую контрольно-оценочную деятельность, создаются условия для контроля качества образования но определенным показателям, актуализируется проблема повышения эффективности использования материалов, технологий и результатов тестирования [4].

Системность и независимость различных видов обучающего и аттестационного тестирования создают условия для практической реализации принципов личностно-ориентированного и развивающего образования на основе получения объективных оценок, дифференциации уровней подготовленности студентов и индивидуализации обучения. Именно статистические методы анализа результатов массового тестирования дают возможность от индивидуальных отметок учащихся перейти к оценкам самой образовательной системы или подсистемы, оценить ее состояние относительно статистических норм, зафиксировать адекватные состояния всей образовательной системы и ее отдельных подсистем на момент измерения.

Существует множество методик комплексного количественного измерения качества. В зависимости от используемых средств различают следующие методы измерения показателей качества: экспериментальный - основывается на обнаружении и подсчете числа отрицательных факторов или признаков; расчетный - вычисляются показатели качества в зависимости от значений различных параметров учебного процесса; экспертный (эвристический) - учитываются мнения специалистов (экспертов); органолептический - основывается на ощущениях органов чувств человека; социологический - сбор и анализ мнений фактических или возможных заказчиков [8].

Педагогическая квалимстрия состоит из последовательно взаимосвязанных действий: анализа и синтеза, предполагающего выделение в изучаемом объекте частей, оценку роли и место каждой части, установление связей между частями; целеполагания и планирования, являющихся необходимым условием развития педагогических систем; организационной деятельности, направленной на выполнение принятых решений и включающей помимо исполнителей, отбор форм и методов предстоящей деятельности и соотношение их с реальными условиями и возможностями; контроля качества, предполагающего процесс соизмерения фактически достигнутых результатов с запланированными; количественной оценки, состоящей из отношения показателя качества рассматриваемого педагогического объекта к показателю качества объекта, принятого за эталон.

Актуальность процедур педагогического диагностирования с помощью квалимстричсского анализа при исследовании проблемы повышения объективности основывается на существующих противоречиях:

  • • между уровнем развития дидактической тестологии, который позволяет обеспечить объективную оценку качества обучения, и отсутствием технологий квалиметрического анализа диагностических процедур, оценивающих состояние образовательной среды;
  • • между содержательной формулировкой педагогического диагноза и количественным представлением квалиметрических показателей;
  • • между оснащением психологических опросников индикаторными методами выявления ситуативных ответов и отсутствием подобных методик в педагогических опросниках, анкетах и экспертных бланках.

Технология квалиметрического анкетирования включает в себя отбор критериев и показателей на основе выборочного метода; начисление респондентами рейтинговых баллов по каждому критериальному показателю; определение профессиональной квалификации респондентов на основе корреляционного метода и присвоение статуса эксперта; формулировку педагогического диагноза на основе экспертных суждений; оценку конкордации (статистической связи) суждений членов экспертной группы и вычисление интегрального показателя состояния образовательного процесса.

Каждый более высокий уровень обобщения данных последовательно вбирает в себя результаты нижних уровней, обеспечивая для любой выборки испытуемых статистические характеристики одного и того же свойства: сроки проведения контроля, материалы и процедуры тестирования, методы шкалирования и оценивания. Возможность сравнения с данными генеральной выборки (множества испытуемых) в условиях массового тестирования позволяет всем субъектам образования выявлять реальные достижения собственной деятельности, оценивать их относительно других образовательных систем как по вертикали (студент, группа, факультет, вуз, регион, страна), так и по горизонтали в однотипном ряду (на уровне студентов, групп, общеобразовательных учреждений одного типа и т.д.).

В процессе создания технологии квалиметрического анализа используются методы теории образовательной квалиметрии, в основу которых положены принципы инвариантности и дискретности [6].

Прагматические методы - совокупность приемов обработки информации, источником которой являются опыт и перспективные экспертные оценки. Экспертные прогнозы могут создаваться отдельными экспертами либо группами экспертов (нередко к участию привлекаются субъекты извне). Эти методы становятся все более востребованными при формировании экспертных, интеллектуальных систем в концепции совершенствования информационных технологий для образовательных систем.

Экстраполяционные методы в отличие от прагматических не имеют эвристического характера. Они основываются на математико-статистических методах обработки данных и на прогнозировании. Предпосылкой получения надежных результатов экстраполяции служат, прежде всего, стабильность условий, непрерывность развития и достаточные объем и качество сведений о прошлом. С целью выявления закономерностей развития в истекшем периоде прошлые данные организовывают в виде временных рядов с тем, чтобы обнаружить тренды, циклы и случайные колебания.

Казуальные методы основываются на причинно-следственных связях между явлениями. Главными здесь являются не зависимости во времени, как в предыдущих методах, а зависимости, в которых один элемент обусловливает или является причиной другого, производного от него или вызванного его изменением. Таким образом, казуальные методы изучают факторные зависимости. В соответствии с характером зависимости между явлениями или величинами, характеризующими данные явления, выделяют следующие казуальные прогнозы: детерминистские, при которых прогноз составляется при условии определенности, когда казуальное отношение между величинами однозначно; стохастические - применяют, когда отношения между величинами определены не однозначно (стохастично), т.е. прогнозируемые величины в этом случае всегда имеют неопределенность. Основой создания прогноза выступает идентификация стохастических зависимостей между величинами.

В настоящее время часто используются инструментальные способы диагностики качества обучения, опирающиеся на методы математической статистики и учитывающие реальные возможности каждого студента и его учебные достижения:

  • 1) по среднему арифметическому показателю успеваемости каждого студента, определенному по его итоговым оценкам за год. Этот способ не обладает необходимой точностью, так как иногда за выставленными тройками стоят подразумеваемые двойки, которые необходимо учитывать в диагностике, иначе индексы будут завышенными;
  • 2) по среднему арифметическому показателю успеваемости каждого студента, по текущим оценкам за год. Этот способ обладает необходимой точностью, однако он трудоемок - требует большого количества времени на обработку и накопление необходимого количества оценок за год;
  • 3) по диагностической таблице с применением метода доверительной компетентности. Диагностическую карту заполняет преподаватель, хорошо знающий учебные возможности учащихся и умеющий провести диагностические процедуры с максимальной точностью;
  • 4) по диагностической таблице с использованием метода групповых экспертных оценок. Диагностическую карту заполняет преподаватель, работающий в группе, а необходимые показатели выводятся по среднему арифметическому полученных данных;
  • 5) в комплексном способе показатели определяются на основании данных, полученных в результате применения 2-3 методик. Такое диагностирование позволяет получить показатели, достаточно точно характеризующие учебные возможности группы, а именно индексы: реальных учебных возможностей группы (ИРВ)', полного усвоения программного материала, или работы с сильными студентами (ИУСВУ, прогнозируемого уменьшения неуспевающих студентов, или работы с неуспевающими учащимися (ИНЕУС11).

Случайная выборка с учетом отдельных параметров модели студента является развитием нсадаптивных методов контроля знаний: набор заданий формируется непосредственно перед контролем, но при генерации заданий используются такие параметры моделируемой системы, как общий уровень подготовленности и способность к обучению. Таким образом, каждому студенту генерируется набор заданий, соответствующий его уровню подготовленности и способностям, что является главным преимуществом данного метода. При формировании вопросов студенту целесообразно включить в набор один-два задания повышенной трудности и значимости.

В модульно-рейтинговом методе учебный материал (УМ) разделяется на отдельные составляющие - модули, для каждого из которых заранее подготавливается комплект контрольных заданий. В процессе тестирования студенту сначала предлагаются вопросы из первого модуля, и после каждого ответа студента вычисляется его рейтинг. Переход к вопросам следующего модуля может осуществляться досрочно при достижении определенного, заранее установленного рейтинга. При этом студент с целью повышения своего рейтинга, а следовательно, и оценки, может продолжить выполнение заданий текущего модуля и лишь, затем перейти к следующему.

В методе контроля на основе модели УМ формирование набора заданий (курса, темы, подраздела) представляет собой ориентированный граф: множество вершин графа соответствует объектам изучения, а множество ребер - связям между ними. Изучение УМ и организация контроля осуществляется в соответствии с оптимальной последовательностью изложения учебного материала, которая представляет собой линейную очередность объектов изучения. Таким образом, сначала генерируется задание для проверки знаний первого учебного объекта, затем - второго и т.д. (последовательность выдачи заданий аналогична последовательности изучения учебного материала по модели УМ). При этом одному учебному объекту могут соответствовать несколько вопросов. Контроль на основе ответов студента осуществляется по заранее составленному сценарию, т.е. по разветвленной контролирующей программе (рис.2), где вершины графа В, соответствуют вопросам, предлагаемым студенту, а дуги указывают следующий формируемый вопрос в зависимости от ответа: Пр - правильный ответ; Нт - неточный ответ; Нп - неправильный ответ.

Рисунок 2. Пример сценария контроля

Предварительная подготовка сценария контрольных заданий (КЗ) дает возможность включить в программу вопросы разной степени трудности и значимости, расположив наиболее значимые и трудные задания в основной ветви программы (на рис.2 это вопросы В и /?6), а более простые - в разветвлениях. Таким образом, студенты получают разнос число вопросов, а следовательно, и время, затрачиваемое ими на контроль, различно, что является достоинством данного метода. Другое преимущество метода - простота обеспечения обратной связи (выдачи соответствующего комментария). Однако такой подход имеет существенный недостаток: всем студентам предлагаются одни и тс же задания, однажды включенные в контролирующую программу. Устранить этот недостаток можно, если отделить сценарий формирования КЗ от набора контрольных заданий. Для этого необходимо подготовить комплект однотипных вопросов для каждого Д, включенного в сценарий контроля, т.е. В{ = {вд, в,2» ..., в}, а в процессе контроля случайным образом генерировать студенту вопрос из комплекта В,.

Ответы студента, основанные па байесовском подходе к принятию решений в условиях неопределенности, предусматривают вычисление вероятностей для оценки знаний учащегося. Если рассчитанные вероятности не позволяют однозначно оценить проверяемые знания, то студенту предлагается еще один дополнительный вопрос. В противном случае контроль продолжается, причем минимальное число вопросов п задается заранее.

Количественные признаки качества преподавания. Результативность -один из самых важных показателей труда преподавателя, который выявляется в ходе анализа контрольных работ и определяется процентным соотношением предложенного преподавателем объема заданий и выполненного студентом. Эффективной считается деятельность педагога в том случае, если полученная в ходе анализа результативность (РЕЗ) совпадает с прогнозируемым преподавателем уровнем реальных возможностей (УРВ) студентов или превышает этот показатель.

Объективность (достоверность) оценки - вопрос, который не может не волновать руководителя учебного заведения, так как справедливое оценивание имеет большое воспитательное значение. Анализ контрольных работ позволил сделать вывод: многие оценки преподавателей (50%) необъективны, причем в большинстве - в сторону занижения (40%). Это вызывает неудовлетворенность студентов и утрату доверия преподавателя. Объективность оценок определяется сравнением полученного результата (РЕЗ) с оценочным показателем. Если разница между ними составляет менее 10%, значит, оценка выставлена объективно, она достоверно отражает учебные возможности студента [7].

Показатель уровня реальных учебных возможностей учащихся (УРВ) позволяет увидеть результаты педагогического труда в группах с различным составом студентов. Определяется этот показатель по процентному отношению полученных в ходе анализа результатов контрольной работы к индексу реальных возможностей студентов. Эффективность педагогического труда определяется по совпадению показателей или по приросту полученного показателя к прогнозируемому.

Состояние работы с неуспевающими студентами (НЕУСП) - один из важных показателей эффективной деятельности преподавателя. Уменьшение числа неуспевающих, нс сумевших выполнить задание в ходе анализа контрольных работ, свидетельствует об эффективном труде педагога со слабоуспевающими учащимися.

Квалифицированный анализ контрольных работ, снабженный надежным диагностическим инструментом, может очень многое сказать о деятельности преподавателя. В определении ее эффективности квалифицированно проведенная диагностика имеет решающее значение (рис.З).

Цели, методы и субъекты тестирования

Рисунок 3. Цели, методы и субъекты тестирования

Чтобы сделать достоверным вывод о качестве преподавания в студенческой группе, необходимо вычислить индексы учебных достижений группы с учетом возможностей каждого студента, применив для этого необходимые способы диагностики: определение индексов ИУРВ, ИУСВ, ИНЕУСП для оценивания индивидуальных способностей учащихся.

Пусть, например, индексы учебных возможностей имеют следующие количественные значения: ИУРВ = 69% (индекс реальных возможностей); ИУСВ = 35% (индекс полного усвоения материала); ИНЕУСП = 31% (индекс неуспешное™).

Определяются эти показатели в результате обработки диагностической карты:

Сумма баллов ? 100% 59 100%

ИУРВ =---------------------=-------= 69%.

5 • Количество студентов 5-17

Студенты группы, таким образом, могут выполнить предложенный объем контрольной работы на 69%.

ИУСВ — К°личество студентов на 4; 4,5; 5) 100% _ 6 100% _

Количество студентов 17

ИНЕУСП = 100% - ИУРВ = 100% - 69% = 31%.

Определение результативности выполнения контрольной работы (РЕЗУ

Ф РЕЗ =—100%,

Д

где Ф - фактически выполненное студентами количество заданий; Д - суммарное количество заданий.

ИУСП = 100% - РЕЗ', (индекс успешности обучения).

Определение оценочного показателя учебных возможностей студентов (успешности):

ОЦ =----Сумма оценок--1(ю%

5 ? Количество студентов

Определение уровня реализации учебных возможностей (УРВУ.

PF3

УРВ = — ?•1(Х)%.

ИУРВ

В соответствии с показателями индексов учебных достижений можно сделать вывод об эффективности учебного процесса в группе: объективность (достоверность) оценки студентов; качество работы с сильными учащимися; анализ реализации учебных возможностей учащихся; учет показателей прогнозируемой неуспешности (неуспеваемости).

Методы квалимстрии в сочетании с методами матсматачсской статистики позволяют положительно оценить эффективность педагогического труда, если [1,7]:

  • • показатель результативности выполнения работы равен индексу реальных возможностей студентов, превышает прогнозируемый результат или меньше его на 5% (РЕЗ > ИРВУ,
  • • оценочный показатель (объективность оценки) равен или отличается от показателя результативности не более, чем на 5% (РЕЗ = ОЦУ,
  • • показатель полного усвоения программного материала совпадает с прогнозируемым результатом, превышает его или меньше не более, чем на 5% (УСВ>ИУСВ);
  • • показатель уровня реализации учебных возможностей равен 100% (УРВ равен 100%), или меньше не более, чем на 5%;
  • • показатель контрольной работы, выполненной слабыми учащимися, равен прогнозируемому результату или немного уменьшен по сравнению с ним.

Методики форсайта - система методов экспертной оценки стратегических направлений социально-экономического и инновационного развития, выявления технологических прорывов, способных оказать воздействие на экономику и общество в средней и долгосрочной перспективе.

Впервые термин «foresight» употребил известный писатель-фантаст Герберт Уэллс в 1930г. Выступая на ВВС, он предложил ввести особую специальность - «профессор предвидения», который подобно историку будет анализировать и находить применение будущим технологическим открытиям. Впервые такая попытка была предпринята в 1950-е годы корпорацией RAND, позже эту идею подхватили японцы, которые, начиная с 1970 года, каждые пять лет проводят масштабное исследование долгосрочных перспектив развития технологий. Вначале 1980-х в США стартовал национальный проект по разработке «критических технологий». А к середине 1990-х гг. к поиску приоритетов инновационного развития подключились многие страны Европы, Азии, Латинской Америки, в том числе государства с переходной экономикой.

Основой для оценки вариантов будущего являются экспертные оценки. Методология форсайт вобрала в себя десятки традиционных и достаточно новых экспертных методов. При этом происходит их постоянное совершенствование, отработка приемов и процедур, что обеспечивает повышение обоснованности предвидения перспектив научно-технического и социально-экономического развития. Основной вектор развития методологии направлен на более активное и целенаправленное использование знаний экспертов, участвующих в проектах. В каждом из форсайт-проектов применяется комбинация различных методов, в числе которых экспертные панели, метод Дельфи, SWOT-анализ, мозговой штурм, построение сценариев, технологические дорожные карты, деревья релевантности, анализ взаимного влияния и др. Чтобы учесть все возможные варианты и получить полную картину, привлекается, как правило, значительное число экспертов. Так, в японских долгосрочных прогнозах научно-технологического развития, проводимых каждые пять лет, участвует более 2-х тысяч экспертов, которые представляют все важнейшие направления развития науки, технологий и техники, а в последнем корейском проекте участвовали более 10 тысяч экспертов. Идеология форсайта происходит от конвергенции (сближения) тенденций современных разработок в области политического анализа, стратегического анализа и прогнозирования [1].

Форсайт представляет собой процесс общенационального отбора новых направлений, в ходе которого достигается консенсус мнений различных субъектов национальной инновационной системы и устанавливаются связи между ее элементами. Одним из главных условий успешного использования этого ме тода является готовность общества (административного аппарата, руководителей компаний, отдельных специалистов, общественности) совместно оценить долгосрочные перспективы развития страны, отвлекаясь от краткосрочных конъюнктурных моментов.

В любых областях деятельности задачей прогнозирования является следующая последовательность действий: определение возможных допустимых альтернатив событий (априорных событий), происходящих с объектом, которые предшествуют прогнозу; исследование характера случайных «траекторий», по которым изменяются состояния объекта, приводящих к новым состояниям (предмету прогноза); анализ новых альтернатив (апостериорных событий, состояний) - результат прогноза.

Методология форсайт отличается от традиционного прогнозирования футурологии (изучения будущего) и стратегического планирования и не сводится к предсказанию: это методология организации процесса, направленного на создание у участников общего видения будущего, которое стремятся поддержать все заинтересованные стороны своими сегодняшними действиями. Таким образом, эта методология связана не с предсказанием будущего, а скорее с его формированием, что позволяет считать форсайт специфическим инструментом управления технологическим развитием, опирающимся на создаваемую в его рамках инфраструктуру. Эволюционные различия технологий предвидения приведены в табл.№1.

Таблица №1.

Эволюционные характеристики технологий предвидения

Характеристика

Технологии предвидения будущего

Прогнозирова ние

План права ние

Футурология

Форсайт

Влияние на будущее

Слабое

Сильное

Слабое

Среднее

Уровень разнообразия методов и подходов

Очень высокий

Низкий

Низкий

Средний

Метод предвидения

Формальнологический

Нормативный волюнтаризм

Интуитивная экстраполя ция

Интуитивная экспертиза

Форма творчества

Ипдивидуаль ное мастерство

Коллективное мастерство

Ипдивидуаль пая интуиция

Коллективная

интуиция

Г оризонт предвидения

1-15 лет

1 -5 лет

30-50 лет

15-30 лет

Характер предсказаний

Количествен ные параметры

Количествен ные параметры

Качествен ные признаки

Преимуществен но качественные признаки

Этапы форсайта', формирование объекта; формирование существенных условий (целевых показателей, которые должны быть достигнуты в будущем); сканирование (выбор методов исследования и проведение экспертных опросов); альтернативы будущего (выделение тенденций, которые можно спрогнозировать, выделение зон неопределенности и формирование возможных сценариев будущего); планирование и исполнение (обсуждение, изменение стратегии и действий заказчика форсайта); формирование новых проектов и программ.

В традиционной российской методологии стратегического прогнозирования и проектирования высшего образования теоретически слабо разработано единство всех факторов, всех содержательных элементов, практических мер реализации проекта, что опосредует необходимость обращения к передовому опыту применения целостной, четко скоординированной, практикоориентированной и научно-обоснованной стратегии. Преимущества форсайта определяются политсматизмом (объединение в одно целое большого количества тем исследования); многовариантностью инструментария (комбинация различных методов, консультаций, подготовка вариантов сценариев проекта, дискуссий и др.); принципиально высоким уровнем открытости; максимальной распространенностью идей; вовлеченностью большого числа экспертов из разных сфер деятельности в обсуждение и построение долгосрочных образовательных проектов; направленностью на конкретный алгоритм практических шагов, обеспечивающих быструю разработку и реализацию форсайт-проектов, формирующих конкурентную образовательную политику. Форсайт ориентирован не только на определение возможных альтернатив, но и на выбор наиболее предпочтительных из них. В процессе выбора применяются различные критерии для определения наиболее предпочтительных вариантов.

Экспертные панели - основной метод экспертной оценки (используется практически во всех проектах). Обычно в течение довольно длительного промежутка времени (до нескольких месяцев) группы экспертов из 12-20 человек обдумывают различные варианты развития будущего. При этом используются новейшие аналитические и информационные материалы и разработки.

Технологическая дорожная карта - метод, родившийся в семидесятых годах в компании Motorola. При особой организации стратегического планирования, исследуется мнение ведущих экспертов от основных направлений бизнеса (маркетинг, финансы, технологии и т.д.). В результате получается картина в динамике: процесс развития компании (региона) от одного временного этапа к другому. Достигается это одновременным рассмотрением развития различных процессов, технологий, продуктов. Дорожная карта - обобщающий документ, который отражает многоуровневую систему стратегического развития предметной области в рамках единой временной шкалы и содержит показатели экономической эффективности перспективных технологий и продуктов, обладающих высоким потенциалом спроса и привлекательными потребительскими свойствами.

Метод Дельфи представляет собой опрос большого количества высококвалифицированных экспертов (до двух-трех тысяч). Эксперты рассматривают отдельные темы: отрасли, технологии, продукты в долгосрочной перспективе (до тридцати лет). Оценивается, в первую очередь, актуальность для развития общества, наличие необходимых ресурсов, способы преодоления потенциальных барьеров и т.д.

SWOT-анализ - метод стратегического планирования, используемый для оценки факторов и явлений, влияющих на проект или организацию. Все факторы делятся на четыре категории: strengths (сильные стороны), weaknesses (слабые стороны), opportunities (возможности) и threats (угрозы). Метод включает определение цели проекта и выявление внутренних и внешних факторов, способствующих сё достижению или осложняющих его.

Критические технологии - метод среднесрочного (до десяти лет) планирования. 11сречснь критических технологий составляется в два этапа: на первом по результатам опроса экспертов (до двухсот человек) определяется предварительный перечень. Затем используются методы фокус-групп и специальных экспертных панелей. Итогом служит окончательный список критических технологий.

Бенчмаркинг - метод определения, понимания и адаптации имеющихся примеров эффективного функционирования учреждений с целью улучшения собственной работы (развернутое сравнение с другими организациями, столкнувшимися с похожей проблемой). Он в равной степени включает в себя два процесса: оценивание и сопоставление.

Ретрополяция - метод стратегического прогнозирования, позволяющий на основании экспертных оценок создать возможную картину будущего, а затем определить альтернативные пути его достижения (подход «от будущего к настоящему»).

Статистически обработанные данные опроса группы экспертов позволяют выявить факторы, негативно влияющие на качество учебного процесса вуза и разработать предложения по их устранению. Окончательная количественная оценка формируется с помощью четырех основных методов экспертных оценок (и множества их разновидностей): метод простой ранжировки (или метод предпочтения); метод задания весовых коэффициентов', метод парных сравнений', метод последовательных сравнений.

При проведении экспертиз важным условием успеха является возможность формализовать информацию, не поддающуюся количественному измерению так, чтобы помочь принимающему решение выбрать из множества действий одно. Поэтому в вопросах, связанных с теорией измерений, основное место отводится понятию шкалы измерения. В зависимости от того, по какой шкале идет измерение, экспертные оценки содержат больший или меньший объем информации и обладают различной способностью к математической формализации. При использовании экспертного метода для оценки качества образовательных услуг часто используется шкала порядка. Решается вопрос сравнения по принципу «лучше-хуже», «больше-меньше».

При построении шкалы порядка или так называемого ранжированного ряда эксперты часто используют метод попарного сопоставления (метод парных сравнений) с использованием балльных оценок. Согласно этому методу ис следуемые параметры предъявляются попарно одному или нескольким экспертам. Эксперт отдает предпочтение одному объекту в сравнении с другими или считает их равными, используя нормированную шкалу.

Например, сравниваются факторы А и Б. При оценке могут наблюдаться следующие предпочтения: сильное предпочтение А; предпочтение А; слабое предпочтение А; отсутствие предпочтения; слабое предпочтение Б; предпочтение Б; сильное предпочтение Б. Для оценки может быть применена шкала с семью делениями (s = 3; 2; 1; 0; -I; -2; -3).

Метод экспертных оценок позволяет дать оценку исследуемому явлению в виде обобщенного мнения специалистов (экспертов) по изучаемому вопросу или проблеме. Эксперты могут оценивать (выражать свое мнение) как в условных единицах (баллах, очках и т.д.), так и располагая элементы явления в определенной последовательности (по шкале порядка). Считается, что объективная

оценка явления дана в том случае, если мнения экспертов согласованы, т.е. близки по смыслу. Степень согласованности экспертов можно оценить по величине так называемого коэффициента ранговой конкордации Кендалла. В зависимости от степени важности мнений экспертов коэффициент конкордации лежит в пределах от 0 (при полном отсутствии согласованности) до 1 (при абсолютном единогласии экспертов). Результаты экспертного опроса считаются надежными, если согласованность мнений экспертов высокая. Степень согласованности мнений экспертов оценивается коэффициентом конкордации Кендалла по формуле [1,7]:

w = ,12Л , п (т~ -т)

(0< VV < 1),

где т - количество оцениваемых параметров (вариантов); п - число экспертов;

S разность между суммой квадратов отклонений сумм рангов оцениваемых параметров исследования и средним квадратом их суммы:

п т

п т s=X(X^’)2-*=1 (=1

EClX’)]2

Л I . I___________________________

п

Пусть, например, требуется определить степень согласованности мнений экспертов по параметрам (/?,) учебного процесса. Различным параметрам экспертами присвоены следующие ранги (табл.№2).

Таблица № 2.

Ранжировка параметров учебного процесса

Эксперты

Оцениваемые параметры

2

R}

Я2

1

3

2

5

4

14

196

2

3

1

3

4

11

121

3

4

3

4

3

14

196

4

5

3

3

2

13

169

5

3

1

4

3

11

121

Итого

63

803

S - разность между суммой квадратов отклонений сумм рангов оценивае

мых параметров исследования и средним квадратом их суммы: п т

„ [E

5 = У(У/{|<‘>)2—-----= 803-—= 9,2.

t=i >=i п 5

Коэффициент конкордации определяется из уравнения:

12-5 12-9,2

W= ---т---= —г--г— = О-06 ?

пг(т'-т) 42-(5’-5)

Расчет показывает, что согласованность мнений экспертов неудовлетворительная (W= 0,06), следовательно, результаты данного опроса не могут считаться надежными. Степень согласованности может стать выше, если после оглашения своей аргументации в оценках эксперты проведут повторный тур опросов, а в случае необходимости и третий тур, используя метод Дельфи.

Пусть определено десять факторов, оказывающих наибольшее влияние на качество обучения: поощрения (премия, стипендия и т.д.); контроль за дисциплиной; оснащенность учебного процесса; качество преподавания; роль тьютора в учебном процессе; сплоченность группы; актуальность выбранной профессии; индивидуальные черты характера (ответственность, исполнительность, самостоятельность и пр.); стремление к лидерству; влияние семьи.

После этого определяется относительная значимость каждого фактора, выраженная суммой рангов. Пусть пять экспертов о десяти факторах (объектах) экспертизы Q составили следующие ранжированные ряды по возрастающей шкале порядка:

Эксперт I: Q, < Q5 < Q4 < Q, < Q(, < Q3< Qt0< Qi< Qx< 2э1 Эксперт 2: Q2 < Q3< 2s < 2i < 2s < 2? < 2» < Qe < Qi < 2iol Эксперт 3: 2s< 2ч< 2:< 2i < Qj< Qb< Qi< Qi< 21»< 2sl Эксперт 4: 2 s < 2»< Qi< Q< Qio< Qi 2»< Qi< 2s! Эксперт 5: Q2< Q2< Q4< Qt< Qx< Q3< Q4< Q5< 2б < 2ioi

Место объекта в ранжированном ряду называется его рангом. Численные значения ранга в ряду возрастающей шкалы порядка увеличиваются от 1 до т, где т - количество оцениваемых факторов (в нашем случае т = 10).

Далее определяются суммы рангов каждого из объектов экспертной оценки: 2i=20; 2з=9; 2з=25; 2д=42; 2s=17;

2б=36; 27=31; 2s=37; 29=17; 2и>=41 -

На основании сумм строится обобщенный ранжированный ряд:

Qi < Qs < 2» < 2i < 2з < 2? < 2б < 2s < 2ю < Qi-

Ее

XQ, = 275 ; Q - -L---=275/10=27, 5.

, m

Обобщенные экспертные оценки качества, рассматриваемых объектов, т.с. коэффициенты их весомости рассчитываются по формуле:

G=K

2ер

G, = 20/275 = 0,073; G2= 9/275 = 0,0327; G3 = 25/275 = 0,0909;

G4 = 42/275 = 0,1527; G5 = 17/275 = 0,0618; G6= 36/275 = 0,1309;

G7= 31/275 = 0,1127; G8= 38/275 = 0,1382; G9= 17/275 = 0,0618;

G10= 41/275 = 0,1491.

Для оценки степени согласованности данных используется коэффициент 12S

конкороации: W=- 2 z 3(0 < W < 1), где п - количество экспертов; т -п (т -т)

число оцениваемых показателей.

п III

fZ(L0,“’)]2

  • 5 = Х(?с?'‘’)2 - t=1 fal-------= 1192,5;
  • *=1 1=1 n

W = (12-1192, 5) / ( 25- (1000 -10)) = 14310 / 24750 = 0,578.

Коэффициент конкордации выше 0,5, но намного меньше единицы, что говорит о том, что оценки экспертов далеко не согласованы, мнение каждого эксперта часто отличается от других. В табл.№3 приведены оцениваемые факторы и их относительная значимость.

Таблица№ 3.

Ранг факторов, влияющих на качество учебного процесса

Факторы

Сумма рангов

Обобщенный ранг

02

9

1

05

17

2

09

17

3

01

20

4

03

25

5

07

31

6

06

36

7

08

37

8

010

41

9

04

42

10

Наиболее значимыми для учебного процесса факторами являются «влияние семьи» и «качество преподавания» (рис.4), т.е. в этом случае предлагается вузам направлять своих преподавателей на стажировки, что будет не только способствовать повышению их квалификации, обмену опытом, но и, с другой стороны, поднимет престиж учебного заведения.

В основе квалиметрии лежат несколько исходных положений: любое качество можно измерить, переведя его в числовую функцию своих структурных компонентов; качество зависит от ряда свойств, образующих структуру качества; каждое свойство (структурная единица качества) определяется двумя числами - относительным показателем и весомостью.

Рисунок 4. Относительная значимость исследуемых факторов

Сумма весомостей всех структурных компонентов нормируется на 100% или на 1, а относительный показатель характеризует выявленный уровень измеряемого свойства.

Исходя из основных положений квалиметрии, был разработан метод количественной оценки готовности к профессиональному самоопределению, включающий в себя 13 вопросов по шести составляющим компонентам с возможным набором дискретных ответов от 2 до 7. Так как количество ответов на каждый вопрос неодинаковое, т.е. различно число градаций, возникает задача перевода разнобалльных систем оценок в единую пятибалльную шкалу. Этот переход осуществляется по формуле: Т = где Т - преобразованная

оценка; W - число возможных ответов на конкретный вопрос; Л/ - номер конкретного ответа меняется от 1 до N).

Преобразованная для каждого вопроса оценка (Г) умножается на весомость (К) данного качества, выраженного определенным вопросом. Тогда весомости вопросов анкеты будут равны:

/С|=20%; К2=5% К3=20%; К4=5% К5=5% Кв=%; К7=5% Ks=5%;

ЛГ9=5%; /Г10=5%; /Сц=5%; К12=5%; Кп=5%.

Общая сумма весомостей равна 100%. Количественный результат каждого из 13 ответов равен произведению Р =Т*К________

Ps = T}K,

Px=Ts- К,

Р22' К2

Pg = Т9- Кд

Р3 = т3- к3

PQ= PlQ’ К 10

РА= Т- К4

Ps=T5K5

^12 = Р1' К 12

Рв=Т6К6

Р13= Г13* К 13

Р1=ТГК1

Если студент не смог дать ответ на какой-то из вопросов, то преобразованная оценка (Т) на этот вопрос будет рассчитываться с учетом того, что М = 1 (это соответствует минимальному количественному показателю).

Общий балл анкеты равен сумме всех тринадцати количественных показателей F:

F= F+ F2+ Fi+ F4+ F$+ Fb+ F7+ Fg+ F4+ Fl0+ F,+ F2+ F^

Количественный результат может быть использован как один из показателей, характеризующих личность студента в профориентационных целях.

Для устранения влияния субъективного фактора при оценивании олимпиадной работы студента и определения уровня сложности олимпиадного задания, применяют квалимегрические методы диагностирования педагогических контрольных материалов и адаптацию технологии, используемые при оценивании тестовых заданий. На оценку письменной работы студента влияют следующие субъективные факторы: предварительная характеристика студента; объем письменной работы; синтаксические и семантические ошибки; почерк автора письменной работы; очередность проверяемой работы. Оценивание олимпиадных заданий может происходить в несколько этапов: создание рабочей группы; создание группы экспертов-преподавателей; структурирование учебного материала в форме учебного тезауруса; создание банка олимпиадных заданий; «разбалловка» олимпиадных заданий.

Задания олимпиадного уровня должны диагностировать уровни знаний студентов соответствующие ступеням базовых знаний и программных знаний сверх базового уровня, а также операционный, аналитический и творческий уровни умений испытуемых. В соответствии с требованиями, предъявляемыми к задачам олимпиадного уровня, рабочая группа преподавателей составляет банк олимпиадных заданий для студентов 1 -3 курсов. Количество задач-кандидатов должно в 1,5-2 раза превышать количество задач предлагаемых участнику олимпиады. Общее количество задач, предлагаемых участникам предметной олимпиады, может не соответствовать количеству учебных модулей, определенных экспертной группой.

Для формирования экспертной группы достаточно использовать метод взаимных рекомендаций и метод самооценки. Рабочая группа определяет количество экспертов (^йп)в соответствии с формулой:

N. -

т" (де-d-r))

где <р - коэффициент, который определяется доверительной вероятностью; d -размах оценочной шкалы; Д<2 - абсолютная погрешность экспертной оценки; у - доверительная вероятность. Если доверительная вероятность у изменяется от 80% до 90%, то коэффициент <р = 0,09. Так, если используемая шкала является пятибалльной, т.с. d = 4 и Д<2 = 1, то количество экспертов должно быть равным семи.

Кандидатам в эксперты предлагается заполнить анкету (табл.№4), где в графе «ранг» выставляются баллы от 1 до 9 в зависимости от степени значимости критерия оценки для работы в экспертной группе, и по пятибалльной шкале дается самооценка своих качеств. В соответствии с методом экспертных оценок вычисляется количественная характеристика компетентности экспертов.

Таблица № 4.

Анкета кандидата в эксперты

Критерии оценки

Ранг

Оценка /Ответ

Научно-педагогический стаж

Количество методических работ

У ченая степень

Участие в работе жюри при проведении факультетских олимпиад

Участие в работе жюри при проведении вузовских олимпиад

Знание теоретического материала

Знакомство с научными и методическими материалами по профессиональной деятельности

Знание учебных программ и требований ФГОС

Степень знакомства с основами тестологии

Обработав анкету, определяется коэффициент самооценки эксперта ( К") по формуле:

j 2 j • v 9

где А",- коэффициент информированности (в долях единицы); Ks -коэффициен т знакомства с проблемой; /3 - весовой коэффициент. Коэффициент анкетных данных определяется в соответствии с формулой: ^7 = 2^4 ' > где vf - весовой i

коэффициент /-го показателя анкеты; А„ - нормированный ответ j-ro кандидата в экспертную группу на i-ii вопрос анкеты.

Комплексную оценку компетентности /-го эксперта, можно вычислить в соответствии с формулой: АГ, = С, • А"" + С, • АГ,", где С| и С2 - коэффициенты значимости первой и второй графы анкеты.

Коэффициент согласия экспертов (конкордации) определяется по формуле Кендалла.

Для создания пакета олимпиадных заданий вузовского курса экспертная группа проводит отбор, структурирование и диагностирование учебного материала. Для определения количественной характеристики задания (уровня сложности) необходимо структурировать учебный материал в форме учебного тезауруса. Под тезаурусом понимается множество учебных дескрипторов и связей между ними. Учебным дескриптором называют базовые понятия, умения, навыки. Структурировать учебный материал в любой области знаний удобно с помощью, так называемой, матрицы обученности, в которой классифицированы знания и навыки студентов (табл.№5).

Таблица № 5.

Матрица обученности

МТ

БТ

ПТ

СТ

МА

БА

ПА

СА

МО

БО

ПО

СО

МФ

БФ

ПФ

СФ

Столбцы матрицы определяют объем знаний, среди которых выделяют четыре ступени: М - мировоззренческий минимум (знания, которые должны остаться в памяти любого обучаемого по данному предмету); Б - базовые знания (знания, которые необходимы для дальнейшего изучения предмета); П программные знания сверх базового уровня; С - сверхиро1раммиые знания.

Строки матрицы определяют структуру умений: Ф - фактический уровень (способность студента идентифицировать основные факты, формулы, термины и принципы предмета, т.е. классифицировать, распознавать учебные материалы об объектах, их свойствах и о действиях с ними); О - операционный уровень (умение действовать по предписанному алгоритму, образцу, правилу, формулам); А -аналитический уровень (возможность провести доказательства, сделать выводы из фактов, проанализировать ситуацию, решить комбинированную задачу в пределах одной дисциплины); Т - творческий уровень (свободное владение знаниями предшествующих уровней, способность студента делать самостоятельные выводы и прогнозы, решать проблемные учебные задачи).

Задачи олимпиадного уровня должны иметь высокий уровень сложности, быть комбинированными и нестандартно сформулированными. Для определения уровня сложности олимпиадного задания экспертом-преподавателем по каждой задаче заполняется анкета-таблица (табл.№6). В анкете эксперта не отражаются отдельные дескрипторы учебного материала, так как целью олимпиады не является диагностирование мировоззренческого и базового уровней обученности.

В столбце «значимость» эксперт выставляет баллы от 1 до 7 в зависимости от степени значимости обсуждаемого качества задания. В столбце «оценка» эксперт указывает количественную характеристику обсуждаемого свойства задания. Обработав данные каждого олимпиадного задания, можно определить его весовой коэффициент. При анализе метода решения студентом олимпиадной задачи жюри использует таблицу, в которой отражены следующие характеристики решения задачи: степень сложности математической реализации решения; учебные модули; оригинальность решения; наличие векторных диаграмм и рисунков.

Таблица № 6.

Характеристики олимпиадного задания

Качества / Свойства

Значимость

Оценка

Примечания

Учебные модули

Количество учебных элементов, ис-

пользуемых в задании

Количество способов решения задачи

Среднее время, требуемое для выполнения задания

Степень сложности математической реализации решения

(по пятибалльной шкале)

Уровни знаний и умений в матрице обученности, диагностируемые данным заданием

Корректность формулировки задания (по двухбалльной шкале).

Метод Дельфи (назван в честь дельфийского оракула в Древней Греции) - многоэтапный метод, предусматривающий вынесение экспертами своих суждений и дальнейшую многократную их корректировку на базе ознакомления каждого эксперта с суждениями других экспертов до тех пор, пока величина разброса оценок не будет находиться в рамках заранее устанавливаемого желаемого интервала варьирования оценок. Технологический прогноз, основанный на методе Дельфи, - это попытка предсказать развитие той или иной технологии на длительную перспективу.

Процедуру экспертного опроса по методу Дельфи можно выделить в несколько этапов: формирование рабочей группы для организации экспертного опроса; формирование экспертной группы (группа экспертов должна включать 10-15 специалистов в данной области); формулирование вопросов с однозначными ответами; проведение экспертизы; повторение нескольких этапов проведения опроса; подведение итогов опроса. Аналитическая группа проводит статистическую обработку полученной от всех экспертов информации. Для этого рассчитывается среднее значение исследуемого параметра; средневзвешенное значение исследуемого параметра; определяется медиана как средний член общего ряда чисел, полученных от экспертов и область доверительности. Область доверительности определяется квартилем, равным !4 разницы между максимальным и минимальным значением оценок ряда. Сама область доверительности определяется отрезком шкалы от минимальной оценки минус значение квартиля до максимальной оценки плюс значение квартиля.

Пусть десять экспертов оценивают эффективность внедрения индивидуальных образовательных маршрутов студентов. Экспертам предложено дать индивидуальную оценку факторов в баллах в диапазоне от 0 до 10. Уровень эффективности предлагается оценить в диапазоне от 0 до 100%. Каждый эксперт работает самостоятельно и анонимно. После первого тура от экспертов были получены следующие результаты (табл.№7).

Таблица № 7.

Результаты работы экспертов

Номер эксперта

Коэффициент самооценки

Индивидуальная оценка эксперта

1

10

90

2

8

100

3

10

75

4

7

80

5

8,8

90

6

10

100

7

6,6

80

8

8,5

80

9

7,4

60

К)

9,9

80

Аналитическая группа проводит следующие вычисления.

Средне групповой анализ коэффициента самооценки экспертов равен: (10+8+10+7+8,8+10+6,6+8,5+7,4+9,9) /10 = 8,61.

Среднее значение эффективности индивидуальной оценки эксперта равно: (90+100+75+80+90+100+80+80+60+80) /10 = 83,5%.

Средневзвешенная оценка эффективности равна:

  • (10-90 + 8 100 + 10 75 + 7 80 + 8,8-90 + 10 100 + 6,6-80 + 8,5-80 + 7,4-60 + 9,9-80) = [%
  • (10 + 8 + 10 + 7 + 8,8 + 10 + 6,6 + 8,5 + 7,4 + 9,9)

Медиана в данном случае при четном числе экспертов рассчитывается как среднеарифметическое значение между серединными оценками и будет равна Me = (80+80)/2 = 80 (оценки экспертов по уровню опроса располагаются по возрастанию). Область доверительности рассчитается следующим образом: определяется минимальная оценка из набора экспертизы - 60%; определяется максимальная оценка - 100%. Квартиль будет равен (100 - 60)/4 = 10%. Следовательно, нижняя граница доверительной области будет равна 60+10 = 70%, верхняя граница будет равна 100 - 10 = 90% (табл.№8).

Таблица № 8.

Область доверительности

Область применения

60

70

75

80

90

100

Оценка экспертов

Все полученные результаты предлагаются на рассмотрение экспертам. Если эксперты считают целесообразным откорректировать свое мнение, то они передают свои коррективы аналитической группе, которая рассчитывает новые результаты по оцениваемым параметрам.

Метод Дельфи применим практически в любой ситуации, требующей прогнозирования, в том числе, если для принятия решения недостаточно информации. Существует несколько модификаций метода Дельфи, в которых ос новные принципы организации экспертизы имеют много общего. Различия связаны с попытками усовершенствовать метод за счет более обоснованного отбора экспертов, введения схем оценки их компетентности, улучшенных механизмов обратных связей и т.п. Для удобства обработки информации все модификации, как правило, предполагают возможность выражения ответа в виде количественной оценки.

Недостатки метода Дельфи связаны с нехваткой времени, которое отведено эксперту на обдумывание проблемы. В этом случае эксперт может согласиться с мнением большинства, чтобы уйти от необходимости объяснения, в чем заключается отличие его решения от остальных вариантов.

В 60гг. ХХв. благодаря работе группы ученых Стэнфордского Исследовательского Института: Р. Стюарт, М. Дошср, О. Бснспс и А. Хэмфри появился SWOT-анализ. Первоначально они пришли к системе, которую назвали SOFT (Satisfactory, Opportunity, Fault, Threat). В дальнейшем модель была модифицирована и переименована в SWOT. Акроним SWOT (Strengts (силы), Weaknesses (слабости), Opportunities (благоприятные возможности), Threats (угрозы)) был введён в 1963г. в Гарварде на конференции по проблемам бизнес-политики профессором Кеннетом Эндрюсом. В 1982 году профессор Хейнс Вайрих опубликовал работу, в которой предложил новый вид SWOT-модели. Свою SWOT-модель он назвал как TOWS-магрицу и рассматривал ее как «концептуальную основу систематического анализа, который облегчает сопоставление внешних угроз и возможностей с внутренними слабостями и силами организации». В этой модели процесс стратегического планирования с применением расширенной SWOT матрицы было предложено организовать как последовательность шагов: анализ внешнего окружения; анализ внутреннего окружения; построение стратегий и тактических действий.

Методология SWOT-анализа предполагает, во-первых, выявление внутренних сильных и слабых сторон учреждения, а также внешних возможностей и угроз, и, во-вторых, установление связей между ними (рис.5).

Цель построения расширенной SWOT-матрицы состоит в том, чтобы сфокусировать внимание аналитика на построении четырех групп, различных стратегий. Каждая группа стратегий использует определенную парную комбинацию внутренних и внешних обстоятельств. Совместному анализу подвергаются пары следующих показателей: силы - возможности (S - О); силы - угрозы (S - Т); слабости - возможности (W - О); слабости - угрозы (W - Т).

Процедура проведения SWOT-анализа в общем виде сводится к заполнению матрицы, в которой отражаются и затем сопоставляются сильные и слабые стороны учреждения, а также возможности и угрозы рынка. Это сопоставление позволяет определить, какие шаги могут быть предприняты для развития организации, а также какие проблемы необходимо срочно решить.

Определение общего направления развития учебного заведения (миссия)

SWOT - анализ

I I I I I I I

I I

Определение цели и задачи учебного заведения

Внутренний анализ Внешний анализ

I

I

а б

Рисунок 5. Последовательность SWOT-анализа («) и взаимодействие внутреннего и внешнего анализа (б)

После определения S, W, О, Т следует перейти к составлению матрицы стратегий: SO - мероприятия, которые необходимо провести, чтобы использовать сильные стороны для увеличения возможностей учреждения (результаты перемножения списка S и О); WO - мероприятия, которые необходимо провести, преодолевая слабые стороны и используя представленные возможности; ST - мероприятия, которые используют сильные стороны организации для избежания угроз; WT - мероприятия, которые минимизируют слабые стороны для избежания угроз (рис.6,а).

Итоговая сумма баллов по строкам и столбцам показывает приоритетность учета того или иного фактора при формировании стратегии. Для сопоставления возможностей учреждения условиям рынка применяется SWOT-матрица, следующего вида (рис.6,б).

Слева выделяются два раздела (сильные и слабые стороны), в которые соответственно вносятся все выявленные сильные и слабые стороны организации. В верхней части матрицы также выделяются два раздела, в которые вносятся все выявленные возможности и угрозы. На пересечении разделов образуются четыре поля: «СИВ» (сила и возможности); «СИУ» (сила и угрозы); «СЛВ» (слабость и возможность); «СЛУ» (слабость и угрозы). На каждом из данных полей эксперт должен рассмотреть все возможные парные комбинации и выделить те, которые должны быть учтены при разработке стратегии поведения организации.

Методику SWOT-анализа можно условно разбить на следующие шаги:

Шаг 1. Подбор экспертов и формирование экспертных групп для проведения SWOT-анализа. В рамке «Стратегическая цель фирмы» (SW) записывается суждение эксперта. В качестве аналитических оценок сильных и слабых сторон деятельности вуза выступают следующие показатели [3,5].

SWOT- матрица («) и квадранты матрицы стратегий (б)

Рисунок 6. SWOT- матрица («) и квадранты матрицы стратегий (б)

Оценка воплощения /-ой характеристики с точки зрения fc-ой группы заинтересованных сторон (ГЗС) (Z*) измеряется по целочисленной шкале [-5; 5], причем положительные значения соответствуют сильным сторонам, а отрицательные - слабым. Чем больше абсолютное значение (модуль) характеристики, тем ярче выражена данная сильная (слабая) сторона.

Оценка важности /-ой характеристики с точки зрения ?-ой ГЗС (Л/*) измеряется по целочисленной шкале [0; 10] и отражает значимость данной сильной (слабой) стороны вуза для ГЗС.

Довольно часто более ярко выраженная сильная (или слабая) сторона вуза может быть менее значимой (важной) для группы стейкхолдеров (группы влияния), чем другая, менее воплощенная характеристика корпоративного профиля. В этом случае необходимо ввести в рассмотрение еще один показатель -ранг /-ой характеристики с точки зрения 4-ой ГЗС (if), который позволяет определить вклад в формирование конкурентоспособности вуза с учетом значимости этой характеристики:

rf = Z- -N?.

Для создания и поддержания устойчивого конкурентного преимущества вуз должен учитывать мнение всех групп, но в различной степени, поэтому в заключение первого этапа по формуле рассчитывается интегральная оценка конкурентоспособности образовательного учреждения (7), исходя из сил и слабостей его деятельности с точки зрения ГЗС и важности этих групп для вуза:

1 = ZI wk ? Z'?'r |> 4=11 1=1 J

" к

где X ri ~ сумма рангов характеристик корпоративного профиля для &-ой ГЗС

  • 1=1
  • (показатель оценивает конкурентоспособность вуза с позиции каждой ГЗС);

т/. - количество характеристик корпоративного профиля для ?-ой ГЗС.

Шаг 2. Формулирование экспертами сильных и слабых сторон, благоприятных возможностей и угроз (табл.№9).

Таблица № 9.

Сильные и слабые стороны учреждения, возможности и угрозы рынка

Сильные стороны (S)

Благоприятные возможности (О)

  • 1. Возможность подготовки по комплексным и уникальным специальностям.
  • 2. Общий положительный имидж.
  • 3. Компетентность профессорско-преподавательского состава (ППС).
  • 4. Большой опыт и объем НИОКР.
  • 5. Понимание необходимости стратегического подхода.
  • 6. Традиции компьютеризации обучения.
  • 7. Существующая лабораторная база.
  • 8. Существование учебно-научного комплекса.
  • 9. Контакты с зарубежными вузами.
  • 10. Широкая сеть филиалов.
  • 1. Благодушие конкурентов.
  • 2. Использование дешевизны образования.
  • 3. Расширение диапазона специальностей.
  • 4. Ослабление государственного регулирования.
  • 5. Комплексное использование географического положения.
  • 6. Обслуживание дополнительных групп потребителей.
  • 7. Создание регионального учебного центра на базе вуза.
  • 8. Улучшение общей экономической обстановки.
  • 9. Развитие дистанционного обучения.
  • 10. Доступность мировых общеобразовательных ресурсов.

Слабые стороны (VV)

Угрозы (7)

  • 1. Недостаточное информационное обеспечение.
  • 2. Неадекватность финансовых источников.
  • 3. Отсутствие искусства конкурентной борьбы.
  • 4. Ориентация только на местный рынок.
  • 5. Недостаток НИОКР высокого уровня.
  • 6. Плохое положение с профилакторием.
  • 7. Плохое положение с общежнти-
  • 1. Ослабление роста рынка.
  • 2. Ожесточение конкуренции.
  • 3. Появление иностранных конкурентов.
  • 4. Усиление нестабильности в экономике.
  • 5. Снижение госфинансирования.
  • 6. Падение имиджа вуза.
  • 7. Ужесточение госрсгулирова-ния.
  • 8. Увольнение определенного количества ППС.

ЯМИ.

  • 8. Консерватизм ППС.
  • 9. Малое количество научных школ.
  • 10. Недостаток учебных площадей.
  • 9. Увеличение стоимости образования.
  • 10. Появление новых отечественных конкурентов.

Шаг 3. Анализ полученных результатов и формулирование стратегий.

Вероятность появления J-ro фактора внешней среды (Pj) определяется экспертно в интервале от 0 до 1.

Значимость j-ro фактора внешней среды с точки зрения ?-ой ГЗС (Yj) - параметр, позволяющий оценить, насколько важно появление данной ситуации для функционирования вуза с точки зрения его способности удовлетворять запросы данной группы. Значимость фактора изменяется в диапазоне от 0 до 10 (0 - совершено нс важно, 10 - абсолютно важно).

При анализе факторов внешней среды, которые могут повлиять на деятельность вуза в будущем, следует учитывать не только факторы с высокой вероятностью появления, но и факторы с низкой вероятностью, но высокой значимостью для деятельности вуза. Характер влияния j-ro фактора внешней среды с точки зрения &-ой ГЗС (Ху) имеет следующие значения («+1» - возможность, «-1» - угроза). Если фактор для данной ГЗС может выступать одновременно как возможность и как угроза (с равной значимостью), то характер влияния можно считать равным нулю, хотя, как правило, значимость одного и того же фактора как возможности и как угрозы различна. Также один и тот же внешний фактор с точки зрения одних ГЗС может выступать как возможность, для других ГЗС - как угроза, а для третьих ГЗС может быть незначимым.

Ранг j-ro фактора внешней среды с точки зрения &-ой ГЗС (R у) позволяет определить уровень благоприятности каждого внешнего фактора для вуза с учетом его значимости с точки зрения данной ГЗС. Рассчитывается он по фор-муле: Rkj = Pj • у/ • .

В заключение данного этапа SWOT-анализа рассчитывается интегральная оценка благоприятности внешней среды, которая позволяет сделать вывод о благоприятности (или неблагоприятности) внешней среды для образовательного учреждения с точки зрения различных ГЗС и важности этих групп для достижения стратегических целей вуза.

Под «благоприятностью внешней среды вуза» понимают совокупность факторов внешней среды, оказывающих влияние на взаимодействие вуза с его заинтересованными сторонами. Интегральная оценка благоприятности внешней среды вуза как стсйкхолдср-компании рассчитывается по формуле:

п f lk

  • 0= ? I**
  • *=K j=i J

'к .

где X Rj - сумма рангов факторов внешней среды для &-ой ГЗС (оценивает У=1

благоприятность внешней среды вуза для каждой ГЗС); Д - количество значимых факторов внешней среды для А’-ой ГЗС. Если интегральная оценка положительна, то среда, в которой функционирует вуз, благоприятна (преобладают возможности), если оценка отрицательна - преобладают угрозы.

В табл.№10 заносятся сильные и слабые стороны вуза, возможности и угрозы внешней среды, которые были определены на предыдущих этапах SWOT-анализа.

Таблица № 10.

Форма для значений экспертных оценок матрицы SWOT-анализа

Стратегическая цель фирмы

Возможности

Угрозы

j=n

j = n+

j=l

Pj

Ni

YkJ

Сильные стороны

i = 1

4

/ = г

Слабые стороны

1 = г + 1

4

/ = т

В строке Pj записывается вероятность появления у-го фактора внешней среды. В строке У у определяется значение коэффициента влияния на деятельность вуза каждой у-ой благоприятной возможности и угрозы с точки зрения к-—к /?

ой ГЗС, т.е. Y j =0,1 • Yj . Этот параметр измеряется в пределах от 0 до 1. В —к

столбце /V/ оценивается интенсивность (значимость) каждой /-ой сильной и слабой стороны с точки зрения А-ой ГЗС по шкале от 1 до 5, т.е. Tvf =0,5 • /V*.

В каждой из ячеек (табл.№10) эксперт оценивает возможность вуза за счет /-ой сильной стороны воспользоваться у-ой благоприятной возможностью (или противостоятьу-ой угрозе), и, соответственно, способность /-ой слабой стороны препятствовать реализации у-ой возможности (повышать негативные последствия у-ой угрозы). Значения могут меняться от 0 до 1 с шагом 0,1. Фактору присваивается значение «1», если он дает полную возможность использовать благоприятные возможности или предотвратить отрицательные последствия угроз; «0,5» - фактор дает среднюю возможность; «0» - если фактор не оказывает влияния. Для сильных сторон оценка дается со знаком плюс, для слабых

L

сторон - co знаком минус. Оценки экспертов в ячейках а- транспонируются в

k л к к —к

оценки Ад по формуле: Ад = ад Y j Pj • Ni .

Форма итоговой матрицы SWOT-анализа представлена в табл.№11. Все полученные оценки итоговой матрицы SWOT-анализа каждой ГЭС умножаем на весовой коэффициент значимости для вуза данной ГЗС по формулам: fl f t! f и

Nj =Ni Г/ =Г/ -wk-, A^j = A^wk.

Таким образом, получаем итоговую матрицу SWOT-анализа с учетом значимости рассматриваемой группы стейкхолдеров.

Таблица № 11.

___________Форма итоговой матрицы SWOT-анализа______

Стратегическая

Возможности

Угрозы

цель фирмы

.wfl j = n

j=n+ j=l

у/

Сильные стороны

i = 1

А-

i = г

Слабые стороны

i = г + 1

А-

i = in

Подробный анализ итоговой SWOT-магрицы позволяет получить информацию о том, какая возможность (у1роза) оказала наибольшее влияние на оценку конкретной сильной (слабой) стороны и, наоборот, какая сильная (слабая) сторона оказала наибольшее влияние на оценку конкретной возможности (угрозы). Полученные оценки сильных и слабых сторон позволяют сделать вывод о ключевых преимуществах вуза и его серьезных недостатках, о возможностях, открывающихся перед ним, и угрозах, на которые следует обратить особое внимание.

В завершении последнего этапа SWOT-анализа рассчитывается сводная оценка положения вуза на рынке образовательных услуг с точки зрения различных ГЗС по формуле:

Для перехода к итоговой матрице SWOT-анализа вуза в целом, необходимо просуммировать одинаковые комбинации «возможности (у1розы) - сильные (слабые) стороны» и «возможности (угрозы) - слабые (сильные) стороны» по всем итоговым матрицам для ГЗС.

Общая сводная оценка положения вуза на рынке образовательных услуг

" к

рассчитывается по формуле: 5= ?5 . Если сводная оценка отрицательна, то к=1

положение вуза на рынке в целом неблагоприятно, если оценка положительна, то положение образовательного учреждения на рынке образовательных услуг в целом благоприятно. Итоговая матрица содержит суммы взвешенных оценок экспертов (табл.№12).

Таблица № 12.

Итоговая SWOT- матриц

Настоящее

Взаимное влияние

Будущее

Возможности

Угрожающие проблемы

Сильные стороны

Возможности

S1

++

++

++

0

++

0

++

0

+

+

12

о.

S2

+

0

+

0

0

+

++

0

0

0

5

о2

S3

+

0

++

+

0

+

+

+

0

0

7

о,

S4

+

++

++

++

+

++

++

+

0

++

15

о,

S5

+

0

+

++

+

0

++

+

+

0

9

о5

Слабые стороны

Проблемы и риски

W1

-

0

0

0

-

0

-10

г,

W2

-

-

0

0

-

0

0

0

-7

Т2

W3

0

-

0

0

--

0

-

0

-

-

-6

Т3

W4

-

-

0

0

-

-

-

-11

Ъ

W5

-

-

-

0

-

-15

Ъ

0

-1

3

1

-2

2

3

-1

-2

-4

-1

Процедура проведения SWOT-анализа в общем виде сводится к заполнению матрицы, в которой отражаются и затем сопоставляются сильные и слабые стороны деятельности вуза, возможности и угрозы рынка. Это сопоставление позволяет определить, какие шаги могут быть предприняты для развития учреждения, а также какие проблемы необходимо срочно решить. SWOT-анализ позволяет выявить имеющиеся или вероятные проблемы образовательного учреждения, разработать дерево целей для антикризисного управления и сформулировать сценарий развития на планируемый период в целях предотвращения или вывода организации из кризиса.

Образовательный стандарт компетентностно-кредитного формата предполагает новое проектирование результатов образования. Он призван определить квалификации бакалавра/специалиста/магистра с точки зрения рабочей нагрузки, уровня, результатов обучения, компетенций и профиля. Компетент-ностный подход означает существенный сдвиг в сторону субъектно-центрированного обучения, попытку перейти от предметной дифференциации к междисциплинарной интеграции.

Квалимстричсский подход к контролю, в отличие от традиционного, позволяет извлекать максимум информации из количественных оценок и качественно оценивать состояние исследуемых объектов. Только использование научно-обоснованных и взаимосвязанных методов и технологий обучения, контроля и информационного образовательного мониторинга может обеспечить достижение требуемого качества в образовании. Российская и международная практика свидетельствует о целесообразности развития форсайт-исслсдований в сфере новых образовательных технологий. Причем эффективность такого рода работ будет напрямую зависеть от того, насколько их рекомендации найдут воплощение в конкретных управленческих решениях, касающихся не только определения общих приоритетов инновационного развития, но и механизмов их реализации, прежде всего в виде инвестиционных проектов.

Литература

  • 1. Горохова Л.Н. Педагогическая диагностика как средство контроля учебного процесса //Наука и школа. - 2001, №5. - С.31-34.
  • 2. Гулидов И.И. Педагогический контроль и его обеспечение: учебное пособие / И.Н. Гулидов. - М.: ИД «ФОРУМ». - 2005. - 240 с.
  • 3. Ефремова И.Ф. Педагогические измерения в системе образования // Педагогика. - 2006, №2. - С. 14-22.
  • 4. Колдаев В.Д. Инновационные подходы к мониторингу качества образовательных услуг. Актуальные вопросы модернизации российского образования: Материалы VIII Международной научно-практической конференции (31 мая 2011): Сборник научных трудов / Под ред. д.п.н., проф. И. А. Рудаковой. - М.: Издательство «Спутники-», 2011. - С.192-199.
  • 5. Колдаев В.Д. Инновационные подходы к структурированию содержания индивидуальных образовательных маршрутов на основе технологии управления качеством. Информационные системы и технологии». Монография. / Под общей ред. д.п.н., проф. С.П. Акутиной. - М.: Издательство «Перо», 2011. -С.5-34.
  • 6. Колдаев В.Д. Квалиметрический анализ качества субъектно-центрированных концепций образовательных услуг. Развитие личности в современном российском обществе. Монография. / Под общей ред. д.п.н., проф. Г.Ф. Гребенщикова. - М.: Издательство «Перо», 2011. - С. 134-167.
  • 7. Ольховая Т.А. Становление субъектности студента университета: монография / Т.А. Ольховая. - Оренбург. - 2006. - 181 с.

8. Поташник М.М. Управление качеством образования. - М.: Педагогическое общество России. - 2006. - 448 с.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >