Пространственная организация зрительного семантического поиска

14-06-00371.}}

И. В. Блинникова, С. С. Григорович, А. И. Измалкова, Ф. Р. Бадалова

МГУ им. М. В. Ломоносова

Этот адрес e-mail защищен от спам-ботов. Чтобы увидеть его, у Вас должен быть включен Java-Script , Этот адрес e-mail защищен от спам-ботов. Чтобы увидеть его, у Вас должен быть включен Java-Script , Этот адрес e-mail защищен от спам-ботов. Чтобы увидеть его, у Вас должен быть включен Java-Script , Этот адрес e-mail защищен от спам-ботов. Чтобы увидеть его, у Вас должен быть включен Java-Script

Процессы зрительного поиска являются одной из ключевых и активно развиваемых областей современной когнитивной психологии. Это неудивительно: поиск значимых объектов внешнего мира занимает существенное место в решении жизненных задач и животных, и человека. Поиск состоит в обнаружении целевого элемента среди некоторого числа дистракторов (отвлекающих стимулов в зрительном поле). При этом одним из существенных параметров поиска всегда рассматривались пространственные характеристики всех элементов (Wolfe, 2007). С середины 90-х пространственная организация зрительного поиска выделяется в отдельное направление, где изучается влияние сегментации, границ, группировок стимулов, эффектов глубины и т. п. (Grossberg et al., 1994). Если попытаться подвести итог двадцати лет непрерывных исследований, то можно заключить, что заданный пространственный контекст или ключ-подсказка оказывает положительное влияние на выполнение задачи поиска, особенно заметно это влияние проявляется по отношению к сложным задачам (Уточкин, 2012; Jiang, Song, 2005). Стоит особо подчеркнуть, что целевые стимулы ищутся значимо быстрее в зонах с высокой вероятностью появления стимула по сравнению с зонами низкой вероятности (Geng, Behrmann, 2005).

Интерес к пространственным характеристикам поиска в последнее время подкрепляется развитием новой методологии исследования. В течение долгого времени главным инструментом изучения зрительного поиска оставался анализ соотношения времени и точности нахождения целевого объекта с разными параметрами этого объекта, дистракторов, условий и контекста предъявления, ключей-подсказок

(cues) и т. п. Однако сегодня многие исследователи для этих целей успешно применяют анализ параметров движения глаз (см.: Барабанщиков, Жегалло, 2014; Eckstein, 2011). Новые подходы позволяют строить «карты поиска», которые отражают траектории движений глаз в процессе обнаружении целевого объекта (Zelinsky, 2008).

Вплоть до сегодняшнего дня большинство исследований по зрительному поиску касается образной информации и опирается на анализ детекции и сравнения простых перцептивных признаков. Даже если в стимульных матрицах используют буквы, они рассматриваются просто как конфигурации линий. Однако в последнее десятилетие наметились два характерных тренда. Во-первых, внимание специалистов все чаще обращается к зрительному поиску в реальных жизненных задачах, например, при анализе фотографий, рентгеновских снимков или работе с интернет-сайтами. Во-вторых, предметом исследования становятся процессы обнаружения значимых семантических единиц в сложно организованном контексте (подробный обзор современных исследований см.: Величковский, 2006; Eckstein, 2011).

Исследовательская область так называемого семантического поиска в настоящий момент находится в стадии своего определения. В одной из недавних работ было приведено одиннадцать подходов к пониманию того, чем является такой поиск. Однако большинство авторов сходятся на том, что семантический поиск характеризуется высокой долей неопределенности (Lin et al., 2014). Это поиск не по заданным признакам и даже не по заданным лексемам или текстам; он предполагает учет интенций ищущего и смысловой контекст искомого. Любопытно, что в одном из последних детальных обзоров исследований, касающихся зрительного поиска, всплывает образ «Вавилонской библиотеки» Хорхе Луиса Борхеса - мира, состоящего из бесконечного числа шестигранных комнат, заполненных книгами, в которых люди ищут смысл среди неповторяющихся последовательностей 25 букв (Eckstein, 2011).

В психологическом инструментарии существует методика, которая представляет собой модель такого поиска, - это таблицы Мюнстерберга. Они представляют собой буквенные матрицы, среди которых можно выделить осмысленные слова. Когда человек приступает к поиску, он не знает точно, что нужно найти, он ищет любое осмысленное слово. Задание похоже на игру в Boggle, которая в наши дни существует в различных компьютеризированных формах. Решение этих задач является неплохой моделью для изучения семантического поиска. Мы использовали таблицы Мюнстерберга в качестве образца для разработки стимульного материала (пример стимульной матрицы см. на рисунке 1). Цель данного исследования - выделить стратегии поиска, которые применяют испытуемые. В частности, одним из важных изучаемых параметров, выступила пространственная организация поиска. Было высказано предположение, что в процессе поиска можно выявить закономерности обнаружения и называния слов, обусловленные 1) их пространственной ориентацией (вертикальное и горизонтальное расположение слова) и 2) пространственной ориентацией друг относительно друга.

Программа эмпирического исследования

Выборка. В исследовании приняло участие 28 чел. (19 женщин и 9 мужчин) в возрасте от 18 до 25 лет (средний возраст - 20 лет). Все испытуемые были студентами вузов.

Аппаратура. Эксперимент проводился при помощи аппаратного и программного обеспечения SMIGaze & Eyetracking Systems. Использовалась программа разработки экспериментального дизайна и предъявления стимульного материала

‘Experimenter Centre’, а также установка для бесконтактной регистрации движений глаз фирмы SMIRED (система основана на «методе темного зрачка») с частотой 500 Hz. Данная аппаратура предназначена для организации экологически валидных экспериментов. При регистрации голова испытуемого может свободно перемещаться в пространстве 40 см х 40 см х 70 см. Дистанция до монитора 60-80 см; точность достигает 0,4°; пространственное разрешение (RMS): 0,03°; возможная задержка до 6 мс; быстрая автоматическая калибровка <10 с. Осуществлялась видео- и аудиозапись поведения и вербальных ответов испытуемых.

Стимульный материал был разработан на основе методики Мюнстерберга. Он предъявляется в виде матриц 15x15, содержащих хаотично разбросанные буквы кириллицы, среди которых в каждой таблице располагалось 10 слов русского языка. Слова могли располагаться вертикально и горизонтально. Всего было подготовлено 7 матриц, одна - пробная и шесть тестовых.

Процедура исследования. Исследование проводилось с каждым испытуемым индивидуально. В начале исследования он заполнял протокол, затем на экране монитора предъявлялась операциональная инструкция, в которой объяснялось, что будут предъявляться матрицы с буквами, необходимо искать и называть слова, которые расположены в случайном порядке и называть их вслух. Затем испытуемые выполняли пробную серию, в ходе которой они старались найти слова в предъявленной матрице, при этом время поиска не ограничивалось. Пробное выполнение заканчивалось после того, как испытуемый находил все слова. Далее давалась основная инструкция и предъявлялась серия из шести таблиц. Время экспозиции каждой таблицы составляло 40 с, после чего на 1 с предъявлялась маска в виде фиксационной точки.

Измеряемые показатели. Регистрировались ответы испытуемых: количество правильно обнаруженных и названных слов, количество ошибок. Также фиксиро-

Рис. 1. Пример стимульной матрицы валась общая длительность и количество фиксаций на тестовых словах; амплитуда и количество саккад; количество возвратов в зону интереса на слайде.

Процедура обработки. В процессе статистического анализа данных использовались следующие методы: проверка на согласованность с нормальным распределением (критерий Колмагорова-Смирнова), расчет коэффициента phi, t-критерий Стьюдента и критерий Манна-Уитни для сравнения средних значений между выделенными группами, корреляционный анализ, факторный анализ, кластерный анализ. Для статистической обработки данных использовался пакет SPSS’17.

Результаты и их обсуждение

1. Предварительный анализ движений глаз. Анализ параметров движений глаз позволил выявить ряд интересных моментов, которые касаются общей длительности фиксаций и регрессионных движений по отношению к выделенным зонам интереса - лексических единиц, скрытых в буквенной матрице. В частности, было установлено, что в областях расположения тестовых слов общая длительность фиксаций была значимо выше по сравнению с другими областями матрицы. Также по отношению к этим зонам регистрировалось значимо большее число возвратных саккад. Эти данные хорошо согласуются с результатами, полученными в исследовании Б. М. Величковского с коллегами (Velichkovsky et al., 1995), где было показано, что в задаче сравнения элементов, расположенных в двух областях экрана, сканирование осуществляется без регрессионных движений глаз вплоть до того момента, когда испытуемый угадывает наличие искомого различия стимулов. После этого глаза многократно и последовательно начинают фиксировать одни и те же критические области (Величковский, 2006, с. 302).

Также нами были выявлены характерные стратегии движений глаз, которые как бы тяготели к целевым стимулам. Другими словами, саккады и фиксации не были распределены равномерно по матрице. Можно было выделить отдельные «центры притяжения». В целом это хорошо описывается рядом современных моделей. В частности, согласно модели «захвата цели» (Target Acquisition model) для управления саккадами используются знания и процессы «сверху-вниз» в сочетании с перераспределением пространственных зон поиска. При этом выделяются значимые области при одновременном игнорировании тех, в которых вероятность нахождения целей низкая (Zelinsky, 2008).

2. Анализ сочетаемости найденных стимулов. Для проверки выдвинутых гипотез мы применили метод расчета коэффициента phi, являющегося аналогом коэффициента корреляции Пирсона для бинарно распределенных данных. В качестве входящих были использованы данные обнаружения/пропуска слов в каждой из предъявляемых матриц для каждого испытуемого. Мы исключили из рассмотрения слова, названные лишь одним испытуемым. Расчет статистической значимости полученных значений критерия проводился по таблице критических значений х² (Chedzoy, 2006). Критическим значением коэффициента (р<0,05) для данного размера выборки является 0,37. В исследуемых таблицах были обнаружены от нуля до семи пар слов, обнаружение которых находилось в статистической зависимости одно с другим. Статистически значимые показатели коэффициента phi варьировались в диапазоне от 0,38 до 0,66.

Далее полученные матрицы значений коэффициента phi по каждой из таблиц использовались в качестве входящих данных для факторного анализа. Несмотря на редкость применения, возможность и правомерность такого подхода обоснована и описана (Kaltenhauser, Lee, 1976). Факторный анализ позволил обнаружить блоки слов, несмотря на то, что для некоторых из них парный коэффициент phi был ниже критического уровня, и объединить пары со значимыми значениями phi в блоки по 3-4 слова. В каждой из матриц были выделены 3-4 блока слов (процент объясненной дисперсии 60-80%).

Предварительный качественный анализ таблиц позволил выделить два основных типа объединения слов в блоки: 1) пространственное расположение (близость) - обнаруживается во всех матрицах; 2) вертикальность расположения слов. Кроме этого был обнаружен слабый эффект морфологического и фонетического сходства (например, обнаружение слов регресс и балбес оказывалось связанным, другими словами если человек находил слово регресс, то с большой вероятностью он находил и балбес, хотя они были расположены в разных частях матрицы). Этот эффект требует дальнейшего изучения.

2.1. Влияние пространственной, близости слов. Мы вычислили расстояние (с учетом расположение в строках и столбцах) между каждой парой слов в матрице для всей совокупности слов и для слов, объединенных в блоки по результатам факторного анализа. Поскольку распределение этого параметра значительно отличалось от нормального (однофакторный критерий Колмогорова-Смирнова Z=l,425; р<0,05), мы использовали критерий Манна-Уитни для сравнения непараметрических данных. Сравнение средних расстояний между словами, объединенными в блоки, и всеми словами в матрице показало статистически значимую разницу (U=-3,871; р<0,001). Таким образом, мы можем утверждать, что среднее расстояние между словами, объединенными в блоки по результатам факторного анализа (т. е. статистически значимо чаще обнаруживаемые), значимо меньше, чем между двумя случайно выбранными словами в таблице. Это говорит о том, что обнаруженные слова образуют пространственно связанные группировки.

Пытаясь обобщить обнаруженную закономерность в образовании группировок называемых слов на основе пространственной близости, мы использовали корреляционный анализ (был использован критерий Спирмена), входными данными для которого стали: а) объединенная матрица расстояний между горизонтальными словами во всех трех таблицах; б) объединенная матрица значений коэффициентов phi, отражающих меру статистической связи между соответствующими словами (из предыдущих этапов обработки) из всех трех таблиц. Значение коэффициента корреляции составило г=-0,515, что соответствует значимости р<0,001. Для исключения возможности, что наблюдаемая корреляционная связь обеспечивается словами, входящими в блоки, выделенные на этапе факторного анализа, мы провели корреляционный анализ еще раз, исключив все слова, ранее объединенные в блоки. Таким образом, мы изучали связь расстояния между словами с величиной вероятностной связи между ними. Значение коэффициента корреляции составило г=-0,381, что соответствует значимости р<0,05.

Выявленные данные подтверждают ранее установленные зависимости поиска от перцептивной организации стимулов. В упоминавшейся выше работе Б. М. Ве-личковского и коллег было показано, что при поиске различий между двумя половинами дисплея сканирование осуществляется не между отдельными объектами, а между группами, которые включают от двух до четырех элементов (Velichkovsky et al., 1995). Здесь речь идет о субъективной кластеризации объектов, которую испытуемые субъективно применяют для облегчения поиска. Нужно учитывать тот факт, что внешняя кластеризация оказывает положительное влияние на медленный поиск сложно конфигурированных стимулов, опирающийся на процессы последовательной обработки (см., например: Хи, 2010).

2.2. Влияние горизонталъного/вертикального расположения слов. Для проверки второй гипотезы (о роли пространственной ориентации слов) мы сравнили продуктивность воспроизведения вертикально и горизонтально расположенных слов. Обнаружились значимые различия. Горизонтально расположенные слова обнаруживались намного лучше, чем вертикально расположенные. Различие значимо: t-критерий для парных выборок составил 6,948, р<0,01. Это можно было бы объяснить привычным характером считывания слов, поскольку в русском (как и во всех европейских языках) чтение осуществляется сверху вниз, построчно, прочитывается одна горизонтально расположенная последовательность лексем за другой. Однако более детальный анализ позволил обнаружить, что некоторые испытуемые находят как горизонтально, так и вертикально расположенные слова, а другие практически только горизонтальные. Мы использовали процедуру кластерного анализа, в качестве входящих данных были включены суммарные показатели процента обнаруженных вертикальных и горизонтальных слов для каждого испытуемого по всем таблицам. Были выделены две группы испытуемых. При этом общая продуктивность семантического поиска в группах не различалась. Характер обнаруженных индивидуальных различий требует дальнейшего изучения.

Заключение

В данной работе были проанализированы стратегии сканирования пространства буквенных матриц в процессе поиска семантически значимых единиц. Было установлено, что подобный семантический поиск отражается в характерных окуломоторных паттернах. В областях расположения слов регистрируются более длительные суммарные фиксации и большое количество возвратных саккад. Было установлено, что распределение саккад относительно буквенной матрицы неравномерно и можно выделить определенные «зоны их притяжения».

Дальнейший статистический анализ позволил утверждать, что существуют закономерности обнаружения слов в таблицах Мюнстерберга в зависимости от несемантических характеристик. Наиболее полно нам удалось продемонстрировать зависимость этой вероятности от пространственного взаиморасположения (близости) слов, а также от пространственной ориентации (часть испытуемых значимо чаще обнаруживает вертикально ориентированные слова, тогда как другая часть испытуемых практически игнорирует их).

Влияние пространственного взаиморасположения обнаруживается как локально, так и в целом. Локальная связь проявляется в виде возникновения групп слов, часто «сопутствующих» друг другу. А высокие значения коэффициента корреляции между мерой статистической связи и расстоянием между словами указывает на то, что для всей таблицы обнаруживается закономерность: чем ближе расположены слова, тем более вероятно они будут названы вместе, и наоборот. Это справедливо даже для слов, не образующих статистически значимо устойчивых блоков.

Механизмы, стоящие за установленными закономерностями, будут выявляться с помощью более детального анализа параметров движений глаз. Мы предполагаем выяснить, являются ли они следствием экстрафовеальной обработки информации при фиксации на уже найденном слове или формированием предпочтений некоторой области при рассмотрении предъявляемых матриц.

Литература

Барабанщиков В. А., ЖегаллоА.В. Айтрекинг: Методы регистрации движений глаз в психологических исследованиях и практике. М.: Когито-Центр, 2014.

Величковский Б.М. Когнитивная наука: основы психологии познания. В 2 т. М.: Смысл: Академия, 2006. Т. 1.

Уточкин И. С. Зрительный поиск изменений: От чего зависит его эффективность? // Перспективные направления психологической науки / Отв. ред. А. К. Болотова; науч. ред. В.П. Зинченко, А.Н. Поддьяков, В.Д. Шадриков. М.: ИД НИУ ВШЭ, 2012. С. 156-176.

Chedzoy О. В. Phi-coefficient // Encyclopedia of statistical sciences. 2006. V. 9. P. 6115-6115.

Eckstein M. P. Visual search: A retrospective // Journal of Vision. 2011. V. 11 (5). P. 1-36.

GengJ.J., Behrmann M. Spatial probability as an attentional cue in visual search // Perception & Psychophysic. 2005. V. 67 (7). P. 1252-1268.

Grossberg S., Mingolla E., Ross W.D. A neural theory of attentive visual search: Interactions of boundary, surface, spatial and object representations // Psychological Review. 1994. V. 101 (3). P. 470-89.

Jiang Y., Song J. H. Spatial context learning in visual search and change detection // Perception & Psychophysics. 2005. V.67 (7). P. 1128-1139.

Kaltenhauser J., Lee Y. Correlation Coefficients for Binary Data In Factor Analysis // Geographical Analysis. 1976. V. 8. P. 305-313.

LinD., Fidler S., KongC., UrtasunR. Visual Semantic Search: Retrieving Videos via Complex Textual Queries // In Conference on Computer Vision and Pattern Recognition (CVPR), Columbus, 2014. URL: http://www.cs.utoronto.ca/~fidler/papers/lin_et_al_cvprl4.pdf.

Wolfe J. M. Guided search 4.0: Current progress with a model of visual search // Integrated Models of Cognitive Systems. 2007. V. 25. P. 1-57.

Xu Y. The impact of item clustering on visual search: It all depends on the nature of the visual search // Journal of Vision. V. 2010. V. 10. P.1-9.

Zelinsky G.J. A theory of eye movements during target acquisition // Psychological Review. 2008. V. 115. P. 787-835.

Velichkovsky В. M., Challis В. H., Pomplun M. Working memory and work with memory: Visuospatial and further components of processing // Zeitschrift fur Experimentelle Psychologie. 1995. B. 42. P. 672-701.

Экспериментальное исследование восприятия