Исследование экономии когнитивных ресурсов человека при интерпретации медиа текстов: Разработка Мультимодального Корпуса Окулографических Реакций MultiCOR.
Исследование выполнено при финансовой поддержке РНФ в рамках научного проекта № 22-28-01754.
Исполнители: Киосе М.И., Ржешевская А.А., Измалкова А.И., Макеев С.Д.
Проект нацелен на решение проблемы экономии когнитивных ресурсов человека при интерпретации визуальной медиа информации, которая на современном этапе развития знания и технологий передается все более сложными семиотическими форматами. Решение проблемы требует повышения достоверности и доступности прогностической оценки в отношении интерпретации гетеросемиотических медиа форматов, например, (текста и изображения, текстов с включенными иносемиотическими (иностилевыми, инодискурсивными) фрагментами. Для осуществления прогностической оценки разработан алгоритм параметрического анализа медиа текстов, который реализован в Мультимодальном корпусе окулографических реакций MultiCOR. Корпус, размещенный в открытом доступе, позволяет установить специфику глазодвигательного поведения человека в отношении различных типов текстов и текстов с изображениями.
Доступ к MultiCOR https://multicortext.linguanet.ru/
Общая информация
База данных MultiCOR содержит показатели глазодвигательного поведения, соотнесенные с семантическими характеристиками текстов и иллюстраций, и предназначена для осуществления поиска и визуализации этих данных с применением процедуры масштабирования. Исходным материалом для базы данных являются файлы с размеченными текстами и иллюстрациями и с потоком глазодвигательных данных по текстовым зонам и зонам изображений, зарегистрированных с постоянным шагом по времени. Встроенное приложение выполняет автоматическую параметрическую обработку исходных глазодвигательных данных и подвергает их процедуре синхронизации с зонами размеченных текстов и изображений с возможностью визуализации. Результатами поиска и визуализации являются совмещенные с зонами текстов и изображений глазодвигательные траектории (с показателями) в графическом и цифровом виде с их характеристиками.
Объем базы данных
MultiCOR содержит ок. 3 000 проб визуального просмотра текстовых зон и зон изображений. Всего к анализу привлечены 125 текстовых зон в моносемиотических стимулах (текстах пьес) и 136 зон текста и изображения в гетеросемиотических стимулах (комиксах, одно- и двухстраничных текстах с иллюстрациями, все стимулы отобраны из ресурсов открытого доступа). Поиск может быть осуществлен по 103 параметрам конструирования информации, представленным в макрогруппах: Когнитивное конструирование, Метатекстовое и интекстовое оформление, Морфологическое оформление, Графико-орфографическое фокусирование, Лингвистическое фокусирование, Метаоформление единицы изображения, Фокусирование в технике, Фокусирование в колористике. Поиск также может быть осуществлен по 3 характеристикам глазодвигательного поведения: длительности первой фиксации, количества фиксаций и максимальной длительности фиксаций.
Разметка стимулов
Основной принцип разметки как текстовых зон, так и зон изображения заключался в установлении параметров выдвижения (фокусирования), т.е. тех параметров, которые представляют некоторую информацию как более выделенную на фоне другой информации, менее выделенной, и, соответственно, потенциально должны привлекать большее сфокусированное внимание зрителя. Таким образом, гипотетически доступ к этой информации как к более выделенной будет упрощен, а значит, она скорее попадет в область внимания.
Одной текстовой зоне соответствует одна клауза (или две клаузы, редко), соотнесенная с одним дискурсивным актом и графически ограниченная одной строкой. Одной зоне изображения соответствует представление одного «фокусного» объекта, выделяющегося на фоне другого объекта или группы объектов, а также, соответственно, «фонового» объекта или группы объектов.
Выдача результатов и использование
Результаты поиска выдаются в виде текстовых зон и / или зон изображений, совмещенных с глазодвигательными траекториями при рассматривании этих зон. Более подробную информацию о глазодвигательном поведении в данной зоне можно получить, если выбрать именно эту зону из выпадающего набора зон. Также можно получить подробную информацию о характеристиках конструирования информации в этой зоне. Дополнительно можно сравнить, как рассматривалась эта зона другими зрителями, перейдя по соответствующей ссылке. Ввиду того, что размер зон в стимулах различался, некоторые зоны при выдаче кажутся нечеткими (их масштаб при выдаче изменен); зоны в оригинальных стимулах можно найти в подробных описаниях текстовых зон и зон изображений.
Практическое применение
Данные корпуса могут быть использованы для проверки эмпирических гипотез о влиянии выбранных параметров конструирования на показатели движений глаз при чтении. У пользователей MultiCOR также есть возможность выбрать уникальные сочетания параметров конструирования и провести эксплораторное исследование влияния комплекса факторов на показатели движений глаз при чтении гетерогенных текстов. Также корпус может быть использован как тренажер при подготовке первых исследований, тестирующих особенности глазодвигательного восприятия информации разного типа.