ГЕТЕРОГЕННОСТЬ ТЕКСТА И ФАКТОРЫ ЕЕ УСПЕШНОЙ ИНТЕРПРЕТАЦИИ ЧИТАТЕЛЕМ
(по гранту РФФИ № 20-012-00370)
Как известно, современные СМИ с целью привлечь зрителя и потенциального покупателя используют все более и более оригинальные способы представления информации в гетеросемиотических единствах, например, в комплексах текста и изображения, речи и телодвижений, текстов разных типов. Однако это также означает, что восприятие и интерпретация таких сложных форм потребует больше когнитивных усилий со стороны зрителя. Если зрителю придется потратить слишком много когнитивных усилий, это может вызвать его неприятие и раздражение. В нашем проекте мы исследуем, как распределяются когнитивные усилия зрителя или читателя, которые мы измеряем с помощью анализа его глазодвигательного поведения и его интерпретационных реакций. Для этого проводится ряд экспериментов с использованием айтрекера.
Мы предположили, что установить особенности распределения нагрузки зрителя или читателя мы можем, оценив влияние на интерпретацию разных факторов – когнитивных, семиотических и психологических. Это влияние мы исследуем при анализе способов представления информации разного типа в гетеросемиотических образцах, с одной стороны, и особенностей восприятия этой информации, с другой. На первом этапе мы определяем различия между конкретными образцами таких комплексных единств, а на втором этапе в ходе экспериментов устанавливаем, как варьируются глазодвигательные и интерпретационные реакции читателей и зрителей на эти отличающиеся образцы. Если читателю будет очень легко интерпретировать информацию, ему может быть не очень интересно, но если будет слишком сложно, то интерес к этой информации может быть потерян. В исследовании мы пытаемся обнаружить оптимальный баланс когнитивных, семиотических и психологических факторов интерпретации, который приводит к увеличению глазодвигательной нагрузки, но не чрезмерной, и появлению разных форм интерпретации, но не сопряженной с непониманием.
Для решения этой задачи мы используем разные формы гетеросемиотической информации – текста и изображения, речи и жеста, разных способов представления событий в текстах (разных дискурсах), разных способов представления участников событий в текстах (разных стилях) (примеры гетеросемиотических единств разных типов см. на Рис. 1).
Рис. 1. Примеры гетеросемиотических единств Текста и Изображения, Речи и Жеста, Дискурса 1 и Дискурса 2 (зд. речи автора и речи персонажей), Стиля 1 и Стиля 2 (присутствие в тексте стилистически маркированных единиц – окказиональных метафор, зд. Отъявленный лентяй, которые несколько раз повторяются, становясь уже не такими окказиональными)
Чтобы узнать, есть ли различия в представлении информации и насколько они значимы, образцы гетеросемиотических единств подвергаются аннотированию (например, в программе UAM Corpus Tool, см. на Рис. 2) с привлечением когнитивных параметров (например, представления участников, события, его перспективы) и семиотических параметров (например, порядка следования форм, объема или веса этих форм в создании целого гетеросемиотического образца).
Рис. 2. Аннотирование образца, представляющего единство Текста и Изображения
Потом собираются данные по частотности, или активности разных параметров, и далее устанавливаются их корреляции. Это позволяет оценить наличие значимых различий между образцами и отобрать для экспериментов те образцы-стимулы, которые демонстрируют разные «индексы уникальности». Для обработки разнопорядковых данных применена разработанная в 2020 году в рамках этого проекта программа для ЭВМ HETEROSTAT (Государственный регистрационный номер 2020661240) (См. Рис. 3).
Рис. 3. Окна работающей программы HETEROSTAT
На интерпретацию образцов могут также повлиять и индивидуальные особенности читателя или зрителя, в первую очередь, особенности протекания его когнитивных процессов (памяти, мышления, восприятия) и метакогнитивных процессов (процессов когнитивного переключения), поэтому в ходе экспериментов мы используем и ряд психологических тестов. Таким образом, три группы факторов (когнитивные, семиотические и психологические) исследуются в комплексе, что позволяет установить относительную значимость разных факторов в появлении изменений в глазодвигательной нагрузке и понимании информации.
Приведем некоторые наиболее важные результаты.
Проведенный эксперимент в отношении интерпретации текста и изображения показал, что предсказуемость влияния когнитивных параметров на глазодвигательное поведение выше в изображении. Интересно, что увеличение глазодвигательной нагрузки в зонах текста сопряжено с меньшей выделенностью референта (например, абстрактного типа), в то же время в зонах изображения оно происходит именно из-за выделенности референта (например, единичного типа). С возрастанием индекса вербальности и показателя гибкости мышления участники обращают больше внимания на выстраивание межличностных отношений в событии, а также на типы референта с меньшей выделенностью. Мы также обратили внимание, что вариативность в речевых отчетах наших участников определяется выбором позиции внешнего или внутреннего наблюдателя, характеристик или этапов события (от этого зависит построение отчета в виде рассуждения или нарратива).
В ходе эксперимента, тестирующего восприятие единств речи и жеста, мы установили, что хотя наблюдается высокая степень синхронизации обеих систем, наличие или отсутствие синхронизации не оказывает значимого влияния на глазодвигательное поведение говорящих. При восприятии гетеросемиотических единств данного типа увеличение глазодвигательной нагрузки возникает не при их рассогласовании, а при использовании необычных жестов, что свидетельствует об относительной самостоятельности систем жеста и речи в коммуникации. В речевых отчетах участников эксперимента мы установили большое сходство в представлении характеристик объектов, однако это были чаще те характеристики, которые появлялись в речи, предъявляемой вместе со стимулом, а не те характеристики, которые «демонстрировались» жестами.
По результатам эксперимента в отношении образцов, в которых представлены разные типы дискурса, мы определили, что на увеличение глазодвигательной нагрузки значимо влияет снижение выделенности референта, кроме случаев синтаксической выделенности, повышающих нагрузку. В то же время увеличение нагрузки наблюдается, если выделенным оказывается само коммуникативное событие. Влияние фактора когнитивного стиля (импульсивность и рефлексивность) проявляется в изменении глазодвигательного поведения читателя в ответ на появление агентивного участника, динамического и локализованного в пространстве события, на отсутствие внутреннего наблюдателя. Очень важно отметить, что в речевых отчетах установлена вариативность в модификации типов участников и объетов, связанная с генерализацией и опущением информации, а также вариативность в модификации перспективы.
В результате эксперимента в отношении образцов, в которых представлены разные стили, установлено, что увеличение глазодвигательной нагрузки наблюдается как в случае присутствия референтов, отличающихся выделенностью (параметр «Наличие агентивного участника»), так и в случае наличия референтов с низкой выделенностью («Абстрактный участник или участник с неопределенной референцией»). Подтвердились ожидания того, что повторное использование образных единиц (как стилистически маркированных) сопровождается снижением глазодвигательной нагрузки. С возрастанием объема рабочей памяти возрастает глазодвигательная нагрузка при восприятии стилистически маркированных единиц, означивающих событие без динамики действий и без участия межобъектных / межсубъектных отношений.
Надеемся, что наши дальнейшие эксперименты позволят нам выявить отношения между разными параметрами когнитивных, семиотических и психологических факторов, соотносимые с таким «необратимым воздействием», которые можно будет спроецировать в сферу прогнозирования реакций зрителя или читателя на новые способы передачи информации гетеросемиотическими формами СМИ.
Список когнитивных параметров для аннотирования участников и объектов, самого события и его перспективы
Группа параметров «Субъектно-объектные отношения»
| Подгруппы | Параметр |
| Агентивность | Наличие агентивных участников |
| Наличие реципиента / объекта действия | |
| Наличие инструмента действия | |
| Наличие пациенса | |
| Количественность | Наличие единичного участника / объекта |
| Наличие двух участников | |
| Наличие трех и более участников / отдельных компонентов | |
| Тип референциальной отнесенности | Наличие участника-человека |
| Наличие одушевленного участника (животное), в т.ч. «оживленного» | |
| Наличие живого объекта (живая природа) | |
| Референтный (телесный) участник / объект | |
| Абстрактный объект | |
| Комплексность, целостность | Целый объект / участник |
| Часть тела или фрагмент участника / объекта в фокусе | |
| Лицо человека / животного в фокусе | |
| Эмоции человека / животного в фокусе | |
| Персонализованность | Изображение автора / говорящего (представляющего свою позицию) |
| Изображение адресата (в т.ч. читателя) | |
| Не-персонализированное изображение |
Группа параметров «Коммуникативное событие»
| Подгруппы | Параметр |
| Истинность | Достоверное событие, или событие, соотносящееся с реальными / возможными событиями (реалистичное событие) |
| Недостоверное событие, или событие, соотносящееся с нереальными / невозможными событиями (нереалистичное событие) | |
| Общий тип | Изображение создания / уничтожения чего-либо |
| Изображение перемещения / изменения чего-либо | |
| Изображение наличия физического контакта (в т.ч. восприятия) с чем-либо или физического действия | |
| Изображение без динамики действия | |
| Тип межсубъектных и субъектно-объектных отношений | Интерсубъектные события |
| Интерактивные события (человек – объект) | |
| Событие без участия межобъектных / межсубъектных отношений | |
| Управляемость | Неконтролируемое событие (спонтанное, случайное) |
| Контролируемое, управляемое событие | |
| Завершенность | Целостное / завершенное событие |
| Незавершенное / оборванное событие | |
| Моментальность | Моментальное событие (событие-скачок) |
| Событие, схваченное в момент развертывания | |
| Результативность | Событие-достижение цели |
| Отсутствие момента достижения цели | |
| Оценочность | Желательное, предпочтительное, оцениваемое положительно событие, даже по итогам сенсорной оценки |
| Нежелательное, оцениваемое отрицательно событие | |
| Событие, не получающее оценку как положительное или отрицательное | |
| Пространственная локализация | Событие, локализованное в пространстве |
| Событие, не локализованное в пространстве | |
| Временная локализация | Событие, локализованное во времени (четкое указание или изображение двух или более соотнесенных промежутков времени) |
| Событие, не локализованное во времени | |
| Повторяемость | Квантифицируемое событие |
| Единичное событие | |
| Причинно-следственные отношения | Событие с причинно-следственными отношениями |
| Событие с неотраженными причинно-следственными отношениями |
Группа параметров «Перспектива»
| Подгруппы | Параметры |
| Точка и направление обзора | Центральная зона |
| Нецентральная зона | |
| Наличие внутреннего участника-наблюдателя | |
| Отсутствие внутреннего участника-наблюдателя | |
| Расстояние | Наличие близкого центрального, специфического (отличающегося от других) участника |
| Наличие далекого центрального, специфического (отличающегося от других) участника | |
| Наличие нескольких основных участников | |
| Путь обзора | Прямой обзор до центрального участника / участников |
| Непрямой (извилистый), но обозначенный путь обзора до центрального участника / участников | |
| Прикрытый (не полностью открытый) путь обзора до центрального участника / участников | |
| Выделенность участников и объектов | Изображение регулярно появляющегося центрального участника |
| Изображение уникального (нового) центрального участника | |
| Выделенность коммуникативного события | Центральное событие в дискурсе (начало, конец, эпицентр) |
| Менее значимое событие в дискурсе |
Наша команда
Киосе Мария Ивановна
Ржешевская Анастасия Алексеевна
Прокофьева Ольга Николаевна
Измалкова Анна Игоревна
Харламова Татьяна Геннадьевна