Вербально-телесное поведение говорящего в условиях повышенной когнитивной нагрузки
(ПРОЕКТ ПО ГРАНТУ РНФ №19-18-00357)
2019-2021
Проект нацелен на выявление особенностей коммуникативного поведения представителей разных профессий в условиях повышенной когнитивной нагрузки. Данная проблема является частью более крупной междисциплинарной задачи исследования особенностей осмысления мира и моделей поведения представителей̆ различных профессий. В нашем исследовании мы изучаем коммуникативное поведение синхронных переводчиков и анализируем их жесты и движения глаз в ситуации повышенного напряжения.
Участниками экспериментального исследования стали синхронисты, которые были разделены на две группы: более опытных и менее опытных переводчиков. В первый год испытуемые работали с языковой парой английский<=>русский. 
Эксперимент проводился поэтапно. На предварительном этапе испытуемые прошли стандартные тесты на вербальную и визуальную рабочую память.
Далее, в ходе первой сессии участникам было предложено перевести 10-минутный фрагмент из лекций на русском и английском языках (формат TED-talk).
Запись синхронного перевода велась с трех ракурсов: первая видеокамера располагалась на штативе сверху позади говорящего (ракурс с высоты «птичьего полета» позволял видеть жесты в разных осях); вторая камера, небольшая GoPro, устанавливалась на стол перед переводчиком, представляя жесты и мимику крупным планом; третья камера, встроенная в очки- айтрекеры, показывали то, что видели синхронисты и то, как перемещался их взгляд.
Записи переводческих сессий (этап 1) были синхронизированы в один видео файл. Затем с помощью программы ELAN были аннотированы жесты участников и затруднения в речи, указывающие на когнитивную нагрузку.
Анализ видеоматериала показал, что вне зависимости от опыта синхронного перевода в речи участников (как в момент затруднения, так и при беглом переводе) преобладали адаптеры. В большинстве случаев жесты-адаптеры формировали «кластеры», при этом отмечались их ритмичность и маленькая амплитуда, что указывает на функцию поддержания ритма и скорости речи. Было также установлено, что биты и прагматические жесты выполняли функцию слияния точек зрения лектора и переводчика. Другие виды жестов употреблялись участниками в зависимости от индивидуальных особенностей жестового поведения.
На следующем этапе проекта был произведен сбор данных и анализ для русско-немецкой языковой пары. В качестве материала была выбрана лекция, посвященная вопросам эволюции и биоразнообразия. Как и на первом этапе исследования, участники синхронно переводили две лекции, однако теперь на русском и немецком языках.
В эксперименте приняли участие студенты и выпускники Переводческого факультета МГЛУ, для которых русский язык является родным, а немецкий язык является основным языком перевода.
На данном этапе анализ эпизодов беглого перевода был противопоставлен в противопоставлении эпизодам нарушения беглости (паузам, повторам, поиску слов, явными грамматическими и лексическими ошибкам, междометиям и другим заполнителям пауз); были также проанализированы формы мануальных жестов.
2021-2023
В 2021 году работа над проектом была продолжена. На текущем этапе ставится общий вопрос о том, какую роль играет визуальная информация о коммуникативном (особенно жестовом) поведении лектора в деятельности переводчика. По этой причине нами был заменен стимульный материал. На предыдущих этапах участникам предлагались аудиозаписи лекций, теперь испытуемые осуществляли синхронный перевод видеолекций. Соответственно, при отборе стимулов особое внимание уделялось присутствию (или отсутствию) жестов в кадре.
Проведение эксперимента проводилось согласно протоколу 2019 года: запись велась с трех камер, однако теперь перед переводчиком располагался монитор с видеозаписью для перевода.
Три видеозаписи (снятые на камеру GoPro, Sony и очки-айтрекеры) были синхронизированы и аннотированы в программе elan. В руководство были внесены подкатегории прагматических жестов, движений головы, движения глаз.
Еще одно изменение было внесено в формат представления категорий для речи и жестов в файлах ELAN: лексические обозначения были заменены на цифровые коды, присвоенные каждой категории для анализа.
Был проведен количественный и качественный анализ данных, нацеленный на установление общего количества затруднений и их типов, общего количества жестов с затруднениями и без, а также их функциональных типов. Также был проведен первичный анализ окулографических данных.