Взаимодействие вербальных и невербальных средств конструирования событий в разных языках
(Проект по гранту РНФ № 14-48-00067)

 Проект «Взаимодействие вербальных и невербальных средств конструирования событий в разных языках» осуществляется при поддержке РНФ, (грант № 14-48-00067) при участии исследователей из России, Германии, Голландии и Франции.

       В рамках проекта мы исследуем то, каким образом вербальные и невербальные средства взаимодействуют при конструировании событий в различных языках: в русском, в немецком и во французском. В центре исследования находится темпорально-аспектуальная структура события, что обусловливает выбор языкового материала: в немецком языке категория аспекта выражается с помощью лексических средств, во французском – с помощью грамматических средств, в то время как в русском языке аспект является лексико-грамматической категорией.

         В проекте применяется новый подход к изучению событийности и аспектуальности, при котором данные категории анализируются в устном дискурсе с учетом полимодальности коммуникации, то есть изучается не только вербальная составляющая, но и невербальные параметры. Рассматривая аспектуальность и событийность с позиций полимодальности, мы обращаемся к спонтанным жестам, сопровождающим речь. Анализ взаимодействия жестовых параметров и вербальных средств выражения аспекта проводится как для процессов порождения речи, так и для ее интерпретации.

В ходе проведенных экспериментов, были установлены некоторые параметры жестов, с помощью которых выражается лексический и грамматический аспект в рассматриваемых языках, а также было изучено влияние взаимодействия вербальных и невербальных компонентов на интерпретацию речи.

Исследование включает три этапа, на каждом из которых проводится экспериментальное исследование. На первом этапе было сделано 30 видеозаписей направленных монологов с элементами диалога (по 10 на русском, французском и немецком языках), в которых испытуемые рассказывают друг другу о событиях из своей жизни. Каждое видео длится около 10 минут. Далее были выявлены критерии, по которым проводился анализ речи и жестов участников эксперимента. Был разработан контролируемый лексикон для разметки глаголов с учетом особенностей функционирования категорий времени, вида, наклонения и существования комплексных форм в каждом языке. Мы использовали два подхода, с помощью которых можно рассматривать жесты. В основе первого подхода лежит идея о наличии/отсутствии энергетического импульса в жестах, в связи с чем был выделен целый ряд схем, в которых отражается структура события. Подобные схемы получили название «схемы предельности» (boundary schemas). Во втором подходе выстраивается кинесиологическая система, в которой учитывается тип, направление и скорость движения руки и сегментов руки и предплечья.

elan-24-09
     Окно программы ELAN

Далее в программе ELAN была произведена разметка корпуса согласно предварительно выделенным критериям. Полученные данные были обработаны и проанализированы. Во-первых, были рассмотрены параметры глаголов в размеченном корпусе, при этом особое внимание уделялось глаголам прошедшего времени, которые были синхронизированы с жестами. Следует отметить, что в исследовании учитывались все жесты, синхронизированные с глаголами, кроме адаптеров.

Данные, полученные на материале трех языков, продемонстрировали любопытную закономерность. Результаты анализа французских нарративов подтвердил гипотезу исследования: в данном языке наблюдается устойчивая корреляция предельных жестов и глаголов перфектного времени (passé composé) (p<.01) и непредельных жестов и имперфекта (imparfait) (p<.01). В то же время, в немецком языке данная корреляция сохраняется для предельных жестов и перфекта (Perfekt) (p<.01), однако в случае с претеритом (Präteritum), различия в распределении предельных и непредельных жестов не были статистически достоверными (p=0.35). В русском видеокорпусе пропорция, демонстрируя близкие количественные значения, меняется в пользу предельных жестов, независимо от выбора глагольного вида (p<.01 как для перфектных, так и для имперфектных форм). Подобный результат может быть связан с выбором типа жеста, с многофункциональностью жестов, с особенностями категории аспекта в разных языках, а также с некоторыми параметрами событий, о которых шла речь.

На втором этапе получены данные экспериментального анализа процессов восприятия устной речи на трех языках в России (Москва), Германии (Франкфурт-на-Одере) и Франции (Париж и Нанси).

Результаты эксперимента по восприятия речи на русском языке подтвердили выводы, полученные в ходе анализа порождения нарративов. Во всех трех языках мы не выявили достоверных различий в скорости реакций испытуемых на неотредактированные видеоклипы, в которых глагол совершенного вида сопровождался предельным жестом, а несовершенного – непредельным, и реакции на отредактированные видеофрагменты, в которых данная сочетаемость нарушалась и испытуемому предъявлялись предельные жесты в сопровождении неперфектных глаголов, и наоборот.

Отсутствие выраженной реакции испытуемых на несответствие схем предельности жеста и типа глагольной формы, наблюдаемые во всех трех языках, может быть обусловлена многофункциональностью жестов (функциями репрезентации, структурирования дискурса и прагматическими функциями).

Cледует отметить, что в анализируемых языках была обнаружены следующая статистически значимая тенденция (p=0.05): скорость распознавания глагола (при правильном ответе на вопрос, слышали ли испытуемые глагол в предыдущем клипе или нет) была выше для предельных жестов.

В настоящее время проводится новый, третий, этап исследования, позволяющий изучить различия выражения аспектуальности с учетом жестовой составляющей у носителей языка и у говорящих на иностранном языке. В ходе третьего этапа записано 20 видео на каждом из рассматриваемых языков (всего 60 видеозаписей) и осуществляется разметка глагольных форм и синхронизированных с ними жестов. Полученные данные позволят провести сравнительный анализ, а также выявить новые параметры оценки компетентности изучающих иностранный язык.

В рамках проекта были проведены различные мероприятия, в ходе которых участники проекта делились результатами своих исследований с коллегами и студентами и аспирантами.

Проведенные семинары, лекции и телеконференции для преподавателей и студентов:

16.10 – 17. 10.2014 — международная школа-семинар «Полимодальные измерения дискурса. Исследование жестов в речи».

28.10.2014 – телеконференция «Методы изучения жестов, сопровождающих речь» с сотрудниками Центра исследования жестов в Амстердаме.

03.12.2014 — серия лекций А. Моргенстерн «Использование языка и познание».  18.12.2014 — серия лекций Р. Беккера «Использование языка и познание».  09.12.2014 — серия лекций М. Гонсалес-Маркес «Использование языка и познание».  1.12.2014 — лекция М. Гонсалес-Маркес «Неожиданная связь билингвизма и ориентации в пространстве». («The unexpected relationship between bilingualism and spatial navigation»)

23.12.2014 — серия лекций А. Ченки «Использование языка и познание».

23.12.2014 — лекция А. Ченки на тему «Что считать языком, Лингвистические структуры в жестах». («What counts as language? Linguistic structures in speakers’ gestures»)

Международные симпозиумы, и кнференции, в которых принимают участие исследователи из России, Голландии Германии, Франции, Финляндии, Норвегии и других стран: 

 

01.12.2014 — международный симпозиум «Методы исследования жестов в речи». 17.04.2015 — международный симпозиум «Полимодальность в грамматическом измерении» 16.10-17.10.2014 — II международная научная конференция «Дискурс как социальная деятельность: приоритеты и перспективы» 16.10.2015 — международный симпозиум «Исследование жестов во взаимодействии человека и компьютера: роботы и виртуальные агенты» 26.10.2015 — международный симпозиум «Исследование жестов во взаимодействии человека и компьютера: роботы и виртуальные агенты» 

19.05-20.05.2016 — международная конференция «События в коммуникации и когниции»