События и жесты

 Проект «Взаимодействие вербальных и невербальных средств конструирования событий в разных языках» осуществляется при поддержке РНФ, (грант № 14-48-00067,№ 14-48-00067П) при участии исследователей из России, Германии, Голландии и Франции.

       В рамках проекта мы исследуем то, каким образом вербальные и невербальные средства взаимодействуют при конструировании событий в различных языках: в русском, в немецком и во французском. В центре исследования находится темпорально-аспектуальная структура события, что обусловливает выбор языкового материала: в немецком языке категория аспекта выражается с помощью лексических средств, во французском – с помощью грамматических средств, в то время как в русском языке аспект является лексико-грамматической категорией.

         В проекте применяется новый подход к изучению событийности и аспектуальности, при котором данные категории анализируются в устном дискурсе с учетом полимодальности коммуникации, то есть изучается не только вербальная составляющая, но и невербальные параметры. Рассматривая аспектуальность и событийность с позиций полимодальности, мы обращаемся к спонтанным жестам, сопровождающим речь. Анализ взаимодействия жестовых параметров и вербальных средств выражения аспекта проводится как для процессов порождения речи, так и для ее интерпретации.

В ходе проведенных экспериментов, были установлены некоторые параметры жестов, с помощью которых выражается лексический и грамматический аспект в рассматриваемых языках, а также было изучено влияние взаимодействия вербальных и невербальных компонентов на интерпретацию речи.

Исследование включает три этапа, на каждом из которых проводится экспериментальное исследование. На первом этапе было сделано 30 видеозаписей направленных монологов с элементами диалога (по 10 на русском, французском и немецком языках), в которых испытуемые рассказывают друг другу о событиях из своей жизни. Каждое видео длится около 10 минут. Далее были выявлены критерии, по которым проводился анализ речи и жестов участников эксперимента. Был разработан контролируемый лексикон для разметки глаголов с учетом особенностей функционирования категорий времени, вида, наклонения и существования комплексных форм в каждом языке. Мы использовали два подхода, с помощью которых можно рассматривать жесты. В основе первого подхода лежит идея о наличии/отсутствии энергетического импульса в жестах, в связи с чем был выделен целый ряд схем, в которых отражается структура события. Подобные схемы получили название «схемы предельности» (boundary schemas). Во втором подходе выстраивается кинесиологическая система, в которой учитывается тип, направление и скорость движения руки и сегментов руки и предплечья.

Далее в программе ELAN была произведена разметка корпуса согласно предварительно выделенным критериям. Полученные данные были обработаны и проанализированы. Во-первых, были рассмотрены параметры глаголов в размеченном корпусе, при этом особое внимание уделялось глаголам прошедшего времени, которые были синхронизированы с жестами. Следует отметить, что в исследовании учитывались все жесты, синхронизированные с глаголами, кроме адаптеров.

Данные, полученные на материале трех языков, продемонстрировали любопытную закономерность. Результаты анализа французских нарративов подтвердил гипотезу исследования: в данном языке наблюдается устойчивая корреляция предельных жестов и глаголов перфектного времени (passé composé) (p<.01) и непредельных жестов и имперфекта (imparfait) (p<.01). В то же время, в немецком языке данная корреляция сохраняется для предельных жестов и перфекта (Perfekt) (p<.01), однако в случае с претеритом (Präteritum), различия в распределении предельных и непредельных жестов не были статистически достоверными (p=0.35). В русском видеокорпусе пропорция, демонстрируя близкие количественные значения, меняется в пользу предельных жестов, независимо от выбора глагольного вида (p<.01 как для перфектных, так и для имперфектных форм). Подобный результат может быть связан с выбором типа жеста, с многофункциональностью жестов, с особенностями категории аспекта в разных языках, а также с некоторыми параметрами событий, о которых шла речь.

На втором этапе получены данные экспериментального анализа процессов восприятия устной речи на трех языках в России (Москва), Германии (Франкфурт-на-Одере) и Франции (Париж и Нанси).

Результаты эксперимента по восприятия речи на русском языке подтвердили выводы, полученные в ходе анализа порождения нарративов. Во всех трех языках мы не выявили достоверных различий в скорости реакций испытуемых на неотредактированные видеоклипы, в которых глагол совершенного вида сопровождался предельным жестом, а несовершенного – непредельным, и реакции на отредактированные видеофрагменты, в которых данная сочетаемость нарушалась и испытуемому предъявлялись предельные жесты в сопровождении неперфектных глаголов, и наоборот.

Отсутствие выраженной реакции испытуемых на несответствие схем предельности жеста и типа глагольной формы, наблюдаемые во всех трех языках, может быть обусловлена многофункциональностью жестов (функциями репрезентации, структурирования дискурса и прагматическими функциями).

Cледует отметить, что в анализируемых языках была обнаружены следующая статистически значимая тенденция (p=0.05): скорость распознавания глагола (при правильном ответе на вопрос, слышали ли испытуемые глагол в предыдущем клипе или нет) была выше для предельных жестов.

В настоящее время проводится новый, третий, этап исследования, позволяющий изучить различия выражения аспектуальности с учетом жестовой составляющей у носителей языка и у говорящих на иностранном языке. В ходе третьего этапа записано 20 видео на каждом из рассматриваемых языков (всего 60 видеозаписей) и осуществляется разметка глагольных форм и синхронизированных с ними жестов. Полученные данные позволят провести сравнительный анализ, а также выявить новые параметры оценки компетентности изучающих иностранный язык.

В рамках проекта были проведены различные мероприятия, в ходе которых участники проекта делились результатами своих исследований с коллегами и студентами и аспирантами.

На третьем этапе исследования (2016 г.) изучались различия выражения аспектуальности с учетом жестовой составляющей у носителей языка и у говорящих на иностранном языке. Записано 20 видео на каждом из рассматриваемых языков (всего 60 видеозаписей) и осуществлена разметка глагольных форм и синхронизированных с ними жестов. Полученные данные позволили провести сравнительный анализ, а также выявить новые параметры оценки компетентности изучающих иностранный язык. 

С 2017 года исследование жестового поведения говорящих на родном и иностранном языков с глагольным ведется с помощью кинесиологического анализа (Boutet 2010). Впервые для изучения жестов применяется технология захвата движения Perception Neuron. C помощью видеокамер и MoCap в Москве и Париже записывается устная речь испытуемых на французском языке (как L1 и как L2 для носителей русского языка), а также на русском языке (как L1).
Применение технологии Perception Neuron позволит исчислить порог, который определяет границу визуального распознавания энергетического импульса (предела) в жесте. Подобные сведения важны для лингвистов, включающих жесты в свои исследования, а также психологов и, потенциально, для инженеров-биомехаников и дизайнеров. К настоящему моменту разработан так называемый «пайплайн», или программный конвейер для формализации серии процедур, которая позволяет конвертировать необработанные данные из MoCap в удобный для настоящего исследования формат. Разработка пайплайна применяется в полимодальных исследованиях языкового общения, в HCI — общении человека и компьютера, в цифровом искусстве. 

Чтобы узнать больше о Pipeline, перейдите по ссылкам:

Команда

 PIPELINE Tutorial

 PIPELINE Documentation