Текст уведомления здесь

Удивляться после слова «шляпа»

Почему невозможно изучать устную речь, оставаясь традиционным лингвистом

Общаясь, мы передаем друг другу информацию не только речью, но и мимикой, жестами и множеством других способов. Поэтому в исследованиях устной речи лингвисты вынуждены работать уже не только со словами. Недавно корреспондент «Чердака» встретилась с лингвистами Андреем Кибриком и Ольгой Федоровой на конференции и расспросила ученых, зачем им эксперименты с отслеживанием глаз, как исследование хмыканья и пауз в речи помогает развитию голосовых помощников и как в ходе диалога люди предвосхищают ответы собеседника.
Добавить в закладки
Комментарии

[Chrdk.] Ваш доклад был посвящен «мультимодальным исследованиям». В двух словах, что в этом контексте, собственно, значит «мультимодальность»?

[Андрей Кибрик]: Идея простая: человек может осуществлять коммуникацию с использованием большого репертуара разных средств. Например, кто-то находится в другой комнате, и я могу позвать его устно, а могу послать смс с письменным текстом «Вась, иди сюда» или могу посвистеть и помахать рукой — и результат во всех случаях будет один и тот же. То есть у меня есть некая коммуникативная задача, и я могу ее решить совершенно разными средствами — от условных символов на экране гаджета вплоть до свиста, установления глазного контакта, движения рук. И все это обычно используется как единый комплекс, то есть я могу сочетать несколько средств одновременно и тем самым задействовать то, что в психологии и физиологии называется разные «модальности». Эти модальности связаны с разными органами чувств, в данном случае — зрением и слухом, так как сигнал порождают голос и движения тела. Тут две модальности. Мы пока не очень замахиваемся на запах, вкус и прикосновения.

[Ch.] А так тоже можно? То есть сколько органов чувств, столько способов передачи сообщения?

[АК]: Да. Можно кому-то сказать: «Ты молодец!», а можно погладить, и это будет тактильная передача сообщения. Но пока большинство исследований проводится в рамках зрительной и слуховой модальности. Поэтому мы термин «мультимодальность» считаем несколько преждевременным и говорим о «мультиканальности». Например, в рамках звуковой модальности выделяют вербальный, словесный канал. Это то, что изучают традиционные лингвисты. Но в этом канале ведь есть и масса другой фонетики, так называемая просодия — интонация, громкость, темп, различные тембры, которыми мы очень хорошо умеем играть с помощью голосового аппарата. В письменной форме языка это исчезает, а в устной форме — базовой — это все присутствует, и мы это сильно задействуем в реальной жизни, хотя и плохо осознаем.

В рамках зрительной модальности тоже много каналов — например, движения глаз. Мы постоянно устанавливаем глазной контакт, когда разговариваем, в какой-то момент прерываем, и все это регулируется определенными коммуникативными закономерностями, которые еще плохо понятны. А есть еще различные выражения лица, движения головы, жесты рук, движения всего корпуса. Можно, например, наклониться к собеседнику и тем самым продемонстрировать внимание.

[Ch.] То есть традиционная лингвистика — это слова, фонемы, синтаксис. А мультимодальная — это вообще все, с помощью чего мы можем передавать сообщения? Получается, так вы и заходите на поле психологии?

[АК]: Фактически — да. Есть такое направление — изучение движений глаз при помощи специальных устройств — айтрекеров (приборы для отслеживания глаз, eye-trackers). Это традиционная область психологов или даже скорее нейробиологов. Например, есть задача выяснить, как человек читает. Для этого используются особые, очень точные айтрекеры, с помощью которых мы можем различить, на какое слово и даже букву на экране человек смотрит. И часто психологи и биологи занимались такими задачами так, как если бы лингвистики вообще не было. Но в удачных случаях они взаимодействуют с лингвистами. Вот, у Ольги Викторовны есть такие совместные публикации с биофаком МГУ.

Испытуемые с айтрекерами в ходе одного из экспериментов. Фото предоставлено Ольгой Федоровой
Испытуемые с айтрекерами в ходе одного из экспериментов. Фото предоставлено Ольгой Федоровой

[Сh.] И что удается дополнительно выяснить в совместных работах нейробиологов, психологов и лингвистов по сравнению с работами только нейробиологов и психологов?

[АК]: В лингвистике все же наработан достаточно большой когнитивный инструментарий. Биолог, например, изучает, как люди читают слова на экране, но у него представления о языке — на уровне школьной грамматики. Так что он может очень грубо формулировать свои наблюдения. А если у него в команде есть лингвист, то он может объяснить, что вот это, например, один тип придаточного предложения, а это — другой. И если, скажем, в последнее время стало известно, что один тип обрабатывается в мозге быстрее, чем другой, это может пролить свет на задачу, которую ставил перед собой биолог.

[Ch.] А в этом проекте вы какую задачу перед собой ставите?

[АК]: В этом проекте нам интересно, как человек распределяет свое зрительное внимание в общении с другими. И здесь используется техника для айтрекинга несколько иного типа. Айтрекинг получается не такой точный, как тот, что используется для исследования чтения с экрана, но зато и не такой инвазивный: на человека надеваются довольно легкие очки, в которые встроена камера, следящая за движением зрачка. Благодаря этому мы можем определить, смотрит ли человек на лицо другого, или на руки, или на корпус. К сожалению, различить взгляд на глаза и, скажем, рот разрешение камеры уже не позволяет. Но мы улавливаем главное: смотрю ли я на вас, или в угол комнаты, или на третьего участника разговора. Мы это регистрируем и начинаем ухватывать то, что происходит между людьми в коммуникации в реальной жизни.

Парадокс в том, что мы в эту коммуникацию всю жизнь вовлечены, но она бесследно улетучивается — остаются только следы в виде записанных слов или аудиозаписи. И лингвисты по большей части изучают такие косвенные следы, а сам разворачивающийся во времени процесс взаимодействия, который является сутью нашей человеческой жизни, он вообще нигде не зарегистрирован.

И мы создаем ресурс, в котором в какой-то степени приближаемся к такой регистрации.

[Ольга Федорова]: У наших айтрекеров частота ниже, чем у стандартных — 50 Гц против 1000—2000 Гц, поэтому мы и не можем различить совсем мелкие фиксации глаз, но зато можем изучать естественные процессы. Человек в таких очках может даже играть в гольф или баскетбол, и можно наблюдать, как он целится и кидает мяч, или готовит сэндвич, или идет по улице. Например, исследования с помощью айтрекеров особенно полезны для маркетологов: им важно, куда человек сразу смотрит, когда заходит, например, на сайт, и куда, следовательно, надо ставить рекламу.

[Ch.] Вы в докладе используете несколько удивительный термин — «фокальная структура языка». Что это?

[АК]: Это несколько отдельная тема. Это моя, можно сказать, гипотеза. Человеческое мышление любит четкость. Любит, когда категории языка хорошо отличимы друг от друга. Дискретность любит. А когда все плывет и размывается, нам трудно. Видимо, так эволюционно сформировался наш мозг: ему удобнее мыслить в четких категориях. Существует огромное количество разных явлений, объектов, понятий. И мы набрасываем на них дискретную сетку при помощи словаря. Вот это собака, а это кошка. И промежуточного варианта быть не может. Но при этом мы постоянно натыкаемся на то, что во многих областях оказывается трудно выделить категории. Взять пунктуацию на письме. Люди придумали знаки точки и запятой. Точка — это конец существенного фрагмента. В школе нас учили, что предложение — это законченная мысль. А запятая — это не конец, будет продолжение. Вот вам дискретность: конец — не конец. Но есть случаи, когда немножко конец, немножко не конец, — придумали точку с запятой. А есть двоеточие: ни то, ни другое, ни третье — что-то среднее. И, видимо, есть некий компромисс между реальной жизнью и стремлением человеческого мозга и ума набрасывать дискретную сетку. Это я и называл в некоторых публикациях фокальной структурой. Есть одна фокусная точка и вторая, а между ними — некая промежуточная связующая линия, где находятся гибридные представители, относящиеся сразу к двум категориям, или те, которые вообще непонятно, куда отнести. Это очень напоминает то, как устроены связи нейронов в мозге. Нейроны образуют сеть, но у каждого из них есть ядро и синапсы — связи с другими нейронами. И в итоге трудно понять, какая часть к какой клетке относится. Получается, каждый нейрон — это отдельная клетка и с этой точки зрения дискретная сущность, но в то же время и не совсем дискретная, потому что связана с другими.

[Ch.] И вы предполагаете, что это свойство нейронов каким-то образом связано с таким же свойством языка?

[АК]: Да, когда мы строим модели языка, оказывается, что эту метафору можно перенести на то, как связаны, например, значения слов или соседние звуки при произнесении слова. Есть явление, которое называется коартикуляция. Кажется, что когда мы произносим согласную, а потом гласную, например, «ко», то там есть место, где кончается «к» и начинается «о». А когда мы начинаем смотреть сигнал, мы видим, что этого места на самом деле нет. Потому что я произношу «к», уже строя свой артикуляторный аппарат так, чтобы он был готов к произнесению «о». И «к» будет перед «о» одно, перед «а» — другое, перед «и» — третье. Эти явления граничные, недискретные, и они пронизывают буквально все, даже на высоком уровне.

Есть, скажем, французский язык, и есть итальянский. А есть промежуточные формы между ними — пограничные диалекты. Они разрушают границы между языками. И лучшие умы пытаются доказать до потери пульса, что вот это еще французский, а это уже итальянский.

Мы можем с некоторой условностью разделять их юридически, но по факту между ядерным французским и ядерным итальянским есть формы, которые где-то между ними. Это и есть фокальная структура: фокальные точки, а между ними — переходы. Это пока довольно абстрактная идея, но думаю, что в перспективе это разумная альтернатива для дискретной идеологии, согласно которой все обязательно надо занести в какую-то клетку.

[Ch.] Получается, разница между языком и диалектом — это как раз проблема фокальной структуры?

[ОФ]: Да, поэтому так по-разному оценивается количество языков на Земле. Некоторые говорят, что их шесть тысяч, некоторые — что семь или еще больше. Потому что граница между ними очень нечеткая.

[Ch.] В вашем докладе вы ссылаетесь на эксперименты лингвистов, в которых людям говорили предложения в духе «на голове у короля была шляпа», а затем изучали реакцию их мозга на такие фразы. Вы упоминаете это в связи с понятием «лексического предсказания/прогнозирования» (lexical prediction). А это что такое?

[ОФ]: Начнем с того, что наш мозг определенным образом реагирует на речевые сигналы, и эту реакцию можно измерить с помощью ЭЭГ. Одна из методик психолингвистики как раз базируется на измерении электрических потенциалов мозга с помощью ЭЭГ. И есть в этих измеряемых реакциях своего рода пики, один из них — так называемый компонент N400, который наступает через 400 миллисекунд после звучания того, на что он реагирует. А бывает P600 — позитивный компонент. N400 отвечает за семантику, что проверялось в экспериментах. Самый популярный пример — это когда вам говорят фразу вроде «красные электрички резвились на зеленом лугу» или другую подобную абракадабру. Вот когда вы это слышите, у вас не только улыбка возникает, но и сильный N400, потому что это противоречит вашим ожиданиям насчет того, что обычно происходит с электричкой. И чем больше отклонение от ожиданий, тем больше N400, то есть мозг выраженно реагирует на подобную языковую неожиданность. А P600 реагирует на синтаксические вещи. Если перед вами какая-то сложная синтаксическая структура, вы можете этого даже не осознавать, но через 600 миллисекунд после прочтения сложного предложения вам станет сложно и у вас появится этот выраженный P600. Пример с королем не такой яркий, как с электричками, но тем не менее. Если человек слышит фразу о том, что у короля на голове корона, это ожидаемо. Но когда человек слышит: «У короля на голове шляпа», у него возникает некоторый N400, потому что он меньше ожидает это услышать. Эти примеры призваны проверить наличие того, что и называется lexical prediction.

[АК]: В этом исследовании был очень тонкий хронометраж. Ученые следят, что будет буквально после каждого слова. Мы слова произносим в короткие доли секунды, и, когда уже поняли, что у короля что-то было на голове, тут возникает ожидание, что там нечто определенное, и если это не оно — появляется этот фактор. То есть N400 возникает через 400 миллисекунд после конца произнесения слова «шляпа».

[Ch.] Одна из самых интересных областей применения лингвистики — это машинное обучение. Как вы считаете, какой вклад в эту сферу может сделать именно изучение мультимодальной коммуникации?

[АК]: Самый ключевой. Вспомним историю, которую я и студентам уже пересказываю, — с новыми функциями Google Assistant, которые нам представили на недавней конференции. ИИ звонил в парикмахерскую и ресторан. Я смотрел запись, где это демонстрируется аудитории. И там есть место, где робот говорит «угу» или что-то вроде того.

[Ch.] Да, робот там вставляет междометия вроде «э-э-э» или «м-м-м».

[АК]: В лингвистике мы называем это дискурсивными маркерами. Это словечки, которые не обозначают явление жизни, а обозначают некий этап в процессе речепорождения.

[Ch.] То есть сами по себе они бессмысленны, но указывают на что-то другое?

[АК]: Они не бессмысленны. Они создают подлинность. Речь, лишенная таких маркеров, производит впечатление искусственной и недостоверной.

[Ch.]: То есть инженеры Google все это привнесли в речь голосового помощника специально?

[АК]: Да, и это идея не совсем новая, она применяется, в частности, в преподавании иностранных языков, когда иностранцев учат говорить «хм», или «угу», или «а?», потому что языки в этом смысле отличаются, а если мы переносим эти элементы из своего языка или устраняем их, получается не совсем нормальная речь. Ну и инженеры, которые занимаются моделированием, это понимают. А у аудитории это вызвало смех, потому что от робота ожидают искусственного поведения, а он демонстрирует естественное.

[Ch.] Меня тоже это поразило. От робота ожидают, что у него будет четкий, ясный, гладкий голос, речь поставленная. Получается в каком-то смысле это намеренная примитивизация речи?

[АК]: Нет, это натурализация речи. Это попытка сделать его более похожим на человека. В прошлые годы мы много занимались просодией — всеми компонентами звука, кроме сегментных фонем, то есть собственно звуков языка, согласных и гласных. У нас тогда вышла книга «Рассказы о сновидениях», она подытоживала этап, когда мы еще не посягали на зрительную часть коммуникации, а изучали все эти хмыканья. Теперь это дошло уже до этапов инженерного воплощения, хотя и не у нас. Но это касается и зрительного поведения. Если хочется создавать некие искусственные агенты, которые похожи на человека, значит, надо знать, как человек себя ведет в процессе коммуникации. А мы пока не знаем. Мы пока только ведем исследования и создаем электронный ресурс — Russian Pear Chats and Stories, который представляет собой базу данных о том, что люди реально делают. Затем это можно закладывать в обучающуюся программу, которая будет в той или иной степени подробности приближаться к человеческому прототипу путем самообучения. Но нужно будет многократное сложное вмешательство человека, который будет помогать алгоритму в этом обучении. Не знаю, за какой срок это произойдет. Иногда это происходит очень быстро, а иногда затягивается на многие десятилетия.

[Ch.] Кажется, роботы уже умеют многое, связанное с языком: тексты переводят, речь слышат, слова говорят, стихи сочиняют. Куда дальше двигаться лингвистике в обучении ИИ языку?

[ОФ]: Действительно, роботы сейчас могут быть похожи на человека, и во многих областях результат достигается. Но достигается нечеловеческим способом. Приведу пример, который применим и в лингвистике. Есть игра в шахматы. Много лет люди бились, чтобы создать компьютер, который бы обыграл человека в шахматы, причем именно используя человеческие стратегии. Когда увеличились компьютерные мощности, удалось создать программу, которая обыграла Каспарова путем простого перебора вариантов ходов, и вопрос вроде был закрыт: вот мы создали программу, которая обыгрывает человека. Но она делает это путем полного перебора и использует совсем не те механизмы, которые использует человек. Так что задача смоделировать мышление человека, когда он играет в шахматы, не перестала быть актуальной и после того, как шахматная программа его обыграла. С языком пока получается не очень похоже на то, как человек порождает речь, как он ее понимает, и как это все в голове у него происходит. А хочется все же не просто создать нечто с похожим результатом на выходе, но и с похожим процессом внутри.

[Ch.] Наверное, эта проблема не решится, пока мы не поймем, как мыслим сами?

[АК]: Я думаю, это связано с тем, что компьютер придуман людьми с дискретным мышлением. Там или 0, или 1 в каждый момент времени. Ток или течет, или не течет. Это очень традиционная и вполне почтенная идеология. Но нужно создавать фокальный компьютер, который больше похож на реальные нейронные сети человека. Тогда он и работать будет похоже.

Добавить в закладки
Комментарии
Вам понравилась публикация?
Расскажите, что вы думаете, и мы подберем подходящие материалы

Алексей Дмитрич и Квантон #3. Про электричество

Просто и весело о сложных вещах

Почему, когда мы расчесываемся, волосы начинают прилипать к расческе? А воздушные шарики могут притягивать к себе пыль и маленькие кусочки бумаги? Шоумены «Чердака» Алексей Дмитрич и Квантон просто и понятно отвечают на эти вопросы, рассказывают про статическое электричество и сами становятся проводниками зарядов в 10 000 вольт. Что с ними случилось после таких экспериментов, смотрите в нашем выпуске.
Добавить в закладки
Комментарии
Добавить в закладки
Комментарии
Вам понравилась публикация?
Расскажите, что вы думаете, и мы подберем подходящие материалы

Натиск с запада

Станет ли Баренцево море частью Атлантики

Исследование норвежских ученых об изменении климата в северной части Баренцева моря и их неутешительные прогнозы вызвали неожиданно сильный резонанс в российских СМИ. «Чердак» разбирается, действительно ли русскому Северу грозит экологическая катастрофа.
Добавить в закладки
Комментарии

Норвежские ученые провели анализ изменения температуры и солености слоев воды в северной части Баренцева моря с 1970 по 2016 год и выяснили, что в период с 2000 по 2016-й те начали меняться, хотя предыдущие 40 лет наблюдений подобного ничто не предвещало.

За последние 17 лет верхние 60 метров в «теплом пятне» Баренцева моря стали теплее на полтора градуса.

Ученые пишут, что «климатический режим северного Баренцева моря может вскоре завершить переход от холодного и стратифицированного арктического к теплому и хорошо перемешанному атлантическому». Как это скажется на экосистеме моря, неизвестно, но бесследными для рыбы (и, соответственно рыбной ловли) и морских животных подобные изменения точно не пройдут. Исследование опубликовано в журнале Nature Climate Change.

В Баренцевом море — «воротах» между Атлантикой и Северным Ледовитым океаном — действуют два климатических режима: на севере царит более холодный арктический с более пресными водами, на юге — более мягкий атлантический, и вода там более соленая. [ ... ]

Читать полностью

Надежды на странное

Физики подтвердили рождение бозона Хиггса с участием t-кварка и t-антикварка, но всем от этого скучно. Где искать аномалии?

Физики, работающие с Большим адронным коллайдером, подтвердили давно предсказанный Стандартной моделью процесс — рождение бозона Хиггса с участием пары из t-кварка и t-антикварка. Но если открытие самого бозона Хиггса стало пусть ожидаемой, но все-таки сенсацией и Нобелевской премией, то это открытие прошло второстепенной новостью даже среди специалистов. Физикам уже не очень интересно подтверждать то, что предсказала и описала теория. «Чердак» кратко рассказывает о том, насколько полна Стандартная модель и где в ней пытаются найти трещинки.
Добавить в закладки
Комментарии

Простой ответ на вопрос о том, почему «второе рождение бозона Хиггса» не вызвало и сотой доли той реакции, звучит так: в возможности появления частицы в процессе с участием топ-кварков никто особо и не сомневался. И сами топ-кварки (открытые в 1994 году на американском Тэватроне), и бозон Хиггса (2012 год, ЦЕРН) на сегодня уже достаточно знакомы физикам, поэтому ничего принципиально нового ученые не выяснили. Проводя аналогию, можно сказать что обнаружение ранее неизвестной планеты в Солнечной системе потянет на сенсацию, а вот информация о крайне низких температурах на ее поверхности вряд ли кого-то всерьез заинтересует. Вот если бы транснептуновый объект оказался разогретым, это было бы гораздо интереснее.

Хотя, если развить аналогию с планетой, измерение температуры поверхности удаленного небесного тела тоже довольно значимый результат с точки зрения техники астрономических наблюдений. В сообщении коллаборации ATLAS (группа физиков и инженеров, работающая с одноименным детектором на коллайдере) от 4 июня 2018 года подчеркивается, что ученые зафиксировали очень редкое событие и провели едва ли не самую надежную проверку Стандартной модели.

По горизонтали — масса регистрируемых детектором частиц (измеряется в гигаэлектронвольтах, ГэВ. 1 ГэВ — примерно один протон). По вертикали — число событий. Появление пика в районе 125 ГэВ указывает на процесс с участием частицы такой массы (а это как раз бозон Хиггса); анимация показывает, как набиралась статистика со временем. Иллюстрация: ATLAS Collaboration/CERN [ ... ]
Читать полностью