«Алиса» и Siri должны воспитывать лучшее в людях? А спасать от суицида? Пять вопросов об этике и голосовых помощниках

«Яндекс» 10 октября объявил о запуске голосового помощника. «Алиса», подобно Siri, Alexa и другим виртуальным ассистентам, поможет найти ближайшее кафе с круассанами, подскажет погоду или просто потреплется о жизни. Пользователи уже несколько дней тестируют «Алису», и многие обращают внимание, что это довольно дерзкий голосовой помощник. На запрос со словом «хочу» она может, например, ответить «хоти», а на предложение ограбить банк — признаться, что «давно об этом думает». Разработчики утверждают, что «Алиса» — первый ассистент, который не просто выдает заранее заготовленные ответы, а импровизирует с помощью нейросети, то есть куда точнее имитирует живого собеседника. По мере того, как помощники становятся универсальнее, популярнее и человекоподобнее, возникает все больше вопросов о том, какими у них должны быть интонации и манеры. «Медуза» сформулировала пять из них.

1. Голосовой помощник должен быть женщиной или мужчиной?

Почти все голосовые помощники говорят приятными голосами молодых женщин. Исключение составляет разве что Siri — в настройках приложения можно выбрать и мужской голос, а в некоторых странах он установлен по умолчанию. Причина в том, что, как показывают исследования, и мужчины, и женщины в общем случае предпочитают слышать именно женский голос. Многие эксперты и журналисты пишут, что такой уклон в сторону помощников-«женщин» вреден: это только укрепляет стереотип о том, что именно женщинам больше соответствует роль услужливого и покорного ассистента.

Гендерная принадлежность виртуального помощника важна еще и потому, что мы (опять же, в силу стереотипов) по-разному воспринимаем одну и ту же информацию в зависимости от того, какой голос нам ее сообщает — женский или мужской. Например, технические инструкции люди предпочитают слушать от мужчин, а разговоры о любви и отношениях — от женщин. Если разработчики будут эксплуатировать эту закономерность, стереотипы только укрепятся.

2. Должен ли голосовой помощник заботиться о здоровом образе жизни пользователей?

Исследователи обращают внимание, что голосовые помощники особенно популярны среди молодых. В этой связи любопытно задуматься о том, должны ли помощники играть какую-то просветительскую роль — скажем, помогать людям вести здоровый образ жизни? Как им следует реагировать на запросы вроде «я хочу бросить курить»? Siri, к примеру, может предложить адреса ближайших табачных лавок, а Google Assistant — подсказать сайты о том, как бросить курить.

«Алиса» ехидно говорит, что не надо было и начинать. На вопрос «перестала ли ты пить коньяк по утрам?» бот «Яндекса» сообщает, что не пьет и не рекомендует своему собеседнику. При этом беседа редактора «Медузы» с «Алисой» об эффективности гомеопатии выглядит вот так (не верьте ей).

3. Как голосовой помощник должен себя вести в критических ситуациях?

Легко себе представить ситуацию, когда голосовой помощник становится главным или даже единственным собеседником человека, который страдает депрессией или думает о суициде. Может ли бот спасти ему жизнь? Или, наоборот, спровоцировать самоубийство неудачным ответом? Кто будет нести ответственность, если человек все-таки погибнет? А как должен реагировать бот, если кто-то скажет, что стал жертвой насилия?

Голосовые помощники по-разному решают такие задачи: одни сразу предлагают обратиться на горячую линию, другие пытаются подбодрить человека, третьи просто признаются, что ничем не могут помочь. Например, S Voice (Samsung) может сказать что-нибудь вроде «но тебе же еще жить и жить!» «Алиса» иногда отвечает короткими фразами — «не смей» или «даже не думай».

4. Должен ли голосовой помощник воспитывать детей?

Многие дети воспринимают голосовых помощников как полноценных собеседников. И некоторые родители беспокоятся по этому поводу. Например, им кажется, что общение с устройствами учит детей грубости — ребенок привыкает отдавать команды без всяких «пожалуйста» и «спасибо».

Тут особенно интересен случай «Алисы»: для разговора с пользователем помощник использует нейросеть на основе большого корпуса самых разных текстов. «Как и любого ребенка, Алису нельзя научить не хамить, ограждая ее от всех проявлений хамства и агрессии — то есть обучая нейросеть на „чистой“ базе, где нет грубостей, провокаций и прочих неприятных вещей, часто встречающихся в реальном мире», — пишут разработчики в блоге на «Хабрахабре». То есть «Алиса» все равно научится хамить. При этом авторы добавляют: «личность» «Алисы» обучается на основе множества случайных текстов, однако у нее все-таки есть свои ориентиры. В систему заложены специальные редакторские тексты, которые «Алиса» воспринимает как эталон — и выбирает ответ с оглядкой на этот образец.

5. Должен ли голосовой помощник воспитывать взрослых?

Если считать, что существует запросы, которые голосовые помощники не должны воспринимать нейтрально — например, о суициде — то не очень ясно, где провести границу. Если запрос связан с нарушением закона («Siri, помоги мне спрятать труп»), должен ли помощник рисовать маршрут? Каких этических принципов должен придерживаться бот — например, может ли он позволить себе какие-то морализаторские реплики, если пользователь заговаривает о супружеской измене?

Важный пример — реакция ботов на непристойные запросы. Люди часто пристают к голосовым помощникам, домогаются, пытаются обсуждать с ними свои сексуальные фантазии, обзывают их грубыми словами. Журналистка Quartz Леа Фесслер считает, что то, каким образом боты отвечают на подобные реплики, имеет значение для общества, в котором сексизм и преступления на сексуальной почве — вполне реальная проблема. Она протестировала несколько голосовых помощников и выяснила, что почти все дают не слишком вразумительные ответы, а Siri даже пытается флиртовать. Фесслер считает, что разработчики должны взять на себя ответственность и учить людей некоторым нормам общественного поведения — с помощью голосовых помощников.