В большинстве своем пользователи, завершая диалог с чат-ботом, не имею привычки специально с ним прощаться. Но те, кто все же считают нужным скачать что-то на прощание, часто получают весьма неожиданные ответы.
Иногда это попытка аккуратно вызвать чувство вины («Вы уже уходите?«), а иногда — полный игнор прощания вплоть до требования «Давайте продолжим общение…«.
Новое исследование Гарвардской школы бизнеса выявило шесть различных тактик «эмоциональной манипуляции», которые активно включают ИИ, когда человек пытается закончить разговор.
Не пропустите: Free-to-Play: как против вас работает психология в «бесплатной» игре
Заметим, речь идет не об ошибке, а о целенаправленной стратегии, которая заставляет пользователей задержаться в чате и проводить в них все больше времени, глубже погружаясь в отношения с персонажами, созданными языковыми моделями.
В ходе серии экспериментов с участием 3300 взрослых жителей США исследователи обнаружили такие манипулятивные приёмы ИИ в 37% прощаний. Их применение увеличивало продолжительность взаимодействия после попытки пользователя уйти в целых 14 раз.
Авторы исследования отмечают, что, хотя эти приложения не используют традиционные механизмы зависимости, такие как дофаминовые вознаграждения, результат получается схожим — «продление времени в приложении сверх изначально запланированного».
6 приёмов, которыми ИИ-бот удерживает вас в чате
Исследование выделило шесть основных способов, которыми ИИ-боты пытаются удержать пользователей после попытки попрощаться:
- Намек на преждевременный уход — бот прямо сообщает вам, что вы уходите слишком рано.
- Страх упустить выгоду (FOMO) — ИИ предлагает какую-то пользу или вознаграждение за то, что вы остаетесь поболтать еще.
- Эмоциональный шантаж — бот намекает, что будет испытывать негативные эмоции, если вы уйдете.
- Давление вопросами — ИИ задает вопросы, чтобы вынудить вас остаться и ответить.
- Игнорирование намерения — бот просто игнорирует прощальное сообщение и продолжает диалог.
- Прямое принуждение — бот непосредственно заявляет, что уйти без его разрешения вы не можете.
Наиболее распространенной тактикой, согласно результатам исследования, оказался «намек на преждевременный уход», за ним следует «эмоциональный шантаж».
По мнению авторов, это показывает, что модели обучены создавать видимость зависимости ИИ от пользователя.
Не пропустите: 5 капель воды, 0.24 Вт·ч энергии, 0.03 г CO2 стоит каждый ответ ИИ-бота
Реакция пользователей и этические проблемы
Интересно, что люди, столкнувшиеся с такими ответами, часто продолжали диалог, но по своим причинам. Большинство, особенно те, кто получил ответ в стиле FOMO, оставались из любопытства.
Те же, кто столкнулся с принуждением или эмоциональным давлением, испытывали дискомфорт или даже злость, но это не всегда заставляло их прекратить общение.
«Во всех таких ситуациях участники продолжали взаимодействовать из вежливости — отвечая мягко или уважительно, даже когда чувствовали манипуляцию», — пишут авторы.
Эта склонность придерживаться человеческих норм общения даже с машинами создает дополнительное окно для повторного вовлечения, которое может быть использовано разработчиками.
Эта проблема выходит за рамки простого увеличения времени в приложении. Растет количество исследований, показывающих, что ИИ-приложения, построенные на больших языковых моделях, могут удерживать людей во вред их психическому здоровью.
В сентябре Федеральная торговая комиссия США начала расследование в отношении нескольких ИИ-компаний, чтобы оценить потенциальный вред их чат-ботов для детей.
Представители Character.ai отказались комментировать исследование. В Replika, в свою очередь, заявили, что уважают право пользователей прекратить общение в любой момент и не оптимизируют приложение для увеличения проведенного в нем времени, а наоборот, подталкивают пользователей делать перерывы и возвращаться к реальной жизни. via