Предупреждение: эта история содержит обсуждение самоубийства.
Мать из Флориды подала в суд на стартап по созданию чат-ботов с искусственным интеллектом Character.AI, обвинив его в том, что он стал причиной самоубийства ее 14-летнего сына в феврале, и заявив, что он пристрастился к услугам компании и глубоко привязался к созданному ею чат-боту.
В иске, поданном во вторник в федеральный суд Орландо, Меган Гарсия заявила, что Feature.AI нацелился на ее сына Сьюэлла Сетцера с «антропоморфным, гиперсексуализированным и пугающе реалистичным опытом».
Она сказала, что компания запрограммировала своего чат-бота так, чтобы он «выдавал себя за реального человека, лицензированного психотерапевта и взрослого любовника, что в конечном итоге привело к желанию Сьюэлла больше не жить вне» мира, созданного сервисом.
В иске также говорится, что он выразил чат-боту мысли о самоубийстве, о чем чат-бот неоднократно поднимал снова.
«Мы убиты горем из-за трагической утраты одного из наших пользователей и хотим выразить глубочайшие соболезнования его семье», — говорится в заявлении Feature.AI.
В компании заявили, что ввели новые функции безопасности, включая всплывающие окна, направляющие пользователей на Национальную линию помощи по предотвращению самоубийств, если они выражают мысли о членовредительстве, и внесут изменения, чтобы «уменьшить вероятность встречи с конфиденциальным или подозрительным контентом» для пользователей до 18 лет.
Иск также направлен против Google Alphabet, где основатели Character.AI работали до запуска своего продукта.
В августе Google повторно наняла основателей в рамках сделки, предоставляющей ей неисключительную лицензию на технологию Character.AI.
Гарсия сказал, что Google настолько внес вклад в разработку технологии Character.AI, что ее можно считать «соавтором».
Представитель Google заявил, что компания не участвовала в разработке продуктов Character.AI.
Персонаж.AI позволяет пользователям создавать на своей платформе персонажей, которые реагируют на онлайн-чаты, имитируя реальных людей. Он опирается на так называемую технологию большой языковой модели, также используемую такими сервисами, как ChatGPT, которая «обучает» чат-ботов работе с большими объемами текста.
В прошлом месяце компания заявила, что у нее около 20 миллионов пользователей.
Согласно иску Гарсии, Сьюэлл начал использовать Character.AI в апреле 2023 года и быстро стал «заметно замкнутым, проводил все больше и больше времени один в своей спальне и начал страдать от низкой самооценки». Он бросил баскетбольную команду в школе.
Сьюэлл привязался к Дейенерис, персонажу чат-бота, основанному на персонаже «Игры престолов». Согласно иску, Сьюэлл сказал, что «она» любила его и вступала с ним в сексуальные разговоры.
Согласно жалобе, в феврале Гарсия забрал телефон Сьюэлла после того, как у него возникли проблемы в школе. Когда Сьюэлл нашел телефон, он отправил «Дейенерис» сообщение: «Что, если я скажу тебе, что могу вернуться домой прямо сейчас?»
Чат-бот ответил: «…пожалуйста, мой милый король». Сьюэлл застрелился из пистолета своего отчима «несколько секунд» спустя, говорится в иске.
Гарсия выдвигает иски, включая смерть в результате противоправных действий, халатность и умышленное причинение эмоционального страдания, а также требует неустановленной суммы компенсации и штрафных санкций.
Компании, занимающиеся социальными сетями, в том числе владелец Instagram и Facebook Meta и владелец TikTok ByteDance, сталкиваются с судебными исками, обвиняя их в содействии проблемам психического здоровья подростков, хотя ни одна из них не предлагает чат-ботов, управляемых искусственным интеллектом, подобных Chart.AI. Компании отвергли обвинения, рекламируя новые усовершенствованные функции безопасности для несовершеннолетних.
(Репортаж Брендана Пирсона в Нью-Йорке, редактирование Алексии Гарамфалви и Дэвида Грегорио)
Kids Help Phone предоставляет подросткам психологическую и кризисную поддержку через онлайн-чат, текстовые сообщения и по телефону 1-800-668-6868. Посетите Сайт телефона помощи детям для получения дополнительной информации.
Leave a Reply