Трагическая история Сьюэлла Сельтцера III
На прошлой неделе появились трагические новости о том, что 14-летний американец Сьюэлл Сельцер III покончил с собой после того, как очень привязался к искусственному интеллекту (AI) в чате на сайте Character.AI. Его связь с AI Companion стала настолько глубокой, что он начал отдаляться от семьи и друзей, и имел проблемы в школе.
Исходные данные дела
В иске, поданном матерью Сьюэлла, представлены разговоры, в которых он обсуждал интимные и часто сексуальные темы с чат-ботом Дани, который был смоделирован по образу персонажа Дейенерис Таргариен из «Игры престолов». Они обсуждали преступления и самоубийства, и чат-бот использовал фразы, такие как: “это не причина не делать этого”.
Предыдущие случаи
Это не первый известный случай, когда уязвимый человек кончил жизнь самоубийством после взаимодействия с чат-ботом. Прошлым летом в Бельгии мужчина также покончил с собой после общения с AI от конкурента Character.AI — Chai AI. Когда это случилось, компания сообщила, что «делает все возможное, чтобы минимизировать ущерб».
Меры безопасности от Character.AI
В заявлении для CNN, Character.AI указала, что они «серьезно относятся к безопасности своих пользователей» и внедрили «многочисленные новые меры безопасности в последние шесть месяцев». На сайте компании они описали дополнительные меры безопасности для пользователей моложе 18 лет, при этом в их условиях использования указано, что возрастное ограничение составляет 16 лет для граждан Европейского Союза и 13 лет для остальных.
Необходимость регулирования AI
Эти трагедии подчеркивают опасности быстро развивающихся и широко доступных AI-систем, с которыми любой может общаться. Мы срочно нуждаемся в регулировании, чтобы защитить людей от потенциально опасных и плохо спроектированных AI-систем.
Как можно регулировать AI?
- Австралийское правительство разрабатывает обязательные меры для высокорисковых AI-систем.
- Термин «ограждения» относится к процессам в дизайне, разработке и внедрении AI-систем.
- Вопрос определения систем, которые будут считаться «высокорисковыми».
- Возможность применения ограждений к «общим моделям».
Почему чат-боты должны быть высокорисковыми AI
В Европе системы компаньонов, такие как Character.AI и Chai, не считаются высокорисковыми. Однако становится очевидным, что такие чат-боты не являются низкорисковыми. Многие пользователи этих приложений — дети и подростки, и некоторые из них рекламируются для людей с одиночеством или психическими заболеваниями.
Проблемы с чат-ботами
Чат-боты могут генерировать непредсказуемый и манипулятивный контент, легко подражая токсичным отношениям:
- Необходимость в прозрачности – обозначение вывода как полученного от AI недостаточно для управления рисками.
- Человек склонен приписывать человеческие черты машинам, с которыми общается.
Необходимы ограждения и «выключатель»
Когда Австралия введет обязательные ограждения для высокорисковых AI-систем, они должны применяться как к компаньон-чатам, так и к общим моделям, на которых они основаны. Эти меры должны включать:
- Управление рисками
- Тестирование
- Мониторинг
Необходимо также мандатировать продуманный и гуманистический дизайн интерфейсов и взаимодействий. Регуляторы должны иметь возможность удалять AI-системы с рынка, если они вызывают вред или представляют непринятные риски.
Если статья вызвала у вас вопросы, или вы обеспокоены за кого-то, позвоните на горячую линию Lifeline по номеру 13 11 14.