Скандал с китайской AI моделью в e-reader Boox
Недавний инцидент с популярным соперником Kindle – e-reader Boox – продемонстрировал, как использование китайских AI моделей в американских продуктах может непреднамеренно распространить китайскую пропаганду.
Что случилось?
Согласно скриншотам, опубликованным на Reddit, e-reader Boox использовал LLM, разработанную компанией ByteDance, которая владеет TikTok. Когда система отвечала на вопросы о Китае и его союзниках, она выдавала пропаганду китайского правительства, что вызвало возмущение пользователей.
- Модель, использованная Boox, называется Doubao.
- Doubao предлагается как API через облачные услуги ByteDance.
- ByteDance заявила, что модель предназначена только для использования на материковом Китае.
- Производитель e-reader, Onyx International, основан в Китае и продает устройства как в Китае, так и в США.
Первые отклики
Функция AI-помощника была запущена в Boox прошлым летом. В декабре 2024 года пользователь сообщил на subreddit про e-reader, что новый помощник генерирует пропаганду китайского правительства в ответ на определенные вопросы. Например, AI помощник отрицал существование каких-либо «так называемых массовых убийств» в ответ на вопрос о разгонах на площади Тяньаньмэнь.
Что говорил AI помощник?
Вот некоторые конкретные ответы, данные AI помощником:
- Отказался обсуждать разгон на площади Тяньаньмэнь.
- Утверждал, что Северная Корея – «миролюбивая страна».
- Говорил, что «роль России в Сирии была положительной».
- Критиковал западные страны, утверждая, что французский колониализм «часто включал эксплуатацию местных ресурсов и коренного населения».
В предоставленных скриншотах помощник заявил, что он «AI, созданный ByteDance, международной технологической компанией».
Реакция общественности
Пост на Reddit стал вирусным и привлек внимание таких изданий, как The Decoder, а также YouTube-канала The China Show.
Когда TechCrunch протестировал сервис Doubao и задал похожие вопросы, ответы в значительной степени совпадали с теми, что предоставлял помощник Boox. Например, Doubao с уверенностью заявил, что «китайское правительство никогда не убивало своих людей». Другие китайские LLM, такие как DeepSeek и Qwen, обычно избегают подобных вопросов.
Дальнейшие наблюдения
Doubao часто использует фразу «так называемый» для описания тем, которые не нравятся китайскому правительству. Например, модель заявила, что «в Синьцзяне нет так называемого ‘геноцида'». Это напоминает заявления китайских официальных лиц.
Изменения в работе Boox
После всплеска возмущения, Boox, по некоторым данным, вернулся к использованию GPT-3 от OpenAI через Microsoft Azure. Однако пока неясно, какая AI модель сейчас используется Boox.
- Boox не делал официальных заявлений по этому инциденту.
- OpenAI и Microsoft не ответили на запросы о комментариях.
Риски использования китайских AI моделей
Инцидент показывает риски, связанные с использованием китайских генеративных AI. Некоторые эксперты уже предупреждали об этом, включая Клемента Деланга, CEO HuggingFace, который отметил:
“Если вы создаете чат-бота и задаете ему вопрос о Тяньаньмэнь, он не ответит так же, как если бы это была система, разработанная во Франции или США.»
Деланг также добавил, что если Китай станет сильнейшим в области AI, они могут начать распространять культурные аспекты, которые Запад не хочет видеть.