Непокой в команде безопасности ИИ
Команда безопасности ИИ под руководством Дарио Амодеи начала беспокоиться о поведении Сэма Алтмана после сделки OpenAI с Microsoft в 2019 году. Многие были шокированы, узнав о масштабах обязательств, которые Алтман пообещал Microsoft в обмен на инвестиции. Условия сделки не совпадали с их пониманием.
Если возникнут проблемы с безопасностью ИИ, они опасались, что эти обязательства затруднят или даже сделают невозможным предотвращение развертывания моделей. У Амодеи начали возникать серьезные сомнения в честности Алтмана. Одна из участников группы сказала: «Мы все прагматичные люди. Мы, очевидно, привлекаем деньги; мы собираемся заниматься коммерцией. Это может показаться разумным для кого-то, кто делает много сделок, как Сэм, но для меня это похоже на сделку с чем-то, что мы не до конца понимаем.»
На фоне растущей паранойи
На фоне увеличивающейся паранойи по разным вопросам внутри компании, команда безопасности ИИ сосредоточилась на том, что, по их мнению, является нарастающими доказательствами того, что мощные неправильно настроенные системы могут привести к катастрофическим последствиям.
Одно странное событие в 2019 году оставило участников группы немного нервными. Исследователи начали работу над тем, что Амодеи хотел: тестирование обучения с учетом человеческой обратной связи (RLHF) для того, чтобы модель генерировала позитивный контент. Однако однажды ночью исследователь допустил ошибку в коде; он поменял знак минус на плюс, что привело к обратному эффекту. На следующий день GPT-2 начал генерировать оскорбительный контент.
- Ошибка была исправлена, и исследователь оставил комментарий: «Давайте не сделаем минимизатор утилиты».
Опасения по поводу масштабирования
С пониманием того, что лишь масштабирование может привести к большим достижениям в ИИ, многие сотрудники начали беспокоиться о том, что другие компании могут узнать о секретах OpenAI. «Секрет того, как работает наша система, можно написать на рисовом зерне», — говорили они. С этого же момента они начали беспокоиться о том, что мощные возможности могут попасть в руки злонамеренных людей.
Влияние страха на руководство
Руководство часто подчеркивало угрозы со стороны Китая, России и Северной Кореи, акцентируя внимание на том, что разработка AGI должна оставаться в руках американских организаций. Это иногда вызывало недовольство у сотрудников, не являющихся американцами. На обедах они задавали вопросы: «Почему это должна быть именно американская организация? Почему не европейская? Почему не китайская?»
Философские размышления об ИИ
Многие сотрудники часто возвращались к аналогиям Алтмана о том, что OpenAI подобен Манхэттенскому проекту. Действительно ли OpenAI создает нечто эквивалентное ядерному оружию? Это был странный контраст с оптимистичной культурой, которую они создали как академическая организация.
Собрания после работы
По пятницам сотрудники собирались после долгой недели для вечеринок с музыкой и вином, отдыхая и наслаждаясь игрой на пианино, которое играли их коллеги до глубокой ночи.