Разработка метода «забвения» для ИИ
Исследователи Токийского университета науки (TUS) создали метод, который позволяет крупномасштабным ИИ моделям избирательно «забывать» определенные классы данных.
Введение в ИИ
Прогресс в области ИИ предоставляет инструменты, способные революционизировать различные области, от здравоохранения до автономного вождения. Однако, с развитием технологий возникают и новые сложности, а также этические вопросы.
Проблемы универсальных моделей
- Крупномасштабные предобученные системы, такие как ChatGPT и CLIP, изменили ожидания посетителей.
- Универсальные модели требуют огромного количества энергии и времени для обучения, что вызывает вопросы устойчивости.
- Определенный недостаток эффективности при применении к специфическим задачам.
Ассоциированный профессор Го Ири, возглавляющий исследование, объясняет: “В практических приложениях редко требуется классификация всех классов объектов.” Например, для системы автономного вождения достаточно распознавания ограниченных классов объектов, таких как автомобили и пешеходы.
Решение проблемы «забвения»
Потенциальное решение заключается в обучении моделей «забывать» избыточную информацию, фокусируясь только на необходимом. Существующие методы часто требуют доступа к внутренней архитектуре модели, что затруднительно для многих пользователей.
- «Черные ящики» ИИ системы скрывают свои механизмы, поэтому традиционные методы «забвения» становятся непрактичными.
- Исследовательская группа обратилась к оптимизации без производных – подходу, который не зависит от внутренних механизмов модели.
Метод черного ящика
В исследовании, которое будет представлено на конференции Neural Information Processing Systems (NeurIPS) в 2024 году, представлен метод, называемый «черным забыванием».
Процесс модифицирует входные инструкции (параметры для моделей) в итерационных циклах, чтобы ИИ постепенно «забывал» определенные классы. Команда разработала метод на основе стратегии эволюционного алгоритма CMA-ES, оптимизируя предоставленные модели параметры.
Трудности и решения
Существующие методы оптимизации не могли масштабироваться для больших объемов целевых категорий, и команда разработала новую стратегию параметризации под названием «совместное использование латентного контекста».
- Эта стратегия разбивает латентный контекст на более мелкие управляемые части.
- Позволяет перераспределять элементы информации между токенами, значительно упрощая задачу.
Проверяя эффективность метода на множестве наборов данных, исследователи подтвердили, что готовы заставить CLIP «забыть» около 40% целевых классов.
Выгоды от «забвения» в ИИ
Этот метод имеет ключевое значение для разработки специализированных задач, повышая скорость, экологичность и эффективность моделей, что может упростить их использование на менее мощных устройствах.
- Способность предотвращать создание нежелательного контента, такого как ложная информация.
- Этические аспекты, такие как конфиденциальность и «право быть забытым».
Ассоциированный профессор Го Ири отмечает: «Переподготовка крупномасштабной модели требует огромных ресурсов, поэтому ‘избирательное забывание’ может дать эффективное решение.»
Такие разработки особенно важны в высокорисковых отраслях, таких как медицинская и финансовая сферы.
Заключение
Метод «черного забывания» Токийского университета науки прокладывает важный путь не только к более адаптивным и эффективным ИИ, но и к значительным мерам безопасности для пользователей. Таким образом, методы избирательного забывания показывают проактивный подход к этическим и практическим вызовам в ИИ.
Хотите узнать больше об ИИ и больших данных от лидеров отрасли? Ознакомьтесь с выставкой AI & Big Data Expo в Амстердаме, Калифорнии и Лондоне.