Новая модель Claude 3.5 Sonnet AI от компании Anthropic обладает функцией «использование компьютера», доступной в публичной бета-версии API. Эта функция позволяет управлять компьютером, перемещая курсор, нажимая кнопки и вводя текст, что делает взаимодействие с машиной более человеческим. Аналогичные инструменты уже представлены в проектах Microsoft и Google, однако текущая версия Клода остается на экспериментальной стадии и может быть «громоздкой и подверженной ошибкам». Anthropic инициирует эту бета-версию для получения обратной связи от разработчиков и обещает улучшения в будущем.
Тем не менее, Claude пока не способен выполнять множество стандартных действий, таких как перетаскивание или масштабирование. Его способ отображения экрана больше напоминает статическое создание снимков, что приводит к пропуску кратковременных событий и уведомлений. Кроме того, разработчики предусмотрели ограничение на взаимодействие с социальными сетями, что позволяет избежать участия в действиях, связанных с выборами или правительственными сайтами.
С точки зрения улучшений, Claude 3.5 Sonnet показывает значительные успехи в тестах, особенно в задачах кодирования и агентного инструментирования. По сравнению с предыдущей версией, он демонстрирует заметный рост производительности: по SWE-bench Verified с 33,4% до 49,0% и по TAU-bench с 62,6% до 69,2% в некоторых сферах. Таким образом, новая модель не только расширяет возможности пользователя, но и улучшает общие показатели работы по сравнению с предыдущими версиями и другими доступными моделями.