Ключевые моменты Perplexity
Недавно Perplexity анонсировала новый агентный Portable Computer, который запускает ИИ локально.
- Локальный ИИ быстрее и дешевле облачных моделей.
- Потребуется мощное оборудование для Linux или Windows.
Portable Computer
Portable Computer был представлен в феврале и нацелен на исключение недостатков облачного ИИ. Он использует локальные модели для обработки ваших запросов и заданий без зависимости от интернета.
Пользователи могут обращаться ко всем стандартным командам ИИ, выполняя задачи с минимальным вмешательством. Важно, что ваши файлы и работа остаются на вашем устройстве.
Вы сами решаете, когда ИИ должен подключиться к интернету для выполнения задач. Также доступны внешние сервисы, такие как Google Drive, Gmail, Slack и GitHub.
Облако против локального ИИ
Почему стоит использовать ИИ локально, а не в облаке? Рассмотрим несколько преимуществ:
- Производительность: Локальные модели работают быстрее и отвечают на запросы быстрее.
- Безопасность: Ваши задачи обрабатываются локально, уменьшая риск утечек данных.
- Стоимость: Использование облака требует затрат на кредиты и токены. Локальный ИИ обходится без них.
Как попробовать и ограничения
К сожалению, воспользоваться новым локальным ИИ можно только для платных аккаунтов: Pro, Max, Enterprise Pro и Enterprise Max. Пользователи бесплатных аккаунтов не смогут его протестировать.
На данный момент Portable Computer доступен только для систем Linux, но разработчики обещают поддержку Windows к сентябрю.
Потребности в оборудовании
Одним из недостатков локального ИИ является высокий спрос на оборудование. Portable Computer требует:
- Для Linux: Nvidia DGX Spark или любой другой ПК с Nvidia RTX GPU. Операционная система должна быть Nvidia DGX OS или Ubuntu на системах ARM или x64.
- Для Windows: ПК с NVIDIA RTX GPU минимум на 24 ГБ VRAM.
Многие настольные ПК могут не соответствовать этим требованиям. Например, моя видеокарта RTX имеет всего 4 ГБ VRAM, что может быть недостаточно.
Модели ИИ
Что касается самих моделей ИИ, Portable Computer предлагает несколько опций:
- Qwen 3.8 27B: Хорошо известная открытая модель, которая показывает высокую производительность и подходит для сложных задач.
- PPLX 27B: Послеобученная версия модели, что делает её более точной и эффективной.
Скоро будет доступна модель Nvidia Nemotron 3.5 Lightning, оптимизированная для высоких нагрузок.
Вы сможете переключаться между моделями в зависимости от поставленных задач.
Заключение
Несмотря на строгие требования к оборудованию, Portable Computer представляет собой новую опцию для локального ИИ. Надеемся, в будущем требования станут менее жесткими, и больше пользователей смогут воспользоваться преимуществами локального ИИ для повышения производительности, безопасности и снижения затрат.