Введение
Я долгое время работал с технологиями, и меня трудно чем-то удивить. Однако после выпуска ChatGPT от OpenAI я попросил его создать плагин для сайта электронной коммерции моей жены. Когда это удалось, я был действительно удивлён. Это стало началом моего глубокого исследования чат-ботов и программирования с помощью ИИ. Я провёл четыре реальных теста с 14 большими языковыми моделями.
Краткая информация
В этой статье я расскажу о производительности каждой модели в моих испытаниях. В итоге я рекомендую четыре чат-бота:
- ChatGPT Plus — 20$/мес
- Perplexity Pro — 20$/мес
- Google Gemini Pro 2.5 — бесплатно, с ограничениями
- Microsoft Copilot — бесплатно с базовым доступом
Остальные чат-боты, как платные, так и бесплатные, меня не впечатлили.
Лидерство в программировании ИИ
Вот краткий обзор производительности чат-ботов:
| Чат-бот | Тесты пройдены | Цена |
|---|---|---|
| ChatGPT Plus | 4 из 4 | 20$/мес |
| Perplexity Pro | 4 из 4 | 20$/мес |
| Gemini Pro 2.5 | 4 из 4 | Бесплатно |
| Microsoft Copilot | 4 из 4 | Бесплатно (базовый доступ) |
Индивидуальные результаты чат-ботов
ChatGPT Plus
- Плюсы: Прошла все тесты, отличные результаты.
- Минусы: Иногда ошибается.
Perplexity Pro
- Плюсы: Поддержка нескольких LLM, выдаёт хорошие источники.
- Минусы: Логин только по электронной почте.
Gemini Pro 2.5
- Плюсы: Хорошие результаты.
- Минусы: Ограничение по запросам на бесплатной версии.
Microsoft Copilot
- Плюсы: Прошла все тесты, бесплатная версия дала хорошие результаты.
- Минусы: Высокая стоимость для других лицензий.
Grok
- Плюсы: Различные LLM, бесплатный доступ.
- Минусы: Работа только в браузере.
ChatGPT Free
- Плюсы: Бесплатно, хороший функционал.
- Минусы: Ограничения на запросы.
Perplexity Free
- Плюсы: Бесплатно, хорошие результаты.
- Минусы: Ограничена только GPT-3.5.
DeepSeek V3
- Плюсы: Бесплатно, эффективный UI.
- Минусы: Ограниченное знание.
Чат-боты, которых лучше избегать
- DeepSeek R1 — нестабильные результаты.
- GitHub Copilot — часто выдает неверный код.
- Meta AI — плохие результаты по программированию.
- Meta Code Llama — заключает в себе недостатки Meta AI.
- Claude 3.5 Sonnet — не преуспел в тестах.
Заключение
Результаты тестирования оказались неожиданно интересными, особенно с учетом улучшения Microsoft и Google. Область ИИ быстро развивается, и в ближайшем будущем я планирую обновить результаты тестов.