Основные Моменты
- Найдите баланс между сдержанностью и независимостью AI-агентов.
- Контекст и намерения должны быть woven в развитие агентов.
- Учитывайте конфигурации и данные, к которым имеют доступ агенты.
Развитие AI-агентов
AI-агенты развиваются от простых чат-ботов к полноценным цифровым работникам, имеющим право действовать в приложениях и с данными. Однако с этими возможностями возникают множество вопросов безопасности и управления.
Ученые на недавней конференции Snowflake Summit в Сан-Франциско предложили сравнивать AI-агентов с увлеченными, но не совсем опытными стажерами, которые требуют такого же контроля и наставления, как и человеческие стажеры.
Необходимость контроля
AI-агенты требуют четких инструкций и тщательного мониторинга со стороны человеческих менеджеров. «Агент без ограничений может быть чрезвычайно проблематичным», согласились участники панели.
Mayank Agarwal, основатель и CTO Resolve AI, отметил: «Вы можете сказать агенту купить вам обувь, и в итоге он купит вам машину.»
Контекст и Намерение
Важно тщательно продумывать, какие права вы предоставляете агенту. Необходимо установить жесткие ограничения на его действия. «Одного понимания назначения агента недостаточно», говорит Nancy Wang, CTO 1Password.
Новые подходы
Специалисты должны отказываться от старых правил разработки программного обеспечения: создание и внедрение агентов значительно отличается от практик недавнего прошлого.
Два года назад инженеры знали, как они будут соединять API различных систем. Сегодня все непредсказуемо — агент выбирает действия на ходу, стремясь достичь цели, решая любую доступную задачу.
Проблемы Shadow AI
Это вызывает опасения по поводу тени AI, который работает незаметно. «У нашего клиента было 12 экземпляров OpenClaw, получающих доступ к API, исходному коду», — отметил Jason Merrick, старший вице-президент продукта в Tenable.
Неопределенность действий
Понимание, что делают агенты за кулисами, представляет собой сложную задачу. Возникают вопросы: «Кто на самом деле предпринял это действие в системе? Человек, учетная запись сервиса или агент?»
Wang подчеркивает, что ваша команда, вероятно, не знает точного ответа на этот вопрос.
Найти баланс
Необходимо сбалансировать управление и доступ, так как AI представляет собой мощный инструмент для продуктивности, который должен действовать независимо.
Вы не хотите просто блокировать все или устанавливать огромные Firewall, говорит Wang.
Ключевые рекомендации
Наиболее высокий риск возникнет от агента с избыточными разрешениями с давними учетными данными. Поэтому, как и стажеры, агенты нуждаются в «очень специфических инструкциях».
Иногда они все равно отклоняются от желаемого пути. Правильная видимость, исправление и установление правильного намерения с самого начала имеют решающее значение.
Дополнительные темы
- Работники США — самые большие скептики AI.
- Как я использовал ChatGPT для создания бесплатного редактора PDF.
- Как провести аудит данных ChatGPT и вернуть свою конфиденциальность.
- Использовал новый инструмент AI Google Drive для очистки новичка.