Оценка моделей ИИ: Endor Labs представляет инструмент оценки

Endor Labs начала оценивать модели ИИ на основе их безопасности, популярности, качества и активности.

Эта уникальная возможность, получившая название «Оценки Endor для моделей ИИ», призвана упростить процесс определения наиболее безопасных моделей ИИ с открытым исходным кодом, доступных в настоящее время на Hugging Face — платформе для обмена моделями большого языка (LLM), моделями машинного обучения и другими модели и наборы данных искусственного интеллекта с открытым исходным кодом, предоставляя простые оценки.

Это объявление было сделано на фоне того, что разработчики все чаще обращаются к таким платформам, как Hugging Face, в поисках готовых моделей искусственного интеллекта, что отражает первые дни легкодоступного программного обеспечения с открытым исходным кодом (OSS). Эта новая версия улучшает управление ИИ, позволяя разработчикам «начать с чистого листа» с моделями ИИ — цель, которая до сих пор оказалась недостижимой.

Варун Бадвар, соучредитель и генеральный директор Endor Labs, сказал: «Нашей миссией всегда было обеспечение безопасности всего, от чего зависит ваш код, и модели искусственного интеллекта — это следующий важный рубеж в этой важной задаче.

«Каждая организация экспериментирует с моделями ИИ, будь то для реализации конкретных приложений или создания целого бизнеса на основе ИИ. Безопасность должна идти в ногу со временем, и здесь есть редкая возможность начать с чистого листа и избежать рисков и высоких затрат на техническое обслуживание в будущем».

Джордж Апостолопулос, инженер-основатель Endor Labs, добавил: «Сейчас все экспериментируют с моделями ИИ. Некоторые команды создают совершенно новые предприятия на основе искусственного интеллекта, в то время как другие ищут способы разместить наклейку «работает на искусственном интеллекте» на своем продукте. Одно можно сказать наверняка: ваши разработчики играют с моделями ИИ».

Однако это удобство не обходится без рисков. Апостолопулос предупреждает, что нынешняя ситуация напоминает «Дикий Запад», где люди выбирают модели, которые соответствуют их потребностям, не учитывая потенциальных уязвимостей.

Подход Endor Labs рассматривает модели ИИ как зависимости внутри цепочки поставок программного обеспечения.

«Наша миссия в Endor Labs — «защитить все, от чего зависит ваш код», — заявляет Апостолопулос. Эта перспектива позволяет организациям применять к моделям ИИ те же методологии оценки рисков, что и к другим компонентам с открытым исходным кодом.

Инструмент Endor для оценки моделей ИИ фокусируется на нескольких ключевых областях риска:

  • Уязвимости безопасности: Предварительно обученные модели могут содержать вредоносный код или уязвимости в пределах весов модели, что потенциально может привести к нарушениям безопасности при интеграции в среду организации.
  • Юридические и лицензионные вопросы: Соблюдение условий лицензирования имеет решающее значение, особенно учитывая сложное происхождение моделей ИИ и их обучающих наборов.
  • Операционные риски: Зависимость от предварительно обученных моделей создает сложный граф, которым может быть сложно управлять и защищать.

Для решения этих проблем инструмент оценки Endor Labs применяет 50 готовых проверок к моделям искусственного интеллекта на Hugging Face. Система генерирует «оценку Endor» на основе таких факторов, как количество сопровождающих, корпоративное спонсорство, частота выпусков и известные уязвимости.

Скриншот инструмента Endor Labs для оценки моделей ИИ.

Положительные факторы в системе оценки моделей ИИ включают использование безопасных весовых форматов, наличие информации о лицензировании, а также высокие показатели загрузки и вовлеченности. К отрицательным факторам относятся неполная документация, отсутствие данных о производительности и использование небезопасных форматов весов.

Ключевой особенностью Endor Scores является удобный для пользователя подход. Разработчикам не нужно знать конкретные названия моделей; они могут начать свой поиск с общих вопросов, например: «Какие модели я могу использовать для классификации настроений?» или «Какие модели от Меты самые популярные?» Затем инструмент предоставляет четкие оценки, ранжирующие как положительные, так и отрицательные аспекты каждой модели, что позволяет разработчикам выбрать наиболее подходящие варианты для своих нужд.

«Вашим командам каждый день задают вопросы об искусственном интеллекте, и они будут искать модели, которые можно использовать для ускорения инноваций», — отмечает Апостолопулос. «Оценка моделей искусственного интеллекта с открытым исходным кодом с помощью Endor Labs помогает вам убедиться, что модели, которые вы используете, делают то, что вы от них ожидаете, и безопасны в использовании».

(Фото Element5 Digital)

См. также: China Telecom обучает модель искусственного интеллекта с 1 триллионом параметров на отечественных чипах

Оценка моделей ИИ: Endor Labs представляет инструмент оценки

Хотите узнать больше об искусственном интеллекте и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo, которая проходит в Амстердаме, Калифорнии и Лондоне. Это комплексное мероприятие проводится совместно с другими ведущими мероприятиями, включая конференцию по интеллектуальной автоматизации, BlockX, Неделю цифровой трансформации и выставку Cyber ​​Security & Cloud Expo.

Узнайте о других предстоящих мероприятиях и вебинарах в области корпоративных технологий, проводимых TechForge, здесь.

Теги: ИИ, искусственный интеллект, лаборатории Endor, оценка, машинное обучение, оценка модели, модели, баллы

Основатель более 10 стартапов в области ИТ и ИИ. Серийный предприниматель. Профессиональный управленец.