Исследователи Центра практического искусственного интеллекта Сбербанка совместно с коллегами из Института AIRI представили SAASBench — открытый бенчмарк для оценки ИИ-моделей, используемых в разработке антитела на основе лекарств. Бенчмарк представляет собой набор тестов, позволяющий сравнивать различные модели по единым критериям.
Антитела — это белки иммунной системы, распознающие специфические молекулы, называемые антигенами. На основе антител разрабатываются многие современные препараты, включая лекарства для лечения онкологических, аутоиммунных и инфекционных заболеваний. ИИ-модели используются на ранних этапах, позволяя выбрать наиболее перспективные антитела для дальнейших исследований.
Ключевым аспектом является уровень связывания антитела с белком, известный как аффинность. Однако для эффективного лекарства также важна специфичность — способность антитела связываться только с нужным антигеном, избегая взаимодействия с похожими белками в организме человека.
SAASBench проверяет именно специфичность. В тестирование вошли 20 клинически одобренных антител, для каждого из которых модель рассматривает шесть возможных мишеней: один правильный антиген и пять похожих белков. Задача ИИ состоит в том, чтобы выбрать верный вариант. Всего исследователи разработали 120 смоделированных комплексов «антитело — антиген».
С использованием SAASBench учёные протестировали пять популярных вычислительных методов. Новый бенчмарк показал, что достижения в оценке аффинности — силы связывания антитела с антигеном — не всегда гарантируют такую же точность при выборе нужной мишени из похожих белков. Таким образом, SAASBench выявляет качество ИИ-моделей, что критически важно на этапе отбора потенциальных лекарств.
«Мы решили протестировать искусственный интеллект на практическом вопросе: сможет ли он определить среди похожих белков тот, с которым должно работать антитело. Для этого мы разработали SAASBench — инструмент для сравнения ИИ-моделей на ранних этапах создания антител. Он не заменяет лабораторные исследования, но помогает исключить ненадёжные вычислительные подходы. Умение связываться с белком и умение связываться с нужным белком — это разные задачи. Если модель ошибается на начальном этапе, вся команда может потерять ресурсы впустую. SAASBench позволяет выявить пробелы до того, как они отразятся на бюджете», – отметил Сергей Рябов, старший управляющий директор, директор по ИИ-трансформации Сбербанка.
«Специфичность антитела — это его способность связываться только с нужной мишенью и избегать взаимодействий с другими, схожими молекулами. Поэтому оценка специфичности имеет большое значение, так как даже высокоаффинное антитело может оказаться бесполезным, если оно связывается с множеством ненужных белков — это ставит под угрозу точность диагностики, эффективность лечения и может увеличить вероятность побочных эффектов. Наш бенчмарк помогает в оценке сгенерированных ИИ последовательностей антител на конкретность и предоставляет информацию о том, какие существующие инструменты стоит использовать, а какие — нет. Это важно для повышения точности и надёжности оценок, фактически позволяя отсеивать потенциально неспецифичные последовательности и таким образом снижать количество дорогостоящих экспериментов», – сказал Дмитрий Умеренков, старший научный сотрудник лаборатории «Сильный ИИ в медицине» Института AIRI.
Научная работа опубликована в материалах 32-й международной конференции ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ’26), которая прошла в Республике Корея. Бенчмарк и данные исследования также доступны в открытом доступе.