Distributional, платформа для тестирования искусственного интеллекта, основанная бывшим генеральным директором Intel по программному обеспечению искусственного интеллекта Скоттом Кларком, завершила раунд финансирования серии A на сумму 19 миллионов долларов, возглавляемый Two Sigma Ventures.
Кларк говорит, что Distributional был вдохновлен проблемами тестирования ИИ, с которыми он столкнулся при применении ИИ в Intel, а до этого — его работой в Yelp в качестве руководителя программного обеспечения в отделе таргетинга рекламы компании.
«Поскольку ценность приложений искусственного интеллекта продолжает расти, растут и операционные риски», — сказал он TechCrunch. «Команды разработчиков ИИ используют нашу платформу для активного и непрерывного обнаружения, понимания и устранения рисков ИИ до того, как они приведут к возникновению риска в производстве».
Кларк пришел в Intel в результате приобретения.
В 2020 году Intel приобрела SigOpt, платформу для модельного экспериментирования и управления, соучредителем которой является Кларк. Кларк остался и в 2022 году был назначен вице-президентом и генеральным директором группы Intel по разработке программного обеспечения для искусственного интеллекта и суперкомпьютеров.
В Intel Кларк говорит, что он и его команда часто сталкивались с проблемами мониторинга и наблюдения за искусственным интеллектом.
Кларк отметил, что искусственный интеллект недетерминирован — это означает, что он генерирует разные выходные данные на основе одного и того же фрагмента данных. Добавьте к этому тот факт, что модели ИИ имеют множество зависимостей (например, инфраструктура программного обеспечения и данные обучения), и выявление ошибок в системе ИИ может показаться поиском иголки в стоге сена.
Согласно опросу Rand Corporation, проведенному в 2024 году, более 80% проектов в области ИИ терпят неудачу. Генеративный искусственный интеллект оказывается особой проблемой для компаний: исследование Gartner предсказывает, что к 2026 году треть развертываний будет прекращена.
«Это требует написания статистических тестов для распределения многих свойств данных», — сказал Кларк. «ИИ должен постоянно и адаптивно тестировать на протяжении всего жизненного цикла, чтобы улавливать изменения в поведении».
Кларк создал Distributional, чтобы попытаться несколько абстрагироваться от работы по аудиту ИИ, опираясь на методы, которые он и команда SigOpt разработали во время работы с корпоративными клиентами. Distributional может автоматически создавать статистические тесты для моделей и приложений ИИ в соответствии со спецификациями разработчика и организовывать результаты этих тестов на информационной панели.
С помощью этой информационной панели пользователи дистрибутивной версии могут вместе работать над тестовыми «репозиториями», сортировать неудачные тесты и перекалибровывать тесты, если и где это необходимо. Вся среда может быть развернута локально (хотя Distributional также предлагает управляемый план) и интегрирована с популярными инструментами оповещения и баз данных.
«Мы обеспечиваем прозрачность для всей организации того, что, когда и как тестировались приложения ИИ и как это менялось с течением времени», — сказал Кларк, — «и мы обеспечиваем повторяемый процесс тестирования ИИ для аналогичных приложений, используя общие шаблоны, конфигурации, фильтры и теги».
ИИ действительно громоздкий зверь. Даже в ведущих лабораториях искусственного интеллекта управление рисками слабое. Такая платформа, как Distributional, могла бы облегчить бремя тестирования и, возможно, даже помочь компаниям достичь рентабельности инвестиций.
По крайней мере, так считает Кларк.
«Будь то нестабильность, неточность или десятки других потенциальных проблем, может быть сложно определить риск ИИ», — сказал он. «Если командам не удастся правильно провести тестирование ИИ, они рискуют, что приложения ИИ никогда не попадут в производство. Или, если они начнут производство, они рискуют, что эти приложения будут вести себя неожиданным и потенциально опасным образом, при этом эти проблемы не будут видны».
Distributional не является первой компанией, предлагающей на рынке технологии для исследования и анализа надежности ИИ. Kolena, Prolific, Giskard и Patronus — одни из многих решений для экспериментов с искусственным интеллектом. Такие технологические гиганты, как Google Cloud, AWS и Azure, также предлагают инструменты оценки моделей.
Так почему же клиент должен выбрать дистрибьюторскую систему?
Что ж, Кларк утверждает, что Distributional, которая находится на пороге коммерциализации своего набора продуктов, предлагает более «белые перчатки», чем многие другие. Distributional заботится об установке, внедрении и интеграции для клиентов, а также обеспечивает устранение неполадок при тестировании ИИ (за определенную плату).
«Инструменты мониторинга часто фокусируются на метриках более высокого уровня и конкретных случаях выбросов, что дает ограниченное ощущение последовательности, но без понимания более широкого поведения приложений», — сказал Кларк. «Цель тестирования Distributional — дать возможность командам определить желаемое поведение для любого приложения ИИ, подтвердить, что оно по-прежнему ведет себя так, как ожидается, в производстве и в ходе разработки, определить, когда это поведение меняется, и выяснить, что необходимо изменить или быть исправлено, чтобы снова достичь устойчивого состояния».
Получив новые доходы от серии A, Distributional планирует расширить свою техническую команду, сосредоточив внимание на исследованиях в области пользовательского интерфейса и искусственного интеллекта. Кларк сказал, что он ожидает, что к концу года штат компании вырастет до 35 человек, поскольку Distributional приступит к первой волне внедрения корпоративных решений.
«Мы получили значительное финансирование всего за год с момента нашего основания, и, даже с нашей растущей командой, мы в состоянии извлечь выгоду из этой огромной возможности в течение следующих нескольких лет», — добавил Кларк.
Андриссен Горовиц, Оператор Коллектив, Oregon Venture Fund, Essence VC и Alumni Ventures также приняли участие в серии A Distributional. На сегодняшний день стартап из Сан-Франциско собрал 30 миллионов долларов.