Согласно последнему исследованию The Institute for Ethical AI & Machine Learning «The State of MLOps Survey», проведенному в IV квартале 2024 года, наблюдаемость и мониторинг — это наиболее часто упоминаемые проблемы при внедрении моделей машинного обучения в производство, в соответствии с информацией портала The New Stack.
Другим важным выводом является то, что в дорожных картах пользователей преобладают инструменты, разработанные на заказ, поскольку лишь немногие решения от поставщиков стали действительно популярными.
В целом 44% из 170 опрошенных специалистов являются инженерами по машинному обучению, и примерно такое же количество идентифицирует себя как аналитики данных или MLOps-инженеры.
Только 7% респондентов отметили, что безопасность МО входит в тройку их главных проблем, и всего 17% выделили риски управления и доменные риски. Эти результаты значительно отличаются от данных других исследований, где безопасность и управление ИИ упоминались как серьезные препятствия для его более широкого внедрения. Возможно, практикующие специалисты считают, что безопасность ИИ касается лишь возможности взлома модели, в то время как другие лица, принимающие решения в сфере ИТ, больше беспокоятся о доступе к корпоративным и личным данным.
Кажется, что каждое предприятие, по крайней мере, проводит эксперименты с генеративным ИИ и AI-агентами, которые используют большие языковые модели (LLM). В то же время наблюдается рост применения предиктивной аналитики и компьютерного зрения. С учетом расширения применения этих технологий разработчикам требуются инженеры по данным, SRE и другие специалисты для решения задач как первого, так и второго дня. В ответ на этот вызов MLOps эволюционирует в реально применяемую дисциплину, за которой последуют LLMOps и GenAIOps.
Независимо от используемой терминологии, наблюдаемость и мониторинг LLM являются ключевыми моментами, к которым необходимо уделить внимание.
Источник: отчет The Institute for Ethical AI & Machine Learning «The State of MLOps Survey»
Заказные инструменты против поставщикам инструментов
В ходе опроса задавались вопросы о девяти различных подразделах технологического стека, необходимых для использования ИИ и МО. Вот некоторые интересные выводы:
- 65% участников опроса используют управляемую модель или API-сервис LLM. Среди тех, кто использует этот тип сервиса, чаще всего встречаются OpenAI (38%), AzureAI (20%) и Amazon Bedrock (12%).
- MLflow лидирует по использованию реестра моделей и/или отслеживанию экспериментов. Среди тех, кто использует эти инструменты, 48% предпочитают MLflow. Следующими по популярности в этой категории являются заказные инструменты (16%) и Weights & Biases (12%).
- Среди пользователей ETL/оркестраторов рабочих процессов 40% чаще всего выбирают Airflow. Среди тех, кто использует эти инструменты, 17% отдали предпочтение заказным решениям, а 11% выбрали Argo Workflows.
- Среди пользователей сервисов реального времени модели 46% чаще всего используют FastAPI/Flask Wrapper. Этот инструмент наиболее часто применяют специалисты по исследованию данных (70%). Следующими по частоте использования являются заказные инструменты (16%) и AWS SageMaker (12%).
Только зарегистрированные пользователи могут оставлять комментарии.