Производитель чипов Nvidia заработал $30 млрд в прошлом финансовом квартале, во многом благодаря ненасытному спросу индустрии искусственного интеллекта на графические процессоры. Графические процессоры необходимы для обучения и запуска моделей искусственного интеллекта; они содержат тысячи ядер, которые работают параллельно для быстрого выполнения уравнений линейной алгебры, лежащих в основе моделей.
Спрос на искусственный интеллект остается высоким, и графические процессоры Nvidia стали предпочтительными чипами для игроков всех размеров, занимающихся искусственным интеллектом. Но TensorWave, компания, основанная в конце прошлого года, пошла против течения, запустив облако, которое предлагает доступ только к оборудованию конкурента Nvidia AMD для рабочих нагрузок ИИ.
«Мы осознали, что действует нездоровая монополия, которая лишает конечных пользователей доступа к вычислениям и душит инновации в сфере искусственного интеллекта», — сказал TechCrunch Дэррик Хортон, генеральный директор TensorWave и один из ее соучредителей. «Вдохновленные нашим желанием демократизировать ИИ, мы решили предоставить жизнеспособную альтернативу и восстановить конкуренцию и выбор».
Извилистые дорожки
Первоначально Pickleball объединил Хортона с двумя другими соучредителями TensorWave, Джеффом Татарчуком и Петром Томасиком — или, по крайней мере, это сдвинуло дело с мертвой точки (извините за каламбур).
Однажды после матча Томасик и Татарчук — близкие друзья и давние партнеры по пиклболу — пригласили Хортона, бывшего коллегу Татарчука, присоединиться к ним на их любимом водопое в Лас-Вегасе.
«По ходу разговора мы обсуждали монопольный контроль над вычислительными мощностями графических процессоров, который приводил к ограничениям поставок», — сказал Хортон. «Это осознание привело к созданию TensorWave».
Трое партнеров знали друг друга не только по пиклболу.
Татарчук вместе с Хортоном стал соучредителем облачного поставщика VMAccel, а затем продал еще один стартап, разработчика CRM Lets Rolo, фирме цифровой идентификации LifeKey. Хортон, имеющий степени бакалавра в области машиностроения и физики, когда-то работал в научно-исследовательском подразделении Skunk Works компании Lockheed Martin, затем стал соучредителем VaultMiner Technologies, компании по добыче криптовалюты и материнской компании VMAccel.
Что касается Томасика, он вместе с Татарчуком запустил Lets Rolo. (Томасик также является соучредителем сайта влиятельных маркетологов Influential, который французская PR-компания Publicis приобрела в июле за 500 миллионов долларов.)
Так что же заставило троих предпринимателей, плохо разбирающихся в сфере гиперскейлеров, думать, что они смогут конкурировать с титанами индустрии искусственного интеллекта? Упорство, в общем.
«Мы верили, что сможем решить проблему поставок графических процессоров», — сказал Хортон.
Вегас, Инк.
Штаб-квартира TensorWave находится в Лас-Вегасе, необычном городе для запуска облачной инфраструктуры. Но Хортон сказал, что команде понравились шансы.
«Мы думали, что у Вегаса есть потенциал стать процветающей экосистемой технологий и стартапов», — сказал он.
Этот прогноз не совсем ошибочен. По данным Dealroom.co, в Лас-Вегасе работает чуть более 600 стартапов, в которых работают более 11 000 человек, которые в 2022 году привлекли более 4 миллиардов долларов инвестиций.
Затраты на электроэнергию и накладные расходы в Вегасе ниже, чем во многих крупных городах США. И Томасик, и Татарчук имеют тесные связи с венчурным сообществом города.
Ранее Томасик работал терапевтом в посевном фонде 1864 Fund в Вегасе, а теперь работает с некоммерческими акселераторами StartUp Vegas и Vegas Tech Ventures. (Как ни странно, сайт Vegas Tech Ventures выдал 404 за страницы со списком своих партнеров и портфельных компаний; представитель сказал, что это техническая ошибка и она будет исправлена.) Татарчук — бизнес-ангел в Fruition Lab, инкубаторе из Вегаса, который, скорее, необычно началось как христианская религиозная организация.
Эти связи, а также связи Хортона помогли TensorWave стать одним из первых облачных сервисов, вышедших на рынок с экземплярами AMD Instinct MI300X для рабочих нагрузок ИИ. Предоставляя по запросу конфигурации с выделенным хранилищем и высокоскоростными соединениями, TensorWave арендует мощности графического процессора на почасовой основе и требует заключения минимум шестимесячного контракта.
«В облачном пространстве в целом мы находимся в хорошей компании», — сказал Хортон. «Мы считаем себя взаимодополняющими, предлагая дополнительные вычисления для ИИ по конкурентоспособному соотношению цена-производительность».
AMD-форвард
Существует быстро развивающийся рынок стартапов, создающих недорогие облака по требованию на базе графических процессоров для искусственного интеллекта.
CoreWeave, поставщик инфраструктуры графических процессоров, который начал свою деятельность как операция по добыче криптовалюты, недавно привлек $1,1 млрд новых средств (и $7,5 млрд долга) и подписал многомиллиардное соглашение о мощности с Microsoft. В начале апреля Lambda Labs получила финансирование специального назначения на сумму до 500 миллионов долларов и, как сообщается, ищет дополнительные 800 миллионов долларов. Некоммерческая организация Voltage Park, поддерживаемая криптомиллиардером Джедом Маккалебом, в октябре прошлого года объявила, что инвестирует 500 миллионов долларов в центры обработки данных с поддержкой графических процессоров. А Together AI, хостинг облачных графических процессоров, который также проводит исследования в области генеративного искусственного интеллекта, в марте получил 106 миллионов долларов в раунде под руководством Salesforce.
Так как же TensorWave надеется конкурировать?
Во-первых, по цене. Хортон отмечает, что MI300X значительно дешевле, чем самый популярный в настоящее время графический процессор Nvidia для рабочих нагрузок искусственного интеллекта, H100, и что это позволяет TensorWave сэкономить клиентам. Он не раскрыл точную цену экземпляра TensorWave. Но чтобы превзойти более конкурентоспособные планы H100, стоимость этого часа должна составлять менее 2,50 долларов США в час — сложная, но не невероятная задача.
«Цены варьируются примерно от 1 до 10 долларов в час, в зависимости от индивидуальных требований рабочей нагрузки и выбранной конфигурации графического процессора», — сказал Хортон. «Что касается стоимости каждого экземпляра, которую несет TensorWave, мы не можем поделиться этими подробностями из-за соглашений о конфиденциальности».
Во-вторых, по производительности. Хортон указывает на тесты, показывающие, что MI300X превосходит H100, когда дело доходит до запуска (но не обучения) моделей искусственного интеллекта, в частности моделей генерации текста, таких как Llama 2 от Meta. (Другие оценки показывают, что преимущество может зависеть от рабочей нагрузки.)
Кажется, заявлениям Хортона есть некоторая достоверность, учитывая интерес к MI300X со стороны деятелей технологической индустрии. В декабре компания Meta заявила, что будет использовать чипы MI300X для таких задач, как запуск своего помощника Meta AI, а OpenAI, производитель ChatGPT, планирует поддерживать MI300X в своих инструментах для разработчиков.
Конкурс
Другие, делающие ставку на чипы искусственного интеллекта AMD, варьируются от стартапов, таких как Lamini и Nscale, до более крупных и устоявшихся поставщиков облачных услуг, таких как Azure и Oracle. (Google Cloud и AWS по-прежнему не уверены в конкурентоспособности AMD.)
В пользу всех этих поставщиков сейчас работает продолжающаяся нехватка графических процессоров Nvidia и задержка выпуска будущего чипа Blackwell от Nvidia. Но вскоре дефицит может сократиться благодаря увеличению производства критически важных компонентов микросхем, в частности памяти. И это может позволить Nvidia увеличить поставки H200, преемника H100, который может похвастаться значительно улучшенной производительностью.
Еще одна экзистенциальная дилемма для стартапов-облаков, делающих ставку на оборудование AMD, — это преодоление конкурентных рвов, которые Nvidia построила вокруг чипов искусственного интеллекта. Программное обеспечение для разработки Nvidia считается более зрелым и простым в использовании, чем программное обеспечение AMD, и оно широко распространено. Сама генеральный директор AMD Лиза Су признала, что внедрение AMD «требует работы».
В отдаленной перспективе ценовая конкуренция может стать сложной задачей, поскольку гиперскейлеры увеличивают свои инвестиции в специальное оборудование для запуска и обучения моделей. Google предлагает свои TPU; Microsoft недавно представила два собственных чипа: Azure Maia и Azure Cobalt; а у AWS есть Trainium, Inferentia и Graviton.
«Поскольку разработчики ищут альтернативы, которые могут эффективно справиться с рабочими нагрузками ИИ, особенно с повышенными требованиями к памяти и производительности, а также с постоянными производственными проблемами, вызывающими задержки, AMD будет сохранять превосходство еще дольше, играя ключевую роль в демократизации вычислений в эпоху ИИ. — сказал Хортон.
Ранний спрос
TensorWave начал привлекать клиентов в предварительной версии этой весной. Но, по словам Хортона, компания уже приносит 3 миллиона долларов ежегодного регулярного дохода. Он ожидает, что к концу года эта цифра достигнет 25 миллионов долларов — восьмикратный скачок — как только TensorWave увеличит мощность до 20 000 MI300X.
Если предположить, что каждый графический процессор будет стоить 15 000 долларов, то 20 000 MI300X составят инвестиции в 300 миллионов долларов, однако Хортон утверждает, что скорость сгорания TensorWave «находится в пределах устойчивого уровня». TensorWave ранее сообщила The Register, что будет использовать свои графические процессоры в качестве залога для крупного раунда долгового финансирования — подход, используемый другими операторами центров обработки данных, включая CoreWeave; Хортон говорит, что это все еще план.
«Это отражает наше хорошее финансовое состояние», продолжил он. «Мы стратегически расположены, чтобы выдерживать потенциальные препятствия, предоставляя ценность там, где она больше всего необходима».
Я спросил Хортона, сколько клиентов у TensorWave сегодня. Он отказался отвечать из-за «конфиденциальности», но подчеркнул публично объявленное партнерство TensorWave с поставщиком магистральных сетевых технологий Edgecore Networks и MK1, стартапом по искусственному интеллекту, основанным бывшими инженерами Neuralink.
«Мы быстро расширяем наши мощности, располагая несколькими доступными узлами, и мы постоянно увеличиваем мощность, чтобы удовлетворить растущие потребности нашего конвейера», — сказал Хортон, добавив, что TensorWave планирует представить графические процессоры AMD следующего поколения MI325X, которые планируется вывести на рынок. выпущен в четвертом квартале 2024 года и появится в сети уже в ноябре/декабре.
Инвесторы, похоже, довольны траекторией роста TensorWave. Вице-президент Nexus сообщил в среду, что он возглавил раунд инвестиций в компанию на сумму 43 миллиона долларов, в котором также участвовали Maverick Capital, StartupNV, Translink Capital и AMD Ventures.
Транш — первый для TensorWave — оценивает стартап в 100 миллионов долларов после инвестирования.
«AMD Ventures разделяет видение TensorWave по преобразованию вычислительной инфраструктуры искусственного интеллекта», — заявил в своем заявлении старший вице-президент AMD Ventures Мэтью Хейн. «Развертывание AMD Instinct MI300X и способность предлагать общедоступные экземпляры клиентам и разработчикам ИИ делают их ранними конкурентами в сфере ИИ, и мы рады поддержать их рост посредством этого последнего раунда финансирования».