VB Transform: Ваш Путь к Успеху в AI
Присоединяйтесь к событию, которому доверяют лидеры крупных компаний уже почти два десятилетия. VB Transform объединяет людей, которые разрабатывают реальные стратегии AI для бизнеса. Узнайте больше!
Вызовы Увидимости Облачных Ресурсов
Получение видимости и понимания облачных активов становится все более сложной задачей:
- Облачные среды растут и становятся фрагментированными.
- Доступные инструменты часто узки и неудобны.
- Данные об издержках и безопасности изолированы.
Решение от CloudQuery
Компания CloudQuery стремится решить эту проблему, централизуя облачные активы, метаданные безопасности и издержки в одном месте. Они используют простой SQL для запросов и отчетов.
С недавним раундом финансирования в $16 миллионов, CloudQuery будет дальше развивать свою платформу.
Проблемы Существующих Инструментов
Основные вызовы, по словам Yevgeny Pats, основателя CloudQuery:
- Существующие инструменты изолированы по категориям: безопасность, финансирование, активы.
- Сложные вопросы требуют объединения множества инструментов для получения ответов.
Технологии CloudQuery
| Технология | Описание |
|---|---|
| ClickHouse | Открытая база данных для аналитики данных. |
| Apache Arrow | Фреймворк для разработки аналитических приложений. |
CloudQuery использует архитектуру, построенную на API, чтобы синхронизировать данные от более чем 60 источников, включая AWS, GCP, Azure.
Подход к Разработке
CloudQuery ставит разработчиков на первое место, обеспечивая доступ к данным и возможность гибких запросов на SQL. Это позволяет быстрее выявлять проблемы и строить более надежные решения.
Истории Успеха: Hexagon
Компания Hexagon уже видит результаты от использования CloudQuery. Их цель — создать полностью серверный дата-озеро.
Как они это сделали?
Hexagon построил серверный пайплайн с CloudQuery, чтобы собирать данные из всех учетных записей и хранить их в одном месте:
- Данные хранятся в S3.
- AWS Glue загружает данные в Glue DB для последующего анализа.
Преимущества
Глава команды, Peter Figueiredo, отметил, что это решение позволяет:
- Устранить необходимость в долгосрочных обновлениях.
- Снизить затраты на поддержание.
Проблемы и Решения
Команда столкнулась с некоторыми вызовами, такими как:
- Поддержка форматов данных.
- Проблемы с плагинами Amazon S3.
Однако, CloudQuery внедрил новые функции, включая поддержку Parquet и улучшение работы с Athena.
Заключение
Используя CloudQuery, команда Hexagon теперь может быстро запрашивать любые данные и вести учет IP адресов по различным облачным провайдерам. Это решение стало «святым граилом» для команды, обеспечивая минимальные расходы и надежное управление данными.