Google обновляет свое приложение визуального поиска Lens, добавив в него возможность отвечать на вопросы об окружающей обстановке в режиме реального времени.
Англоязычные пользователи Android и iOS с установленным приложением Google теперь могут начать съемку видео через Lens и задавать вопросы об объектах, интересующих их на видео.
Лу Ванг, директор по управлению продуктами Lens, сообщил, что функция использует «настроенную» модель Gemini для осмысления видео и соответствующих вопросов. Gemini — это семейство моделей искусственного интеллекта Google, которые используются в ряде продуктов, входящих в портфолио компании.
«Допустим, вы хотите узнать больше об интересной рыбе», — сказал Ванг на пресс-брифинге. «[Lens will] предлагает обзор, объясняющий, почему они плавают по кругу, а также дополнительные ресурсы и полезную информацию».
Чтобы получить доступ к новой функции анализа видео в Lens, необходимо зарегистрироваться в программе Google Search Labs, а также подключиться к экспериментальным функциям «ИИ-обзоры и многое другое» в Labs. В приложении Google удерживание кнопки спуска затвора смартфона активирует режим видеосъемки Lens.
Задайте вопрос во время записи видео, и Lens выдаст ссылку на ответ, предоставленный AI Overviews — функцией Google Search, которая использует искусственный интеллект для обобщения информации из Интернета.
По словам Ванга, Lens использует искусственный интеллект для определения того, какие кадры в видео наиболее «интересны» и заметны — а главное, имеют отношение к заданному вопросу — и использует их для «обоснования» ответа из обзоров ИИ.
«Все это основано на наблюдении за тем, как люди пытаются использовать такие вещи, как Lens, прямо сейчас», — говорит Ванг. «Если снизить барьер для задавания таких вопросов и помочь людям удовлетворить их любопытство, люди будут воспринимать это довольно естественно».
Запуск видео для Lens последовал за аналогичной функцией, которую Meta представила в прошлом месяце для своих AR-очков Ray-Ban Meta. Meta планирует привнести в очки видео-возможности искусственного интеллекта в реальном времени, позволяющие пользователям задавать вопросы о том, что их окружает (например, «Что это за цветок?»).
OpenAI также анонсировала функцию, которая позволит ее инструменту Advanced Voice Mode понимать видео. В конечном итоге Advanced Voice Mode — премиум-функция ChatGPT — сможет анализировать видео в реальном времени и учитывать контекст при ответе.
Похоже, Google опередила обе компании — за вычетом того, что Lens асинхронна (с ней нельзя общаться в режиме реального времени), и при условии, что функция видео работает так, как заявлено. На пресс-брифинге нам не показали живую демонстрацию, а у Google есть опыт завышенных обещаний, когда речь заходит о возможностях ее ИИ.
Помимо анализа видео, Lens теперь может осуществлять поиск по изображениям и тексту в один прием. Англоязычные пользователи, в том числе и те, кто не участвует в программе Labs, могут запустить приложение Google и, удерживая кнопку спуска затвора, сделать фотографию, а затем задать вопрос, произнеся его вслух.
Наконец, Lens получает новую функциональность, ориентированную на электронную коммерцию.
Начиная с сегодняшнего дня, когда Lens на Android или iOS распознает товар, он будет отображать информацию о нем, включая цену и предложения, бренд, отзывы и акции. Функция Product ID работает с загруженными и только что снятыми фотографиями (но не с видео), и пока она ограничена некоторыми странами и определенными категориями покупок, включая электронику, игрушки и красоту.
«Допустим, вы увидели рюкзак, и он вам понравился», — говорит Ванг. «Вы можете использовать Lens, чтобы идентифицировать этот продукт, и вы сможете мгновенно увидеть детали, которые могут вас заинтересовать».
В этом есть и рекламный компонент. По словам Google, на странице результатов для товаров, идентифицированных объективом, будут также отображаться «релевантные» объявления о покупках с указанием вариантов и цен.
Зачем вставлять рекламу в Lens? По данным Google, около 4 миллиардов поисковых запросов в Lens ежемесячно связаны с покупками. Для технологического гиганта, чьей жизненной силой является реклама, это просто слишком выгодная возможность, чтобы упустить ее.