Google впервые представила на публике работающие прототипы новых AR и XR очков в паре с AI Gemini
Шахрам Изади, отвечающий в Google за направление AR/XR, представил прототипы новых Умных очков на конференции TED 2025 в Ванкувере.
В реальной работе по различным сценариям были продемонстрированы два устройства. Одни AR очки в легком форм-факторе, внешне неотличимые от привычных нам очков для зрения, другие – XR шлем расширенной реальности, чем-то напоминающие XR очки от Apple.
В обоих случаях серьезный акцент был сделан на применение AI Gemini (модель искусственного интеллекта от Google). Зрители на большом экране видели то же, что и человек в AR очках. Были продемонстрированы функции перевода в реальном времени, причем на языках вроде Фарси с диалектами и акцентами, которые кажутся человеческими и естественными. Распознавание происходило как с точки зрения голоса и перевода его в текст, так и с точки распознавание символов на табличке с помощью камеры.
Особое внимание было уделено функции запоминания увиденного, т.е. камера постоянно снимала все вокруг, а затем пользователь задавал вопрос о каком-то ранее увиденном в кадре объекте, и система должна была определить, где этот объект находится, или кто автор книги, которая недавно попадала в поле зрения.
«Вот и наступает второй акт компьютерной революции. ИИ и XR объединяются, открывая радикально новые способы взаимодействия с технологиями на ваших условиях. Компьютеры станут более легкими и персональными. Они разделят вашу точку зрения, поймут ваш реальный контекст и будут иметь естественный интерфейс, который одновременно прост и разговорен» - отметил Изади.
Первые совсем компактные очки имеют камеру и микрофоны, тем самым дают ИИ возможность видеть и слышать мир. Динамики позволяют вам слушать ИИ и воспроизводить музыку или даже принимать звонки. Очки имеют небольшой цветной дисплей с высоким разрешением, встроенный в прозрачную линзу. Очки работают в паре с телефоном, с помощью которого выполняются основные вычисления на устройстве, либо в облаке, что позволяет очкам быть очень легкими и работать со всеми нужными приложениями телефона.
В ходе выступления на всех очках демонстрировалась мультимодальность ИИ, который использовал визуальные данные и естественный язык для обработки сложных запросов в реальном времени, запоминая ваш прошлый контекст. Например, перелистывая книгу перед камерой очков, пользователь задавал вопрос о смысле диаграммы на одной из страниц. В данном случае, ИИ запомнив предыдущие страницы, рассказывал пользователю простым языком смысл сложной диаграммы, на которую он смотрит сейчас.
Был интересный пример и с навигацией. Пользователь, впервые оказавшийся в незнакомом городе, попросил Gemini построить маршрут до красивого парка где-то неподалеку и с красивым видом на океан. Т.е. в режиме реального времени работает целая комбинация технологий (5G, AI, AR и другие), чтобы удовлетворить желание пользователя, который уже не формулирует линейный запрос «построить маршрут от точки до точки», а просто озвучивает свое текущее желание.
Затем на сцене появился другой сотрудник, продемонстрировавший не менее впечатляющие возможности второй модели XR очков – шлема смешанной реальности. При этом также основу выступления составляли сценарии совместных возможностей XR шлема и AI Gemini.
Очень советуем посмотреть полное видео тут: https://www.ted.com/talks/shahram_izadi_the_next_computer_your_glassesutm_campaign=tedspread&utm_medium=referral&utm_source=tedcomshare
Шахрам Изади, отвечающий в Google за направление AR/XR, представил прототипы новых Умных очков на конференции TED 2025 в Ванкувере.
В реальной работе по различным сценариям были продемонстрированы два устройства. Одни AR очки в легком форм-факторе, внешне неотличимые от привычных нам очков для зрения, другие – XR шлем расширенной реальности, чем-то напоминающие XR очки от Apple.
В обоих случаях серьезный акцент был сделан на применение AI Gemini (модель искусственного интеллекта от Google). Зрители на большом экране видели то же, что и человек в AR очках. Были продемонстрированы функции перевода в реальном времени, причем на языках вроде Фарси с диалектами и акцентами, которые кажутся человеческими и естественными. Распознавание происходило как с точки зрения голоса и перевода его в текст, так и с точки распознавание символов на табличке с помощью камеры.
Особое внимание было уделено функции запоминания увиденного, т.е. камера постоянно снимала все вокруг, а затем пользователь задавал вопрос о каком-то ранее увиденном в кадре объекте, и система должна была определить, где этот объект находится, или кто автор книги, которая недавно попадала в поле зрения.
«Вот и наступает второй акт компьютерной революции. ИИ и XR объединяются, открывая радикально новые способы взаимодействия с технологиями на ваших условиях. Компьютеры станут более легкими и персональными. Они разделят вашу точку зрения, поймут ваш реальный контекст и будут иметь естественный интерфейс, который одновременно прост и разговорен» - отметил Изади.
Первые совсем компактные очки имеют камеру и микрофоны, тем самым дают ИИ возможность видеть и слышать мир. Динамики позволяют вам слушать ИИ и воспроизводить музыку или даже принимать звонки. Очки имеют небольшой цветной дисплей с высоким разрешением, встроенный в прозрачную линзу. Очки работают в паре с телефоном, с помощью которого выполняются основные вычисления на устройстве, либо в облаке, что позволяет очкам быть очень легкими и работать со всеми нужными приложениями телефона.
В ходе выступления на всех очках демонстрировалась мультимодальность ИИ, который использовал визуальные данные и естественный язык для обработки сложных запросов в реальном времени, запоминая ваш прошлый контекст. Например, перелистывая книгу перед камерой очков, пользователь задавал вопрос о смысле диаграммы на одной из страниц. В данном случае, ИИ запомнив предыдущие страницы, рассказывал пользователю простым языком смысл сложной диаграммы, на которую он смотрит сейчас.
Был интересный пример и с навигацией. Пользователь, впервые оказавшийся в незнакомом городе, попросил Gemini построить маршрут до красивого парка где-то неподалеку и с красивым видом на океан. Т.е. в режиме реального времени работает целая комбинация технологий (5G, AI, AR и другие), чтобы удовлетворить желание пользователя, который уже не формулирует линейный запрос «построить маршрут от точки до точки», а просто озвучивает свое текущее желание.
Затем на сцене появился другой сотрудник, продемонстрировавший не менее впечатляющие возможности второй модели XR очков – шлема смешанной реальности. При этом также основу выступления составляли сценарии совместных возможностей XR шлема и AI Gemini.
Очень советуем посмотреть полное видео тут: https://www.ted.com/talks/shahram_izadi_the_next_computer_your_glassesutm_campaign=tedspread&utm_medium=referral&utm_source=tedcomshare