Google 렌즈에 동영상을 사용한 검색 기능과, 촬영중의 것에 대해 음성으로 물어볼 수 있는 기능이 실장되었는데, 이것에 의해, Google의 시험 운용 기능을 사용할 수 있는 프로그램 「Search Labs」에 등록하고 있는 사람은, 영상과 음성의 질문을 조합해 보다 간단하게 실시간 검색이 가능해졌다.
Google은, 2024년 5월의 개발자 전용 컨퍼런스·Google I/O에서, Google 렌즈의 「동영상 이해 기능」을 발표했었고, 이 기능의 데모 무비는, 이하의 동영상의 57초경부터 시작된다.
동영상 이해 기능을 사용하면, 예를 들어 수족관에서 물고기에게 스마트폰을 비추어 헤엄치고 있는 모습을 녹화하면서 '왜 저 물고기는 함께 헤엄치고 있지?'라고 질문하면, AI 모델 제미니가 그 답변을 생성해 주게 된다.
Search Labs에서 AI 기능의 테스트에 옵트인 하고 있는 경우, Google 렌즈의 셔터 버튼을 눌러 두면 동영상이 촬영되어, 음성에 의한 질문을 할 수 있고, 또한 검색 결과에 있는 마이크 아이콘을 탭하여 다른 질문을 하는 것도 가능하다.
Google의 엔지니어링 담당 바이스 프레지던트인 Rajan Patel씨는, 이 기능에 대해 "동영상을 일련의 화상 프레임으로서 캡처해, 그것을 커스텀 Gemini 모델에 전달하고 있습니다. 그러면 AI가 여러 프레임을 연속적으로 이해해 웹에 기반한 응답을 생성합니다"라고 설명.
동영상 내에 들어간 소리에 대한 질문을 하는 것, 예를 들어 새의 울음소리를 녹음해서 그 새의 종류를 묻는 것과 같은 사용법은 아직 할 수 없지만, 구글은 그런 기능을 테스트하고 있다고 한다.
Google 렌즈의 동영상 이해 기능은 전 세계 Android 및 iOS 사용자를 대상으로 전개되고 있지만, 음성 질문은 지금까지 영어로만 지원되고 있다.
